LAPORAN WORKSHOP NASIONAL ITEM REVIEW OSCE KEDOKTERAN Hotel Saphir Yogyakarta, 21-22 Maret 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan WORKSHOP KOMPONEN 2 MARET 2011 Page 1
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian praktik dengan dukungan teknologi berbasiskan computer yang disebut juga sebagai Objective Structured Clinical Examination (OSCE). Untuk itu maka diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistem maupun soal soal yang terkandung di dalamnya. Di samping pengembangan infrastruktur, aplikasi, pelatihan untuk Standardized Patient (SP), serta standarisasi para penguji yang diperlukan untuk melaksanakan OSCE, tentu saja hal yang diperlukan secara mendasar adalah pembuatan soal soal OSCE itu sendiri. Hal ini menjadi sangat mendasar karena penyiapan unsur unsur lainnya didasari atas soal-soal yang akan diujikan dalam ujian praktik ini. Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal OSCE (OSCE Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus melibatkan seluruh klinisi yang terkait dari berbagai institusi pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar dalam pembuatan soal dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini. Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi rangkaian workshop tahun 2010 untuk persiapan implementasi OSCE, diantaranya adalah workshop item development dan review OSCE. Oleh karena itu, untuk memenuhi target pada try out OSCE pada bulan September 2011, maka proyek HPEQ akan memfasilitasi workshop item development OSCE untuk menghasilkan lebih banyak soal OSCE yang berkualitas dan menambah jumlah item writer OSCE nasional. 2. Tujuan Mereview soal-soal OSCE yang telah dihasilkan dalam workshop penulisan soal OSCE nasional 3. Output Workshop Output yang diharapkan dari workshop ini adalah : Terkumpulnya 2 paket soal OSCE berkualitas baik dan mengisi bank soal baik di tingkat nasional 4. Metode Pelaksanaan Workshop Workshop nasional item review kedokteran ini dilaksanakan pada tanggal 21-22 Maret 2012 di Hotel Saphir, yogyakarta. Peserta workshop adalah 25 item Reviewer dan 7 orang fasilitator. No Nama Institusi Asal No. HP E-mail Spesialisasi 1 2 Adria Hariastawa Bambang Djarwoto - FK UNAIR/ Surabaya 0812 3560 485 adria_hariastawa@yahoo.com Bedah - FK UGM/ Jogjakarta 0812 2768 958 WORKSHOP KOMPONEN 2 MARET 2011 Page 2
3 Budi Sutikno - FK UNAIR/ Surabaya 0812 3525 981 budisutikno2003@yahoo.com THT-KL 4 Dwiana Ocvyanti - FK UI/ Jakarta 0817 179 000 dwianaocvyanti@hotmail.com Obsgyn 5 Winarto - FK UNRI/ Riau 0853 5626 9325 dr.winarto@yahoo.com GP 6 Eva Revana - FK UGM/ Jogjakarta 0813 2848 3727 revanaeva@gmail.com Mata 7 Fathur Nur Kholis - FK UNDIP/ Semarang 0815 6622 291 drfnkholis@gmail.com 8 Indria Intan - FK UNTAR/ Jakarta 0818 0622 2712 intanwicaksono@gmail.com Penyakit Dalam Kulit - Kelamin 9 Iswandi Darwis - FK UNILA/ Lampung 0856 6972 0588 iswandi.darwis@gmail.com GP 10 Mardhia - FK UNTAN/ Pontianak 0819 5452 038 dr.dhia1704@gmail.com - 11 Monalisa Nasrul - FK UNRAM 0813 1730 3637 doktermona@yahoo.com Mata 12 Mudjiani Basuki - FK UNAIR/ Surabaya 0816 5401 960 anibasuki@yahoo.com Saraf 13 Nawanto Agung P - FK UNIKA Atmajaya/ Jakarta 0813 1747 7849 prastowo1987@yahoo.co.id Kedokteran Olahraga 14 Rahmiati - FK UNLAM/ Banjarmasin 0852 4948 3952 rahmilo@yahoo.com GP 15 Retno Asti - FK UI/ Jakarta 0811 902 081 retnoasti@yahoo.com GP 16 Rosita Dewi - FK UNEJ/ Jember 0813 3672 5678 rose_dw09@yahoo.co.id GP 17 Supriono - FK UB/ Malang 0812 3313 342 sprint_mlg@yahoo.com Penyakit Dalam 18 Suwandito - FK UNAIR/ Surabaya 0811 307 243 suwandito@gmail.com GP 19 Wenny Waty - FK UKM/ Bandung 0815 7368 7706 wnny_w@yahoo.com GP 20 Widyandana - FK UGM/ Jogjakarta 0812 2729 791 21 Wisudawan - FK UMI/ Makassar 08124236483 22 Yarman Mazni - FK UI/ Jakarta 0812 944 6947 yarmanmazni@gmail.com Bedah 23 Ziske Maritska - FK UNSRI/ Palembang 0813 6884 8856 ziske_kamil@yahoo.com GP 24 Banggas Siahaan - FK UKI 0821 1036 0482; 021-7055 8068 GP WORKSHOP KOMPONEN 2 MARET 2011 Page 3
25 Hemi Sinorila FK UGM/Jogjakarta 81328893933 hemisinorita@yahoo.com internis Pada pelaksanaannya, hanya ada 2 fasilitator yang tidak dapat hadir yaitu Susi Susanah dan sari Puspa Dewi dan dari 32 peserta yang di undang terdapat 7 orang peserta yang tidak datang dan tidak mengirimkan pengganti dimana peserta tersebut merupakan perwakilan dari FK UNPAD. Untuk mempermudah proses review soal OSCE, pada awalnya para item reviewer dibagi menjadi 9 kelompok. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan terlambat 15 menit dari waktu yang telah ditentukan. Berikut adalah rundown acara workshop pada kondisi riil : Rabu, 21 Maret 2012 14.15-14.30 Pembukaan & Pengarahan Workshop Gandes Retno Rahayu 14.30 15.00 Pemaparan hasil kegiatan Tryout OSCE Kedokteran Yulherina 15.00-17.45 Review Soal Fasilitator 17.45-19.30 ISHOMA Fasilitator 19.30-22.00 Review soal Kamis, 22 Maret 2012 08.00 08.30 Pleno Fasilitator 08.30 11.30 Review soal Fasilitator 11.30-12.00 Wrap Up dan Rencana Tindak Lanjut Melanie S Djamil 5. Hasil Kegiatan Workshop ini diawali dengan pembukaan oleh ibu Gandes selaku ketua Pokja dan dilanjutkan dengan pemaparan hasil try out OSCE oleh ibu Yulherina. Pada saat acara dimulai peserta yang datang baru berjumlah 17 orang sehingga fasilitator membagi peserta menjadi 9 kelompok sesuai dengan spesialisasi masing-masing peserta. WORKSHOP KOMPONEN 2 MARET 2011 Page 4
Pada tahap review soal OSCE, koordinator komponen mengingatkan kembali agar dalam mereview soal OSCE para peserta mengikuti tinjauan yang telah disepakati dalam blue print serta mengingatkan peserta untuk memposisikan dirinya sebagai peserta ujian dengan mereview soal agar mampu dikerjakan dalam waktu hanya dalam 1 menit. Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item review OSCE kedokteran gigi secara umum adalah sebagai berikut: No. KOMPONEN TARGET REALISASI 1. Jumlah soal yang direview dalam workshop 50 soal (2 paket soal untuk masing-masing reviewer 32 *mbak ini menurut data yang aq dapat dari lembar rekap tabel soal yang aq bagikan pd peserta sedangkan data dari bu gandes sebanyak 46 soal 2. Jumlah soal yang memenuhi kriteria soal yang dianggap eligible untuk diinputkan ke bank soal UKDI 3. Jumlah institusi yang berkontribusi mengirimkan soal 50 21 18 15 4. Jumlah item reviewer yang terlibat 32 25 Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini belum optimal dalam semua komponen. Komponen jumlah soal yang direview dalam workshop dan jumlah soal yang memenuhi kriteria soal yang dianggap eligible untuk diinputkan ke bank soal UKDI masih separuh dari jumlah soal yang ditargetkan. Dalam workshop item review ini terdapat peserta yang merupakan spesial THT-KL justru berperan membuat soal karena pada saat workshop item development peserta yang bertugas untuk membuat soal item development tidak hadir, selain itu terdapat pula peserta yang juga membuat 1 soal baru yaitu peserta yaitu dr. Yaman Mazni spesialisasi bedah digestif dan dr. Monalisa serta dr. Rosita dewi. WORKSHOP KOMPONEN 2 MARET 2011 Page 5
Kelompo k Beberapa faktor mendukung tercapainya target soal 1. Narasumber yang sudah memahami materi dengan baik dan dapat memimpin kelompoknya dengan baik 2. Peserta yang hadir sebagian besar merupakan peserta yang pernah menjadi item reveiwer sebelumnya sehingga proses review soal berjalan lancar REKAPITULASI ITEM REVIEW Nama Spesialis Jumlah soal yang direview Jumlah soal yang memenuhi kriteria soal yang dianggap eligibel untuk diinputkan ke bank soal UKDI target realisasi target Realisasi I Mudjiani Basuki syaraf 4 4 4 4 wenny waty GP 2 Budi Sutikno THT-KL Membuat soal sebanyak 3 buah (OMA, Otitis Ext, Torsikst akut 3 Isbadria bedah 4 4 4 1 4 Retno Asti Wardhani bedah 5 Dwiana Ocvyanti Obgyn 4 2 4 2 6 Indira intan Spesialis Kulit Kelamin 4 4 4 2 Banggar Siahaan Dokter umum 7 Widyandana GP 4 4 4 4 8 Eva revana Spesialis Mata 4 5 4 3 Winarto Spesialis mata 9 Fathur Nur Kholis Penyakit Dalam 2 2 2 2 10 Monalisa Spesialis mata 4 2 4 2 Rosita dewi Dokter umum Jumlah soal yang dibuat : 1 11 Yarman Mazni Sp. Bedah Digestif 2 2 2 1 Membuat 1 soal baru dan merombah 1 soal tentang breast-self examination WORKSHOP KOMPONEN 2 MARET 2011 Page 6
Berdasarkan rekapitulasi jumlah soal yang berhasil dibenarkan atau dibuat baru berdasarkan paket blue print, item reviewer dari kelompok mata dinilai paling produktif karena paling banyak melakukan review soal OSCE. Pada dasarnya, pencapaian jumlah soal OSCE ini dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal OSCE yang sesuai dengan paket blue print juga akan semakin banyak. Berdasarkan soal-soal yang telah ditilik, maka dipilih soal-soal OSCE yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional. Berdasarkan analisa tim monev, pencapaian target jumlah soal OSCE yang terkumpul sudah mendekati target yang disepakati bersama. 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Peserta Kendala yang mungkin akan dihadapi Item development kurang detail dalam membuat sistem penilaian untuk penguji sehingga dapat menimbulkan penillaian yang subjektif dan terdapat point skor yang terlihat memaksakan terutama skor 1 & 2 Manajemen penyakit pada masing- masing institusi pendidikan sangat bervariasi Belum ada kesesuaian antara soal dengan ketersediaan manekin Kemampuan pelaksanaan ujian harus memperhitungkan lama waktu yang dibutuhkan berdasarkan aspek pasien/kasus, penguji, mahasiswa dan bahan. Terdapat peserta item reviewer yang mereview soal diluar keahliannya Kesepakatan dal;am penilaian yang perlu untuk ditindak lanjuti : cuci tangan, berkaitan dengan review rubrik untuk penentuan nilai tiap masing-masing Soal belum detail menjelaskanhal yang perlu diujikan termasuk jenis obat serta sarana yang dibutuhkan sehingga reviewer harus mencari refernsi yang lebih jelas Perbedaan sudut pandang dalam menetapkan tujuan, jenis pemeriksaan sehingga memberikan perbedaan dalam menyusun template dan rubrik Sulitnya memahami kemauan dan alur fikir penulis/item writer Kendala yang mungkin akan anda hadapi sebagai item reviewer OSCE Kedokteran Keahlian dibidang yang kurang (GP) sehingga untuk menentukan penatalaksanaan yang tepat kurang terlaksana dengan baik walaupun sudah mengacu pada referensi Waktu pelaksanaan yang kurang Adanya perbedaan acuan antara pembuat item dengan item reviewer Perkembangan ilmu kedokteran yang akan mempengaruhi saat mereview soal OSCE Menyesuaikan kemampuan rata-rata mahasiswa dengan bobot asal dan waktu yang tersedia Instruksi penguji yang jelas dan mudah dinterpretasi Menentukan skor pada rubrik WORKSHOP KOMPONEN 2 MARET 2011 Page 7
7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Berhasil mereview 46 soal, anastesi, anak dan psikiatri tidak ada yang datang sehingga review soal hanya dilakukan oleh peserta yang hadir dengan bidangnya masing-masing. Peserta yang hadir berasal dari THT, bedah dan mata Dalam roadmap sampai dengan akhir tahun masih dalam tahap Tryout, sedangkan berdasarkan program HPEQ pada tahun 2012 sudah masuk pada tahap ujian. Rencana pertemuan selanjutnya tidak dilakukan di jogjakarta yaitu Jakarta dan Bali diharapkan peserta yang hadir untuk kembali berpartisipasi pada kegiatan selanjutnya 8. Penutup Pentingnya menerapkan standarisasi lulusan/ dokter melalui uji kompetensi merupakan bagian penting dalam upaya meningkatkan lulusan/dokter serta institusi pendidikan dokter. Mengingat fungsi dan perannya yang sangat besar, maka dukungan semua fihak terkait berkenaan kegiatan pada komponen sangat diperlukan. WORKSHOP KOMPONEN 2 MARET 2011 Page 8