LAPORAN WORKSHOP REGIONAL PENGUJI OSCE KEDOKTERAN WILAYAH V KOMPONEN 2 PROYEK HPEQ Hotel Tugu Malang, 28 29 September 2011 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 1
1. Pendahuluan Berdasarkan Undang-Undang Praktik Kedokteran, Konsil Kedokteran Indonesia (KKI) menetapkan pelaksanaan Standar Kompetensi Dokter Indonesia dan Standar Pendidikan Profesi Dokter pada tahun 2006. Hal ini menjadi dasar bagi Direktorat Pendidikan Tinggi (Dikti) untuk mewajibkan kepada institusi pendidikan kedokteran di Indonesia menerapkan Kurikulum Berbasis Kompetensi (KBK). Pada kenyataannya penerapan ini tergantung pada kemampuan berbagai institusi pendidikan kedokteran yang berbeda-beda, sehingga menyebabkan timbulnya variasi yang cukup besar terhadap kualitas pendidikan antara berbagai institusi. Selama ini evaluasi atau uji kompetensi dititikberatkan hanya pada uji pengetahuan dalam bentuk ujian pilihan ganda. Metode ini belum menggambarkan kompetensi lulusan karena aspek keterampilan klinik dan perilaku kurang teruji. Hal ini semakin mendorong diterapkannya metode uji keterampilan klinik, salah satunya adalah Objective Structured Clinical Examination (OSCE), sehingga dapat menggambarkan kemampuan seorang dokter secara lebih komprehensif. Untuk pelaksanaan ujian OSCE nasional yang direncanakan mulai dilakukan pada tahun 2012, perlu berbagai macam persiapan, salah satu yang persiapan yang sangat penting adalah segera menyiapkan sejumlah penguji yang terstandar, baik tentang pemahaman peran dan tugas penguji maupun terhadap cara penilaian, sehingga diharapkan lulusan dokter yang dihasilkan sesuai dengan kompetensi yang diharapkan. Oleh karena itu pelatihan penguji OSCE perlu segera dilakukan baik tingkat nasional maupun regional. 2. Tujuan Tujuan dilaksanakannya workshop regional penguji OSCE kedokteran ini adalah : 1. Peserta mampu menjelaskan tujuan pelaksanaan OSCE UKDI Nasional dan memahami OSCE sebagai metode assessment 2. Peserta dapat mengetahui gambaran pelaksanaan ujian OSCE Nasional 3. Peserta mengetahui blueprint dan template soal OSCE UKDI Nasional 4. Peserta memahami syarat, kontrak, kode etik, tugas dan peran penguji serta mendapatkan gambaran berbagai perilaku penguji yang baik dan kurang baik. 5. Peserta memahami metode penentuan batas lulus OSCE pada setiap station dengan metode Borderline Regression Method 6. Peserta mampu mempraktekkan sebagai penguji OSCE Nasional 3. Output Workshop Output yang diharapkan dari workshop ini adalah dihasilkannya 26 penguji OSCE yang terstandar di tingkat regional maupun nasional. 4. Metode Pelaksanaan Workshop Workshop regional penguji OSCE kedokteran wilayah V ini dilaksanakan pada tanggal 28 29 September 2011 di Hotel Tugu, Malang, pada hari pertama dan Fakultas Kedokteran Universitas Brawijaya (UB) pada hari kedua. Peserta workshop adalah 26 penguji OSCE yang ditugaskan oleh institusi, 3 orang fasilitator, dan 1 orang narasumber KBUKDI. WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 2
Narasumber yang hadir adalah Nancy Margarita dari FK UNAIR. Adapun fasilitator yang hadir adalah sebagai berikut: No Nama Institusi No HP Email 1 Mohammad Zaim Chilmi FK UNAIR 0811310346 chilmi.oreh@yahoo.co.id 2 Satrio Wibowo FK UB 081333828038 satrio_wibowo@rocketmail.com 3 C Singgih Wahono FK UB 081344110967 singgih_wahono@yahoo.com Pada workshop ini tidak ada fasilitator dan narasumber yang tidak hadir. Dari segi peserta, seluruh institusi yang diundang sudah mengirimkan perwakilannya sesuai dengan yang diminta. Kehadiran peserta mencapai 100%. Daftar peserta workshop yang hadir adalah sebagai berikut: No Nama Institusi No HP Email 1 Susanto Nugroho FK UB 08122887738 nugroho.susanto@rocketmail.com 2 Bambang Rahardjo FK UB 08123564850 bar_feto@yahoo.com 3 B.P Putra Suryana FK UB 08123304822 putra_suryana@hotmail.co.id 4 Supriono FK UB 08123313342 sprint_mlg@yahoo.com 5 Istan I. Irsan FK UB 08164297026 istan_irmansyah@yahoo.com 6 Shahdevi FK UB 0816555633 shahdevinandar@yahoo.com 7 Haryanto Alimsardjono FK UNAIR 08121631228 h_alimsardjono@fk.unair.ac.id 8 Sri Umijati FK UNAIR 081330200891 umijati@yahoo.com 9 Ratna Sofaria FK UNAIR 0811335610 sofiaratna@y.mail.com 10 Helmia Hasan FK UNAIR 0811345475 el_helmia@yahoo.com 11 Lilik Herawati FK UNAIR 08123181104 lilik_wahyu99@yahoo.com 12 Mudjiani Basuki FK UNAIR 08165401960 anibasuki@yahoo.com 13 Duriyanto Oesman FK UNEJ 0811324863 ai.nynta@yahoo.co.uk 14 Yuli Hermansyah FK UNEJ 08113504153 yulihermansyah@yahoo.com 15 Erfan FK UNEJ 081331700327 efendierfan@yahoo.co.id 16 Suryono FK UNEJ 08123514186 suryonocardio@yahoo.com 17 Pandji Mulyono FK UWKS 08123216601 pandji.mulyono@yahoo.com, luvy.enigma@gmail.com 18 Harry Kurniawan Gondo FK UWKS 08123242425 gondo.hk@gmail.com 19 Gatot Sugiharto FK UWKS 08165400330 gatotsppd@yahoo.co.id 20 Moch. Aleq FK UMM 081322479012 aleq_sander@yahoo.com 21 Sri Adila Nurainiwati FK UMM 0816558949 ninin_eb@yahoo.co.id 22 Rahayu FK UMM 081555621990 rahayu@umm.ac.id 23 Isbandiyah FK UMM 08123316310 isbandiyahrazak@yahoo.com 24 Biati FK UHT 085852216910 wbiati@yahoo.com 25 Sri Mulyadi FK UHT 081330190102 sri_mulyadi@yahoo.com 26 M. Fathi I. FK UHT 08123261301 dr_fathi73@yahoo.com Workshop diawali dengan pembukaan oleh Nancy Margarita sebagai Narasumber. Pada workshop hari pertama dilakukan pemberian materi kepada seluruh peserta dengan metode WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 3
presentasi materi, diskusi dan tanya jawab. Sebelum pemberian materi, dilakukan pre-test untuk mengetahui pemahaman peserta sebelum workshop. Pada hari kedua peserta mendapatkan kesempatan untuk simulasi briefing penguji, simulasi menjadi penguji OSCE dan simulasi penentuan standard setting. Berbeda dengan pelatihan sebelumnya, pada pelatihan ini disiapkan 2 station untuk masing-masing set soal sehingga terdapat total 8 station. Untuk memudahkan pelaksanaan kegiatan, pada hari kedua peserta dibagi menjadi 2 kelompok besar (kelompok A dan B) untuk tiap set soal dan kelompok besar ini kemudian dibagi kembali menjadi 4 kelompok kecil, masing-masing kelompok mendapatkan satu station OSCE. Dengan demikian total terdapat 8 kelompok kecil. Pada pelatihan ini sistem simulasi OSCE juga diubah yakni dilakukan rotasi pada penguji sedangkan kandidat tetap berada di satu station. Garis besar pelaksanaan simulasi OSCE adalah sebagai berikut: 1. Penguji masuk ke ruangan 2. Kandidat membaca soal 3. Kandidat masuk ke ruangan 4. Pasien masuk ke ruangan 5. Bel sisa waktu 3 menit 6. Bel waktu habis 7. Penguji dipersilakan keluar dan meletakkan lembar penilaian di meja 8. Pasien dan kandidat keluar 9. Penguji masuk ruangan berikutnya Setelah simulasi, dilakukan wrap-up dan pleno terhadap pelaksanaan simulasi OSCE tersebut serta post-test untuk menilai pemahaman peserta terhadap seluruh rangkaian kegiatan pelatihan ini. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara mengalami sedikit keterlambatan tetapi dapat diselesaikan tepat waktu bahkan lebih cepat pada hari pertama. Berikut adalah rundown acara workshop pada kondisi riil : Selasa, 20 September 2011 14.30 14.40 Pre-test Fasilitator 14.40 15.30 Pembukaan Sesi OSCE sebagai Uji Kompetensi Dokter Indonesia Narasumber 15.30 16.15 Sesi Blueprint OSCE Fasilitator 16.15 16.30 Coffee Break Panitia 16.30 17.00 Sesi menjadi penguji OSCE yang baik Fasilitator 17.00 18.00 Sesi Trouble Shooting Fasilitator WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 4
18.00 18.30 Istirahat, sholat, makan Panitia 18.30 19.15 Sesi pemutaran video OSCE, diskusi dan tanya jawab Fasilitator dan Narasumber Rabu, 20 September 2011 07.00 08.15 Perpindahan ke FK UB Panitia 08.15 09.30 Briefing penguji OSCE Fasilitator 09.30 11.30 Simulasi menjadi penguji OSCE Fasilitator 11.30 12.00 Kerja kelompok: simulasi standard setting Fasilitator 12.00 12.30 Istirahat, sholat, makan Panitia 12.30 13.00 Penutupan Dekanat FK UB Narasumber Fasilitator 5. Hasil Kegiatan Pemahaman peserta mengenai bagaimana menjadi penguji OSCE sebelum workshop dinilai dengan mengadakan pre-test. No. Peserta Pre-test (jumlah soal yang dijawab benar) Post-test (jumlah soal yang dijawab benar) 1 5 10 2 6 8 3 5 7 4 6 9 5 7 10 6 5 9 7 4 9 8 7 10 9 4 10 10 5 7 11 9 10 12 5 9 13 7 9 14 5 7 15 9 10 16 6 10 17 6 4 WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 5
18 5 9 19 7 9 20 10 10 21 6 9 22 7 10 23 8 10 24 9 25 8 Rerata 6.26 8.88 Dari pre-test yang terdiri atas 10 soal pilihan berganda tersebut dihasilkan nilai yang bervariasi dengan jumlah jawaban benar antara 4 sampai 10. Sebanyak 9 dari 23 peserta (39%) yang mengikuti pre test mendapatkan skor di bawah 6. Adanya rentang skor yang luas ini menunjukkan pemahaman beserta sebelum workshop bervariasi. Adapun rerata dari skor pretest adalah 6.26 (62,6%) sehingga menunjukkan pemahaman yang cukup. Hasil post-test memperlihatkan bahwa sebagian besar peserta mengalami peningkatan pada pemahaman materi yang ditunjukkan oleh peningkatan skor post-test dan hampir semua peserta memiliki nilai yang baik, hanya ada 1 peserta dengan nilai post-test di bawah 6. Rerata dari hasil post-test tersebut adalah 8,88 (88,8%). Dengan demikian dapat dilihat bahwa terjadi peningkatan skor yang signifikan pada post test dengan prosentase kenaikan sebesar 41,8%. Hal ini menunjukkan keberhasilan penyampaian materi pada workshop ini. Setelah simulasi OSCE, dilakukan rekapitulasi hasil penilaian penguji untuk menentukan standard setting. Hasil rekapitulasi adalah sebagai berikut: No. Soal TB Soal FRAKTUR TIBIA Soal NEURO BEHAVIOUR Soal BPH Global Rating Actual Mark Global Rating Actual Mark Global Rating Actual Mark Global Rating Actual Mark 1 3 21 3 21 3 15 3 12 2 3 21 4 21 4 15 4 12 3 3 21 3 21 4 15 3 12 4 3 21 3 21 4 15 3 12 5 3 20 3 21 3 15 3 11 6 3 20 4 21 3 14 3 11 7 3 20 3 21 3 14 3 11 8 3 19 3 20 3 14 3 11 9 3 19 3 20 3 14 3 11 10 3 19 3 20 3 14 3 11 11 3 19 3 19 4 14 3 11 12 3 19 2 19 3 13 3 11 13 3 19 3 19 3 13 3 10 14 3 19 3 19 3 13 3 10 15 3 19 3 19 3 12 3 10 WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 6
16 3 19 3 19 3 12 3 9 17 3 18 3 19 3 12 3 8 18 2 18 3 19 3 12 3 8 19 3 17 3 18 3 12 3 8 20 3 17 3 18 2 12 3 7 21 3 17 3 17 2 12 1 5 22 3 16 3 17 3 12 2 5 23 3 16 2 16 2 11 3 5 24 3 16 2 16 3 11 3 5 25 3 15 2 14 3 11 2 4 26 3 15 3 11 3 10 2 4 Berdasarkan hasil tersebut, dapat terlihat bahwa pada setiap station penilaian penguji masih bervariasi terutama pada actual mark. Station dengan penilaian cukup seragam adalah TB dan Neurobehavior sedangkan station yang kurang seragam adalah BPH dan Fraktur. Berdasarkan lembar evaluasi OSCE yang diisi oleh penguji, didapatkan bahwa faktor-faktor yang dapat melatarbelakangi hal tersebut adalah: 1. Station BPH terdapat 2 prosedur sehingga waktu tidak cukup. Peserta tidak selesai. 2. Station fraktur untuk melakukan pembidaian seorang diri cukup memakan waktu, sebaiknya ada asisten. 3. Secara umum checklist masih perlu diperbaiki sehingga tidak menimbulkan banyak persepsi. Pada akhir workshop, melalui feedback peserta didapatkan bahwa hampir semua peserta menjadi lebih siap untuk menjadi penguji OSCE setelah mengikuti workshop ini. Sebagian menyatakan siap untuk menjadi penguji dan juga fasilitator. Beberapa menyatakan merasa siap jika telah menjalani pelatihan dan mendalami materi lagi. Selain itu peserta juga sebagian besar menyatakan bahwa materi yang diberikan dari fasilitator sesuai dan baik sehingga bermanfaat bagi peserta. Untuk kebutuhan try out OSCE Nasional tanggal 15 Oktober 2011, dari peserta yang hadir diharapkan dapat bersedia untuk ditugaskan sebagai penguji OSCE pada try out tersebut. Berdasarkan analisis tim monev, partisipasi peserta sudah baik dalam mengikuti workshop namun untuk mencapai target dihasilkannya penguji OSCE yang terstandar masih dibutuhkan tindak lanjut yaitu dengan kembali mendalami materi yang telah diberikan. Selain mengembangkan diri, peserta juga diharapkan dapat berkomitmen dalam melatih pengujipenguji OSCE di institusi masing-masing. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing institusi dalam hal standarisasi penguji OSCE kedokteran yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya. 6. Refleksi Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 7
wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Partisipasi peserta sangat baik, kehadiran mencapai 100%. Diskusi dan pemberian materi secara umum berjalan dengan baik. Hal yang masih dapat ditingkatkan adalah dalam hal disiplin waktu (beberapa peserta datang terlambat karena ada keperluan lain). Dengan sistem simulasi OSCE dimana penguji yang berpindah station memiliki keuntungan yaitu penguji dapat merasakan menguji di station yang berbeda. Akan tetapi terdapat pula kekurangan yaitu kandidat menjadi semakin pintar di setiap putaran, penguji tidak mendapat gambaran situasi riil dimana mereka akan menguji di satu station saja sepanjang OSCE berlangsung, dan saat berpindah station menjadi lama karena dalam satu station terdapat 3-4 penguji. Fasilitator KENDALA YANG DIHADAPI : Set peralatan yang diinformasikan tidak sesuai nomornya dengan set soal (misal: set alat 1 bukan untuk soal station 1) Pemberitahuan perubahan dari 4 menjadi 8 station mendadak Ada soal yang ada pembobotannya sehingga membingungkan penguji REKOMENDASI PERBAIKAN : Pada pelaksanaan uji coba OSCE beberapa persiapan perlu perbaikan terutama mengenai setting tempat dan alat-alat, list peralatan yang jelas Komitmen masing-masing institusi dalam pengembangan OSCE Nasional Mekanisme feedback dari penguji OSCE ke item developer Peserta Beberapa usul dan saran peserta: Pelatihan berkala dan berkesinambungan, workshop lanjutan dengan materi lebih advance dan rinci Sesi video lebih banyak Blueprint diperjelas dan dipersingkat Checklist diperjelas dan dipersingkat sehingga lebih konsentrasi observasi Waktu briefing lebih lama lebih dari 1 jam agar lebih tercapai kesamaan persepsi Tutor training untuk setiap station Website dengan password untuk brainstorming penguji OSCE Template ujian diberikan di awal Adanya buku pegangan/referensi/panduan Tim Monev Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 26 kuesioner, seluruhnya kembali ke tim monev. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator dan narasumber, materi baik dan fasilitas workshop. WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 8
Orientasi di awal memberikan kejelasan tujuan workshop Saya telah mempersiapkan diri secara khusus untuk Pelatihan dan praktik dalam workshop ini membantu Pelatihan dan praktik dalam workshop ini membantu Setiap orang mendapatkan kesempatan yang sama Narasumber dalam workshop telah menguraikan tugas Narasumber telah memfasilitasi workshop Materi workshop mudah dipahami Waktu yang disediakan dalam workshop ini memadai Fasilitas dalam workshop ini memadai WO PROPORSI SATISFACTION LEVEL 2% 6% 43% 49% tidak sesuai sesuai kurang sesuai paling sesuai 13 13 0 0 12 7 4 3 REKAP FEEDBACK PELATIHAN REGIONAL PENGUJI OSCE WILAYAH 5 Malang, 28-29 September 2011 tidak sesuai kurang sesuai sesuai paling sesuai 8 18 9 15 14 12 13 12 3 2 1 1 1 0 0 0 0 0 0 0 0 0 0 0 14 11 17 8 14 9 16 10 Analisis lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar dalam membantu memahami tugas sebagai penguji OSCE dan standard setting. Faktor yang dinilai sedikit kurang memuaskan adalah kesiapan para peserta sendiri dan kurangnya waktu yang disediakan untuk workshop. WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 9
7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : 1. Mengirimkan SOP OSCE terbaru, materi workshop, serta database peserta kepada seluruh peserta workshop melalui e-mail 2. Kerjasama dengan institusi untuk merekrut kandidat try out OSCE tanggal 15 Oktober 2011 8. Penutup Standarisasi lulusan dokter melalui uji kompetensi merupakan bagian penting dari upaya peningkatan kualitas lulusan dokter dan juga untuk institusi pendidikan dokter. Untuk terlaksananya uji kompetensi yang komprehensif menilai keterampilan klinik dan perilaku lulusan, digunakan metode OSCE yang akan dilakukan secara nasional. Dengan pelaksanaan workshop yang berkesinambungan maka diharapkan dihasilkan penguji-penguji OSCE yang terstandar sehingga metode penilaian ini dapat menghasilkan lulusan yang memiliki kompetensi sesuai dengan cara seobyektif mungkin sehingga akhirnya tujuan peningkatan kualitas dokter melalui standarisasi uji kompetensi dapat tercapai. Mengingat fungsi dan perannya yang sangat besar, maka dukungan dari semua pihak terkait kegiatan komponen sangat diperlukan. WORKSHOP KOMPONEN 2 SEPTEMBER 2011 Page 10