LAPORAN WORKSHOP NASIONAL OSCE ITEM DEVELOPMENT KEDOKTERAN GEL 2 Hotel Sheraton, 15 16 November 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 1
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian praktik dengan dukungan teknologi berbasiskan komputer yang disebut juga sebagai Objective Structured Clinical Examination (OSCE). Untuk itu, diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistem maupun soal soal yang terkandung di dalamnya. Di samping pengembangan infrastruktur, aplikasi, pelatihan untuk Standardized Patient (SP), serta standarisasi para penguji yang diperlukan untuk melaksanakan OSCE, tentu saja hal yang diperlukan secara mendasar adalah pembuatan soal soal OSCE itu sendiri. Hal ini menjadi sangat mendasar karena penyiapan unsur unsur lainnya didasari atas soal-soal yang akan diujikan dalam ujian praktik ini. Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal OSCE (OSCE Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus melibatkan seluruh klinisi yang terkait dari berbagai institusi pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar dalam pembuatan soal dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini. Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi rangkaian workshop untuk persiapan implementasi OSCE, diantaranya adalah workshop item development OSCE. Pada 3-8 Mei telah dilaksanakan workshop regional item development OSCE dan dilanjutkan dengan workshop nasional item development OSCE yang dilaksanakan pada 17-18 Mei. Output yang dihasilkan dari workshop nasional gelombang 1 dirasakan kurang optimal, terutama dari sisi jumlah soal berkualitas yang dihasilkan. Output workshop regional 1 6 hanya menghasilkan 27 soal yang dinilai eligible untuk diinputkan pada bank soal OSCE, sedangkan dari workshop nasional hanya dihasilkan 3 soal yang dinilai eligible. Mengingat output yang dihasilkan pada gelombang ke-1 kurang optimal, maka tim pokja komponen 2 proyek HPEQ berinisiasi untuk memfasilitasi workshop item development OSCEgelombang 2, baik untuk tingkat regional maupun nasional untuk menghasilkan lebih banyak soal OSCE yang berkualitas. 2. Tujuan Tujuan dilaksanakannya workshop nasional item review ini adalah : a) Terkumpulnya 12 soal OSCE yang berkualitas sebagai bahan untuk proses selanjutnya dalam penyiapan OSCE yakni pelatihan SP dan standarisasi para penguji b) Meningkatkan kemampuan para item writer dalam membuat dan me-review soal OSCE yang memenuhi syarat untuk digunakan sebagai ujian yang bersifat nasional c) Terpilihnya koordinator item writer OSCE nasional gelombang 2 yang dapat mengkoordinir pengumpulan soal dari tiap item writer nasional yang mewakili tiap regional AIPKI d) Menyusun rencana strategis pelaksanaan workshop item development OSCE di tingkat regional/institusi untuk meningkatkan kapasitas dan kualitas soal OSCE maupun capability item writer OSCE 3. Output Workshop Output yang diharapkan dari workshop ini adalah : WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 2
a) 12 soal OSCE berkualitas baik yang dapat digunakan untuk ujian nasional dan mengisi bank soal baik di tingkat nasional, wilayah maupun institusi b) Koordinator item writer OSCE nasional gelombang 2 c) Rencana strategis pelaksanaan workshop item development OSCE di tingkat regional/institusi 4. Metode Pelaksanaan Workshop Workshop nasional item development OSCE kedokteran ini dilaksanakan pada tanggal 15 16 November 2010 di Hotel Sheraton, Bandung. Peserta workshop adalah 11 item writer dan 4 orang fasilitator. No. N a m a Bidang Ilmu Institusi No. HP Email 1 Ari Prayitno Anak IKA FKUI RSCM 081349699959 ariprayitno@yahoo.com 2 Devi H Putri Mata FK UNSYIAH 081362833088 dhputri@gmail.com 3 Liza Chairani Anak FK UMP PLB 085267709675 lizachairani@ymail.com 4 Witri Ardini Gizi Klinik FK UIN Jakarta 08128355172 witria@indosat.net.id 5 Ina Setyowati I.K Anak FK Unjani 08122009248 inasetiyowati@yahoo.com 6 Decky G Fisiologi FK Maranatha 08122316252 d39_6@yahoo.com 7 Meitria SN FK Unlam 081391739795 drmeitria@yahoo.com 8 Pugud Samodro Peny.Dalam FKIK UNSOED 085259393939 pugudsamodro@yahoo.co.id 9 Tri Wahyu Astuti Paru FK UB Malang 081233297361 triwahyuastuti@yahoo.co.id 10 Aizah Lawang Anak FK UNHAS 08124216890 aizahlawang@yahoo.co.id 11 Aristo Anatomi PSPD UNTAD 085255278466 ithoe_bone@yahoo.com Fasilitator & Monev 12 Heddy Herdiman Anatomi FK UKM 081809671400 h.herdiman@yahoo.com 13 Tita Husnitawati FK UNPAD FK UNPAD 0811210299 thmhoesog@yahoo.com 14 Yulherina KB UKDI FK UNPAD 0811980414 yulherina@yahoo.com 15 Cholis Abrori FK UNEJ FK UNEJ 08121519580 dollis_dr@yahoo.com Pada pelaksanaannya, hanya ada 1 wakil yang diundang dalam workshop ini yang tidak bisa hadir, yaitu Moch.Aleqsander dari FK UMM. Untuk mempermudah proses review soal, para item writer dibagi menjadi 3 kelompok. Tiap kelompok didampingi seorang fasilitor. Fasilitator tersebut adalah Heddy, Tita, dan Yulherina. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara sedikit terlambat WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 3
sekitar 1 jam tetapi meskipun demikian tidak berdampak pada waktu pelaksanaan tiap sesi dari waktu yang dijadwalkan sebelumnya. Meskipun demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil : HARI PERTAMA (15 November 2010) 15.00-15.15 Pembukaan & Pengarahan Workshop Fasilitator 15.15-18.00 Kerja Kelompok (dibagi 3 kelompok) : Review soal OSCE berdasarkan blue print 16.00-16.15 Coffee Break Fasilitator 19.30-22.00 Kerja Kelompok : Review soal OSCE berdasarkan blue print Fasilitator HARI KEDUA (16 November 2010) Waktu Acara Pelaksana/Fasilitator 08.00-10.00 Melanjutkan review soal Fasilitator 10.00-11.30 Pleno hasil review soal Fasilitator 11.30-12.00 Wrap up dan Rencana Tindak lanjut Fasilitator 5. Hasil Kegiatan Workshop ini diawali pengarahan dari perwakilan fasilitator mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai. Masing-masing peserta akan mereview item development OSCE yang sudah terkumpul pada workshop regional. Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item development OSCE kedokteran secara umum adalah sebagai berikut: KOMPONEN TARGET REALISASI Jumlah soal yang direview dalam workshop 12 38 Jumlah soal yang memenuhi kriteria soal yang baik 12 28 Jumlah institusi yang mengirim peserta dalam workshop 12 11 WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 4
Jumlah peserta workshop 12 11 Koordinator OSCE Item development nasional 1 1 Jumlah fasilitator 3 3 Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini sudah sangat optimal. Hal ini dapat dilihat dari jumlah soal yang berhasil terkumpul dan jumlah soal yang berhasil direview. Jumlah soal yang dibawa wakil institusi sudah melebihi target yang ingin dicapai. Jumlah peserta workshop mencapai 91,67 %. Beberapa faktor mendukung tercapainya target review soal 1. Narasumber yang sudah memahami materi dengan baik 2. Soal sudah terkumpul sehingga waktu workshop ini efektif hanya untuk mereview soal Pada workshop kali ini, ada satu kelompok yang mengharuskan item OSCE memakai anamnesis. Jika station OSCE memakai anamnesis, maka station tersebut harus memakai SP. Pada WS sebelumnya, telah disepakati bahwa station yang memakai SP hanya 6 station. WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 5
Kontribusi tiap institusi ini perlu dicermati, agar ada pemerataan kontribusi masingmasing institusi dalam pembuatan soal uji kompetensi. Berikut adalah rekapitulasi item development pada workshop kali ini. REKAPITULASI ITEM DEVELOPMENT KELOMPOK 2 Mereview soal dari regional 3 dan 4 Soal yg Soal yg berkualitas Institusi asal soal yang No. Nama Peserta Nama Institusi direview baik direview 1 ARI PRAYITNO FK UI 14 12 UNSOED 1 2 WITRI ARDINI FK UIN UNS 1 3 DEVI H. PUTRI FK UNSYIAH MARANATHA 1 UNILA 2 UNLAM 1 UNIV MULAWARMAN UNIV MUHAMMADIYAH SEMARANG 1 1 UNISBA 1 UNNISULA 1 UNSWAGATI CIREBON 1 UNIV MALAHAYATI 1 UNDIP 1 UNTAN 1 KELOMPOK 1 Mereview soal dari regional 5 dan 6 No. Nama Peserta Nama Institusi Soal yang direview Soal yg berkualitas baik Institusi asal soal yang direview 1 TRIWAHJU ASTUTI FK UNIBRAW 4 4 UNIBRAW 1 2 LIZA CHAIRANI FK UMP/PLB FK UMP/PALEMBANG 3 PUGUD SAMODRO FKIK UNSOED UNCEN/KUPANG 1 4 DECKY GUNAWAN FK MARANATHA KUPANG/UNIV PAPUA 1 1 WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 6
KELOMPOK 3 Mereview soal dari regional 1 dan 2 Soal yg Soal yg berkualitas Institusi asal soal yang No. Nama Peserta Nama Institusi direview baik direview 1 ARISTA PSPD UNPAD 20 12 UKRIDA 1 2 MEITRIA FK UNLAM UPN VJ 1 3 INA S FK UNJANI UNAND 2 4 ST.AIZAH LAWANG FK UNHAS UR 2 BAITURAHMAN 2 UI 1 UNSIAH 1 UNIBA 1 UMI MEDAN 1 USU 1 TRISAKTI 1 UNIB 1 YARSI 1 UMJ 1 UNSYIAH 1 ATMA JAYA 1 UNIMAL 1 Selanjutnya, soal-soal yang telah berhasil terkumpul direview oleh tiap peserta dengan berpedoman pada template. Berdasarkan rekapitulasi jumlah soal yang berhasil direview, item writer dari kelompok 3 dinilai paling produktif karena paling banyak mereview soal. Untuk soal yang berkualitas baik, kelompok 1 dan 3 merupakan kelompok yang paling banyak mereview soal yang menjadi soal yang berkualitas baik. Pada dasarnya, pencapaian jumlah soal yang direview ini dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal yang direview juga akan semakin banyak. WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 7
Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional untuk OSCE. Semua soal yang telah direview oleh kelompok yang memiliki kriteria baik dilakukan perbaikan pada saat mereview soal tersebut. Berdasarkan analisa tim monev, pencapaian target jumlah institusi yang berkontribusi, jumlah soal yang terkumpul, dan jumlah jumlah item writer yang berpartisipasi sudah melebihi target yang disepakati bersama. Peserta sudah berjanji bahwa akan mengadakan workshop item development OSCE di wilayahnya masing-masing. Berdasarkan kesepakatan tersebut, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing wilayah dalam hal implementasi mekanisme item development & review OSCE yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri dari tim item development dokter dan dapat dijadikan dasar pemetaan kemampuan dan strategi yang seharusnya diterapkan untuk tiap wilayah item development OSCE kedokteran dalam meningkatkan kualitas pelaksanaan uji kompetensi yang akan berdampak positif pada kualitas lulusan uji kompetensi dokter. WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 8
6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Hampir di seluruh wilayah regional, mekanisme item development OSCE masih berjalan secara individual dan belum menyeluruh. Sejalan dengan hal ini, perlu identifikasi terhadap permasalahan-permasalahan terkait mekanisme item development OSCE di tiap wilayah. Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Disiplin ilmu asal peserta belum merata, pengalaman klinis beberapa peserta yang kurang Fasilitator Kendala Mereview soal OSCE bukan pekerjaan yagn mudah dan begitu saja dapat diselesaikan oleh sekumpulan peserta (dokter), tetap saja untuk memutuskan baik atau tidaknya soal memerlukan diskusi dengan pakar untuk bersama menentukan pilihan tiap saat Ketidakcocokan antara blue print yang telah ditentukan panitia dengan standar kompetensi yang ada dan tidaknya soal kelak Masih ada yang belum mengerti hakekat OSCE Nasional Hal-hal yang mendukung Pentingnya keterlibatan membuat soal untuk kepentingan institusinya Penghormatan akan penunjukkan sebagai pelatih mendorong para peserta untuk menyelesaikan tugas membuat soal OSCE Berani memberikan saran dan masukkan, tidak harus dipandu Kesiapan peserta untuk menjadi pelatih di tingkat regional Peserta cukup siap/kompeten untuk menjadi pelatih SP tingkat regional, namun perlu sentuhan /ilmu dan wawasan dari ahli masing-masing bagian ilmu dan memerlukan stimulasi pelaksanaan soal OSCE Sebagian masih ada yang belum siap, menurut pengamatan saya, yang sudah siap dr. Triwahyu Astuti dan dr. Pugud S Saran dan usul Dalam pembuatan soal ada baiknya para peserta mendapat tugas membawa soal OSCE yang telah dikonsultasikan dengan ahlinya Ada baiknya tugas tertentu dibebankan pada sekurang-kurangnya 2 peserta utnuk perbandingan WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 9
Diperlukan simulasi soal secara komprehensif untuk pelatih regional/nasional Kehadiran ahli di bidangnya akan lebih baik pada setiap pertemuan Lebih sering dilakukan pelatihan agar semakin lama semakin matang Setelah pelatihan pembuatan soal untuk pertemuan selanjutnya diminta untuk membuat soal, diharapkan pada pertemuan review tidak akan terlalu lama Peserta Kendala Mereview soal OSCE bukan pekerjaan yagn mudah dan begitu saja dapat diselesaikan oleh sekumpulan peserta (dokter), tetap saja untuk memutuskan baik atau tidaknya soal memerlukan diskusi dengan pakar untuk bersama menentukan pilihan tiap saat Ketidakcocokan antara blue print yang telah ditentukan panitia dengan standar kompetensi yang ada dan tidaknya soal kelak Masih ada yang belum mengerti hakekat OSCE Nasional Hal-hal yang mendukung Pentingnya keterlibatan membuat soal untuk kepentingan institusinya Penghormatan akan penunjukkan sebagai pelatih mendorong para peserta untuk menyelesaikan tugas membuat soal OSCE Berani memberikan saran dan masukkan, tidak harus dipandu Kesiapan peserta untuk menjadi pelatih di tingkat regional Peserta cukup siap/kompeten untuk menjadi pelatih SP tingkat regional, namun perlu sentuhan /ilmu dan wawasan dari ahli masing-masing bagian ilmu dan memerlukan stimulasi pelaksanaan soal OSCE Sebagian masih ada yang belum siap, menurut pengamatan saya, yang sudah siap dr. Triwahyu Astuti dan dr. Pugud S Saran dan usul Dalam pembuatan soal ada baiknya para peserta mendapat tugas membawa soal OSCE yang telah dikonsultasikan dengan ahlinya Ada baiknya tugas tertentu dibebankan pada sekurang-kurangnya 2 peserta utnuk perbandingan Diperlukan simulasi soal secara komprehensif untuk pelatih regional/nasional Kehadiran ahli di bidangnya akan lebih baik pada setiap pertemuan Lebih sering dilakukan pelatihan agar semakin lama semakin matang Setelah pelatihan pembuatan soal untuk pertemuan selanjutnya diminta untuk membuat soal, diharapkan pada pertemuan review tidak akan terlalu lama Tim Monev : Feedback Peserta WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 10
Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 10 kuesioner yang kembali ke tim monev, 49% responden menyatakan pelaksanaan workshop sangat memuaskan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama kesempatan mengemukakan pendapat, output workshop yang sangat baik, dan tempat workshop. Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam mereview soal yang baik. Faktor yang dinilai kurang memuaskan adalah kurangnya waktu yang disediakan untuk workshop. WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 11
7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Perlunya sosialisasi untuk mahasiswa di institusi masing-masing tentang OSCE nasional Perlunya pelatihan pembuatan item OSCE di institusi masing-masing Pada rapat sinkronisasi yang akan datang, perlu dibuat blue print sehingga mempermudah pekerjaan semua pihak Pada saat WS pelatih SP, perlu adanya wakil dari item development yang diundang Perlu adanya feedback kepada para pembuat soal tentang soal yang telah direview 8. Penutup Upaya peningkatan kualitas dan kuantitas pembuatan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. WORKSHOP KOMPONEN 2 NOVEMBER 2010 Page 12