LAPORAN WORKSHOP NASIONAL PANEL EXPERT CBT KEDOKTERAN KOMPONEN 2 PROYEK HPEQ Hotel Garden Permata Bandung 25 26 September 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 1
1. Pendahuluan Uji Kompetensi Dokter Indonesia (UKDI) dilaksanakan untuk menilai kompetensi dokter. Terkait hal tersebut maka materi yang diujikan harus sesuai dengan kompetensi atau standar profesi yang dibutuhkan dokter Indonesia sebagaimana tertuang dalam KIPDI 3 dengan tetap memperhatikan aspek-aspek lain sehingga dapat menjamin sifat komprehensifnya. Sesuai dengan tujuan dari pelaksanaan ujian untuk mengetahui atau menguji kompetensi seorang dokter, maka ujian menitikberatkan pada prinsi-prinsip ilmu kedokteran dasar dan klinik yang sangat penting di dalam praktek klinik di masyarakat maupun di dalam mekanisme timbulnya penyakit, Clinical Reasoning, serta Critical Thinking dalam rangka pemecahan masalah / problem solving. Keseluruhan soal yang dikembangkan harus bersifat terintegrasi dan dapat menguji secara utuh kompetensi yang dibutuhkan seorang dokter dalam menghadapi berbagai permasalahan kesehatan dan klinis yang akan dihadapinya. Secara lebih rinci komposisi materi ujian disusun berdasarkan berbagai tinjauan yang akan menjamin sifar komprehensif dari ujian. Untuk meyakinkan bahwa soal yang keluar dalam ujian adalah soal yang eligible, maka diperlukan tahapan telaah soal denga melibatkan narasumber (expert) sebagai penelaah yang sesuai dengan bidang keilmuannya. Mengingat pentingnya output yang diharapkan dari proses penelaahan soal tersebut, maka proyek HPEQ telah memfasilitasi beberapa rangkaian workshop panel expert untuk soal-soal CBT kedokteran. Workshop panel expert telah dilaksanakan dalam 2 gelombang, yaitu pada tanggal 19-20 Maret (gelombang 1) dan 11-12 Juni (gelombang 2). Untuk memantabkan dan memperbanyak soal yang terkumpul, maka perlu dilaksanakan workshop panel expert lanjutan untuk menghasilkan lebih banyak soal yang eligible. 2. Tujuan 1. Melakukan telaah soal untuk UKDI sesuai bidang keilmuannya 2. Mendapatkan soal UKDI yang baik untuk memenuhi bank soal UKDI 3. Melatih kemampuan para dosen dalam pembuatan soal yang baik 3. Output Workshop 1. Sejumlah soal yang eligible untuk diinputkan pada bank soal nasional UKDI (target minimum: 480 soal) 2. Sejumlah item writer CBT yang menjadi panel expert nasional 4. Metode Pelaksanaan Workshop Workshop nasional item development CBT kedokteran ini dilaksanakan pada tanggal 24 25 September 2010 di Hotel Garden Permata Bandung. Workshop ini diikuti oleh 11 item writer terpilih dari wilayah 1-6, yaitu : WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 2
No. Nama Instansi HP Email 1 Dewi Masyithah Darlan FK USU (Wilayah 1) 2 Ramzi Amin FK UNSRI (Wilayah 1) 3 Fen Tih FK UKM (Wilayah 3) 4 Eka Hendryanny FK UNISBA (Wilayah 3) 5 Khotibuddin FKIK UMY (Wilayah 4) 6 Beta Ahlam Gizela FK UGM (Wilayah 4) 7 Roostantia FK UNAIR (Wilayah 5) 8 Sri Asriyani FK UNHAS (Wilayah 6) 9 Joel Herbet FK UNCEN (Wilayah 6) FASILITATOR 0819-6044545 dmasyithah@yahoo.com 0812-7393599 ramzi.amin@rocketmail.com 0811-217545 fentih@melsa.net.id 0817-224082 eka_hendryanny@yahoo.com 0856-43218504 muhammad_khotibuddin@yahoo.com 0815-7927896 betaforensik@gmail.com 0818-505872 roostantia@yahoo.com 0816-4399032 sri_asriyani@yahoo.com 0813-21563388 herbet_monroe@hotmail.com 1 Bethy Suryawathy FK UNPAD Narasumber 2 Sari Puspa Dewi FK UNPAD Narasumber 3 Yunia S. Pratiwi FK UNPAD Narasumber 4 FK UNPAD Susi Susanah Narasumber 5 Iwan Dwiprahasto FK UGM 0816-611912 bethy_hernowo@yahoo.com 08121416638 spdewi@yahoo.com 085759002505 yunilazuardi@yahoo.com 0818-428354 susigmr37@bdg.centrin.net.id / susi_rshs@yahoo.com 0811293963 iwandwi@indo.ned.id Pada pelaksanaannya, dua orang peserta tidak dapat hadir karena suatu hal yang tidak dapat ditinggalkan, yaitu Anna Rozaliyani dan Hanna Yolanda. Dalam menyusun dan merevier soal, para item writer dipandu dan didampingi oleh 3 orang fasilitator, yaitu Bethy S., Sari Puspa Dewi, dan Yuni S. Pratiwi. Rundown acara workshop nasional item development OSCE kedokteran gigi tersebut adalah sebagai berikut : WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 3
Hari ke-1 : HARI PERTAMA (25 September 2010) WAKTU ACARA NARASUMBER 13.00-14.00 Pembukaan dan Pengarahan Sari Puspa Dewi 14.00-18.00 Review soal dalam kelompok (dibagi dalam 6 kelompok) 18.00-19.30 ISHOMA 19.30-17.30 Lanjutan Review soal dalam kelompok Fasilitator 17.30-19.30 ISHOMA 19.30-22.00 Review soal dalam kelompok Fasilitator Hari ke-2: 5. Hasil Kegiatan Fasilitator HARI KEDUA (26 MARET 2010) WAKTU ACARA NARASUMBER 08.30-10.00 Review soal dalam kelompok Fasilitator 10.00-10.30 Coffee break 10.30-11.00 Pleno hasil review soal kelompok Fasilitator 11.00-12.00 Evaluasi dan rencana tindak lanjut Koordinator Komponen 2 Pada workshop ini peserta langsung dibagi menjadi 6 kelompok untuk melakukan review soal yang telah dibawa masing-masing peserta. Dr. Beta dan dr. Ramzi dr.asri dan dr. Joel Dr. Fen Tih, dr. Eka, dan dr. Yuni Dr. Itha dan dr. Khotibuddin Dr. Roostantia dan dr. Bethy Dr. Sari dan dr. Yuni S. P. Secara umum, output dari workshop nasional item development CBT kedokteran adalah sebagai berikut : No. KOMPONEN TARGET REALISASI 1. Jumlah soal CBT yang terkumpul 480 ±500 2. Jumlah soal CBT yang teriview 300 ±350 3. Jumlah soal CBT yang berkualitas baik 300 ±350 4. Jumlah wilayah yang mengirim soal 6 6 5. Jumlah peserta yang mengikuti workshop 11 9 Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini sudah sangat optimal dalam mereview soal CBT regional bahkan melebihi target yang ingin dicapai untuk jumlah soal yang terkumpul, jumlah soal yang teriview, dan jumlah soal yang berkualitas baik. Soal-soal tersebut sudah mewakili keenam regional kedokteran. Ada dua orang peserta yang diundang tetapi tidak bisa hadir yaitu Anna Rozaliyani dan Hanna Yolanda tetapi soal-soal yang dibawa oleh keduanya sudah dititipkan saat workshop hari sebelumnya. WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 4
Beberapa faktor pendukung tercapainya target review soal adalah 1. Para peserta sudah mengikuti workshop ini beberapa kali sehingga sudah lebih paham dalam mereview soal sehingga waktu yang diperlukan untuk mereview satu soal cukup optimal 2. Ada expert dan fasilitator yang juga ikut membantu mereview soal walaupun tidak membawa soal 3. Beberapa regional sudah mengadakan workshop di regionalnya sehingga bisa mendapatkan soal dari workshop tersebut untuk dibawa ke workshop nasional 4. Peserta juga sudah membawa e-book dan dapat searching di internet jika ada soal yang masih belum jelas Sudah diminta agar masing-masing institusi yang mahasiswanya sudah mengikuti UKDI untuk mengirim sejumlah soal ke koordinator regional/wilayah. Pada kenyataannya tidak semuanya mengirim sejumlah soal yang diminta. Soal yang dibawa pada workshop ini sebagian besar adalah soal dari institusi di mana koordinator bekerja. Kontribusi tiap institusi ini perlu dicermati, agar ada pemerataan kontribusi masing-masing institusi dalam pembuatan soal uji kompetensi. Selanjutnya, soal-soal yang telah berhasil terkumpul direview oleh tiap item writer dengan berpedoman pada template review dan tinjauan yang disepakati. Pada dasarnya, pencapaian jumlah soal yang direview ini dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal yang direview juga akan semakin banyak. Berikut adalah rekapitulasi item development pada workshop kali ini. WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 5
TABEL REKAPITULASI ITEM DEVELOPMENT REGIONAL berdasarkan KELOMPOK Nama Peserta Sri Asriyani dan Joel H Beta dan Ramzi Fen Tih dan Eka H Khotibuddin dan Dewi M Soal yg Soal yg Nama Institusi dibawa direview FK UH dan FK UNCEN 90 48 Soal yg berkualitas FK UGM dan FK UNSRI 45 45 33 FK UNPAD, UNISBA, UKM, UNJANI 93 73 60 FKIK dan FK USU 450 85 63 42 Rekapitulasi ini tidak sesuai dengan angka yang tertera pada output workshop karena belum ditambah jumlah soal yang direview oleh expert dan fasilitator saja. Untuk hari kedua workshop, Prof. Iwan, dr. Susi, dan dr. Bethy (satu kelompok) serta dr. Sari dan dr. Yuni (satu kelompok) bersedia untuk membantu mereview soal yang sudah ada, kemungkinan besar mereview soal-soal yang dibawa oleh Anna Rozaliyani dan Hanna Yolanda. Rekapitulasi ini juga belum ditambah soalsoal yang dibawa oleh Anna Rozaliyani dan Hanna Yolanda karena kedua peserta sudah pulang saat diadakan rekapitulasi. Dari grafik berikut dapat dilihat bahwa kelompok yang paling banyak membawa soal, mereview soal, dan mendapatkan soal berkualitas baik adalah kelompok dr. Khotibuddin dan dr. Dewi Masyithah. Dr. Masyithah membawa ±400 soal dari wilayahnya. Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional. Semua soal yang telah direview oleh semua kelompok memiliki kriteria baik dengan perbaikan yang dilakukan pada saat mereview soal tersebut. WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 6
Berdasarkan analisa tim monev, pencapaian target jumlah institusi yang berkontribusi, jumlah soal yang terkumpul, jumlah soal yang direview, dan jumlah soal yang berkualitas baik sudah melebihi target yang disepakati bersama. Tetapi belum semua institusi mengirim soal ke koordinator item development. Peserta sudah berjanji bahwa akan mengadakan workshop item development di wilayahnya masingmasing. Berdasarkan kesepakatan tersebut, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing wilayah dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri dari tim item development dan dapat dijadikan dasar pemetaan kemampuan dan strategi yang seharusnya diterapkan untuk tiap wilayah item development dalam meningkatkan kualitas pelaksanaan uji kompetensi yang akan berdampak positif pada kualitas lulusan uji kompetensi dokter. 5. Evaluasi Kegiatan Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Hampir di seluruh wilayah regional, mekanisme item development masih berjalan secara individual dan belum menyeluruh. Sejalan dengan hal ini, perlu identifikasi terhadap permasalahan-permasalahan terkait mekanisme item development di tiap regional. Partisipasi institusi dalam mengumpulkan soal masih belum merata, masih didominasi oleh institusi yang mewakili regional. Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Regional yang menyelenggarakan workshop item development masih sangat sedikit Panel Expert Kendala Berjalan dengan lancar Konten expert Kendala dari ketersediaan soal dari masing-masing institusi (tidak ada yang mengirim dari regional VI) Waktu workshop yang berturut-turut sehingga membuat cukup lelah Waktu istirahat yang kurang Soal-soal sebagian tidak sesuai untuk UKDI Heterogenitas Waktu terlalu panjang, endurance kurang memungkinkan konsentrasi makin menurun Kendala trasnportasi WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 7
Saran Adanya berbagai disiplin ilmu yang bisa memperbaiki konten Ganti kota Diusulkan agar tiap institusi ditunjuk membuat soal dengan topik tertentu Waktu penyelenggaraan lebih panjang Pemberitahuan lebih jauh hari Waktu cukup 2 hari saja supaya otak dan mata tetap fresh 6. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Untuk selanjutnya, diharapkan ada report ke pembuat soal bahwa soal dokter telah diterima untuk keluar dalam ujian UKDI dan untuk soal yang tidak diterima agar dikembalikan lagi ke pembuat soal untuk diperbaiki lagi beserta alasan mengapa soal tersebut tidak diterima Perlunya penyesuaian jadwal item review regional dan item review nasional. 7. Penutup Pengembangan sistem ujian menjadi CBT merupakan terobosan baru dan akan meningkatkan kualitas ujian itu sendiri. Dengan pelaksanaan workshop yang berkesinambungan maka tujuan peningkatan kualitas dokter melalui standarisasi ujian kompetensi diharapkan dapat tercapai. WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 8