LAPORAN WORKSHOP ITEM REVIEW OSCE KEDOKTERAN Sheraton Mustika Yogyakarta, 22 23 Agustus 2011 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 AGUSTUS 2011 Page 1
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian praktik dengan dukungan teknologi berbasiskan computer yang disebut juga sebagai Objective Structured Clinical Examination (OSCE). Untuk itu maka diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistem maupun soal soal yang terkandung di dalamnya. Di samping pengembangan infrastruktur, aplikasi, pelatihan untuk Standardized Patient (SP), serta standarisasi para penguji yang diperlukan untuk melaksanakan OSCE, tentu saja hal yang diperlukan secara mendasar adalah pembuatan soal soal OSCE itu sendiri. Hal ini menjadi sangat mendasar karena penyiapan unsur unsur lainnya didasari atas soal-soal yang akan diujikan dalam ujian praktik ini. Mengingat kepentingan hal itu maka setelah dilakukan pelatihan pembuatan soal OSCE (OSCE Development), perlu dilakukan proses review untuk menghasilkan soal OSCE yang kredible. Oleh karena itu, untuk memenuhi target implemetasi OSCE pada tahun 2011, maka proyek HPEQ akan memfasilitasi workshop nasional item review OSCE untuk menghasilkan lebih banyak soal OSCE yang berkualitas dan menambah jumlah item reviewer OSCE nasional 2. Tujuan a) Mereview soal-soal OSCE yang telah dihasilkan dalam workshop penulisan soal OSCE nasional. 3. Luaran a) Terkumpulnya 20 soal OSCE berkualitas baik dan mengisi bank soal baik di tingkat nasional 4. Metode Pelaksanaan Workshop Kegiatan Iterm Review OSCE Kedokteran ini akan dilaksanakan pada: Hari : Senin Selasa, Tanggal : 22-23 Agustus 2011 Senin, 22 Agustus 2011 14.00-14.15 Pembukaan & Pengarahan Workshop Gandes Retno Rahayu 14.15 17.30 Review soal Peserta dan fasilitator 17.30 19.00 ISHOMA 19.00 22.00 Review soal Peserta dan fasilitator Selasa, 23 Agustus 2011 Waktu Acara 08.00-10.00 Review soal Peserta dan fasilitator 11.00 11.30 Pleno Gandes Retno Rahayu 11.30 12.00 Wrap Up dan Rencana Tindak Lanjut Gandes Retno Rahayu WORKSHOP KOMPONEN 2 AGUSTUS 2011 Page 2
Pada pelaksanaannya, tidak semua peserta hadir tepat pada waktunya. Salah seorang fasilitator dan 3 orang peserta lainnya datang terlambat 30 menit setelah acara dimulai. 5. Hasil Kegiatan Workshop ini diawali pengarahan dari perwakilan komponen 2 mengenai hal-hal yang akan dikerjakan selama review soal OSCE Nasional beserta penentuan target yang akan dicapai. Masingmasing peserta kembali diberikan pengarahan penyelenggaraan OSCE. Secara umum, sebagian besar peserta sudah memahami proses tersebut. Dalam acara kali ini, beberapa penguji OSCE Lokal UGM juga diikutsertakan. Pada hari pertama fasilitator menitikberatkan pengarahan terhadap proses sinkronisasi template soal OSCE. Di sini peserta diminta mencocokkan antara tujuan station, kompetensi yang harus dicapai, dan instrumen yang digunakan. Peserta kemudian dibagi menjadi kelompok kecil yang terdiri dari 2 orang guna melakukan review mendetail terhadap item OSCE ini. Tim MONEV akhirnya ikut melebur kedalam proses review, karena keterbatasan peserta. Asisten MONEV kali ini membantu proses review item ketrampilan pemeriksaan mata, karena yang bersangkutan mempunyai minat lebih pada bidang tersebut. Pada awalnya proses review berjalan dengan lancar. Permasalahan muncul ketika beberapa dari reviewer ternyata bukan merupakan ahli dalam bidang/soal OSCE yang diujikan. Akan tetapi fasilitator menjembatani hal ini dengan mengarahkan reviewer untuk berperan sebagai dokter umum, dan bukan sebagai seorang ahli spesialis tertentu. Hal ini dilakukan untuk menghindari soal yang terlalu sub-spesialistik. Soal yang terlalu detail mendalam pada spesialis tertentu tidak akan cocok digunakan dalam OSCE UKDI, mengingat para peserta nantinya adalah calon dokter umum dan bukan dokter spesialis. Hari pertama diakhiri dengan menyelesaikan sebuah soal OSCE. Pada hari kedua proses yang sama dilakukan oleh para item reviewer OSCE. Para reviewer kembali mencocokan kelengkapan template untuk soal kedua. Menjelang akhir hari kedua, dilakukan pemaparan atas hasil reviewer kepada seluruh peserta workshop. Pada acara ini baik fasilitator maupun peserta memberikan banyak masukan untuk kelengkapan template tersebut. Hal yang paling menarik dalam acara ini adalah proses sinkronisasi rubrik penilaian OSCE. Proses ini memakan waktu cukup lama, sehingga tidak semua peserta dapat memaparkan hasil reviewnya didepan. Hal ini disebabkan belum adanya pemahaman yang cukup dari peserta mengenai rubrik generik untuk semua station. Pada akhir acara, didapatkan 20 soal OSCE yang telah direview secara parsial. Kata parsial disini mengindikasikan bahwa, soal sudah selesai direview, namun rubrik masih akan diperbaiki. Para peserta akan mengirimkan hasil review rubrik kepada fasilitator melalui email. WORKSHOP KOMPONEN 2 AGUSTUS 2011 Page 3
6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi permasalahan yang ada di setiap wilayah dan dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Para peserta tampak sangat antusias dalam mereview soal OSCE. Proses review berjalan lancar tanpa ada hambatan yang berarti. Proses review menemui sedikit kendala mengenai pemahaman rubrik oleh peserta. Peran fasilitator sangat dibutuhkan dan sudah dapat membantu sehingga proses review dapat berjalan dengan baik. Tim MONEV sedikit menemui kendala dalam proses monitoring. Hal ini dikarenakan asisten MONEV ikut terlibat dalam proses review. Tim Monev : Monitoring Sheet Monitoring sheet didistribusikan oleh tim monev kepada seluruh peserta untuk mendapatkan masukan dari peserta terkait aspek-aspek pelaksanaan workshop dan OSCE. Berikut adalah paparannya: 1. Kesulitan yang dihadapi dalam mereview soal? Membuat deskripsi rubrik Harus menyesuaikan dengan SOP Kolegium yang paling baru Persiapan terbatas, dan materi yang harus direview belum diketahui sebelumnya Menyusun kalimat yang mudah dipahami dan tidak multi-interpretasi Memprediksi kecukupan waktu bagi kandidat Membuat kriteria penilaian perilaku profesional Review soal diluar bidang keahlian Waktu untuk mereview dirasa kurang Belum pernah mereview sebelumnya 2. Penilaian umum soal yang telah direview? Beberapa soal sudah baik, namun masih ada beberapa bagian yang belum koheren Soal sudah hampir lengkap, tinggal ditambah sedikit instruksi step by step untuk kandidat. Materi soal sudah baik. Soal cukup sederhana, namun skenario membingungkan kandidat karena tidak konsisten. Kasus yang dimunculkan tidak sesuai dengan diagnosis yang diharapkan. Soal sudah sesuai, hanya kurang detail di dalam rating scale WORKSHOP KOMPONEN 2 AGUSTUS 2011 Page 4
3. Apakah format dan guideline review soal sudah sesuai sehingga dapat terimplementasikan dengan baik? Apabila belum optimal, parameter review apa yang masih harus dioptimalkan atau ditambahkan? Sudah optimal dan sesuai Secara umum sudah jelas (dapat diimplementasikan) Perlu ada penyeragaman pemahaman parameter perilaku profesional, karena memiliki potensi subyektivitas yang besar. Perlu ada perbaikan parameter edukasi, komunikasi, dan profesionalisme. 4. Rekomendasi perbaikan untuk membuat soal yang lebih baik? Perlu ada perbaikan kisi-kisi soal. Perlu ada evaluasi secara berkala. Soal hendaknya dilengkapi dengan diagnosis pasti. Soal sebaiknya disusun sesuai dengan bidang keahlian kemudian direview oleh dokter spesialis dan dokter umum. Perlu ada komunikasi antara penguji, pelatih PS, dan pembuat soal. 5. Rekomendasi untuk meningkatkan jumlah soal yang dikumpulkan? Perlu dilakukan workshop di tingkat nasional, yang di follow up dengan workshop di tingkat regional dan lokal. Perlu dilakukan pembuatan soal secara berkelanjutan yang melibatkan sumber daya manusia di tingkat lokal institusi. Perlu dibuat sistem yang terstruktur di tingkat lokal dan regional untuk mekanisme pembuatan dan pengumpulan soal. Pembuatan soal bisa didasarkan pada 20 gejala klinis dasar pada Kedokteran Keluarga agar soal sesuai dengan SKDI. 6. Kesan secara umum terhadap pelaksanaan workshop. Hal-hal apa yang masih perlu diimprove untuk pelaksanaan workshop selanjutnya? Perlu melibatkan stake holder di tingkat institusi untuk memperlancar implementasi di tingkat institusi. Sudah berjalan dengan baik, sebaiknya soal dan guideline review dibagikan sebelum workshop. Sebaiknya workshop jangan dilakukan pada awal minggu. Reviwer nasional sebaiknya mendenganrkan peserta terlebih dahulu baru kemudian memberikan komentar di akhir acara. Analisa lebih lanjut terhadap feedback peserta, menunjukkan perlu adanya workshop lanjutan yang lebih terstruktur dan dipersiapkan secara matang. Fasilitas yang diberikan selama workshop dan WORKSHOP KOMPONEN 2 AGUSTUS 2011 Page 5
pelayanan panitia dinilai sangat memuaskan peserta. Faktor yang dinilai kurang memuaskan adalah dari sisi persiapan peserta workshop item review. 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Perlu ada workshop lanjutan di tingkat institusi untuk mereview soal. Perlu ada pertemuan di tingkat stake holder untuk memudahkan implementasi item review OSCE. Perlu dipikirkan mengenai bidang keilmuan peserta dengan materi yang akan direview. Perlu dihadirkan dokter umum sebagai reviewer. Untuk mempersiapkan TO OSCE yang kedua, akan dilakuakan item review tingkat nasional guna memperbaiki kekurangan soal yang ada. Akan dibuat mekanisme yang lebih terstruktur dalam pembuatan dan pengumpulan soal, seperti yang sudah ada pada CBT. 8. Penutup Upaya peningkatan kualitas dan kuantitas pembuatan dan review soal OSCE diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan dan review soal OSCE yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. WORKSHOP KOMPONEN 2 AGUSTUS 2011 Page 6