LAPORAN WORKSHOP REGIONAL PENGUJI OSCE KEDOKTERAN GELOMBANG 2

LAPORAN WORKSHOP REGIONAL PENGUJI OSCE KEDOKTERAN GELOMBANG 2 Hotel Santika Manado, 23 24 Agustus 200 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 MEI 200 Page

. Pendahuluan Komponen 2 HPEQ Project mempunyai focus kegiatan pada upaya peningkatan sistem ujian. Salah satu wujud peningkatan sistem ujian ini adalah dengan pelaksanaan metode ujian tambahan yaitu Objective Structured Clinical Examination (OSCE). OSCE memiliki keunggulan karena dapat menguji tahap demonstrasi atau show how yang lebih tinggi tingkatannya untuk uji kompetensi dibandingkan ujian tulis yang saat ini berjalan. Selain itu, OSCE mungkin dilaksanakan mengingat metode ini telah dilaksanakan di hampir semua institusi pendidikan terutama dalam bidang kedokteran. Sekalipun demikian, pelaksanaan OSCE ini masih beragam di setiap institusi. Untuk itu diperlukan standar pelaksanaan terutama menyangkut penguji OSCE sehingga peserta ujian akan mendapatkan perlakuan penilaian yang sama dari penguji Pelatihan khusus untuk penguji OSCE ini tidak saja menguntungkan bagi pelaksanaan ujian tingkat nasional, tetapi diharapkan para peserta dapat menyebarluaskan apa yang diperoleh dari kegiatan tersebut untuk pengembangan OSCE di institusinya masing-masing. Mengingat kedua fungsi yang sangat penting ini, maka perlu dilakukan pelatihan berjenjang mulai dari tingkat regional sampai dengan nasional untuk meningkatkan jumlah dan kualitas penguji OSCE di institusi dan nasional. Pada tahun 200 kegiatan ini akan dilaksanakan untuk bidang kedokteran dan kedokteran gigi. Mengingat pentingnya peran penguji dalam implementasi OSCE, proyek HPEQ berinisiasi untuk memfasilitasi rangkaian workshop penguji OSCE, baik untuk tingkat nasional maupun regional dalam rangka menjaring penguji OSCE yang eligible dan berstandar nasional untuk mendukung implementasi OSCE di 2 regional OSCE center di tahun 20. Harapannya, output yang dihasilkan dari workshop yang difasilitasi oleh proyek HPEQ ini dapat dijadikan lesson learned pelaksanaan workshop sejenis di tingkat institusi dan regional AIPKI, supaya dapat terjaring penguji OSCE berkualitas yang lebih banyak lagi. Saat ini, telah terpilih 2 penguji OSCE tingkat nasional yang didapatkan melalui serangkaian workshop regional penguji OSCE Kedokteran gelombang satu, yang telah diselenggarakan pada tanggal 7-8 Juni 200 (wilayah &2), 9-0 Juni 200 (wilayah 3&4), -2 Juni 200 (wilayah 5&6) dan dilanjutkan dengan workshop nasional penguji OSCE Kedokteran pada tanggal 8-9 Juni. Untuk menambah kuota penguji OSCE kedokteran nasional, maka perlu dilaksanakan workshop regional penguji OSCE gelombang 3 yang akan dilaksanakan secara serial mulai tanggal 8-24 Agustus 200 di wilayah AIPKI terpilih. 2. Tujuan. Terkumpulnya jumlah penguji OSCE yang memadai untuk pelaksanaan ujian nasional 2. Menentukan metode standard setting yang sesuai untuk diterapkan dalam OSCE nasional WORKSHOP KOMPONEN 2 MEI 200 Page 2

3. Menyusun rekomendasi penyempurnaan instrument penilaian penguji OSCE 4. Menyusun rekomendasi penyempurnaan terkait guidline penguji OSCE 3. Output Workshop Output yang diharapkan dari workshop ini adalah :. Terkumpulnya sejumlah penguji OSCE yang terstandarisasi untuk pelaksanaan ujian nasional 2. Rekomendasi standard setting yang sesuai untuk diterapkan dalam OSCE nasional 3. Rekomendasi penyempurnaan instrument penilaian penguji OSCE 4. Rekomendasi penyempurnaan terkait guideline penguji OSCE 4. Metode Pelaksanaan Workshop Workshop nasional penguji OSCE kedokteran gelombang 2 wilayah 5 & 6 ini dilaksanakan pada tanggal 23 24 Agustus 200 di Hotel Santika Manado. Workshop ini diikuti oleh 2 peserta dari berbagai institusi pendidikan di wilayah 5&6, yaitu: No Nama Institusi Email. 2. 3. 4. 5. 6. 7. 8. 9. 0. WORKSHOP KOMPONEN 2 MEI 200 Page 3

Workshop ini didampingi oleh 3 orang fasilitator, yaitu Yulherina (KB UKDI), Nurhayana (UNHAS) dan Singgih (UB). Pada pelaksanaannya, rundown acara workshop nasional penguji OSCE kedokteran tersebut adalah sebagai berikut : Hari ke- : WAKTU EVENT PIC / NARASUMBER 4.45 5.00 Pembukaan 5.00 6.00 Review Hasil Workshop Gelombang I dan overview pengembangan OSCE Nurhayana 6.00 7.30 Metode standard setting Singgih; Yulherina 7.30 9.30 Istirahat, sholat, makan 9.30 2.5 Pemutaran video OSCE dan latihan menentukan standard setting Yulherina 2.5 22.00 Kode etik penguji Singgih Hari ke-2: WAKTU EVENT PIC / NARASUMBER 08.30 0. 45 Latihan menjadi penguji OSCE yang baik Fasilitator 0. 45.45 Trouble shooting pelaksanaan ujian Fasilitator.45 2.5 Rencana tindak lanjut dan penutupan Susi Susannah 5. Hasil Kegiatan Pembukaan workshop mengalami keterlambatan hingga 45 menit karena sejumlah peserta terlambat datang dengan alasan jauhnya hotel dari bandara. Setelah pembukaan, fasilitator menyampaikan presentasi mengenai overview pengembangan OSCE UKDI dan materi tentang standard setting. Materi tersebut disampaikan dengan baik oleh fasilitator dan mendapatkan respon yang cukup baik dari peserta. Beberapa hal yang dapat disimpulkan dari materi oleh fasilitator adalah: - Assessment merupakan alat ukur yang memiliki beberapa syarat: valid, reliable (handal & terpercaya), accountable (bisa dipertanggungjawabkan), acceptable (bisa diterima), economic (murah) dan student learning impact (memberikan pengaruh untuk memotivasi belajar peserta). - OSCE merupakan bentuk assessment yang lebih baik untuk menilai skill, attitude dan perilaku professional. Dalam piramida Miller, OSCE dapat menilai tahap shows how. WORKSHOP KOMPONEN 2 MEI 200 Page 4

- Standard setting merupakan penentuan level minimal dari pengetahuan dan keterampilan serta mengetahui pencapaian skor dari peserta ujian. - Definisi OSCE: O bjective : setiap siswa dinilai dengan checklist yang sama S tructured : kandidat (peserta ujian) memiliki tugas yang sama dan waktu yang sama untuk menyelesaikan semua tugas. Perlu pembakuan: waktu dan tugas untuk setiap kandidiat C linical : menilai kompetensi dalam setting klinis E xamination - Peserta akan berkeliling, dalam 2 round memasuki stasiun berurutan. Perlu dibuat template yang baku untuk penguji di tiap stationnya. Template juga mencakup tentang informasi yang berhak didapat kandidat dan peran dari simulated patient. - Perlu ada pembahasan tentang teknis standar penyelenggaraan, dengan mempertimbangkan keterbatasan penguji. - Perlu juga bank station, kendalanya karena penguji bukan pembuat soal maka penguji harus memiliki persepsi yang benar seperti yang diharapkan oleh pembuat soal. Persepsi ini harus seragam untuk semua penguji. - Standard setting untuk OSCE station bisa menggunakan metode absolute atau compromise. Metode absolute: Angoff, Ebel; metode compromise: The Hofstee method, The Borderline group method, The Borderline regression method. - Angoff (modified) method dimulai dengan mendiskusikan karakteristik kandidat borderline dan menentukan pernyataan pengetahuan cukup/tidak. Karakter borderline ini sebaiknya dideskripsikan dengan jelas misalnya memiliki karakter: ragu-ragu, lamban, IPK tertentu, dsb. Kemudian setelah penentuan karakter borderline maka judges melihat kembali checklist dan mengestimasi performa borderline, ditotal dan dirata-rata. Sehingga didapatkan jumlah perkiraan nilai rata-rata dari borderline. Contoh: Items full mark Explain to pt Position pt Inspection of skin 2 Temperature change Pulsation Femoral Popliteal Post. tibial Dors. pedis Capillary refill 80% 0.8 80% 0.8 80%.6 60% 0.6 80% 0.8 50% 0.5 50% 0.5 50% 0.5 50% 0.5 6.6 WORKSHOP KOMPONEN 2 MEI 200 Page 5

Total 0 Sehingga didapatkan skor 6.6 sebagai nilai batas lulus untuk contoh di atas - Ebel method Pertama kali soal dikategorikan menjadi sering dan jarang, kemudian dari tiap kategori tersebut dikelompokkan lagi menjadi mudah, medium dan sulit. Kemudian para judge menentukan dari setiap poin tersebut average proportion correct. Average proportion correct dikalikan dengan jumlah soal yang termasuk dalam tiap kategori untuk menghasilkan expected score. Standard (cut score) merupakan jumlah dari expected score dari semua kategori. - Hofstee method Judges mereview exam paper dan menentukan: minimum percentage yang lulus: A Dan maximum percentage yang lulus: A2 Lowest acceptable % yang gagal : B dan highest acceptable % yang gagal: B2 Kemudian dibuat gambar dalam grafik: terbentuk area yang dibatasi oleh garis A,2, B,2. kemudian dipotongkan dengan kurva sigmoid dari frekuensi kumulatif untuk mendapatkatkan passing score. - The Borderline regression method Pada setiap station, penilaian ada dua macam: checklist 0,,2, kemudian disamping itu ada penilaian global performance. Global performance menggambarkan secara kualitatif apakah kandidat lulus/tidak/outstanding. Kemudian data dikumpulkan, menggunakan excel/spss. Didapatkan kurva regresi untuk menentukan skor borderline. 6. Evaluasi Kegiatan Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut : Gambaran Umum Secara umum wokshop telah berjalan cukup baik dan dapat memberikan added value untuk peserta Peserta cukup antusias mengikuti rangkaian sesi workshop dari awal sampai akhir. Workshop dinilai telah memenuhi target karena telah mencapai luaran yang diharapkan. Diantaranya adalah: tersedianya kandidat penguji OSCE, rekomendasi standard setting dan usulan perbaikan instrument penguji. Perlu peningkatan kesiapan dari tuan rumah untuk menyiapkan setting simulasi OSCE. Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Fasilitator merasa perlu mendapat TOR yang lebih jelas sehingga deskripsi kerjanya di workshop semakin jelas. TOR sebaiknya juga lebih detil, misalnya tentang poin materi yang harus diberikan. WORKSHOP KOMPONEN 2 MEI 200 Page 6

Fasilitator juga mengusulkan adanya rekomendasi literature untuk materi yang akan diberikan. Pemilihan tempat penyelenggaraan untuk workshop ini dinilai kurang, terutama karena hotel yang terlalu jauh dan sukar dijangkau serta jauh dengan tuan rumah (untuk hari kedua) sehingga semakin mempersulit koordinasi. Perencanaan workshop berkelanjutan dan alur pemilihan penguji OSCE disosialisasikan kepada peserta sehingga mereka mengetahui dimana posisinya saat ini. Fasilitator Fasilitator menilai keaktifan peserta sudah cukup baik, tampak dari diskusi yang berjalan dengan lancar dan peserta aktif bertanya. Selain itu peserta antusias untuk mengikuti setiap sesi dari workshop dengan baik, termasuk pada hari kedua yang melibatkan peserta langsung untuk menjalankan simulasi OSCE. Kemampuan peserta sebagai penguji OSCE menurut fasilitator sudah baik. Hal ini terutama karena sebagian peserta telah menjalankan OSCE di institusinya masing-masing. Beberapa peserta yang belum pernah menjadi penguji OSCE, karena belum mengaplikasikan di institusinya juga dinilai cukup antusias dan berusaha menjalankan tugasnya dengan baik. Yang cukup menjadi kendala dalam workshop ini terutama adalah penyelenggaraan simulasi OSCE. Simulasi tersebut diharapkan menyediakan real setting dan memberikan gambaran pelaksanaan OSCE bagi para kandidat penguji OSCE. Sayangnya, karena host belum pernah menyelenggarkan OSCE dan kurangnya koordinasi menyebabkan setting pelaksanaan menjadi tidak ideal. Fasilitator juga mempertanyakan pemilihan tempat workshop: - Alasan pemilihan Manado dan UNSRAT sebagai tuan rumah. Sebab bila memperhatikan alasan geografis, Manado dianggap terlalu jauh. Selain itu UNSRAT juga belum pernah menyelenggarakan OSCE sehingga belum berpengalaman untuk menyediakan setting simulasi OSCE. - Hotel tempat workshop pada hari pertama juga dianggap terlalu jauh, sehingga menyulitkan akses peserta serta menyulitkan untuk koordinasi persiapan workshop hari kedua. Peserta Beberapa peserta mengalami keterlambatan karena jarak hotel yang sangat jauh dari bandara. Beberapa peserta lain terlambat karena alasan penerbangan dan undangan yang mendadak. Beberapa peserta yang berasal dari UNSRAT ternyata tidak dapat dikonfirmasi mengenai kesiapan penyelenggaraan workshop hari kedua. Salah seorang peserta dari UNSRAT yang bertindak sebagai contact person penyelenggaraan ternyata terlambat datang hingga malam hari sehingga waktu persiapan dan koordinasi menjadi sangat terbatas. Konfirmasi terhadap peserta tersebut mengenai keterbatasan waktu persiapan tuan rumah, beralasan waktu pemberitahuan yang mendadak sedangkan panitia merasa telah menginformasikan jauh-jauh hari. Sebagian besar peserta mengaku tidak mempersiapkan diri secara khusus untuk mengikuti workshop ini, namun demikian mereka sudah mengerti maksud dan tujuan diadakannya workshop ini. WORKSHOP KOMPONEN 2 MEI 200 Page 7

Hampir semua peserta mengakui bahwa workshop ini memuaskan dan dapat meningkatkan kemampuannya sebagai penguji OSCE. Beberapa peserta juga menyatakan dapat mengaplikasikan ilmu/keterampilan yang didapat dari workshop ini di institusi masing-masing. Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk mengetahui persepsi peserta terkait dengan pelaksanaan workshop. Dari 2 kuesioner feedback penyelenggaraan yang dibagikan ke peserta semuanya kembali ke tim Monev, sedangkan untuk form evaluasi monev hanya 7 yang kembali ke tim Monev. Hasil pengisian kedua form tersebut ditampilkan dalam tabel dan 2 sebagai berikut: WORKSHOP KOMPONEN 2 MEI 200 Page 8

REKAP FEEDBACK WS penguji OSCE WILAYAH 5 & 6 Manado, 23-24 Agustus 200 kurang cukup baik 4 4 4 5 2 0 8 2 9 7 4 9 8 3 2 3 5 0 6 3 REKAP FEEDBACK WS OSCE EXAMINER WILAYAH 5 & 6 Manado, 23-24 Agustus 200 tidak sesuai kurang sesuai sesuai paling sesuai 2 7 5 4 44 3 3 9 9 88 8 7 6 6 6 6 3 2 2 00 0 00 0 0 0 6 5 3 2 77 WORKSHOP KOMPONEN 2 MEI 200 Page 9

Dari tabel tersebut diketahui bahwa sebagian besar peserta menilai materi yang diberikan di workshop ini baik dan fasilitator telah menyampaikannya dengan baik pula. Dari tabel tersebut juga diketahui bahwa sebagian besar peserta merasa tempat workshop dinilai kurang untuk penyelenggaraan workshop. Untuk hotel terutama berkaitan dengan aksesibiltasnya, sedangkan untuk tuan rumah terutama karena kesiapannya dalam menyediakan setting OSCE. Kota Manado juga dianggap terlalu jauh untuk penyelenggaraan workshop. Bila dibandingkan dengan sebagian besar peserta yang terlalu jauh untuk mengakses kota tersebut akan lebih efisien bila dipilih kota yang lebih terjangkau. Beberapa poin yang dinilai peserta paling sesuai untuk workshop ini berdasarkan kuesioner feedback monev adalah: - Setiap orang mendapatkan kesempatan yang sama dalam kelompok untuk menyampaikan ide dan pendapatnya - Pelatihan dan praktik dalam workshop ini membantu dalam memahami penggunaan standard setting dalam OSCE - Pelatihan dan praktik dalam workshop ini membantu dalam memahami tugas sebagai penguji OSCE - Narasumber telah memfasilitasi workshop dengan baik 7. Rekomendasi dan Rencana Tindak Lanjut Berdasarkan hasil evaluasi pelaksanaan workshop regional penguji OSCE kedokteran, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : OSCE harus dipersiapkan dengan matang dan diselenggarakan dengan standar yang baku di seluruh Indonesia. Standar penyelenggaraan tersebut sebaiknya dibukukan ke dalam manual yang menjadi pedoman penyelenggaraanya. Manual meliputi : standar teknis penyelenggaraan, standar (termasuk kualifikasi) penguji, manual untuk simulated patient, standar tempat penyelenggaraan (setting dan alat) dan buku petunjuk ujian OSCE untuk peserta. Standar teknis penyelenggaraan memuat petunjuk teknis penyelenggaraan serta troubleshooting permasalahan yang mungkin muncul. Misalnya, pada kasus dimana kandidat telah menyelesaikan tugas dalam station sebelum waktu habis. Beberapa penguji (dalam workshop ini) mempersilahkan peserta keluar ruangan sedangkan sebagian lainnya mengharuskan untuk tetap dalam ruangan hingga waktu habis. Dengan adanya standarisasi teknis penyelenggaraan maka solusi untuk permasalahan seperti ini akan seragam, misalnya dengan tetap mempersilahkan peserta tinggal di dalam ruangan. Buku petunjuk untuk peserta berisi hal-hal yang harus dilakukan dalam station. Misalnya: apakah peserta harus menjelaskan secara lisan prosedur yang dilakukan sambil melakukan prosedur tersebut, ataukah peserta cukup melakukan saja. Apakah peserta harus melakukan pemeriksaan fisik yang lengkap ataukah hanya perlu melakukan pemeriksaan yang relevan saja dsb. Workshop ini merekomendasikan standard setting yang digunakan adalah borderline regression method. Dalam metode tersebut para peserta sepakat bahwa penggunaan global rating perlu divalidasi. Peserta mengusulkan adanya definisi operasional untuk setiap kategori dalam global rating tersebut sehingga diharapkan dasar penentuan global rating dari peserta memiliki alasan dan terdefinisi dengan jelas. Para peserta merencanakan tindak lanjut berupa penyusunan definisi operasional untuk setiap kategori dari global rating. Instrument penilaian merupakan bahasa baku yang menjadi criteria benar atau salah atas performance peserta. Untuk memastikan bahasa baku ini pun juga dimengerti oleh peserta WORKSHOP KOMPONEN 2 MEI 200 Page 0

(mengingat peserta dari berbagai instusi yang mungkin tidak sama dengan penguji) maka sebaiknya instrument penilaian juga diketahui oleh peserta. Perlu ada workshop lanjutan. Prosedur pemilihan penguji OSCE sebaiknya diinformasikan kepada peserta workshop sehingga mereka mengetahui alur yang akan dijalani hingga terpilih sebagai penguji OSCE, serta mengetahui criteria pemilihannya. 8. Penutup OSCE merupakan jenis ujian yang sangat tinggi kualitasnya dan penting untuk dilaksanakan dalam ujian nasional yang juga merupakan uji kompetensi. Untuk itu, berbagai hal untuk penjaminan mutu pelaksanaan OSCE harus diterapkan. Salah satu yang dapat disiapkan dengan baik adalah faktor penguji yang memegang posisi strategeis untuk penentuan kelulusan peserta ujian. Untuk meningkatkan objektivitas, validitas dan reliabilitas penguji maka diperlukan pelatihan penguji OSCE yang dilaksanakan secara berjenjang, mulai dari wilayah yang diikuti oleh wakil setiap institusi dan nasional yang merupakan kelanjutan dari peserta wilayah yang dianggap terbaik. Mengingat pentingnya pelatihan ini, maka perlu mendapat dukungan dari semua pihak terkait kepesertaan dan tindak lanjut pengembangan OSCE di setiap jenjang, termasuk pada pelaksanaan OSCE tingkat nasional. 9. Lampiran Materi workshop WORKSHOP KOMPONEN 2 MEI 200 Page