LAPORAN WORKSHOP REGIONAL PENGUJI OSCE KEDOKTERAN GELOMBANG 2 WILAYAH 1 6 Komponen 2

LAPORAN WORKSHOP REGIONAL PENGUJI OSCE KEDOKTERAN GELOMBANG 2 WILAYAH 1 6 Komponen 2 Wil. 1 & 2 : Jakarta, 18 19 Agustus 2010 Wil. 3 & 4 : Solo, 20 21 Agustus 2010 Wil. 5 & 6 : Manado, 23 24 Agustus 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 1

1. Pendahuluan Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Salah satu wujud peningkatan sistem ujian ini adalah dengan pelaksanaan metode ujian tambahan yaitu Objective Structured Clinical Examination (OSCE). OSCE memiliki keunggulan karena dapat menguji tahap demonstrasi atau show how yang lebih tinggi tingkatannya untuk uji kompetensi dibandingkan ujian tulis yang saat ini berjalan. Selain itu, OSCE mungkin dilaksanakan mengingat metode ini telah dilaksanakan di hampir semua institusi pendidikan terutama dalam bidang kedokteran. Sekalipun demikian, pelaksanaan OSCE ini masih beragam di setiap institusi. Untuk itu diperlukan standar pelaksanaan terutama menyangkut penguji OSCE sehingga peserta ujian akan mendapatkan perlakuan penilaian yang sama dari penguji. Pelatihan khusus untuk penguji OSCE ini tidak saja menguntungkan bagi pelaksanaan ujian tingkat nasional, tetapi diharapkan para peserta dapat menyebarluaskan apa yang diperoleh dari kegiatan tersebut untuk pengembangan OSCE di institusinya masing-masing. Mengingat kedua fungsi yang sangat penting ini, maka perlu dilakukan pelatihan berjenjang dimulai dari tingkat regional sampai dengan nasional untuk meningkatkan jumlah dan kualitas penguji OSCE di institusi dan nasional. Pada tahun 2010 kegiatan ini akan dilaksanakan untuk bidang kedokteran dan kedokteran gigi. Mengingat pentingnya peran penguji dalam implementasi OSCE, proyek HPEQ berinisiasi untuk memfasilitasi rangkaian workshop penguji OSCE, baik untuk tingkat nasional maupun regional dalam rangka menjaring penguji OSCE yang eligible dan berstandar nasional untuk mendukung implementasi OSCE di 12 regional OSCE center di tahun 2011. Harapannya, output yang dihasilkan dari workshop yang difasilitasi oleh proyek HPEQ ini dapat dijadikan lesson learned pelaksanaan workshop sejenis di tingkat institusi dan regional AIPKI, supaya dapat terjaring penguji OSCE berkualitas yang lebih banyak lagi. Saat ini, telah terpilih 12 penguji OSCE tingkat nasional yang didapatkan melalui serangkaian workshop regional penguji OSCE Kedokteran gelombang satu, yang telah diselenggarakan pada tanggal 7-8 Juni 2010 (wilayah 1&2), 9-10 Juni 2010 (wilayah 3&4), 11-12 Juni 2010 (wilayah 5&6) dan dilanjutkan dengan workshop nasional penguji OSCE Kedokteran pada tanggal 18-19 Juni. Untuk menambah kuota penguji OSCE kedokteran nasional, maka perlu dilaksanakan workshop regional penguji OSCE gelombang 2 yang akan dilaksanakan secara serial mulai tanggal 18 24 Agustus 2010 di wilayah AIPKI terpilih. 2. Tujuan Tujuan dilaksanakannya workshop nasional item development nasional kedokteran ini adalah : 1. Terkumpulnya jumlah penguji OSCE yang memadai untuk pelaksanaan ujian nasional 2. Menentukan metode standard setting yang sesuai untuk diterapkan dalam OSCE nasional 3. Menyusun rekomendasi penyempurnaan instrumen penilaian penguji OSCE 4. Menyusun rekomendasi penyempurnaan terkait guideline penguji OSCE 3. Output Workshop Output yang diharapkan dari workshop ini adalah : 1. Terkumpulnya sejumlah penguji OSCE yang terstandarisasi untuk pelaksanaan ujian nasional WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 2

2. Rekomendasi metode standard setting yang sesuai untuk diterapkan dalam OSCE nasional 3. Rekomendasi penyempurnaan instrumen penilaian penguji OSCE 4. Rekomendasi penyempurnaan terkait guideline penguji OSCE 4. Lingkup Bahasan 1. Pelaksanaan dan evaluasi OSCE 2. Standard seting yang akan diterapkan dalam OSCE 3. Instrumen penilaian pegangan observer 5. Metode Pelaksanaan Workshop Seperti pelaksanaan workshop penguji OSCE kedokteran periode sebelumnya, workshop gelombang 2 ini juga dilaksanakan dalam 3 batch pelaksanaan, yaitu sebagai berikut : - Batch 1 : Wilayah 1 & 2 tanggal 19 20 Agustus 2010 di Hotel Acacia Jakarta dan FK Yarsi - Batch 2 : Wilayah 3 & 4 tanggal 21 22 Agustus 2010 di Hotel Best Western Solo dan FK UNS - Batch 3 : Wilayah 5 & 6 tanggal 23 24 Agustus 2010 di Hotel Santika Menado dan FK Unsrat Antusiasme peserta di tiap wilayah sangat baik, hal ini dapat dilihat dari participation rate tiap wilayah yang sangat baik, yaitu : - Batch 1 : Workshop kali ini melibatkan calon penguji osce yang baru dari wilayah 1 dan 2. Dari 26 institusi wilayah 1 dan 2, hanya 4 institusi yang tidah mengirimkan perwakilannya (3 institusi dari wilayah 1 dan 1 institusi dari wilayah 2), yaitu Universitas Abulyatama (Banda Aceh), Universitas Malikusaleh (Aceh), Universitas Abdurrab (Pekanbaru), dan Universitas Indonesia (Jakarta). Partcipation rate pada workshop batch 1 ini mencapai 85 %. - Batch 2 : Workshop batch 2 diikuti oleh 30 peserta dengan rincian 26 peserta dan 4 orang observer. 25 institusi dari wilayah 3 dan 4 seluruhnya hadir, bahkan melebihi target. Ada 2 institusi yang mengirimkan lebih dari 1 peserta. Oleh karena itu participation rate workshop kali ini mencapai 123 %. - Batch 3 : Workshop batch 3 diikuti oleh 25 peserta dengan rincian 21 peserta dan 4 orang observer. 21 institusi dari wilayah 5 dan 6 seluruhnya hadir, oleh karena itu participation rate workshop kali ini mencapai 100 %. Pada setiap batch workshop, pelaksanaan acara dilaksanakan di 2 tempat, yaitu hari pertama yang berisi materi kuliah dilaksanakan di hotel dan simulasi pelaksanaan OSCE pada hari kedua dilaksanakan di Fakultas kedokteran yang bertindak sebagai host, yaitu FK Yarsi, FK UNS dan FK Unsrat. Secara umum, rundown acara workshop di tiap batch adalah sebagai berikut : Hari ke 1 di Hotel 14.30 14.45 Pembukaan dan Pengarahan Fasilitator 14.45 15.00 Review Hasil Workshop Gel I Fasilitator 15.00 16.00 Overview pengembangan OSCE dan pemutaran video OSCE Supervisor (Exam Manager UKDI) 16.00 17.00 Metode standard setting Fasilitator 17.00 17.30 Kode Etik Penguji Fasilitator 17.30 19.15 ISHOMA 19.15 21.00 Latihan Menentukan Standar Setting Fasilitator + Supervisor WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 3

(Exam Manager UKDI) 21.00 22.00 Menjadi Penguji OSCE yang baik Fasilitator Hari ke 2 (Fakultas Kedokteran) 08.00 08.30 Pembukaan dan Pengarahan Fasilitator 08.30 10.00 Latihan menjadi penguji OSCE Fasilitator dan Tim FK 10.00 10.45 Trouble shooting pelaksanaan ujian Fasilitator & Narasumber 10.45 11.45 Rencana tindak lanjut dan penutupan Fasilitator & Narasumber 6. Hasil Kegiatan A. Batch 1 & 2 (Wilayah 1 & 2) Pada sesi pertama, dijelaskan mengenai OSCE yang akan digunakan sebagai uji kompetensi dokter Indonesia. Sebagian besar peserta masih belum memiliki pandangan yang sama mengenai OSCE, bahkan beberapa institusi belum pernah menagadakan OSCE. Sehingga pada sesi ini juga dijelaskan mengenai hasil pelatihan penguji OSCE yang sebelumnya. Acara dilanjutkan dengan overview penguji OSCE dengan menyaksikan video simulasi penguji OSCE. Dari tayangan tersebut banyak pertanyaan muncul mengenai penentuan batas kelulusan. Penentuan batas kelulusan di ambil dengan menentukan standard setting yang kemudian dijelaskan oleh fasilitator bersamaan dengan narasumber. Dalam penjelasan tersebut, fasilitator menjelaskan bahwa standard setting nantinya akan menggunakan borderline regresssion method. Overview standard setting merupakan hal yang baru bagi sebagian besar peserta, sehingga banyak peserta yang terlihat kurang memahami mengenai topik ini. Namun peserta segera digiring pada pemahaman standard setting menggunakan borderline regression method. No Nama Institusi Email 1 Diana Wijaya FK UKRIDA dianawijaya_85@yahoo.com 2 Surya Darma FK UNSRI Sdarma71@yahoo.com 3 Kusmardi S FK YARSI kusmardi24@yahoo.com 4 Nilas Warlem FK UNBRAH nwarlem@yahoo.com 5 Meiyanti FK TRISAKTI meiyanti_suhardi@yahoo.com 6 Dame Joyce Pohan FK UKI djpohan@gmail.com 7 Meizly Andina FK UMSU meizly_donald@yahoo.com 8 Yanti Rosita FK UMP 9 Helsy Junaidi FK UPN "Veteran" dr_ecyqu@yahoo.co.id 10 Rachmat FK UMI rahmatatma@yahoo.com 11 Emir T Pasaribu FK USU emirpasaribu@yahoo.com 12 Hasanul Arifin FK USU rakajati84@yahoo.co.id 13 Nawanto FK ATMAJAYA prastowo1987@yahoo.co.id 14 Kurnia F Jamil FK UNSYIAH kurnia_jamil@yahoo.co.id 15 Anwar Wardy W FK UMJ anwarwardy@gmail.com 16 Freedy Tambunan FK Un. Batam ft_mdn@yahoo.com 17 David Limanan FK UNTAR rancamaya83@yahoo.com 18 Riva Auda FKIK UIN riva_iwa@yahoo.com WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 4

19 Fadli PSPD Unja dr.fadli@kedokteran.info 20 Enikarmila Asri FK UNRI eni93@yahoo.com 21 Hilda Taurina PSPD UNIB hildataurina@gmail.com 22 David Luther FK HKBP Nomensen dave_loeb@yahoo.co.id 23 Syarif Indra FK UNAND syarifindra_neuro@yahoo.com Observer 24 Karningsih Poltekkes Jakarta III karningsihsudiro@yahoo.com 25 Erika Yulita IBI/ Poltekkes Jakarta III ericka_ersya@yahoo.co.id 26 Tuti Nuraini PPNI/ FIK UI tutinfik@ui.ac.id; tutinfik@gmail.com 27 Kusman Ibrahim FIK UNPAD kusman_ibrahim@yahoo.com Fasilitator 28 Bernadetta Nadaek FK UKI bena_beni@yahoo.com 29 Ernawati FK UNTAR dr.ernawati@gmail.com 30 Yulherina KB UKDI Acara selanjutnya adalah latihan menentukan standard setting, yang diawali dengan pemutaran video simulasi penguji OSCE sebagai sarana untuk mengarahkan peserta dalam suasana OSCE. Dalam latihan mentukan standard seting ini, banyak peserta yang kemudian paham mengenai borderline regression method. Selain itu, masalah kelayakan instrumen menjadi isu utama yang dibicarakan. Walaupun agak keluar dari tujuan workshop, namun isu ini sangat penting dibahas lebih mendalam guna membangun instrumen yang layak digunakan untuk menguji. Pemahaman secara umum peserta pada instrumen dirasa sangat kurang. Hal ini mungkin terjadi karena instrumen yang digunakan kurang layak dan belum adanya sosialisasi penggunaan instrumen kepada para calon penguji. Kelemahan instrumen yang digunakan pada workshop ini adalah pada masalah prosedur dan bahasa. Selain itu, peserta juga masih perlu pemahaman lebih lanjut mengenai metode global rating score yang nantinya akan digunakan dalam standard setting dengan menggunakan borderline regression method. Secara umum, berikut ini adalah output dari wokshop penguji OSCE wilayah 1 & 2 : No. KOMPONEN TARGET REALISASI 1. Jumlah peserta workshop 26 23 2. Jumlah institusi yang terlibat pada workshop 26 22 3. Jumlah peserta yang memenuhi kriteria penguji nasional 4 4 4. Jumlah fasilitator 2 2 Berdasarkan rekap tersebut, dapat dilihat bahwa jumlah calon penguji OSCE yang terkumpul kurang dari target, yaitu 23 orang. Dari 23 orang tersebut dipilih dua peserta terbaik dari wilayah 1 dan dua peserta terbaik dari wilayah 2 untuk menjadi penguji OSCE nasional. Jumlah peserta workshop kurang dari target, karena ada 4 institusi yang tidak mengirimkan wakilnya pada workshop kali ini. Selanjutnya, dari hasil diskusi peserta, beberapa catatan penting terkait penguji OSCE adalah sebagai berikut : WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 5

Perlu ada penjelasan mengenai checklist yang digunakan dalam OSCE kepada penguji OSCE, agar tidak ada perbedaan persepsi antar penguji Perlu ada perbaikan beberapa item dalam checklist yang sebaiknya juga menerima masukan dari penguji OSCE, bukan hanya dari item writer saja. Pembuatan checklist sebaiknya disesuaikan dengan buku acuan, kemudian dikonsultasikan pada ahli bahasa Perlu ada kesepakatan, apakah dalam ujian OSCE, kandidat perlu menyanyikan checklist untuk memudahkan penguji OSCE dalam menilai kandidat? Penguji tidak boleh merubah checklist pada saat ujian berlangsung, sehingga, sebaiknya diberikan kolom kosong di dalam checklist yang biasa digunakan oleh penguji untuk memberikan sarannya secara tertulis untuk perbaikan checklist tersebut. Perlu persetujuan apakah peserta boleh mendapatkan checklist OSCE. Hal yang paling mendasar dari penyelenggaraan OSCE adalah standarisasi dalam segala aspek penyelenggaraan, sehingga OSCE dapat menjadi suatu alat ukur yang reliable dalam menilai kompetensi seorang dokter. Dalam rangka standarisasi tersebut, akan dibutuhkan pertemuan antara semua komponen penyelenggara OSCE, termasuk tim coordinator OSCE center. B. Batch 2 : Wilayah 3 & 4 Workshop diawali dengan presentasi dari wakil KBUKDI (Yoyo Suhoyo) dan selanjutnya dibuka oleh Wakil Dekan I FK UNS. Selanjutnya Sesi I dimulai dengan materi overview mengenai OSCE. Hampir semua peserta sudah pernah melaksanakan OSCE di institusi masing-masing dan sudah mengerti dan paham tentang definisi, tujuan, kelebihan, dan kekurangan dari OSCE. Selanjutnya dilakukan sesi diskusi, beberapa isu yang muncul adalah sebagai berikut : Adakah standar cheklist yang berlaku nasional untuk institusi? Belum ada. Namun pada dasarnya dengan adanya rangkaian WS ini akan dihasilkan soal OSCE (termasuk ceklist) yang nantinya akan disebarkan ke institusi untuk mendapatkan feedback dan diharapkan institusi sudah mengajarkannya kepada mahasiswa dan mahasiswa berhak tahu mengenai soal OSCE tersebut, sehingga diharapkan menjadi terstandar (dalam hal materi yang sesuai dengan SKDI) Setiap institusi memiliki gaya -nya masing-masing, apakah malah justru tidak terstandar? bagaimana bila dilakukan pembatasan buku rujukan untuk meminimalkan variasi? Pengalaman di Bidan (Jawa Tengah) sudah menerapkan OSCA (mirip OSCE) untuk mengurangi variasi dilakukan pembatasan pada buku yang menjadi rujukan dalam pengembangan cheklist dan unsur subjektivitas pun tetap muncul. Usulan dapat dipertimbangkan dan mengenai subjektivitas akan diminimalkan dengan standarisasi dari sisi soal, penguji, dan simulated patient nya (inilah tujuan utama rangkaian workshop ini). Pengalaman keperawatan di Banjarmasin, dibentuk suatu SekBar (Sekretaris Bersama) untuk menyamakan persepsi. Namun kendala yang dialami adalah memasukkan unsur behavior (sikap) dalam penilaian yang merupakan poin penting dalam pendidikan Keperawatan. Bila dalam suatu ceklist terdapat critical item (critical point) dan seorang kandidat terlewat namun skornya lulus apakah seorang kandidat akan dinyatakan lulus atau tidak? Sebenarnya ini tergantung kesepakatan para pembuat soal dan nantinya juga dari penguji. Dapat dipikirkan adanya weighting (pembobotan) dalam penyusunan cheklist karena menurut pengalaman salah satu peserta bila tidak ada pembobotan akan merugikan kandidat, misalnya item salam mungkin hanya memiliki rentang nilai 0, 1, 2; sedangkan untuk item Px WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 6

Fisik tertentu memiliki rentang 0, 1, 2, 3 sehingga akan lebih objektif dalam mengukur kemampuan kandidat. Ada salah satu peserta yang pesimistis terhadap rangkaian WS yang dilaksanakan karena menurutnya sebaiknya ditentukan dulu semisal 100 ceklist terstandar baru kemudian disebar ke institusi yang selanjutnya dilatihkan ke institusi mengenai setting tempat, infrastruktur dan lainnya. Karena bila hanya seperti ini nanti hanya mentah lagi karena institusi belum siap dan banyak variasi tadi. Pada sesi selanjutnya adalah tentang pemaparan kesepakatan nasional penguji OSCE sebelumnya. Secara umum kesepakatan nasional yang dihasilkan diterima oleh peserta pelatihan penguji OSCE gelombang 2 ini. Hanya saja peserta cukup terkejut dengan gambaran OSCE nasional yang dinilai cukup rumit dan membutuhkan sumber daya yang sangat besar yaitu: Manusia : penguji dan pasien yang terstandar Dana Sarana dan prasarana : peralatan, kebutuhan ruang, dll Namun demikian, untuk memperoleh kualitas dokter yang sesuai dengan standar kompetensi dokter Indonesia hal ini dinilai cukup sepadan. Sesi berrikutnya adalah mengenai standard setting. Sebagian besar peserta menggunakan metode penilaian absolute. Peserta tampak kebingungan mengenai beberapa metode penilaian yang disampaikan, namun demikian hal ini menjadi pengetahuan yang sangat berharga dalam penerapan OSCE di institusi. Peserta ditekankan dan diajarkan prinsip standard setting dengan menggunakan metode Borderline Regression Method (global rating score) dan peserta sudah cukup paham. Sesi berikutnya adalah penjelasan kode etik penguji dan tata tertib penguji. Secara umum peserta sepakat terhadap kode etik, persyaratan, dan tata tertib seorang penguji. Namun demikian terdapat saran perlu ditambahkan kriteria jujur dan memiliki komitmen yang tinggi dari seorang penguji. Dalam sesi ini terjadi sedikit perdebatan mengenai tata tertib penguji terkait tidak bolehnya seorang penguji menggunakan alat komunikasi. Karena hal ini berhubungan dengan komitmen seorang penguji maka seorang penguji memang harus tidak boleh menggunakan alat komunikasi karena akan mempengaruhi objektivitas penilaian. Saran lain yang tidak langsung terkait dengan materi sesi ini adalah perlu dipikirkan untuk menambahkan seorang asisten yang membantu mempersiapkan alat untuk kandidat selanjutnya, karena bila penguji yang menyiapkan dapat terjadi bias (kurang objektif) karena konsentrasi terpecah untuk menyiapkan alat dan meniiai meskipun sudah disediakan 2 set alat. Saran yang lain adalah seorang penguji tidak boleh membocorkan soal, namun rencananya soal akan dibagikan ke mahasiswa sehingga soal bagian mana yang akan dibagikan ke kandidat masih belum ditentukan, sehingga pernyataan tidak boleh membocorkan soal bagi penguji masih rancu. Pada sesi terakhir mengenai simulasi penilaian OSCE dengan video peserta antusias dalam mengikuti sesi ini. Peserta diputarkan 3 macam video seorang kandidat melakukan OSCE dengan kasus: Apendisitis akut Pemasangan infus Konseling DM WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 7

Kemudian peserta diminta untuk memberikan penilaian berdasarkan skor (cheklist) dan Global rating skor (failed, borderline, pass) dan secara umum hasil penilaian mereka cukup seragam. Pada akhir sesi muncul pertanyaan dari peserta Bagaimana dengan institusi yang kekurangan penguji? dan apabila dapat mendatangkan dari institusi lain maka pembiayaannya bagaimana? Sebenarnya bisa saja institusi mengusulkan stafnya untuk menjadi penguji ke panitia pusat yang selanjutnya akan distandarisasi. Pada hari kedua peserta melakukan simulasi menjadi seorang penguji OSCE di FK UNS. Peserta dibagi menjadi 4 kelompok berdasarkan station yaitu: Station I : Appendisitis (Anamnesis dan pemeriksaan fisik) Station 2 : Hipertensi Station 3 : Konseling DM Station 4 : Pemasangan infus Para peserta ditugaskan untuk menguji kandidat (4 orang mahasiswa klinik) berdasarkan template soal OSCE yang kemudian dilihat keseragamannya. Secara umum, berikut ini adalah output dari wokshop penguji OSCE wilayah 3 & 4: No. KOMPONEN TARGET REALISASI 1. Jumlah peserta workshop 25 26 2. Jumlah institusi yang terlibat pada workshop 25 25 3. Jumlah peserta yang memenuhi kriteria penguji nasional 4 4 4. Jumlah fasilitator 3 3 C. Batch 3 : Wilayah 5 & 6 Pembukaan workshop mengalami keterlambatan hingga 45 menit karena sejumlah peserta terlambat datang dengan alasan jauhnya hotel dari bandara. Setelah pembukaan, fasilitator menyampaikan presentasi mengenai overview pengembangan OSCE UKDI dan materi tentang standard setting. Materi tersebut disampaikan dengan baik oleh fasilitator dan mendapatkan respon yang cukup baik dari peserta. Beberapa hal yang dapat disimpulkan dari materi oleh fasilitator adalah: - Assessment merupakan alat ukur yang memiliki beberapa syarat: valid, reliable (handal & terpercaya), accountable (bisa dipertanggungjawabkan), acceptable (bisa diterima), economic (murah) dan student learning impact (memberikan pengaruh untuk memotivasi belajar peserta). - OSCE merupakan bentuk assessment yang lebih baik untuk menilai skill, attitude dan perilaku professional. Dalam piramida Miller, OSCE dapat menilai tahap shows how. - Standard setting merupakan penentuan level minimal dari pengetahuan dan keterampilan serta mengetahui pencapaian skor dari peserta ujian. - Peserta akan berkeliling, dalam 12 round memasuki stasiun berurutan. Perlu dibuat template yang baku untuk penguji di tiap stationnya. Template juga mencakup tentang informasi yang berhak didapat kandidat dan peran dari simulated patient. - Perlu ada pembahasan tentang teknis standar penyelenggaraan, dengan mempertimbangkan keterbatasan penguji. WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 8

- Perlu juga bank station, kendalanya karena penguji bukan pembuat soal maka penguji harus memiliki persepsi yang benar seperti yang diharapkan oleh pembuat soal. Persepsi ini harus seragam untuk semua penguji. - Standard setting untuk OSCE station bisa menggunakan metode absolute atau compromise. Metode absolute: Angoff, Ebel; metode compromise: The Hofstee method, The Borderline group method, The Borderline regression method. - Angoff (modified) method dimulai dengan mendiskusikan karakteristik kandidat borderline dan menentukan pernyataan pengetahuan cukup/tidak. Karakter borderline ini sebaiknya dideskripsikan dengan jelas misalnya memiliki karakter: ragu-ragu, lamban, IPK tertentu, dsb. Kemudian setelah penentuan karakter borderline maka judges melihat kembali checklist dan mengestimasi performa borderline, ditotal dan dirata-rata. Sehingga didapatkan jumlah perkiraan nilai rata-rata dari borderline. Contoh: Items full mark Explain to pt 1 Position pt 1 Inspection of skin 2 Temperature change 1 Pulsation Femoral 1 Popliteal 1 Post. tibial 1 80% 0.8 80% 0.8 80% 1.6 60% 0.6 80% 0.8 50% 0.5 50% 0.5 Dors. pedis 1 50% 0.5 Capillary refill 1 Total 10 50% 0.5 6.6 Sehingga didapatkan skor 6.6 sebagai nilai batas lulus untuk contoh di atas : - Ebel method Pertama kali soal dikategorikan menjadi sering dan jarang, kemudian dari tiap kategori tersebut dikelompokkan lagi menjadi mudah, medium dan sulit. Kemudian para judge menentukan dari setiap poin tersebut average proportion correct. Average proportion correct dikalikan dengan jumlah soal yang termasuk dalam tiap kategori untuk menghasilkan expected score. Standard (cut score) merupakan jumlah dari expected score dari semua kategori. - Hofstee method Judges mereview exam paper dan menentukan: minimum percentage yang lulus: A1 WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 9

maximum percentage yang lulus: A2 lowest acceptable % yang gagal : B1 highest acceptable % yang gagal: B2 Kemudian dibuat gambar dalam grafik: terbentuk area yang dibatasi oleh garis A1,2, B1,2. kemudian dipotongkan dengan kurva sigmoid dari frekuensi kumulatif untuk mendapatkatkan passing score. - The Borderline regression method Pada setiap station, penilaian ada dua macam: checklist 0,1,2, kemudian disamping itu ada penilaian global performance. Global performance menggambarkan secara kualitatif apakah kandidat lulus/tidak/outstanding. Setelah itu, data dikumpulkan dan diolah dengan menggunakan excel/spss sehingga didapatkan kurva regresi untuk menentukan skor borderline. Secara umum, berikut ini adalah output dari wokshop penguji OSCE wilayah 5 & 6: No. KOMPONEN TARGET REALISASI 1. Jumlah peserta workshop 21 21 2. Jumlah institusi yang terlibat pada workshop 21 21 3. Jumlah peserta yang memenuhi kriteria penguji nasional 4 4 4. Jumlah fasilitator 3 3 7. Evaluasi Kegiatan Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut terhadap pelaksanaan workshop penguji OSCE bath 1 hingga 3 : A. Batch 1 (Wilayah 1 & 2) Gambaran Umum Peserta cukup antusias mengikuti rangkaian sesi workshop dari awal sampai akhir. Jumlah fasilitator yang sedikit mengakibatkan workshop berjalan kurang efektif, terutama dalam sesi review soal Beberapa hal yang perlu diimprove dari pelaksanaan workshop di wilayah 1 & 2 ini adalah : Perlu adanya standarisasi dan sosialisasi mengenai global rating scale sebagai metode penilaian OSCE Perlu ada perbaikan dalam hal instrumen yang digunakan untuk menguji OSCE Sebaiknya ada penjelasan yang lebih detail mengenai cara menggunakan instrumen yang telah tersedia, sehingga peserta (calon penguji OSCE) tidak kesulitan dalam menggunakan instrumen tersebut Perlu adanya pelatihan berkelanjutan terkait penguji OSCE WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 10

Perlu adanya sertifikat keikutsertaan dalam workshop, supaya peserta memiliki bukti yang sah bahwa perna mengikuti workshop penguji OSCE dan layak dijadikan penguji OSCE nantinya Fasilitator Penilaian narasumber/fasilitator terhadap kemampuan peserta dalam workshop ini sudah baik dikarenakan semua peserta cukup aktif dalam workshop kali ini. Fasilitator yang mendampingi diharapkan dapat diperbanyak agar workshop dapat berjalan lebih efektif, terutama dalam proses penentuan standard setting. Selain itu, yang tidak kalah penting adalah fasilitator harus menguasai bahan yang akan diajarkan kepada peserta workshop. Semua peserta dinilai sudah mampu menjadi fasilitator pelatihan penguji OSCE di institusi masing-masing Peserta Sebagian besar peserta mengaku tidak mempersiapkan diri secara khusus untuk mengikuti workshop ini, namun demikian mereka sudah mengerti maksud dan tujuan diadakannya workshop ini. Berdasarkan pengamatan di lapangan, terdapat peningkatan kemampuan para penguji OSCE dalam menguji terutama dalam mengidentifikasi potential trouble yang mungkin muncul serta cara mengantisipasinya dalam pelaksanaan OSCE. Hampir semua peserta mengakui bahwa workshop ini meningkatkan kemampuannya sebagai penguji OSCE untuk bekal melatih di institusinya masing-masing dan bermanfaat dalam pengembangan sistem uji kompetensi dokter. Tidak semua peserta mengakui bahwa narasumber memfasilitasi workshop dengan baik bahkan sangat baik, pelayanan dan fasilitas pada workshop ini juga dinilai cukup memadai. Beberapa peserta juga menyatakan siap untuk melatih di institusi masing-masing setelah mengikuti workshop ini. Tim Monev : Feedback Peserta PROPORSI SATISFACTION LEVEL 3% 47% 50% kurang memuaskan cukup memuaskan sangat memuaskan Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 25 kuesioner yang kembali ke tim monev, 47 % responden menyatakan pelaksanaan workshop sangat memuaskan, dan ada 3 % responden yang menyatakan kurang puas. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan peserta yang sangat cooperative. Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap materi workshop dan performa fasilitator yang membawakan materi tersebut. Materi komprehensif dan dapat disampaikan dengan interaktif oleh para fasilitator. Berdasarkan feedback tersebut, peserta menyatakan bahwa workshop ini sangat bermanfaat dalam pengembangan sistem uji kompetensi dokter. Disisi lain, kekurangpuasan peserta dikarenakan persiapan yang kurang dan WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 11

orientasi yang diberikan oleh fasilitator pada awal workshop dinilai kurang dapat memberikan pemahaman kepada peserta. Selain itu, fasilitas workshop juga dirasakan kurang memuaskan, terutama karena lokasi hotel yang sangat jauh dari bandara dan kampus lokasi simulasi. REKAP FEEDBACK WS OSCE EXAMINER WILAYAH 1 & 2 Surabaya, 18-19 Agustus 2010 tidak sesuai kurang sesuai sesuai paling sesuai 15 15 5 5 5 2 3 0 21 17 18 19 14 13 15 13 10 11 8 7 7 8 3 4 4 4 0 0 0 1 2 0 0 0 0 0 0 0 0 0 B. Batch 2 (Wilayah 3 & 4) Gambaran Umum Workshop berjalan cukup lancar, namun ada sedikit permasalahan terkait sarana workshop (sound system dan LCD) yang cukup menyita waktu pada awal pelaksanaan workshop Peserta cukup antusias mengikuti rangkaian sesi workshop dari awal sampai akhir Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah: Perlu adanya pelatihan berkelanjutan terkait dengan pelaksanaan OSCE Perlu adanya modul yang berlaku secara nasional khususnya mengenai procedural skills sehingga dapat meminimalkan variasi antar institusi Diharapkan ada video peraga mengenai berbagai macam keterampilan sehingga kandidat mengetahui apa yang diinginkan oleh penyelenggara ujian JIka tujuannya adalah meningkatkan kualitas dokter Indonesia, seharusnya tidak digunakan standar setting dengan metode compromise karena seperti ada tawar-menawar, akan lebih baik apabila ada penetapan Nilai Batas Lulus (NBL), sehingga diperoleh dokter yang memiliki kompetensi yang unggul. Pemberitahuan WS yang tidak mendadak Segera tersusun manual standard penguji OSCE nasional Adanya pertemuan antara pembuat soal, penguji dan pelatih SP WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 12

Fasilitator Penilaian narasumber terhadap kemampuan peserta dalam workshop ini sudah baik Perlu segera disusun format untuk standarisasi penguji OSCE UKDI sehingga dapat terpenuhi kebutuhan penguji nasional pada saat pelaksanaan OSCE UKDI pada tahun 2012 Sebaiknya perlu adanya kalender kegiatan selama 1 tahun sehingga arah dan tujuan menjadi lebih terfokus Diharapkan surat undangan/pemberitahuan dikirimkan minimal 2 minggu sebelum kegiatan, dan bagi narasumber diharapkan lebih awal lagi karena harus menyiapkan materi Narasumber berpendapat bahwa sebagian peserta telah mampu untuk menjadi pelatih penguji OSCE ditingkat institusi dan bahkan ditingkat regional Peserta Ada beberapa peserta yang terlambat dikarenakan undangan yang sangat mendadak Sebagian besar peserta mengaku tidak mempersiapkan diri secara khusus untuk mengikuti workshop ini, namun demikian mereka sudah mengerti maksud dan tujuan diadakannya workshop ini Hampir semua peserta mengakui bahwa workshop ini meningkatkan kemampuannya sebagai penguji OSCE untuk bekal melatih di institusinya masing-masing dan bermanfaat dalam pengembangan sistem uji kompetensi dokter Semua peserta mengakui bahwa narasumber memfasilitasi workshop dengan baik bahkan sangat baik, pelayanan dan fasilitas pada workshop ini juga dinilai cukup memadai Sebagian besar peserta menyatakan siap dan mampu untuk menjadi penguji OSCE dan pelatih OSCE di institusi dan ditingkat regional, namun demikian terdapat beberapa penguji yang belum siap dengan berbagai alasan Peserta menyatakan bahwa menyamakan persepsi tentang hal yang dinilai dalam OSCE merupakan hal yang sangat penting Diharapkan ada pertemuan antara pembuat soal, penguji dan pelatih SP sehingga dapat diperoleh persepsi yang sama mengenai OSCE secara umum dan menyangkut hal yang lebih substantif Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 25 kuesioner yang kembali ke tim monev, 54 % responden menyatakan pelaksanaan workshop sangat memuaskan, dan 21% menyatakan WS kurang dan sangat tidak memuaskan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan peserta yang sangat cooperative. WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 13

Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap kebebasan dan kesempatan yang sama dalam menyampaikan pendapat pada sesi diskusi. Selain itu, peserta juga merasakan bahwa pelatihan dan praktik dalam workshop dapat membantu peserta dalam memahami tugas sebagai penguji OSCE. Materi yang diberikan oleh fasilitator dinilai cukup sulit oleh sebagian peserta, terutama mengenai standard setting. Namun demikian, peserta tetap dapat mengikuti keseluruhan materi dengan baik. Berdasarkan feedback tersebut, peserta juga menyatakan bahwa workshop ini sangat bermanfaat dalam pengembangan sistem uji kompetensi dokter. Di sisi lain, satu hal yang dinilai kurang memuaskan bagi peserta adalah kurangnya waktu untuk mempersiapkan diri untuk mengikuti workshop. Hal ini dikarenakan terlalu mendesaknya pemberitahuan untuk mengikuti workshop ini. C. Batch 3 (Wilayah 5 & 6) Gambaran Umum Secara umum wokshop telah berjalan cukup baik dan dapat memberikan added value untuk peserta Peserta cukup antusias mengikuti rangkaian sesi workshop dari awal sampai akhir Workshop dinilai telah memenuhi target karena telah mencapai luaran yang diharapkan, diantaranya adalah: tersedianya kandidat penguji OSCE, rekomendasi standard setting dan usulan perbaikan instrumen penguji. Perlu peningkatan kesiapan dari FK yang menjadi host untuk menyiapkan setting simulasi OSCE Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Fasilitator merasa perlu mendapat TOR yang lebih jelas sehingga deskripsi kerjanya di workshop semakin jelas. TOR sebaiknya juga lebih detil, misalnya tentang materi yang harus diberikan WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 14

Fasilitator juga mengusulkan adanya rekomendasi literatur untuk materi yang akan diberikan Pemilihan tempat penyelenggaraan untuk workshop ini dinilai kurang, terutama karena hotel yang terlalu jauh dan sukar dijangkau serta jauh dengan tuan rumah (untuk hari kedua) sehingga semakin mempersulit koordinasi Perencanaan workshop secara berkelanjutan dan alur pemilihan penguji OSCE disosialisasikan kepada peserta sehingga mereka dapat positioning kesiapan implementasi OSCE. Fasilitator Fasilitator menilai keaktifan peserta sudah cukup baik, tampak dari diskusi yang berjalan dengan lancar dan peserta aktif bertanya. Selain itu, peserta antusias untuk mengikuti setiap sesi workshop dengan baik, termasuk pada hari kedua yang melibatkan peserta langsung untuk menjalankan simulasi OSCE Kemampuan peserta sebagai penguji OSCE menurut fasilitator sudah baik. Hal ini terutama karena sebagian peserta telah menjalankan OSCE di institusinya masing-masing. Beberapa peserta yang belum pernah menjadi penguji OSCE, karena belum mengaplikasikan di institusinya juga dinilai cukup antusias dan berusaha menjalankan tugasnya dengan baik. Yang cukup menjadi kendala dalam workshop ini terutama adalah penyelenggaraan simulasi OSCE. Simulasi tersebut diharapkan menyediakan real setting dan memberikan gambaran pelaksanaan OSCE bagi para kandidat penguji OSCE. Sayangnya, karena host belum pernah menyelenggarkan OSCE dan kurangnya koordinasi menyebabkan setting pelaksanaan menjadi tidak ideal. Fasilitator juga mempertanyakan pemilihan tempat workshop: - Alasan pemilihan Manado dan UNSRAT sebagai tuan rumah. Sebab bila memperhatikan alasan geografis, Manado dianggap terlalu jauh. Selain itu UNSRAT juga belum pernah menyelenggarakan OSCE sehingga belum berpengalaman untuk menyediakan setting simulasi OSCE. - Hotel tempat workshop pada hari pertama juga dianggap terlalu jauh, sehingga menyulitkan akses peserta serta menyulitkan untuk koordinasi persiapan workshop hari kedua. Peserta Beberapa peserta mengalami keterlambatan karena jarak hotel yang sangat jauh dari bandara. Beberapa peserta lain terlambat karena alasan penerbangan dan undangan yang mendadak. Beberapa peserta yang berasal dari UNSRAT ternyata tidak dapat dikonfirmasi mengenai kesiapan penyelenggaraan workshop hari kedua. Salah seorang peserta dari UNSRAT yang bertindak sebagai contact person penyelenggaraan ternyata terlambat datang hingga malam hari sehingga waktu persiapan dan koordinasi menjadi sangat terbatas. Sebagian besar peserta mengaku tidak mempersiapkan diri secara khusus untuk mengikuti workshop ini, namun demikian mereka sudah mengerti maksud dan tujuan diadakannya workshop ini. Hampir semua peserta mengakui bahwa workshop ini memuaskan dan dapat meningkatkan kemampuannya sebagai penguji OSCE. Beberapa peserta juga menyatakan dapat mengaplikasikan ilmu/keterampilan yang didapat dari workshop ini di institusi masing-masing. WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 15

Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk mengetahui persepsi peserta terkait dengan pelaksanaan workshop. Dari 21 kuesioner feedback penyelenggaraan yang dibagikan ke peserta semuanya kembali ke tim Monev, sedangkan untuk form evaluasi monev hanya 17 yang kembali ke tim Monev. Hasil pengisian kedua form tersebut ditampilkan dalam tabel 1 dan 2 sebagai berikut: Dari tabel tersebut diketahui bahwa sebagian besar peserta menilai materi yang diberikan di workshop ini baik dan fasilitator telah menyampaikannya dengan baik pula. Dari tabel tersebut juga diketahui bahwa sebagian besar peserta merasa tempat workshop dinilai kurang untuk penyelenggaraan workshop. Untuk hotel terutama berkaitan dengan aksesibiltasnya, sedangkan untuk tuan rumah terutama karena kesiapannya dalam menyediakan setting OSCE. Kota Manado juga dianggap terlalu jauh untuk penyelenggaraan workshop. Bila dibandingkan dengan sebagian besar peserta yang terlalu jauh untuk mengakses kota tersebut akan lebih efisien bila dipilih kota yang lebih terjangkau. Beberapa poin yang dinilai peserta paling sesuai untuk workshop ini berdasarkan kuesioner feedback monev adalah: - Setiap orang mendapatkan kesempatan yang sama dalam kelompok untuk menyampaikan ide dan pendapatnya - Pelatihan dan praktik dalam workshop ini membantu dalam memahami penggunaan standard setting dalam OSCE WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 16

- Pelatihan dan praktik dalam workshop ini membantu dalam memahami tugas sebagai penguji OSCE - Narasumber telah memfasilitasi workshop dengan baik Sedangkan parameter yang dinilai kurang memuaskan adalah waktu persiapan yang kurang untuk mengikuti workshop. 8. Rencana Tindak Lanjut Berdasarkan hasil evaluasi pelaksanaan workshop regional penguji OSCE kedokteran wilayah 1 hingga 6, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : OSCE harus dipersiapkan dengan matang dan diselenggarakan dengan standar yang baku di seluruh Indonesia. Standar penyelenggaraan tersebut sebaiknya dibukukan ke dalam manual yang menjadi pedoman penyelenggaraanya. Manual meliputi : standar teknis penyelenggaraan, standar (termasuk kualifikasi) penguji, manual untuk simulated patient, standar tempat penyelenggaraan (setting dan alat) dan buku petunjuk ujian OSCE untuk peserta. Standar teknis penyelenggaraan memuat petunjuk teknis penyelenggaraan serta troubleshooting permasalahan yang mungkin muncul. Misalnya, pada kasus dimana kandidat telah menyelesaikan tugas dalam station sebelum waktu habis. Beberapa penguji (dalam workshop ini) mempersilahkan peserta keluar ruangan sedangkan sebagian lainnya mengharuskan untuk tetap dalam ruangan hingga waktu habis. Dengan adanya standarisasi teknis penyelenggaraan maka solusi untuk permasalahan seperti ini akan seragam, misalnya dengan tetap mempersilahkan peserta tinggal di dalam ruangan. Buku petunjuk untuk peserta berisi hal-hal yang harus dilakukan dalam station. Misalnya: apakah peserta harus menjelaskan secara lisan prosedur yang dilakukan sambil melakukan prosedur tersebut, ataukah peserta cukup melakukan saja. Apakah peserta harus melakukan pemeriksaan fisik yang lengkap ataukah hanya perlu melakukan pemeriksaan yang relevan saja dsb. Workshop ini merekomendasikan standard setting yang digunakan adalah borderline regression method. Dalam metode tersebut para peserta sepakat bahwa penggunaan global rating perlu divalidasi. Peserta mengusulkan adanya definisi operasional untuk setiap kategori dalam global rating tersebut sehingga diharapkan dasar penentuan global rating dari peserta memiliki alasan dan terdefinisi dengan jelas. Para peserta merencanakan tindak lanjut berupa penyusunan definisi operasional untuk setiap kategori dari global rating. Instrumen penilaian merupakan bahasa baku yang menjadi kriteria benar atau salah atas performance peserta. Untuk memastikan bahasa baku ini pun juga dimengerti oleh peserta (mengingat peserta dari berbagai instusi yang mungkin tidak sama dengan penguji) maka sebaiknya instrumen penilaian juga diketahui oleh peserta. Prosedur pemilihan penguji OSCE sebaiknya diinformasikan kepada peserta workshop sehingga mereka mengetahui alur yang akan dijalani hingga terpilih sebagai penguji OSCE, serta mengetahui kriteria pemilihannya. Ada beberapa kesalahan pada instrumen/checklist sehingga perlu ada pembahasan lebih lanjut mengenai perbaikan instrumen. Perlu ada sosialisasi yang komprehensif mengenai checklist kepada para calon penguji OSCE, supaya tidak ada perbedaan persepsi terhadapa checklist yang diujikan. WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 17

Perlu ada standardisasi dari alat/manekin yang digunakan pada OSCE. Selain itu juga perlu ada standard dalam mengelola ruangan ujian OSCE, agar tata letak barang-barang dalam ruangan tersebut memudahkan penguji OSCE dalam menilai dan kandidat dalam melaksanankan ujian OSCE. Hal tersebut mungkin bias diakomodasi dengan penunjukan koordinator OSCE di setiap OSCE center Karena penguji OSCE tidak diperkenankan melakukan koreksi terhadap instrumen selama ujian berlangsung, maka perlu ada kolom khusus dalam checklist guna memberikan kesempatan pada penguji OSCE untuk menambahkan saran2 yang dapat memperbaiki checklist Peserta OSCE perlu menggunakan tanda pengenal Perlu ada pemeriksaan penunjang dan rekam medis dalam OSCE Pasien simulasi harus dipersiapkan terlebih dahulu, agar nantinya tidak merugikan kandidat pada saat OSCE berlangsung Penguji dapat melakukan intervensi pada saat ujian, namun jangan memberikan komentar pada saat ujian. Untuk itu perlu di jelaskan secara detail kepada penguji mengenai saat dimana penguji dapat melakukan intervensi. Perlu dilaksanakan workshop-workshop lanjutan terkait dengan pengembangan OSCE, seperti standard setting dan standarisasi penguji OSCE Perlu ada kejelasan mengenai masalah pendanaan dari OSCE ini. Akan dilaksanakan workshop-workshop terkait dengan pengembangan OSCE seperti standarisasi pasien sehingga diharapkan masing-masing institusi mengirimkan wakilnya lagi. Direncanakan akan diadakan pertemuan antara pembuat soal, penguji OSCE dan pelatih SP 9. Penutup Upaya peningkatan kualitas dan kuantitas penguji OSCE diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. 10. Lampiran Materi workshop Point of Discussion Database Peserta WORKSHOP KOMPONEN 2 AGUSTUS 2010 Page 18