LAPORAN WORKSHOP Evaluasi UKDGI Periode II Tahun 2012 KOMPONEN 2 - Health Professional Education Quality (HPEQ Project) Hotel Century Atlit Jakarta, 8 Mei 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Dan Kebudayaan KOMPONEN 2- MEI 2012 Page 1
1. Pendahuluan Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status uji kompetensi sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Sejak Uji kompetensi Dokter Gigi Indonesia periode III 20120 (periodejuli 2010) telah digunakan metode standard setting Modified Angoff, sebuah metode penentuan batas lulus yang dilakukan oleh ahli secara panel.hal inilah yang ikut berkontribusi dalam akuntabilitas/pertanggungjawaban penentuan batas lulus yang dilakukan. Pada Uji kompetensi Dokter Gigi periode I 2012, bentuk uji kompetensi mengalami perubahan yang nyata. Uji kompetensi tidak hanya semata menguji kemampuan knowledge/teori peserta ujian melalui ujian berbentuk MCQ s tetapi juga menguji kemampuan skills/ketrampilan peserta ujian dengan menggunakan ujian berbentuk OSCE. Metoda standard setting Borderline Regression methode digunakan sebagai metode penentu batas lulus dalam ujian OSCE UKDGI. Sedangkan untuk penentuan batas lulus dalam ujian MCQ s tetap menggunakan Standard Setting Modified Angoff. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Standard Setting Kedokteran Gigi secara kontinu setelah pelaksanaan uji kompetensi tiap periode. Selain kegiatan Standard Setting dirasa perlu melakukan evaluasi UKDGI sebagai bahan perbaikan pada penyelenggaraan UKDGI periode berikutnya. 2. Tujuan Kegiatan Tujuan dilaksanakannya workshop kali ini adalah: 1. Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 2. Menentukan Nilai Batas Lulus (NBL) UKDGI 3. Evaluasi penyelenggaraan UKDGI 3. Indikator Keluaran 1. Nilai Batas Lulus untuk ujian MCQ dan OSCE periode II April 2012 2. Persentase kelulusan UKDGI periode II April 2012 3. Hasil Evaluasi dan rencana tindak lanjut penyelenggaraan UKDGI 4. Metode Pelaksanaan Kegiatan Workshop ini dilaksanakan pada tanggal 8 Mei 2012 di Hotel Century Atlit Workshop dilakukan melalui diskusi panel. Jakarta. KOMPONEN 2- MEI 2012 Page 2
[Pick the Workshop ini dihadiri oleh seluruh peserta rapat yang terdiri dari 12 tim inti kedokteran gigi dan 3 perwakilan stakeholder yaitu 2 dari PB PDGI dan MKKGI. Stakeholder yang tidak hadir adalah ketua AFDOKGI dan perwakilan dari AFDOKGI sementara ada 1 anggota Core team/fasilitator Kedokteran Gigi yang tidak hadir yaitu drg Kosterman. Antusiasme peserta workshop cukup, karena participation rate yang mencapai 75%. Pada implementasinya, acara berjalan terlambat 50 menit dari jadwal yang seharusnya. Acara dimulai dengan pembukaan oleh prof Boedi O Roeslan selaku Ketua KDGI. Berikut adalah rundown acara workshop pada kondisi riil : Selasa, 8 Mei 2012 Waktu Acara Pelaksana/ Fasilitator 10.50-11.30 Pembukaan, Laporan Penyelenggaraan Uji Coba CBT-OSCE Prof Boedi O Roeslan (Ketua KDGI) 11.30-13.00 Diskusi Core Team 13.00-14.00 I S H O M A 14.00-16.00 Diskusi Core Team 16.00-18.00 Kerja Mandiri Prof Melanie 18.00-20.00 I S H O M A 20.00-22.00 Lanjutan Kerja Mandiri Core Team 5. Hasil Kegiatan Acara dimulai oleh prof Melanie dengan pemaparan latar belakang kenapa worskhop Standard Setting ini dilaksanakan dan mengundang wakil dekan Akademik yang dalam kesehariannya mengetahui kemampuan dan kualitas anak didik di institusi masing-masing. Diharapkan di akhir kegiatan, dapat ditentukan batas kelulusan dari peserta ujian didasarkan pada kesepakatan bersama. Pola kelulusan UKDGI periode 2 tahun 2012 adalah lulus CBT dengan NBL dan lulus OSCE (dengan kriteria 5 station harus lulus). Pada diskusi awal ada yang mempertanyakan dasar kebijakan bahwa syarat lulus OSCE hanya 5 dari 8 station. Tanggapan dari core team adalah bahwa soal-soal dalam 8 station ada yang memiliki kategori soal yang sama misal station 1dan 2, station 3 dan 4 serta station 5 dan 6, jadi tidak harus semua station harus lulus namun untuk station 7 dan 8 adalah station yang wajib lulus. Ada juga usulan jika seorang kandidat ternyata jika sudah mengulang di salah satu jenis ujian (OSCE/CBT) masih tidak lulus, maka periode ujian beirkutnya, si kandidat harus mengulang semua jenis ujian (CBT dan OSCE). Namun usulan ini dirasa akan memberatkan kandidat. Pemaparan ini dilanjutkan dengan pemaparan hasil evaluasi pelaksanaan ujian UKDGI CBT-OSCE periode 2 2012 secara umum. Namun pemaparan hasil evaluasi pelaksanaan ujian UKDGI sayangnya tidak cukup mendetail seperti sebelumnya dikarenakan waktu kegiatan yang singkat dan padat. Sehingga tidak cukup menggambarkan kekurangan- KOMPONEN 2- MEI 2012 Page 3
[Pick the kekurangan serta kendala-kendala yang teradi selama pelaksanaan ujian UKDGI CBT-OSCE periode 2 2012. Sesuai dengan jadwal, maka kegiatan dilanjutkan dengan penjelasan/review singkat mengenai standard setting CBT oleh drg Indri dan standard setting OSCE oleh drg. Adam Malik. Pada diskusi standard setting OSCE, banyak pertanyaan yang dilontarkan oleh peserta terkait penggunaan metode borderline regression dalam penentuan kelulusan. Menurut salah satu peserta, metode ini masih kurang tepat digunakan dalam penentuan OSCE. Karena sebenarnya sulit mengkuantitatifkan data kualitatif dan khawatir jika metode ini digunakan maka akan dipertanyakan oleh pihak luar mengenai keabsahan hasil ujian. Namun Team Core sudah berkonsultasi dengan TA dari luar negeri yang menyatakan bahwa metode ini bisa saja dipergunakan (walaupun di luar negeri sendiri tidak menggunakan metode borderline regression). Untuk mengantisipasi adanya keraguan terkait pemilihan metode standar setting OSCE maka menurut Ketua KDGI, akan dibuatkan sebuah SK mengenai penggunaan metode standard setting dalam penentuan kelulusan. Dan jika dikemudian hari ternyata dinyatakan kurang tepat, maka metode ini masih bisa diperbaiki. Menurut ketua KDGI, karena pelaksanaan OSCE masih jauh dari sempurna maka masih perlu perbaikan-perbaikan dan latihan-latihan (baik dari sisi administrasi sepeti soal-soal yang masih minim dan kualitasnya yg masih kurang baik untuk OSCE maupun sisi teknis). Sistem standard setting CBT yang digunakan pada kegiatan ini adalah modifikasi Angoff sementara borderline regression method digunakan dalam standard setting OSCE. Dalam teknis standard setting CBT peserta dibagi menjadi 5 kelompok besar dimana tiap kelompok mereview 20 soal. Tiap kelompok melakukan review soal pada round 1 yang dipandu oleh anggota tim teknis. Setelah mengetahui indeks kesulitan soal maka akan dilakukan diskusi sesi 2 dan ditutup dengan cutting score. Nilai perhitungan yang nanti diperoleh hanya didasarkan pada judges yang institusinya sudah meluluskan. Dan bagi judges yang yang intitusinya belum meluluskan, kegiatan ini dilakukan sebagai bentuk pelatihan dan observasi. Hasil perhitungan menggunakan metode modifikasi angoff dengan judges 13, maka diperoleh NBL 51,6. Oleh ketua Core Team ditawarkan kepada para wadek I/tim kurikulum apakah menggunakan NBL 51,6 atau 50 (sesuai NBL tertinggi yang pernah dicapai UKDGI) karena mempertimbangkan hasil UKDGI periode 1 2012 yang dibawah KPI sementara harus mengejar KPI nasional 2012 sebesar 81%. Dan hasilnya, berdasarkan kesepakatan bersama bahwa NBL yang dipakai adalah 50 dengan rekapitulasi tingkat kelulusan UKDGI CBT periode 2 2012 dengan jumlah peserta 1st taker 306 mencapai 83,74%. Sementara dari hasil perhitungan borderline regression method untuk penentuan kelulusan OSCE diperoleh hasil bahwa persentase kelulusan setiap station UKDGI periode 2 2012, sebagai berikut : Kelulusan Stasiun 1 : 78% Kelulusan Stasiun 2 : 77% Kelulusan Stasiun 3 : 79% Kelulusan Stasiun 4 : 84,8% Kelulusan Stasiun 5 : 78,6% Kelulusan Stasiun 6 : 88,3% KOMPONEN 2- MEI 2012 Page 4
Kelulusan Stasiun 7 : 95,5% Kelulusan Stasiun 8 : 90,5% Dari hasil tersebut, rata-rata tingkat kelulusan setiap station cukup baik yaitu diatas 50%. Namun disepakati bersama bahwa kandidat hanya perlu lulus minimal 5 dari 8 station yang ada (tidak harus lulus semua station) dan jenis station yang lulus bisa station mana saja (berbeda dengan tawaran diawal pertemuan bahwa jenis station yang lulus adalah station 1 atau 2, station 3 atau 4, station 5 atau6, station 7 dan 8 adalah station yang wajib lulus). Diperoleh kesepakatan juga bahwa yang dimasukkan kedalam KPI hanya persentase kelulusan CBT saja sesuai dengan arahan Ketua KDGI. Sehingga belum bisa ditampilkan hasil kompilasi peserta yang lulus dengan minimal NBL 50 dan lulus 5 station OSCE untuk mengetahui persentase kelulusan total peserta UKDGI periode 2 2012. 6. Refleksi Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut : Gambaran Umum Workshop berjalan lancar, acara hanya mundur 30 menit jam dari alokasi waktu yang disediakan tetapi hal ini lebih dikarenakan kendala teknis yaitu masih ada beberapa peserta yang datang terlambat hadir. Diskusi berjalan dengan baik. Namun terkendala dalam penyamaan persepsi mengenai penggunaan borderline regression method dalam menentukan kelulusan ujian OSCE. Perlu adanya kepastian latar belakang dan dasar penggunaan metode in dan jika perlu dituangkan dalam bentuk SK. Menurut peserta yang kebetulan ahli metodologi penelitian, ada beberapa metode yang bisa digunakan dalam penentuan kelulusan OSCE sehingga diperlukan kajian lebih lanjut metode mana yang dirasa lebih tepat dalam penentuan kelulusan OSCE. Adanya ketidaksinkronan antara pola kelulusan awal dengan hasil yang disepakati juga perlu dicermati. Hasil keputusan akhir yang diambil didasarkan pada consensus bersama. Seperti pada pola penentuan kelulusan CBT yang tidak mengikuti hasil standard setting para judges dan pola penentuan kelulusan OSCE yang hanya menjadi minimal lulus 5 dari 8 station (tidak ada prasyarat station yang wajib lulus). Yang perlu perlu dicermati apakah bentuk kesepakatan bersama ini didasarkan karena pelaksanaan ujian OSCE yang masih memiliki kekurangan sehingga dijadikan alasan untuk adanya concensus bersama atau tidak Pemaparan evaluasi hasil pelaksanaan ujian UKDGI periode 2 tahun 2012 juga tidak banyak. Hal ini disayangkan karena tentunya segala bentuk evalusi perlu diinformasikan kepada perwakilan setiap institusi. Berguna untuk perbaikan pelaksanaan ujian UKDGI di setiap institusi dan sebagai bentuk informasi bagi institusi yang akan mengadakan ujian UKDGI di intitusinya. Waktu pelaksanaan workshop standard setting dan evaluasi dirasa terlalu singkat sehingga hal-hal yang essential luput dari pelaksanaan karena terkendala waktu yang padat. Diskusi-diskusi pun menjadi lebih singkat dan terkesan terburu-buru mengejar rundown acara. Berbeda dengan standard setting sebelumnya maka standard setting kali ini bukan hanya membahas ujian CBT namun juga OSCE. Setelah 2 periode pelaksanaan ujian OSCE, tentunya masih banyak hal yang perlu diperbaiki baik dari sisi administrasi dan sisi teknis pelaksanaannya. Dan sekali lagi, waktu yang singkat membuat kegiatan evaluasi pelaksanaan menjadi hal normatif. KOMPONEN 2- MEI 2012 Page 5
7. Rencana Tindak Lanjut Institusi yang akan meluluskan harus sudah bersiap-siap dalam pelaksanaan UKDGI (sarana dan prasarana) Institusi yang masih dalam tahap akademik harus mulai membiasakan sistem CBT dan OSCE Soal-soal yang harus masuk ke Manager IBA paling lambat Pertemuan IBA Nasional pada tanggal 24-25 Mei 2012 (Yang dikirim institusi adalah IBA manager yang sudah pernah dilatih dan IBA manager harus membawa soal yang akan diinputkan kedalam sistem) Item review CBT pada tanggal 5-6 Juni 2012 Item review OSCE pada tanggal 12-13 Juni 2012 Dalam 2 minggu akan ada pengumuman hasil UKDGI ke seluruh institusi dengan format : NAMA CBT OSCE KET A LULUS TIDAK LULUS ULANG OSCE B TIDAK LULUS TIDAK LULUS TIDAK LULUS C TIDAK LULUS LULUS ULANG CBT Lampiran POD hasil standard setting Database Standard Setting KG periode 2 2012-05-16 Berita acara penentuan metode standar setting Form penentuan Standard setting metide modified angoff Presentasi Item Analis Presentasi SS Modified Angoff Presentasi SS UKDGI Tingkat Kesulitan Soal UKDGI April 2012 KOMPONEN 2- MEI 2012 Page 6