LAPORAN WORKSHOP Standard Setting Kedokteran Gigi dan Evauasi Ujicoba Skala Penuh CBT-OSCE KOMPONEN 2 PROYEK HPEQ Hotel Imperium Bandung, 10 November 2011 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional
1. Pendahuluan Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status uji kompetensi sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu sejak beberapa kali Uji Kompetensi Dokter Gigi Indonesia terakhir telah digunakan Modified Angoff, sebuah metoda penentuan batas lulus yang dilakukan oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Standard Setting Kedokteran Gigi secara kontinu setelah pelaksanaan uji kompetensi tiap periode. Selain pelaksanaan Standard Setting, oleh karena Uji Kompetensi Kedokteran Gigi Indonesia pada bulan Oktober 2011 juga dilaksanakan bersamaan dengan Uji Coba CBT-OSCE maka dipandang perlu untuk dilakukan Evaluasi sebagai bahan perbaikan penyelenggaraan berikutnya. 2. Tujuan Kegiatan Tujuan dilaksanakannya workshop kali ini adalah: 1. Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 2. Menentukan Nilai Batas Lulus (NBL) UKDGI 3. Evaluasi penyelenggaraan Uji Coba CBT-OSCE UKDGI 3. Indikator Keluaran Indikator keluaran utama program ini adalah : 1. NBL UKDGI 2. Hasil Evaluasi dan rencana tindak lanjut Uji Coba CBT-OSCE UKDGI 4. Metode Pelaksanaan Kegiatan Workshop ini dilaksanakan pada tanggal 10 November 2011 di Hotel Imperium Bandung. Workshop dilakukan melalui diskusi panel kelompok. Peserta yang hadir dibagi menjadi 4 kelompok besar dimana setiap kelompok mereview @25soal. Pembagian kelompoknya adalah sebagai berikut : 1. Kelompok 1 (Fasilitator : drg. Wiwiek) - Rahardyan P (FKG UNEJ)
- Dian M (FKG UHT) 2. Kelompok 2 (Fasilitator : Prof. Mei Syafriadi) - Edrizal (FKG UNBRAH) - Suharsini (FKG UI) - Burhanuddin B. Pasiga (FKG UNHAS) 3. Kelompok 3 (Fasilitator : drg. Utmi) - Anastasia (FKG UPDMB) - Sunardi W (FKG UNPAD) - Indri (FKG UMY) 4. Kelompok 4 (Fasilitator : drg. Mia D) - Erwan (FKG UGM) - Darmawan (FKG UNAIR) - Dwi S (FKG UNMAS) Workshop ini dihadiri oleh seluruh peserta rapat yang terdiri dari 11 pembantu/wakil Dekan Bidang Akademik yang institusinya menjadi tempat pelaksanaan PBT dan CBT-OSCE Center dan 6 anggota core team Kedokteran Gigi. Ada 1 pembantu/wakil Dekan Bidang Akademik yang tidak hadir yaitu pembantu/wakil Dekan Bidang Akademik dari USU (dikarenakan adanya kegiatan di USU) dan 4 anggota Core team Kedokteran Gigi yang tidak hadir yaitu prof Melanie, prof Haslinda, prof Boedi, dan drg Gilang. Drg Indri menrangkap menjadi perawakilan dari wakil dekan akademik dari UMY. Antusiasme peserta workshop cukup baik, karena participation rate yang mencapai 75%. Pada implementasinya, acara berjalan terlambat 30 menit dari jadwal yang seharusnya. Acara dimulai dengan pembukaan oleh drg Indri selaku perwakian dari Tim Teknis Core Team UKDGI. Berikut adalah rundown acara workshop pada kondisi riil : Kamis, 10 November 2011 Waktu Acara Pelaksana/ Fasilitator 10.30-10.30 Pembukaan, Laporan Penyelenggaraan Uji Coba Drg Indri / Prof Mei Syafriadi CBT-OSCE 10.30-12.00 Standard Setting Sesi I Core Team 12.40-13.30 I S H O M A 13.30-15.30 Standard Setting Sesi II Core Team 15.30-16.00 Laporan Hasil Standard Setting dan Penutupan 5. Hasil Kegiatan Acara dimulai oleh drg Indri dengan pemaparan latar belakang kenapa worskhop Standard Setting ini dilaksanakan dan mengundang wakil dekan Akademik yang dalam kesehariannya mengetahui kemampuan dan kualitas anak didik di institusi masing-masing. Diharapkan di akhir kegiatan, dapat ditentukan batas kelulusan dari peserta ujian didasarkan pada
kesepakatan bersama. Acara juga diselingi pemaparan hasil evaluasi pelaksanaan ujian PBT dan tryout CBT-OSCE oleh prof Mei Syafriadi. Sistem standard setting yang digunakan pada kegiatan ini adalah modifikasi Angoff (persentase). Sistem ini banyak digunakan dalam penentuan nilai akhir suatu kegiatan. Peserta dibagi menjadi 4 kelompok besar dimana tiap kelompok mereview 25 soal. Tiap kelompok melakukan review soal pada round 1 yang dipandu oleh anggota tim teknis. Setelah mengetahui indes kesulitan soal maka akan dilakukan disuksi sesi 2 dan ditutup dengan cutting score. Hasil perhitungan menggunakan metode angoff, maka dengan judges 15, diperoleh NBL 50. Hasil rekapitulasi tingkat kelulusan UKDGI periode Oktober 2011 dengan Jumlah first taker414, jumlah yang lulus adalah 365 dan yang tidak lulus 49. Sehingga persentase kelulusan 88,16% dan ketidaklulusan 11,84%. Hasil tryout OSCE sebagai berikut : Station BRM BGM Total skor Lulus station 1 6 5 10 162 station 2 14 14 22 201 station 3 15 14 26 160 station 4 20 20 28 180 station 5 4 4 7 185 station 6 3 3 6 196 station 7 8 8 14 193 station 8 9 9 13 179 6. Refleksi Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut : Gambaran Umum Workshop berjalan lancar, acara hanya mundur 30 menit jam dari alokasi waktu yang disediakan tetapi hal ini lebih dikarenakan kendala teknis yaitu kedatangan peserta dari luar bandung dan adanya kegiatan KKI yang sedang dilaksanakan juga. Diskusi berjalan dengan baik dan persamaan persepsi juga telah dilakukan terutama dalam hal teknis pelaksanaan.
Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 12 kuesioner yang diberikan hanya 10 peserta yang mengembalikan kuesioner dan dari hasil perhitungan, dapat dilihat bahwa mayoritas peserta menyatakan kepuasan dalam pelaksanaan workshop. Pencapaian ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan peserta yang cukup cooperative. PROPORSI SATISFACTION LEVEL 27% 0% 5% 68% tidak sesuai sesuai kurang sesuai paling sesuai
REKAP FEEDBACK WS STANDARD SETTING KEDOKTERAN GIGI Bandung, 10 November 2011 tidak sesuai kurang sesuai sesuai paling sesuai 9 9 8 8 7 7 7 7 7 7 6 6 5 5 4 4 4 3 3 3 3 3 3 3 2 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7. Rencana Tindak Lanjut Hasil standard setting akan disosialisakan kepada institusi pendidikan kedokteran gigi dan akan dilakukan evaluasi-evaluasi lanjutan dari beberapa kekurangan-kekurangan serta kelamahan yang ditemukan. Lampiran POD hasil standard setting Hasil UKDGI Berdasarkan Standard setting Nov 2011 Chart Regresi Borderline OSCE Tryout Okt 2011