LAPORAN Standard Setting UKDGI Periode 3 Tahun 2012 KOMPONEN 2 - Health Professional Education Quality (HPEQ Project) Hotel Le Meridien Jakarta, 26-27 Juli 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Dan Kebudayaan Komponen 2 HPEQ Juli 2012 Page 1
1. Pendahuluan Komponen 2 HPEQ Project mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini, salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status uji kompetensi sebagai ujian yang bersifat high-stake dan menentukan seorang lulusan apakah dapat melakukan profesinya maka penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Sejak Uji kompetensi Dokter Gigi Indonesia periode III 2010 ( periode Juli 2010) telah digunakan metode standard setting Modified Angoff, sebuah metoda penentuan batas lulus yang dilakukan oleh ahli secara panel. Hal inilah yang ikut berkontribusi dalam akuntabilitas/pertanggungjawaban penentuan batas lulus yang dilakukan. Pada Uji Kompetensi Dokter Gigi periode I 2012, bentuk uji kompetensi mengalami perubahan yang nyata. Uji kompetensi tidak hanya semata menguji kemampuan knowledge/teori peserta ujian melalui ujian berbentuk MCQ s tetapi juga menguji kemampuan skills/ketrampilan peserta ujian dengan menggunakan ujian berbentuk OSCE. Metoda standard setting Borderline Regression method digunakan sebagai metode penentu batas lulus dalam ujian OSCE UKDGI. Sedangkan untuk penentuan batas lulus dalam ujian MCQ s tetap menggunkaan Standard Setting Modified Angoff. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat diterapkan pula di masing masing institusi, perlu dilakukan standard setting Kedokteran Gigi secara kontinu setelah pelaksanaan uji kompetensi setiap periode. Selain kegiatan standard setting dirasa perlu melakukan evaluasi UKDGI sebagai bahan perbaikan pada penyelenggaraan UKDGI periode berikutnya. 2. Tujuan Kegiatan Tujuan dilaksanakannya workshop kali ini adalah: 1) Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah. 2) Menentukan Nilai Batas Lulus (NBL) UKDGI Periode III Juli 2012 3) Evaluasi penyelenggaraan UKDGI Periode III Juli 2012 3. Indikator Keluaran 1) Nilai Batas lulus untuk ujian MCQ dan OSCE periode III JULI 2012 2) Persentase kelulusan UKDGI periode III JULI 2012 3) Hasil Evaluasi dan rencana tindak lanjut penyelenggaraan UKDGI Komponen 2 HPEQ Juli 2012 Page 2
4. Metode Pelaksanaan Kegiatan Workshop ini dilaksanakan 2 hari yaitu pada tanggal 26-27 Juli 2012 di Hotel Le Meredien Jakarta. Workshop dilakukan melalui diskusi panel kelompok. Peserta yang hadir dibagi menjadi 4 kelompok besar dimana setiap kelompok mereview @25soal. Pembagian kelompoknya adalah sebagai berikut : 1. Kelompok 1 : soal 1-25 (Fasilitator : drg. Indri dan drg. Kosterman) - USU - UNEJ - UNMAS - UNSYIAH (observer) - UNSOED (observer) - UNLAM (observer) 2. Kelompok 2 : soal 26-50 (Fasilitator : drg. Gilang dan drg. Iwan) - UNBRAH - UGM - UNAIR - UNPRIM (observer) - UB (observer) - IIK Kediri (observer) 3. Kelompok 3 : soal 51-75 (Fasilitator : drg. Utmi dan drg. Mia) - USAKTI - UMY - UNHAS - UNSRI (observer) - UNISSULA (observer) 4. Kelompok 4 : soal 76-100 (Fasilitator : Prof. Mei Syafriadi dan Prof. Hazlinda) - UNPAD - UI - UHT - UPDMB - UNJANI (observer) - UNSRAT (observer) Standard setting kali ini dihadiri oleh 23 pembantu/wakil Dekan Bidang Akademik/Tim kurikulum baik yang institusinya sudah meluluskan maupun belum meluluskanmahasiswa serta 9 fasilitator termasuk ketua KDGI. Ada 2 pembantu/wakil Dekan Bidang Akademik/Tim kurikulum yang tidak hadir yaitu pembantu/wakil Dekan Bidang Akademik/Tim Kurikulum dari UKM dan UNAND. Dua anggota Core team/fasilitator Kedokteran Gigi yang tidak hadir yaitu drg Wiwiek dan drg. Mia dikarenakan kesibukan di institusinya masing-masing. Ketua PB PDGI dan Ketua AFDOKGI pun absen pada standard setting kali ini. Antusiasme peserta workshop cukup baik, dengan participation rate lebih dari 92% Pada implementasinya, acara berjalan terlambat 30 menit dari jadwal yang seharusnya. Acara dimulai dengan pembukaan oleh prof Melanie selaku Ketua Tim Core UKDGI atas Komponen 2 HPEQ Juli 2012 Page 3
permintaan ketua KDGI yang juga telah hadir pada saat kegiatan dimulai. Berikut adalah rundown acara workshop pada kondisi riil : Kamis, 26 Juli 2012 Waktu Acara Pelaksana/ Fasilitator 14.30-14.45 Pembukaan, Prof Melanie (Ketua Team Core) 14.45-15.15 Laporan Penyelenggaraan Uji Coba CBT-OSCE Prof Mei 15.15-15.30 Penjelasan Goals Komponen 2 Bu Wike 15.30-16.00 Penjelasan perubahan-perubahan dalam pedoman Kosterman 16.00-16.30 Penjelasan perubahan-perubahan dalam Iwan Dewanto pedoman 16.30-17.00 Penjelasan SS CBT Adam Malik 17.00-19.30 I S H O M A 20.00-22.00 Penentuan NBL 4 Kelompok kerja Jumat, 27 Juli 2012 9.00 10.00 Pemaparan hasil NBL UKDGI Adam Malik 10.00 10.30 Diskusi Semua peserta 10.30 11.00 Wrap up dan RTL Prof Mei 11.00 11.30 Penutup dan penandatanganan berita acara Prof. Boedi 5. Hasil Kegiatan Acara dimulai oleh prof Melanie dengan pemaparan latar belakang kenapa worskhop Standard Setting ini dilaksanakan dan mengundang wakil dekan Akademik yang dalam kesehariannya mengetahui kemampuan dan kualitas anak didik di institusi masing-masing. Diharapkan di akhir kegiatan, dapat ditentukan batas kelulusan dari peserta ujian didasarkan pada kesepakatan bersama. Pola kelulusan UKDGI periode 3 tahun 2012 adalah lulus CBT dengan NBL dan lulus OSCE (dengan kriteria 5 stasiun harus lulus tidak tertulis aturan stasin mana saja yang harus lulus). Kegiatan di hari pertama selain paparan dari core team mengenai hasil UKDGI secara umum juga disampaikan informasi mengenai target komponen 2 dari core team komponen 2 yang hadir yaitu mengenai judges independen dalam pelaksanaan uji kompetensi. Selain itu pelaksanaan di hari pertama fokus pada kegiatan penentuan standar setting sedangkan hari kedua fokus kepada pemaparan hasil UKDGI dan diskusi dengan peserta. Komponen 2 HPEQ Juli 2012 Page 4
Pada diskusi kali ini kembali timbul pertanyaan mengenai standar kelulusan OSCE, tidak adanya standar yang jelas dan nilai yang pasti cenderung akan membuat kelulusan hanya berdasarkan justifikasi. Hal ini menjadi masalah bagi institusi karena penguji kembali menjadi pihak yang selalu disalahkan. Tanggapan dari core team adalah bahwa soal-soal dalam 8 station ada yang memiliki kategori soal yang sama misal station 1dan 2, station 3 dan 4 serta station 5 dan 6, jadi tidak harus semua station harus lulus namun untuk station 7 dan 8 adalah station yang wajib lulus, dan sistem ini akan terus diperbaiki dengan berupaya membuat penilaian standar sehingga mengurang kesalahan penguji (subyektifitas). Ada usulan untuk mendatangkan expert dan melibatkan semua pihak untuk menentukan standar yang benar. Ada juga usulan dari peserta untuk meluluskan semua peserta ujian, alasannya sederhana yaitu karena sistem yang belum sempurna, masih banyaknya kesalahan di sistem sehingga ujian hanya mengorbankan peserta (peserta yang dirugikan). Tanggapan Core team adalah tidak mungkin untuk memberikan kebijakan ini karena hal ini justru merupakan kemunduran dari apa yang sudah dilaksanakan, lagipula penilaian tidak hanya dari hasi OSCE tetapi juga hasil ujian teori (CBT or PBT). Selain itu, kalaupun masih ada kesalahan teknis dalam pelaksanaan, panitia sudah menyiapkan segala kemungkinan untuk mengatasinya seperti backup soal kertas jika terjadi kegagalan dalam sistem komputer. Sistem standard setting CBT yang digunakan pada kegiatan ini adalah modifikasi Angoff sementara borderline regression method. Metode ini juga digunakan dalam standard setting OSCE. Pada teknis standard setting CBT, peserta dibagi menjadi 4 kelompok besar dimana tiap kelompok mereview 25 soal. Tiap kelompok melakukan review soal pada round 1 yang dipandu oleh anggota tim teknis. Setelah mengetahui indeks kesulitan soal maka akan dilakukan diskusi sesi 2 dan ditutup dengan cutting score. Hasil perhitungan menggunakan metode modifikasi angoff dari 23 orang judges, maka diperoleh NBL 49,7. Akhirnya disepakati menggunakan NBL 50. Dengan NBL ini, dihasilkan tingkat kelulusan UKDGI CBT periode 23 2012 mencapai 76,7%. Di sisi lain, penentuan kelulusan OSCE menggunakan borderline regression method. Dengan jumlah peserta sebanyak 459 orang, maka persentase kelulusan setiap station UKDGI periode 3 2012, sebagai berikut : Kelulusan Stasiun 1 : 90% Kelulusan Stasiun 2 : 88% Kelulusan Stasiun 3 : 84% Kelulusan Stasiun 4 : 86% Kelulusan Stasiun 5 : 75% Kelulusan Stasiun 6 : 94% Kelulusan Stasiun 7 : 75% Kelulusan Stasiun 8 : 91% Dari hasil tersebut, rata-rata tingkat kelulusan setiap station cukup baik yaitu diatas 70%. Komponen 2 HPEQ Juli 2012 Page 5
6. Refleksi Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut : Gambaran Umum Workshop berjalan lancar, acara hanya mundur 30 menit jam dari alokasi waktu yang disediakan tetapi hal ini lebih dikarenakan kendala teknis yaitu masih ada beberapa peserta yang datang terlambat hadir. Diskusi berjalan dengan baik. Namun hal penting yang sekali lagi diangkat seperti dalam workshop sebelumnya adalah dalam hal penentuan kelulusan ujian OSCE. Perlu adanya diskusi bersama anatar semua pihak dengan melibatkan expert untuk dapat menyelesikan permasalahan standar. Serta terjadinya penuruan jumlah kelulusan dan NBL dari UKDGI sebelumya menuntut evaluasi terhadap kualitas soal, meskipun hal ini juga bisa menjadi gambaran bagi kualitas lulusan setiap periodenya. Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Terkumpul 22 kuisioner dari judges dan 5 kuisioner dari fasilitator. Proporsi Kepuasan Peserta 1% 10% 50% 39% Tidak sesuai Kurang sesuai Sesuai Paling sesuai Komponen 2 HPEQ Juli 2012 Page 6
10 9 8 7 6 5 4 3 2 1 0 Rekap Feedback (aspek substansi) workshop SS UKDGI 26-27 Juli Jakarta Tidak sesuai Kurang sesuai Sesuai Paling Sesuai Rekap Feedback (aspek teknis) workshop SS UKDGI 26-27 Juli Jakarta 16 14 12 10 8 6 4 2 Tidak Sesuai Kurang Sesuai Sesuai Paling sesuai 0 Kejelasan dan kesesuaian TOR Efektifitas jalannya SS Output sesuai target Pelayanan panitia memuaskan Kenyamanan tempat workshop Selain itu, dari hasil kuisioner diperoleh input serta saran dari peserta dan fasilitator. Berikut rangkumannya : Peserta : 1. Menurut anda, apakah Nilai Batas Lulus (NBL) yang dihasilkan dalam standard setting kali ini sudah ideal? Mohon kemukakan argumentasinya. - Mendekati ideal - Sudah, karena NBL dibahas dan menjadi keputusan bersama Komponen 2 HPEQ Juli 2012 Page 7
- Untuk CBT sudah dilakukan SS oleh judge satu persatu, tetapi untuk OSCE apakah sudah? - Belum karena judge masih melihat kandidat dari institusi masing-masing IPDGnya sebagai NBL yang rendah sehingga mutu kurang tercapai. - Semakin membaik meskipun masih butuh banyak perbaikan. - Belum, karena kualitas soal masih tidak memadai - Belum, Terlalu dipaksakan dengan metode statistic yang digunakan sehingga akhirnya selalu menyalahkan penguji dan kualitas soal 2. Apakah metode standard setting Modified Angoff yang digunakan telah dinilai ideal untuk menentukan NBL dan tingkat kelulusan UKDGI kali ini (mencakup CBT dan OSCE)? Apakah kekurangan dan kelebihan dari metode ini? - Ya, tetapi kecenderungan timbulnya subyektifitas - Setuju - Kelebihannya adalah bisa disesuaikan dengan kemampuan peserta, sedangkan kekurangannya hal ini bisa punya standar yang rendah. - Cukup memadai untuk dipakai - Penentuan standarnya terkadang membingungkan - Belum, karena kami (peserta) tidak expert dalam standar setting. Diduga masih banyak metode lain yang lebih sesuai dengan kondisi di Indonesia. 3. Menurut Anda, apakah kriteria ideal untuk menjadi judges standard setting UKDGI ini? Apakah Anda sudah siap menjadi judges yang independen? - Yang menguasai standar setting - Judge adalah expert tapi bisa menyadari bahwa yang dipertimbangakn adalah anak dengan kemampuan borderline - Harus betul-betul bisa menempatkan diri sebagai kandidat yang borderline - Judges harus dipilih dari dosen IPDG yang independen, dan paham tentang pengembangan ilmu. - Tidak spesialistik, independen, tingkat keilmuan yang memadai (terstandar) - Belum siap menjadi judge independen - Harus secara jelas maksud/standar dari judge independen - Judge yang mengetahui tentang institusi masing-masing - Belum siap karena dari pengalaman pribadi perkiraan kelulusan borderline yang diramalakn selalu tidak sesuai dengan gold standar yang digunakan. 4. Bagaimana institusi anda menindaklanjuti setiap hasil standard setting UKDGI ini? - Menjadi bahan untuk selalu mengevaluasi hasil yang didapat - Karena belum melluskan maka hanya akan disosialisasikan saja, hasilnya untuk menyiapkan calon kandidat UKDGI - Positif, masukan untuk membenahi beberapa kekurangan di IPDG terkait sarana dan prasarana. Komponen 2 HPEQ Juli 2012 Page 8
- Sangat baik, namun belum mengarah pada fokus perbaikan yang benar, perlu pendamping/konsultan - Memotivasi sebagai bahan pengembangan untuk meningkatkan kualitas dan kuantitas lulusan. 5. Jelaskan dampak UKDGI dan hasil-hasil UKDGI terhadap institusi anda? (missal: terhadap pembinaan mahasiswa/lulusan, pengembangan sistem assessment, dll) - Sangat baik, hasil UKDGI menjadi masukan bagi institusi guna pengembangan sistem assessment. - Model soal UKDGI dijadikan acuan pada pembuatan soal ujian blok yang dilakukan di institusi - Lebih memacu untuk memotivasi pengembangan baik pada sistem assessment maupun semangat belajar - Memperbaiki sistem pembelajaran di institusi Usul/saran: - Semua soal sebaiknya dibuat oleh orang-orang yang expert dibidangnya dan dibuat secara duduk bersama (berkumpul untuk membuat soal tingkat nasional) - Selain judge independen, harus tetap ada judges dari institusi pendidikan, karena yang dapat ikut menilai soal benar atau tidak adalah dari institusi. Jika independen apakah bisa mengerti dengan soal-soal CBT yang sudah lama? - Setiap prodi atau fakultas sebaiknya iikut serta dalam evaluasi setelah pelaksanaan UKDGI agar selalu mengikuti perkembangan yang terjadi dan melakukan evaluasi untuk perbaikan kualitas institusi. - Semoga HPEQ dapat selalu melakukan pelatihan untuk pelaksanaan UKDGI, terutama untuk institusi yang belum melaksakan UKDGI - Perlu diadakan audit external mengenai proses standar setting - Ada feedback tentang sistem yang digunakan dalam UKDGI selama ini - Solusi OSCE lulus hanya dari 5 stasiun dianggap tidak standard Dan tidak fair (perlakuan berbeda). Jika seperti itu, maka ditambah saja jumlah stasiunnya agar jumlah kelulusan jadi lebih banyak. - Sebaiknya ada perlakuan khusus atau evaluasi terhadap peserta yang sudah mengikuti ujian lebih dari 3kali Fasilitator : 1. Secara umum, apakah terdapat kemajuan yang signifikan dibandingkan standard setting sebelumnya (aspek metode, judges, NBL, dll)? - Ya, judges lebih siap 2. Apakah judges yang terlibat sudah memiliki pemahaman yang komprehensif terkait tujuan dan metode SS ini? Komponen 2 HPEQ Juli 2012 Page 9
- Sudah ada pemahaman yang sama, sehingga dalam satu kelompok nilai judges dan observer sudah tidak berbeda secara signifikan, setting para observer sudah dimasukan dalam penilaian - Beberapa peserta yang sebagai observer belum mengerti detail, sehingga masih ikut-ikutan, tetapi bermanfaat untuk pembelajaran. 3. Apakah definisi borderline sudah dipahami oleh peserta? - Cukup paham tetapi kadang-kadang masih sulit untuk membedakan posisi judges di posisi borderline - Dipahami, tetapi tidak mudah 4. Apakah nilai batas lulus yang dihasilkan dalam standard setting kali ini sudah sudah ideal - NBL masing-masing berbeda, tapi ada kesepakatan antara kelulusan CBT dan OSCE - CBT saja, sedangkan OSCE : SS masih sesuai kesepakatan 5 stasiun kelulusan - NBL masih berdiri sendiri-sendiri (OSCE sendiri, CBT sendiri) - Cukup ideal nbl 49,75 dan tidak jauh berbeda dari yang lalu 50 5. Menurut Anda, apakah keberadaan judge yang independen mutlak diperlukan untuk menghasilkan NBL yang obyektif? Apakah judge yang terlibat saat ini sudah independen? - perlu diskusi lebih lanjut untuk judge independen, tapi untuk NBL yang obyektif memang harus menuntut judges yang obyektif dan paham kpondisi kandidat, kurikulum, standar kompetensi - Perlu, karna NBLnya kurang obyektif, karena masih mempertimbangkan institusi, judge belum independen atau paling tidak belum bisa menempatkan diri sebagai judge yang independen 6. Apakah ada kendala yang dihadapi dalam pelaksanaan standard setting kali ini? (misal : pelaksanaan item anayisis, penentuan borderline, difficulty index, dll) - Tidak - CBT : Tidak ada masalah, OSCE : jumlah soal yang sangat kurang - Kendala berarti tidak ada, tetapi kesepakatan dalam menentukan NBL untuk OSCE masih diperdebatkan - Sistem pelaksanaan OSCE masih mencari bentuk 7. Bagaimana tindak lanjut dari hasil standard setting ini? - Evaluasi metode standard setting, terutama penilaian OSCE - Evaluasi penggunaan CBS untuk OSCE (sistem yang digunakan dalam OSCE) - Perlu evaluasi kembali soal-soal dengan tingkat kesulitan tinggi, dan masih terlihat kesalahan soal Komponen 2 HPEQ Juli 2012 Page 10
- Perlu kembali dilakukan item analysis untuk soal-soal - Hasil SS diaplikasikan untuk hasil ujian kompetensi - Membuat buku pedoman dan perbaikan sistem UKDGI - Membuat Video View yang diputar sebelum pelaksanaan SS. - Judge independen 8. Rekomendasi perbaikan pelaksanaan standard setting selanjutnya? - Perbaikan sistem IT di OSCE supaya memudahkan - Himbauan kepada judges agar memahami benar para kandidatnya sehingga benar-benar paham akan borderline - Optimalisasi sistem OSCE (lebih detail) 7. Rencana Tindak Lanjut Institusi yang akan meluluskan harus sudah bersiap-siap dalam pelaksanaan UKDGI (sarana dan prasarana) Institusi yang masih dalam tahap akademik harus mulai membiasakan sistem CBT dan OSCE Pembuatan Pedoman baru bagi pelaksanaan UKDGI Perbaikan sistem terutama bagi pelaksanaan OSCE, metode CBS (computer based scoring) disempurnakan Perbaikan sistem ke komunikasi ke institusi sebelum pelaksanaan UKDGI. Selama ini masih banyak hambatan dimana pesan tidak sampai ke pelaksana. UKDGI periode IV 2012 akan dilangsungkan pada bulan oktober. Ujicoba OSCE dan CBT akan dilakukan setelah idul fitri, sampai sebelum pelaksanaan UKDGI bulan Oktober Jakarta, 1 Agustus 2012 Indra Prima Putra Asisten Monev Proyek HPEQ Supervisi oleh : Aprilia Ekawati Utami (Pengelola Monev HPEQ) Komponen 2 HPEQ Juli 2012 Page 11