Penentuan Batas Kelulusan (Standard Setting) UKDI Gandes Retno Rahayu * Komite Bersama Uji Kompetensi Dokter Indonesia pass fail competent incompetent Avoid false positive or false negative 1
A standard is a statement about whether performance is good enough for a particular purpose The standard defines the boundary between passing and failing; separates candidates who are competent from those who are not competent The numerical answer to: How much is enough? How good is good enough? A Policy Decision The standard is based on judgments about examinees performances. Judgments are an expression of our professional, social and educational values. 2
C H A R A C T E R I S T I C S The method has to be: Defensible Credible Supported by a body of evidence Feasible Acceptable to all stakeholders 6 Langkah Penentuan Batas Kelulusan 1. Menentukan tipe standar 2. Menentukan metode penentuan nilai batas kelulusan 3. Memilih judges 4. Proses penentuan batas kelulusan oleh judges 5. Menghitung batas kelulusan 6. Menentukan follow up (Norcini, 2003) 3
1. Menentukan tipe standar Relative standards Norm-referenced Patokan Acuan Normal / PAN Absolute standards Criterion-referenced Patokan Acuan Baku / PAB Relative standards Absolute standards Features Dinyatakan dalam jumlah atau persentase peserta yang lulus (mis: 100 peserta terbaik, 30% terbaik) Performan seorang peserta tergantung pada performan peserta lain Menstimulus kompetisi Lebih mudah dilakukan Tidak tepat untuk ujian berbasis kompetnsi Dinyatakan dalam persentase jawaban benar (mis: 65% jawaban benar) Performan seorang peserta tidak tergantung pada performan peserta lain Menstimulus kolaborasi Lebih sulit dilakukan Tepat untuk ujian berbasis kompetensi 4
2. Menentukan metode penentuan nilai batas kelulusan Relative standards Absolute standards Relative methods Absolute methods 1. Keputusan didasarkan pada item soal 2. Keputusan didasarkan pada peserta ujian Compromise Methods Contoh Hofstee s method 2. Menentukan metode penentuan nilai batas kelulusan Relative standards Contoh relative method Five Scale Type 1: A: Above M + 1.5SD B: Between M + 0.5SD and M + 1.5SD C: Between M 0.5SD and M + 0.5SD D:Between M 1.5SD and M 0.5SD E: Below M 1.5SD 5
2. Menentukan metode penentuan nilai batas kelulusan Absolute standards Contoh: Absolute methods 1. Keputusan didasarkan pada item soal: Metode Angoff dengan berbagai modifikasi Metode Ebel 2. Keputusan didasarkan pada peserta ujian Contrasting Group Method 3. Memilih judges Kredibilitas nilai batas kelulusan sangat tergantung pada kredibilitas panel judges, sehingga perlu diperhatikan: 1. Kapabilitas, komitmen dan kredibilitas judges 2. Aspek keterwakilan dari judges 6
Step: 4. Proses penentuan batas kelulusan oleh judges 5. Menghitung batas kelulusan 6. Menentukan follow up Dijelaskan secara detail dalam sesi-sesi selanjutnya bersama penjelasan metode Angoff dan Ebel Penentuan Batas Kelulusan dengan Modifikasi Metode Angoff Gandes Retno Rahayu * Komite Bersama Uji Kompetensi Dokter Indonesia * Bagian Pendidikan Kedokteran Fakultas Kedokteran UGM 7
Versi 1 Langkah awal Memilih panel juri / judges dengan baik Panel juri mendiskusikan tentang: Tujuan ujian Karakteristik peserta ujian Adequate/inadequate knowledge Panel juri mendiskusikan dan menyepakati apa yang disebut dengan borderline group /minimally competent candidates 8
Definisi Borderline UKDI (Hotel Ambhara, Mei 2010) 1. Masa studi tidak tepat waktu ( plus 3-4 semester) 2. IPK Sked dan profesi = syarat minimal IPK untuk lulus 3. Nilai rata-rata ujian blok/modul = syarat minimal untuk lulus ujian blok 4. Mampu lulus UKDI setelah mengikuti ujian maksimal 2x UKDI 5. Nilai rata-rata ujian klinik = syarat minimal untuk lulus ujian klinik 6. Remediasi ujian blok/modul dan ujian ketrampilan klinik berkisar sepertiga dari keseluruhan blok/modu/ujian ketrampilan Definisi Borderline UKDI (Revisi 22 November 2011, Hotel Aston, Jakarta) 1. Masa studi tidak tepat waktu (plus 2-3 semester dikarenakan faktor kemampuan peserta, bukan karena sistem) ; dan 2. IPK SKed = syarat minimal IPK untuk lulus; dan 3. IPK Profesi = syarat minimal IPK untuk lulus. 4. Nilai rata-rata ujian blok/modul (item yang ini belum disepakati) 9
Round 1: Secara individual setiap juri membaca setiap soal dengan baik, dan untuk setiap soal juri menjawab pertanyaan berikut: Apakah borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? Jawaban: Ya / Tidak (ditulis didalam lembar yang telah disediakan) No Soal 1 Y 2 T 3 Y 4 Y 5 Y 6 T dst Apakah mahasiswa borderline dapat menjawab soal tersebut dengan benar? Y/T Round 1 Round 2 10
Umpan balik Dipresentasikan indeks kesulitan butir soal / item difficulty index / p-value dari soal-soal yang dipakai 22 23/10/2012 Ingat p = Jumlah peserta yang menjawab benar Jumlah seluruh peserta p antara 0.00 dan 0.25 p antara 0.26 dan 0.75 p antara 0.76 dan 1.00 sulit sedang mudah 11
Round 2: Setiap juri boleh mengganti jawaban ataupun tetap pada pendirian semula setelah melihat indeks kesulitan butir soal atau setelah diskusi No Soal Apakah mahasiswa borderline dapat menjawab soal tersebut dengan benar? Y/T Round 1 Round 2 1 Y Y 2 T T 3 Y Y 4 Y Y 5 Y Y 6 T T dst 12
No Soal Apakah mahasiswa borderline dapat menjawab soal tersebut dengan benar? Y/T Round 1 Round 2 1 Y Y 2 T Y 3 Y Y 4 Y Y 5 Y Y 6 T T dst Penentuan Nilai Batas Lulus Konversikan setiap jawaban pada round kedua sbb: Ya = 1 Tidak = 0 Hitung rata-rata jawaban dari seluruh juri untuk masing-masing butir soal. Jumlah dari rata-rata tersebut merupakan nilai batas lulus (NBL/cut score) 13
Soal J1 J2 J3 J4 J5 J6 J7 J8 J9 J10 Mean 1 1 0 1 0 1 1 1 1 1 0 0.7 2 1 0 0 1 0 1 1 1 1 1 0.7 3 0 1 0 1 0 1 1 1 1 0 0.6 4 1 1 1 1 1 0 1 0 0 0 0.6 5 0 1 1 1 1 0 1 0 1 1 0.7 6 1 1 1 1 0 0 0 1 1 1 0.7 7 0 1 1 1 0 1 1 0 0 1 0.6 8 1 1 1 0 1 0 0 1 0 1 0.6 9 0 0 0 1 0 1 1 1 1 1 0.6 10 0 1 1 1 0 1 1 1 1 1 0.8 6.6 Versi 2 14
Langkah awal Memilih panel juri / judges dengan baik Panel juri mendiskusikan tentang: Tujuan ujian Karakteristik peserta ujian Adequate/inadequate knowledge Panel juri mendiskusikan dan menyepakati apa yang disebut dengan borderline group /minimally competent candidates Round 1: Secara individual setiap juri membaca setiap soal dengan baik, dan untuk setiap soal juri menjawab pertanyaan berikut: Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? Jawaban: misalnya 60%, 70% dst (ditulis didalam lembar yang telah disediakan) 15
No Soal 1 70 Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? (%) Round 1 Round 2 2 80 3 60 4 75 5 65 6 70 dst Umpan balik Dipresentasikan indeks kesulitan butir soal / item difficulty index / p-value dari soal-soal yang dipakai 16
33 23/10/2012 Ingat p = Jumlah peserta yang menjawab benar Jumlah seluruh peserta p antara 0.00 dan 0.25 p antara 0.26 dan 0.75 p antara 0.76 dan 1.00 sulit sedang mudah Round 2: Setiap juri boleh mengganti jawaban ataupun tetap pada pendirian semula setelah melihat indeks kesulitan butir soal atau setelah diskusi 17
No Soal Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? (%) Round 1 Round 2 1 70 70 2 80 80 3 60 60 4 75 75 5 65 65 6 70 70 dst No Soal Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? (%) Round 1 Round 2 1 70 75 2 80 75 3 60 60 4 75 75 5 65 65 6 70 70 dst 18
Penentuan Nilai Batas Lulus Hitung rata-rata jawaban dari seluruh juri untuk masing-masing butir soal. Jumlah dari rata-rata tersebut merupakan nilai batas lulus (NBL/cut score) SOAL J1 J2 J3 J4 J5 J6 J7 J8 J9 J10 Mean 1 70 70 70 70 75 75 60 65 65 70 69 2 80 60 65 70 80 80 70 75 60 60 70 3 60 65 60 60 65 70 70 60 50 65 62.5 4 50 55 55 60 65 70 70 75 55 55 61 5 70 75 75 75 80 85 60 60 65 65 71 6 80 60 65 70 80 80 70 75 60 60 70 7 60 65 55 60 80 70 70 60 50 65 63.5 8 50 60 55 60 65 60 70 75 55 55 60.5 9 55 60 65 65 60 65 70 65 70 70 64.5 10 80 80 87 80 85 65 60 70 75 70 75.2 667.2 19
Terima kasih Partisipasi baik Ibu Bapak sangat menentukan value dari profesi kedokteran Indonesia 20