PRAKTIK BAIK UJI KOMPETENSI DOKTER INDONESIA Dwi Agustian KB UKDI Makassar, 13 14 Maret 2010 Workshop Nasional Kesepakatan Sistem Ujian Komponen 2 HPEQ Project Sistematika Presentasi Pengembangan Perangkat Ujian Tulis Pelaksanaan Ujian Hasil UKDI 1
Tinjauan 1: KIPDI 3 Tinjauan 2 Tinjauan 3 Tinjauan 4 Tinjauan 5 Tinjauan 6 Tinjauan 7 Keterampilan dasar klinis Aplikasi biomedis, perilaku, klinis, & epidemiologi pada kedokteran keluarga Kognitif Recall Reproduksi Pertumbuhan, perkembangan, dan degenerasi Prosedural Reasoning Kepala dan leher Komunikasi efektif Konatif Syaraf & Perilaku Manajemen masalah kesehatan primer Penelusuran, kritisi, dan manajemen informasi Profesionalisme, moral, dan etika praktik kedokteran Kesadaran, pemeliharaan, dan pengembangan personal Dermatomuscu loskeletal Hemato dan immunology Cardiovascular Gatrointestinal, hepatobilier, dan pankreas Respiratory Urogenital Endokrin dan Metabolisme Kelainan genetik dan kongenital Penyakit infeksi dan imunologi Penyakit neoplasma Penyakit akibat trauma atau kecelakaan Promosi kesehatan dan pencegahan penyakit Penapisan (Diagnosis) Manajemen (Terapi) Rehabilitasi Individu Keluarga Masyarakat Blue Print UKDI Kontributor soal dari Institusi Staf Akademik Departemen Unit Evaluasi Soal Ujian 2
Staf Akademik Review soal Departemen Unit Evaluasi Regional Nasional Panel Expert Workshop Item Development dan Item Review Tanggal Peserta Institusi Soal masuk 6 Mar 2007 38 35 256 1 Sept 2007 35 28 235 28 Nov 2007 32 24 918 15 Mar 2008 44 39 1946 11 Jun 2008 45 40 1477 14 Feb 2009 47 35 1311 23 Mei 2009 41 27 932 23 Des 2009 45 33 1467 Total 8542 3
50 Kinerja Workshop Item Development dan Item Review 45 40 35 30 25 20 15 6-Mar-07 1-Sep-07 28-Nov-07 15-Mar-08 11-Jun-08 14-Feb-09 23-May-09 10 5 0 Jmlh Peserta Jmlh Inst. Jmlh Soal (ratus) Daftar Institusi yang Mengirimkan Staf dan Soal pada WS Item Review 1. UNSYIAH 2. USU 3. UISU 4. Un.METHODIST 5. UNRIAU 6. UNAND 7. UNBRAH 8. UNSRI 9. UNJAMBI 10. UNILA 11. UNMAL 12. UNTAR 13. UNTAR 14. USAKTI 15. UNIKA Atmajaya 17. UKI 18. UKRIDA 19. UPN-Veteran 20. UPH 21. UIN 22. UMJ 23. UNPAD 24. UNJANI 25. UKM 26. UNISBA 27. UMY 28. UII 29. UNDIP 30. UNSOED 33. UNISSULA 34. UMS 35. UNS 36. UNISULA 37. UHT 38. UNIBRAW 39. UMM 40. UWK 41. UNEJ 42. UNUD 43. UNLAM 44. UNMUL 45. UMI 46. UNSRAT 4
Standarisasi Pengembangan Soal Standarisasi cara pembuatan soal yang baik. Standarisasi bahasa dan istilah. Standarisasi form soal. Standarisasi batang tubuh soal dan kelengkapannya. Standarisasi tingkat kompetensi 9 9 Try-out Item Inkorporasi soal yang di-try-out kepada soal yang sesungguhnya. Post-review analysis: item difficulty - discrimination index - berfungsi tidaknya distractor. Hanya soal yang telah lolos try-out bisa masuk item bank dan digunakan ujian yang sesungguhnya. 10 10 5
Item #1 Group A B C* D E F Hi 64 551 15 294 48 6 Lo 117 456 44 262 65 15 Total 322 1900 107 982 207 32 p-value: 3 discrimination index: -0.031 Interpretasi? 6
Pelaksanaan Ujian Soal yang diujikan: - Memiliki indeks kesulitan 0,3 0,7 - Indeks pembeda > 0,2 - Masuk dalam bank soal 4 dipilih menjadi 200 soal UKDI. Pengelolaan Ujian Pengorganisasian: Pusat-Regional-Lokasi Ujian. Pengawas independen-imparsial (disilang antar institusi) Jadwal pelaksanaan ujian. Aturan pelaksanaan ujian: ketepatan waktu, standard lokasi ujian, rasio pengawas-peserta. 14 7
Perbandingan Hasil UKDI First vs Second Taker UKDI 1 st Taker 2 nd Taker Pass mark KR-21 N peserta Failure rate (%) N peserta Failure rate (%) I 0.89 262 20,23 n.a n.a 40 II 0.94 2150 18,42 48 83,33 44 III 0.94 1966 23,91 368 80,99 45 IV 0.93 1422 28,97 460 63,69 45 V 0.92 1310 27,40 393 60,05 45 VI 0.96 2166 23,58 346 90,75 50 VII 0.94 1999 29,86 468 71,15 50 VIII 0.90 1351 34,49 531 75,52 50 IX 0.92 1375 32,65 806 73,42 50 Standard Setting Compromise: Hofstee method Absolut: Ebel Method, Modified Angoff Method 16 8
Perbandingan successful rate First vs Second Taker Aspek Praktik Baik Asupan Proses Luaran 1. Blueprintingmetode ujian 2. Sistem uji kompetensi 3. Kontributor soal 4. Pedoman ujian 5. Dukungan IT 1. Standarisasi kontributor soal 2. Proses review 3. Try-out item 4. Pengelolaan ujian 5. Pengelolaan bank soal 1. Standard setting 2. Remediasi Retaker 9
Epilogue Pendekatan sistemik Praktik Baik Pengelolaan Ujian. Implementasi Praktik Baik pada semua jenjang: nasional, regional dan institusional. Perlu penyiapan 3 M (Man, materials, methods) melalui pelatihan dan pengkoordinasian tingkat nasional dan regional. Perlu komitmen dalam upaya continuing quality improvement berdasarkan lesson learnt implementasi menuju praktik yang lebih baik. 19 Terima kasih 10