Blueprint untuk Uji Kompetensi Mengapa diperlukan? Setiawan Komite Bersama (KB) Uji Kompetensi Dokter Indonesia (UKDI
Uji Kompetensi sebagai sebuah Sistem Ujian Standarisasi Nasional Benchmarking Regional Sistem Ujian Institusi - Implementasi KBK - 80% isi kurikulum - Syarat kelulusan - Implementasi KBK - Fase akademik (prediagnostik/treatment) - Fungsi formatif - Implementasi KBK - 100% isi kurikulum - Syarat kelulusan
Sistem Uji Kompetensi Prinsip KBK disertai evaluasi hasil belajar berbasis kompetensi (perubahan mind-set). Uji kompetensi = competence-based assessment Uji kompetensi = competence-based assessment sebagai longitudinal assessment, UKDI (ujian standarisasi nasional/ uji kompetensi) bagian integral dan komplementer terhadap sistem ujian kompetensi di institusi.
Contoh Kasus: Seorang perempuan berusia 29 tahun, G3P1A1, dibawa ke poliklinik pada usia 34 minggu karena ketidaknyamanan pada perut bagian atas sebelah kiri. Keluhan ini dirasakan setiap bayi bergerak. Sebelumnya tidak ada pengalaman seperti itu. Pasien juga merasa nyeri pada bagian perut bawah dan khawatir mengalami prematur. Terdapat kontraksi tanpa keluarnya cairan, darah atau sekret dari vagina. Riwayat obstetrik yang lalu memperlihatkan uterus arkuata dari hasil HSG sebelum kehamilan ini. Kehamilan pertama berakhir dengan abortus, yang kedua terjadi prematur spontan.
Penjelasan mekanisme mahasiswa Uterus malformation --> less space for fetal movement --> mild discomfort. Uterus malformation --> problem in fetal growth, fetal lie, congenital anomalies and placental position. Discomfort and contraction --> alarming sign for labor. The possible explanation for the case above: fetal lie problem, pre-term labor. Further information --> breech presentation.
Menguji mahasiswa: Paradigma lama: Apakah konsekuensi yang ditimbulkan oleh uterus arkuata? (karena 4 sudah benar, maka dibuatkan KECUALI) --> berakhir dengan TAHU. Paradigma baru (competence-based): Apakah mekanisme yang mungkin mendasari keluhan pasien di atas? --> berakhir dengan TAHU dan DAPAT MENGAPLIKASIKAN.
Usefulness of the assessment Usefulness = f(( Reliability. Validity). Acceptability. Educational Impact. Cost)
Aspek Praktik Baik Asupan Proses Luaran 1. Blueprintingmetode ujian 2. Kontributor soal 3. Pedoman ujian 4. Dukungan IT 1. Standarisasi kontributor soal 2. Proses review 3. Try-out item 4. Pengelolaan ujian 5. Pengelolaan bank soal Standard setting
Blueprinting vs metode ujian
Tinjauan 1: SKDI Tinjauan 2 Tinjauan 3 Tinjauan 4 Tinjauan 5 Tinjauan 6 Tinjauan 7 Keterampilan dasar klinis Kognitif Recall Reproduksi Pertumbuhan, perkembangan, dan degenerasi Promosi kesehatan dan pencegahan penyakit Individu Aplikasi biomedis, perilaku, klinis, & epidemiologi pada kedokteran keluarga Prosedural Reasoning Kepala dan leher Kelainan genetik dan kongenital Penapisan (Diagnosis) Keluarga Komunikasi efektif Konatif Syaraf & Perilaku Penyakit infeksi dan imunologi Manajemen (Terapi) Masyarakat Manajemen masalah kesehatan primer Dermatomuscul oskeletal Penyakit neoplasma Rehabilitasi Penelusuran, kritisi, dan manajemen informasi Hemato dan immunology Penyakit akibat trauma atau kecelakaan Profesionalisme, moral, dan etika praktik kedokteran Cardiovascular Kesadaran, pemeliharaan, dan pengembangan personal Gatrointestinal, hepatobilier, dan pankreas Respiratory Urogenital Endokrin dan Metabolisme
100 Distribusi Soal UKDI berdasarkan Tinjauan 1 90 80 70 UKDI 1 UKDI 2 Prosenta ase 60 50 40 30 20 10 UKDI 3 UKDI 4 UKDI 5 UKDI 6 UKDI 7 UKDI 8 UKDI 9 UKDI 10 UKDI 11 UKDI 12 1. Ketrampilan dasar klinik (10-20%) 2. Aplikasi biomedik, perilaku, klinikal dan epid. pada ked. kel. (40-60%) 3. Komunikasi Efektif (10-20%) 4. Manajemen Kes. Primer (10-20%) 5. Penelusuran kritisi & manajemen informasi (2-5%) 6. Profesionalisme, moral, dan etika prak. Kedokteran (5-10%) 7. Kesadaran, pemeliharaan, dan pengembangan profesional (0%) 0 0 1 2 3 4 5 6 7 8 Sub Tinjauan
100 Distribusi Soal Berdasarkan Tinjauan 2 Distribusi Soal Berdasarkan Tinjauan 3 90 UKDI 1 100 80 UKDI 2 90 Prosentase e 70 60 50 40 30 20 10 0 Kognitif Proc. Know. Konatif 0 1 2 3 Sub Tinjauan UKDI 3 UKDI 4 80 70 UKDI 5 60 UKDI 6 50 UKDI 7 40 UKDI 8 30 UKDI 9 20 UKDI 10 10 UKDI 11 0 UKDI 12 0 1 2 3 Sub Tinjauan
Distribusi Soal Berdasarkan Tinjauan 4 UKDI 1 UKDI 2 UKDI 3 UKDI 4 UKDI 5 UKDI 6 UKDI 7 UKDI 8 UKDI 9 UKDI 10 UKDI 11 UKDI 12 20 15 Prosentase 10 5 0 0 1 2 3 4 5 6 7 8 9 10 11 12 Sub Tinjauan
Prosentase 60.0 55.0 50.0 45.0 40.0 35.0 30.0 25.0 20.0 15.0 10.0 5.0 0.0 Distribusi Soal Berdasarkan Tinjauan 5 0 1 2 3 4 5 6 7 Sub Tinjauan UKDI 1 UKDI 2 UKDI 3 UKDI 4 UKDI 5 UKDI 6 UKDI 7 UKDI 8 UKDI 9 UKDI 10 UKDI 11 UKDI 12 1. Pertumbuhan, perkembangan, dan degenerasi 2. Kelainan genetik dan kongenital 3. Penyakit infeksi dan imunologi 4. Penyakit akibat trauma atau kecelakaan 5. Penyakit neoplasma 6. Lainnya (non Specified)
Prosentase 100.0 90.0 80.0 70.0 60.0 50.0 40.0 30.0 20.0 10.0 0.0 Distribusi Soal Berdasarkan Tinjauan 6 0 1 2 3 4 5 6 Sub Tinjauan 1. Promosi kesehatan dan pencegahan penyakit 2. Penapisan/Diagnosis 3. Manajemen/Terapi 4. Rehabilitasi 5. Aspek hukum dan etik UKDI 1 UKDI 2 UKDI 3 UKDI 4 UKDI 5 UKDI 6 UKDI 7 UKDI 8 UKDI 9 UKDI 10 UKDI 11 UKDI 12
Distribusi Soal Berdasarkan Tinjauan 7 100 Pro osentase 90 80 70 60 50 40 30 20 10 0 0 1 2 3 4 Individu Keluarga Masyarakat Sub Tinjauan UKDI 1 UKDI 2 UKDI 3 UKDI 4 UKDI 5 UKDI 6 UKDI 7 UKDI 8 UKDI 9 UKDI 10 UKDI 11 UKDI 12
Komposisi Soal berdasarkan SKDI Kategori
Distribusi Faktor Kesukaran Soal berdasarkan Kategori Kompetensi 100% 90% 80% 70% 60% 50% 40% 30% 20% 1 0.9 0.8 > = 0.2 < 0.2 0.2 0.1 10% 0% 12 23A 33B 4 Kategori Kompetensi
Reliability soal
Simple Blueprint Competence Categories CVS RS GI.. MSS Endo/ Metab Haem / Oncology. History Taking Physical Exam Tests and Procedures.. Management Communication and Patient Education
Hierarchy The Hospital Setting The Community Setting Competence Categories CVS RS GI.. CVS RS GI History Taking Physical Exam x x Tests and Procedures x x..
Other Dimension Inpatient Outpatient/Ambulatory Competence Categories CVS RS GI.. CVS RS GI History Taking Physical Exam x x Tests and Procedures x x..
Other Dimension The Child The Elderly Competence Categories CVS RS GI.. CVS RS GI History Taking x x Physical Exam Tests and Procedures..
Other Dimension The Child The Elderly Cognitive /Affective Categories CVS RS GI.. CVS RS GI Recall x x Reasoning Affect x x Skill..
Competence Categories CVS RS NB GI Repro MSS Endo/ Metab Haem/ Oncology GUS Head & Neck Special Sense Phsyciatry Case AMI (3B) TB Lung Febrile Conv. (SP) Diarrhea (pediatric) Obgyn (contrasepti on) Low Back Pain Thyroid (SP) DHF Grade 3-4 (adult) (SP) Urinary Retentio n (SP) Mild- Moderate Head Injury (SP) Hearing Dissorders (3A, depkes) Schizoprenia (SP) (3A, depkes) History Taking HT fever HT Thyroid Alloanamnesis Physical Exam Reflex Examination PE Thyroid GCS Assessment of hearing Tests & Procedures CPR Chest Xray IV line IM injection Suturing X-ray fracture IV line Catheteri zation Management Prescribe Communication & Patient Education Diet Counseling On malnutrition (peds) Breaking bad news (breast malignancy)
Waktu Ujian vs Reliability
Epilogue Blueprint merupakan pijakan awal meningkatkan usefulness dari assessment. Perlu decision based on the value, dan perlu ada review terus menerus.