Uji Kompetensi sebagai sebuah Sistem

Transkripsi

1 Blue Print untuk uji kompetensi Mengapa diperlukan? Sari PuspaDewi KomiteBersama UjiKompetensiDokter Indonesia Uji Kompetensi sebagai sebuah Sistem Ujian Standarisasi Nasional Benchmarking Regional Sistem Ujian Institusi - Implementasi KBK - 80% isi kurikulum - Syarat kelulusan - Implementasi KBK - Fase akademik (prediagnostik/treatment) - Fungsi formatif - Implementasi KBK - 100% isi kurikulum - Syarat kelulusan 1

2 Sistem Uji Kompetensi Prinsip KBK disertai evaluasi hasil belajar berbasis kompetensi (perubahan mind-set). Uji kompetensi = competence-based assessment sebagai longitudinal assessment, UKDI (ujian standarisasi nasional/ uji kompetensi) bagian integral dan komplementer terhadap sistem ujian kompetensi di institusi. Usefulness of the assessment Usefulness = R x V x P x EI R = Reliability V = Validity P = Practical Acceptability & Feasibility (cost) EI = Educational Impact (Van dervleuten, 2001) 7 2

3 Aspek Praktik Baik Asupan Proses Luaran 1. Blueprintingmetodeujian 2. Kontributorsoal 3. Pedomanujian 4. Dukungan IT 1. Standarisasi kontributor soal 2. Proses review 3. Try-out item 4. Pengelolaan ujian 5. Pengelolaan bank soal Standard setting Mengapa Blue Print? The blueprint = matrix. Outlines assessment in 3 major areas: Kompetensi yang ingindiujikan. Materi Instrumen yang digunakan. Others: Description of Purpose. Examinee. Number of Items. Timing Scoring Report design & distribution 3

4 Mengapa Blue Print? Memastikanbahwaterdap atkeseimbanganberbagai aspekpenilaian Penerapanberbagaimeto daujianbiasanyadibutuhk anuntukmencapaitujuan penilaianberdasarkan blue print Penggunaanberbagaiinst rumenpenilaian balanc e of strengths and weaknesses of each method Blueprinting vs metode ujian 4

5 Sample Blueprint for Medicine for an MCQ and OSCE Examination Competency MCQ OSCE Communication skills 10% Clinical Skills 20% 70% Application of Scientific basis knowledge 40% Management of health problems 30% Management of information 10% Self awareness & development 10% Ethics, morals, professionalism 10% Sample Blueprint for an MCQ Examination Clinical Tasks Data gathering Data interpretation and synthesis Drug management Non-drug management Child Health Maternal health Adult health Mental health Population health

6 Tinjauan I Tinjauan 2 Tinjauan 3 Tinjauan 4 Tinjauan 5 Tinjauan 6 Tinjauan 7 Komunikasi Efektif Kognitif Recall Reproductive Pertumbuhan, perkembangan dan penyakit degeneratif Keterampilan Dasar Klinik Prosedural Reasoning Head and Neck Kelainan genetik dan kongenital Promosi kesehatan dan pencegahan penyakit Penapisan (Diagnosis) Individu Keluarga Aplikasi biomedik, perilaku, klinis & epidemiologi pada kedokteran keluarga Konatif Neurology and behaviour Penyakit infeksi dan imunologi Manajemen (Terapi) Masyarakat Manajemen Masalah Kesehatan Primer Dermatomusculo skeletal Penyakit neoplasma Rehabilitasi Penelusuran Kritisi dan Manajemen Informasi Profesional, moral danetikapraktikkedokter an Kesadaran, pemeliharaan, danpengembangan personal Hematoimmunology Cardiovascular Gatrointestinal, hepatobilier, and pancreas Respiratory Urogenital Endokrin and Metabolisme Penyakit akibat trauma atau kecelakaan Aspek hukum dan etik Blue Print UKDI Workflow of Item Bank Administration Item writer Local Item Bank Administrator Regional Item Bank Administrator Item Bank 1 Try Out Item Bank 2 Panel expert National Item Bank Administrator Item Bank 3 Item Selection process Question book Item Bank 4 6

7 7

8 8

9 9

10 KomposisiSoal UKDI XIII berdasarkan SKDI 100,0 90,0 80,0 70,0 60,0 50,0 40,0 Soal UKDI 30,0 20,0 10,0 0,0 2 3A 3B 4 Kategori Distribusi Tingkat Kesulitan Soal UKDI XIV Berdasarkan Level Kompetensi 100% 90% 80% 70% 50% 32% 30% 60% 50% 40% 30% 20% 50% 66% 68% Mudah Sedang Sulit 10% 0% 2 3A & 3B 4 10

11 Distribusi Faktor Kesukaran Soal UKDI XIV berdasarkan Kategori Kompetensi 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% < % 2 3A & 3B 4 DistribusiFaktorKesukaranSoal UKDI XIII berdasarkankategorikompetensi 100% 90% 80% 70% 60% 50% 40% 30% > = 0.2 < % 10% 0% A 3B3 4 Kategori Kompetensi 11

12 Distribusi Tingkat KesulitanSoal UKDI XIII Berdasarkan Level Kompetensi 100% 90% 80% 70% 60% 50% 40% Mudah Sedang Sulit 30% 20% 10% 0% Simple Blueprint Competence Categories CVS RS GI.. MSS Endo/ Metab Haem / Oncology. History Taking Physical Exam Tests and Procedures.. Management Communication and Patient Education 12

13 Hierarchy The Hospital Setting TheCommunitySetting Competence Categories CVS RS GI.. CVS RS GI History Taking Physical Exam x x Tests and Procedures x x.. Competence Categories CVS RS NB GI Repro MSS Endo/ Metab Haem/ Oncology GUS Head & Neck Special Sense Phsyciatry Case AMI (3B) TB Lung Febrile Conv. (SP) Diarrhea (pediatric) Obgyn (contrasepti on) Low Back Pain Thyroid (SP) DHF Grade 3-4 (adult) (SP) Urinary Retentio n (SP) Mild- Moderate Head Injury (SP) Hearing Dissorders (3A, depkes) Schizoprenia (SP) (3A, depkes) History Taking HT fever HT Thyroid Alloanamnesis Physical Exam Reflex Examination PE Thyroid GCS Assessment of hearing Tests & Procedures CPR Chest Xray IV line IM injection Suturing X-ray fracture IV line Catheteri zation Management Prescribe Communication & Patient Education Diet Counseling On malnutrition (peds) Breaking bad news (breast malignancy) 13

14 Waktu Ujian vs Reliability ReliabilitasSoal UKDI 39 14

15 Dukungan IT Website ujian: jadwal, profil ujian, (pendaftaran), selfassessment/quiz, (pengumuman hasil). Item Bank: penyimpanan, pemilihan soal. Pelaksanaan ujian: CBT, OSCE Item Analysis Standard setting: OSCE Epilogue 41 Blueprint merupakanpijakanawalmeningkatkan usefulness dari assessment. Perlupenetapankeputusanberdasarkan value masingmasingprofesi, dan review terusmenerus. Perlukomitmendalamupayacontinuing quality improvementberdasarkanlesson learnt implementasimenujupraktik yang lebihbaik. 15

16 Terimakasih 16