1 Penulisan Soal MCQ untuk Uji Kompetensi IRWIN ARAS Departemen Pendidikan Kedokteran FK UNHAS Penilaian Berbasis Kompetensi dalam Pendidikan Dokter Competency-based assessment is the assessment of the abilities of persons to use (apply) their knowledge, skills and attitudes in daily practice to improve the health of the individual patient and community (Gordon Page, UBC) 2
2 Prinsip Penilaian Efektif (Lambert & Lines, 2001): Konsep harus spesifik dan jelas. Instrumen harus sesuai karakteristik yang dinilai. Butuh kesadaran akan keterbatasannya. Penilaian komprehensif butuh instrumen bervariasi. Penilaian bukan tujuan tapi sarana. Keterampilan anamnesis pasien di RS. Rubrik. bersifat general, tidak spesifik. Howthorne effect. Check list, peer assessment, 360 0 assessment. Evaluasi sistem penilaian. Umpan balik dari dosen dan mahasiswa. 3 Syarat instrumen yang baik (Shumway & Harden, 2001) 1. Validitas; fungsi mengukur sesuatu yang sebenarnya hendak diukur. 2. Reliabilitas; konsisten mengukur sesuatu yang sebenarnya hendak diukur. 3. Kepraktisan; fisibilitas ketika penyiapan, penggunaan maupun ketika ujian telah selesai dilaksanakan. 4. Dampak pembelajaran; pengaruh terhadap proses belajar mahasiswa. 4
3 MCQ sudah sangat luas digunakan, termasuk UK profesi kesehatan sejak tahun 2006. Alasan menggunakan MCQ; reliabilitas yang cukup tinggi, mudah dalam persiapan dan pelaksanaan ujian, serta memungkinkan dilakukan item analysis pasca ujian (computer-based testing, CBT) menilai berbagai capaian pembelajaran, dari kemampuan recalling, hingga critical thinking, clinical reasoning & problem solving. sampel pengetahuan yang efektif dan efisien, jika didesain dengan baik, penilaian dapat meningkatkan kualitas belajar mahasiswa (Roediger, McDermott & McDaniel, 2010) Jenis MCQ True/False MCQs: Select all of the options that are true: C (A/B/both/neither) K (complex multiple true/false) X (multiple true/false) One-Best Answer MCQs: Select the single best response: A (3 or more options, single items or sets) R (Extended Matching items in sets of 2-20 items)
4 Format MCQ Tampilan Soal MCQs-CBT UKMPPD
5 Mengapa Vignette/Stem/Kasus lebih mampu mendiskriminasi kemampuan atau level kognitif mahasiswa (Case dan Swanson, 2002). membantu mahasiswa dalam hal memahami relevansi klinis sebuah konsep dengan mengaplikasikan pengetahuannya untuk membuat keputusan atau pemecahan masalah klinis. Selain itu dari satu vignette dapat dibuat lebih dari satu lead-in, baik menyangkut ilmu kedokteran dasar maupun klinik. Prinsip penulisan soal MCQ tipe A Relevan dengan kompetensi profesi kesehatan. Fokus pada sebuah konsep yang penting bagi profesi kesehatan pada setting layanan kesehatan primer. Berkaitan pengambilan keputusan klinik, bukan hafalan. Kemungkinan jawaban benar sudah dapat diduga tanpa perlu melihat pilihan jawaban (cover/close the options rule). Data atau informasi yang relevan seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban sesingkat mungkin. Gunakan Bahasa Indonesia yang baku. Hindari technical item flaws yaitu testwiseness atau irrelevant difficulties. Didukung oleh referensi yang disepakati.
6 Cover the options rule Which of the following is true about pseudo-gout? A. It occurs frequently in women. B. It is seldom associated with acute pain in a joint. C. It may be associated with a finding of chondro-calcinosis. D. It is clearly hereditary in most cases. E. It responds well to treatment with allopurinol. 11 Cover the options rule Seorang wanita berusia 25 tahun dibawa keluarganya ke unit gawat darurat RS dalam keadaan tidak sadar. Dari alloanamnesis terhadap diketahui pasien menderita diabetes sejak berumur 15 tahun dan mendapat terapi insulin. Sudah tiga hari kehabisan insulin dan sejak itu penderita merasa lemah & banyak kencing. Pada pemeriksaan fisik diketahui penderita dalam keadaan koma, tekanan darah 80/60 mmhg, denyut nadi 140/menit, pernapasan 32 /menit, dalam dan suhu 37,8 0 C, turgor kulit berkurang. Pemeriksaan lab; GDS 530 mg/dl, Ketonuri positif. Apakah penyebab timbulnya keluhan utama tersebut? a. Berkurangnya insulin secara absolut b. Bertambahnya resistensi insulin c. Bertambahnya produksi glukosa d. Berkurangnya absorbsi glukosa e. Berkurangnya proses lipolisis 12
7 Blueprint soal 1. Syaraf 2. Psikiatri 3. Indra 4. Respirasi 5. Kardiovaskuler 6. Gastrointestinal, Hepatobilier dan Pankreas 7. Ginjal dan Saluran Kemih 8. Reproduksi 9. Endokrin, Metabolik dan Nutrisi 10. Hematologi dan Imunologi 11. Muskuloskeletal 12. Integumen Blueprint soal Pengetahuan pendukung peran dokter; 1. Mekanisme/patofisiologi 2. Promosi kesehatan/pencegahan penyakit 3. Penapisan/diagnosis 4. Manajemen/terapi
8 Blueprint soal 1. Etika profesi kesehatan dan hukum kedokteran 2. Sistem kesehatan nasional 3. Metodologi penelitian, statistik dan epidemiologi 4. Ilmu Kedokteran Forensik dan Medikolegal Lead in/pertanyaan Menggunakan kata tanya secara langsung, sehingga dapat memenuhi cover/close the option rule. Mis; apakah, yang manakah, bagaimanakah, kapankah, dll. Menanyakan konsep yang penting dan spesifik, bukan menilai kemampuan mengingat fakta yang bersifat trivial. Menghindari penggunaan kata atau frase negatif seperti KECUALI, TIDAK atau BUKAN. Menghindari kalimat pertanyaan yang terlalu panjang. Contoh; Apakah diagnosis yang paling mungkin pada kasus tersebut?
9 Step 1 1. Tentukanlah satu masalah kesehatan yang relevan bagi seorang dokter. 2. Tentukanlah kompetensi yang harus dicapai berkaitan masalah kesehatan tersebut. 3. Tuliskanlah kalimat pertanyaan yang sesuai konsep yang sudah ditetapkan. 4. Siapkanlah referensi yang telah disepakati untuk masalah kesehatan tersebut. Step 1 1. Tuberculosis paru. 2. Diagnosis; radiologis. Apakah diagnosis yang sesuai gambar foto thorax tersebut?
10 Step 1 Referensi Penulisan Soal (Buku Panduan PNUKMPPD 2016) Vignette/Stem/Badan Soal Sebuah vignette mengandung deskripsi pasien & skenario klinik dengan beberapa atau semua informasi di bawah ini: Gender, usia (Seorang laki-laki, 45 thn). Tempat pelayanan/berobat (datang ke klinik DK) Menampilkan keluhan utama (karena mengalami nyeri pada lututnya). Durasi dan deskripsi (yang dialami sejak 2 hari lalu dan bertambah nyeri bila berjalan) Keluhan penyerta (keluhan tersebut disertai rasa kaku pada sendi tersebut) Riwayat pasien (bekerja kantoran). Temuan pada pemeriksaan fisis (Berat badan 82 kg, tinggi badan 162 cm. Pemeriksaan fisik sendi lutut dirasakan nyeri pada posisi endorotasi). Temuan pada pemeriksaan lanjutan Temuan laboratoris 20
11 Vignette/Stem/Badan Soal Bahasa yang digunakan pada vignette mudah dimengerti. Hindari vignette terlalu pendek (informasi tidak lengkap), atau terlalu panjang (informasi tidak terkait logika option). Urutan vignette harus sistematik (identitas pasien, lokasi/setting pelayanan, anamnesis, pemeriksaan fisik, pemeriksaan pendukung/penunjang, diagnosis, dan atau penatalaksanaan). Step 2 1. Tuliskanlah narasi vignette yang sesuai kebutuhan pada step 1. 2. Pastikan penggunaan bahasa Indonesia yang benar. 3. Pastikan informasi vignette adekuat untuk menjawab pertanyaan.
12 Step 2 Options/pilihan pertanyaan Distraktor atau pengecoh adalah; Pilihan yang salah atau lebih inferior dari jawaban. Cukup masuk akal dan menarik bagi peserta uji yang kurang/tidak belajar. Setara dengan jawaban dalam hal struktur maupun panjangnya. Pilihan haruslah homogen; semuanya adalah diagnosis, atau semuanya jenis antibiotik. Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan badan soal.
13 Options/pilihan pertanyaan Hindari kata-kata absolut seperti kata SELALU, TIDAK PERNAH, dan SEMUA pada pilihan jawaban. Hindari pula istilah frekuensi yang tidak jelas atau meragukan seperti BIASANYA atau SERING. Hindari menggunakan kata atau frasa yang sama pada badan soal. Hindari pilihan BUKAN SALAH SATU DI ATAS atau SEMUA BENAR. Technical Item Flaws; Options/pilihan pertanyaan Testwiseness 1. Grammatical Cues 2.Logical Cues 3.Istilah yang absolut 4. Jawaban benar yang panjang 5.Pengulangan kata dari badan soal ke jawaban 6.Konvergensi soal Irrelevant difficulties 1. Pilihan jawaban yang panjang, kompleks, atau duplikasi 2.Pilihan yang berupa angka tidak diurut sesuai dengan besarnya 3.Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi 4. Pilihan jawaban tidak parallel dan urutan tidak logis 5.Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban 6.Badan soal terlalu panjang, sulit, dan kompleks
14 Options/pilihan pertanyaan Manakah yang merupakan alat transportasi roda tiga bermesin? a. Telepon. b. Buldoser. c. Bentor. d. Gelas. e. Dokar. Manakah yang merupakan alat transportasi roda tiga bermesin? a. Becak. b. Bentor. c. Kapal laut. d. Mobil. e. Speedboat. Options/pilihan pertanyaan 28
15 Step 3 1. Tuliskanlah pilihan jawaban sesuai lead-in pada step 1. 2. Siapkan 5 option; 1 jawaban benar dan 4 pilihan pengecoh. Step 3
16 Review seluruh tahapan Tentukan masalah & kompetensi Tuliskan vignette Tuliskan lead-in Tuliskan options Review seluruh tahapan