Item Development and Review Workshop

Transkripsi

1 Item Development and Review Workshop Divisi Ujian Tulis Komite Bersama Uji Kompetensi Dokter Indonesia Bandung, 20 Desember 2010

2 Tahap Penjaminan Mutu UKDI Input Process Output 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 1. Review Process 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank Criterionreference. Standard setting exercise

3 Aspek Review?

4 Aspek Review Isi Struktur

5 Contoh Kasus 1: isi? Seorang pria 20 tahun, sehat, sebelumnya masuk perawatan rumah sakit dengan keluhan nyeri mendadak pada dada sebelah kiri, ECG normal, foto paru-paru terlihat pneumotorak. Prosedur apa yang akan anda lakukan : A. Observasi. B. Barium meal. C. Torakotomi. D. Torakostomi. E. Torakostomi + intubasi.

6 SKDI Pneumothoraks (3a dan 3b) 3b. Mampu membuat diagnosis klinik berdasarkan pemeriksaan fisik dan pemeriksaanpemeriksaan tambahan yang diminta oleh dokter (misalnya : pemeriksaan laboratorium sederhana atau X-ray). Dokter dapat memutuskan dan memberi terapi pendahuluan, serta merujuk ke spesialis yang relevan (kasus gawat darurat). Torakotomi, torakostomi tidak ada dalam list keterampilan dokter umum.

7 Lesson Learnt pada isi Apakah secara isi, topik soal yang ditanyakan esensial? Rujukan: Standard Kompetensi Dokter Rujukan: Standard Kompetensi Dokter Indonesia (SKDI) dan blueprinting UKDI.

8 Pedoman dalam menyusun MCQ Fokuskan pada materi yang penting hindari trivia Hindari pertanyaan recall simpel : jawaban yang dapat diperoleh dari suatu halaman buku ajar. Hindari pertanyaan yang mendorong memorisasi simpel Selalu uji kemampuan aplikasi, integrasi, atau pemahaman Uji kemampuan daya nalar dan pemecahan masalah

9 Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Esen nsial Tidak esensial Dikembalikan Review struktur

10 Struktur?

11 Struktur Vignette Lead in Option

12 Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Esen nsial Tidak esensial Dikembalikan Review struktur Vignette

13 Contoh Kasus 2: vignette? Seorang laki-laki berusia 55 tahun datang dengan nyeri dada kiri yang hebat sejak 2 jam yang lalu saat sedang senam pagi. Nyeri dirasakan menjalar ke lengan kiri, tidak hilang dengan istirahat. Pasien adalah perokok berat. Kakak tertua meninggal mendadak 2 tahun yang lalu saat latihan tenis. Apakah pemeriksaan yang paling tepat saudara minta untuk memastikan diagnosis pasien di atas? A. Foto thorax dan EKG B. Echocardiografi dan EKG C. Echocardiografi dan enzim CPK D. EKG dan enzim CPK E. Foto thorax dan Echocardiografi

14 Komponen Vignette Jenis kelamin, Umur (e.g. laki-laki 45 tahun) a. Kasus spesifik wanita kehamilan b. Kasus anak-anak, dewasa, geriatri? - Tempat pelayanan/setting (IGD) - Keluhan Utama - Durasi - Gejala penyerta dan keterangan pasien lainnya - Pemeriksaan fisik - Pemeriksaan penunjang

15 Lesson learnt pada vignette - Bahasa yang digunakan pada vignette - Vignette terlalu pendek (tidak lengkap), atau terlalu panjang (tidak terkait logika option). - Urutan vignette tidak sistematik (HT, PD, HT, PD, PP).

16 Seorang (laki-laki/perempuan/anak laki-laki/anak perempuan) berusia..tahun (datang/dibawa orang tuanya/dibawa keluarganya) ke (rumah sakit/puskesmas/dokter praktik umum) dengan keluhan.. Keluhan disertai. Pasien diketahui Bekerja sebagai Pada pemeriksaan fisik (diperoleh/ditemukan/didapatkan) keadaan umum Pada pemeriksaan tanda vital diperoleh tekanan darah mmhg, denyut nadi.x/menit, frekuensi nafas x/menit dan suhu. 0 C. Pada pemeriksaan (obstetrik, dermatologik, visus, neurologik) (diperoleh/ditemukan/didapatkan) Pada pemeriksaan laboratorium (darah/urine/feses/cairan serebro spinal) diperoleh. Pada pemeriksaan foto rontgen diperoleh gambaran

17 Confirm The Vignette Focus on important concepts rather than trivial facts Can be answered without looking at the options Includes all relevant facts; no additional data should be provided in the options Is not tricky or overly complex

18 Next step?

19 Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Esensial Tidak esensial Dikembalikan Review struktur Vignette Lead-in

20 Kasus 3: Lead in? Seorang wanita umur 30 tahun mengeluh ada benjolan sebesar 1,5 cm dibawah telinga kanan yang diderita selama 4 tahun. Pada pemeriksaan, lesinya padat dan keras, dapat digerakkan, N.VII, fungsi baik, tidak teraba pembesaran kelenjar getah bening. Diagnosisnya kasus ini adalah : A. Kistoadenoma limfomatosum (Warthin tumor). B. Karsinoma Muko-epidermoid tahap awal. C. Tumor campur jinak. D. Tumor campur ganas. E. Adenokarsinoma sel asinar.

21 Lesson learnt pada Lead-in Menggunakan kata tanya secara langsung, sehingga dapat memenuhi close the option rule

22 Berbagai contoh Jenis Pertanyaan (Leadin) Mengidentifikasi penyebab/diagnosis Mengidentifikasi obat yang harus diberikan Memprediksi hasil pemeriksaan fisik Memprediksi hasil lab Mengidentifikasi efek samping obat Memperkirakan obat yang dikonsumsi Memperkirakan paparan zat beracun Memperkirakan jenis diet Memprediksi sekuel yang timbul

23 Next step?

24 Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Esensial Tidak esensial Dikembalikan Review struktur Vignette Lead-in Option

25 Kasus 4: Option? Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat oleh seorang polisi, yang menemukannya dalam keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan dalam keadaan tidak tersumbat, langkah pertama dalam manajemen adalah administrasi intravena: A. pemeriksaan cairan serebrospinal B. glukosa dengan vitamin B1 (thiamine) C. CT scan kepala D. fenitoin E. diazepam

26 Lesson learnt pada Option Homogen: gramatikal, semantik, panjangpendek. Hindari absolutisme: selalu, tidak pernah. Hindari konvergensi. Hindari kesamaan istilah dengan vignette. Hindari urutan yang tidak sistematis menyulitkan. Hindari kalimat: bukan salah satu di atas

27 Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Esensial Tidak esensial Dikembalikan Review struktur Vignette Lead-in Option

28 Checkpoint Bagaimanakah step mereview soal?

29 Apa saja yang perlu ditelaah? Materi : Relevansi: Kongruensi Bahasa Tingkat kesulitan (tingkat kompetensi) Klasifikasi : e.g. Dasar atau klinik?

30 Apa saja yang perlu ditelaah? Struktur : Stem Lead in Option Kesimpulan Komentar umum dan saran Diterima/revisi/dikembalikan

31 Struktur Soal : Item Flaws Grammatical Cues Logical Cues Istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi soal Pilihan jawaban yang panjang, kompleks, atau duplikasi ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak

32 Pilihan yang berupa angka tidak diurut sesuai dengan besarnya Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi Pilihan jawaban tidak paralel dan urutan tidak logis Penggunaan BSSD (bukan salah satu di atas pada pilihan jawaban) Badan soal terlalu panjang, sulit, dan kompleks ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak ( ) Ya ( ) Tidak

33 Komentar Umum Reviewer ID Soal : Kesimpulan Hasil Review ( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Perlu konfirmasi pembuat soal ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) memerlukan perbaikan keseluruhan ( ) Berpotensi diterima dengan perbaikan

34 Saran Perbaikan Tanggal: (DD) / (MM) / (YY) Tanda Tangan Reviewer Nama Jelas :

35 Exercise Seorang mahasiswa pria, 25 tahun datang ke rumah sakit dengan keluhan panas badan sejak 2 minggu yang lalu yang mulai secara gradual dan berlangsung remiten. BAB mencret lebih kurang 2 kali sehari. Pada pemeriksaan fisik ditemukan keadaan umum yang sakit sedang, apatis, hepatomegali 2 jari dibawah arcus costae. Hb 14,2 gr/dl, leukosit 4200 /mm3, trombosit /mm3. Pertanyaan: Apa tindakan diagnosis yang akan anda lakukan pada pasien ini? Pilihan jawaban: A. Pemeriksaan Hemaglutinasi test untuk dengue B. Pemeriksaan Widal I dan II, Kultur darah dan feses untuk salmonela C. Pemeriksaan Widal I dan II. D. Pemeriksaan apus tebal darah untuk malaria/ DDR E. Feses rutin dan kultur

36 Komentar

37 Next step? Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada.

38 Feedback terhadap pembuat soal?