Item Development and Review Workshop

Transkripsi

1 Item Development and Review Workshop Divisi Ujian Tulis Komite Bersama Uji Kompetensi Dokter Indonesia Bandung, Maret 2012 Tahap Penjaminan Mutu UKDI Input Process Output 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 1. Review Process 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank Criterionreference. Standard setting exercise 1

2 Perbandingan Hasil UKDI First vs Re-Taker UKDI 1 st Taker Re-Taker Pass mark N peserta Failure rate (%) Successfu l Rate (%) N peserta Failure rate (%) Successful Rate (%) Retaker Lulus lewat ujian tulis I n.a n.a 40 n.a II III IV V VI VII VIII IX X XI XII XIII XIV XV XVI XVII XVIII XIX Σ Komposisi Soal UKDI XIX berdasarkan SKDI Buku 1 Buku 2 2 3A 3B 4 2

3 Item Development Item writer Local Item Bank Administrator Regional Item Bank Administrator National Item Review Item Bank 2 Panel expert National Item Bank Administrator Item Bank 1 Non scored items Item Bank 3 Item Selection process Question book Item Bank 4 Tijauan1: SKDI Tinjauan 2 Tinjauan 3 Tinjauan 4 Tinjauan 5 Tinjauan 6 Tinjauan 7 Ketrampilan dasar klinis Kognitif Recall Reproduksi Pertumbuhan, perkembangan, dan degenerasi Aplikasi biomedis, behavior, clinical, & epidemiologi pada kedokteran Procedural skill Reasoning Kepala dan leher Kelainan genetik dan kongenital Komunikasi efektif Afektif Saraf & Perilaku Penyakit Infeksi dan Imunologi Promosi kesehatan dan pencegahan penyakit Penapisan/Dia gnosis Manajemen/T erapi Individu Keluarga Masyarkat Manajemen masalah kesehatan primer Kulit, otot, tulang, j aringan lunak Penyakit neoplasma Rehabilitasi Penelusuran, kritisi, dan manajemen informasi Profesionalisme, moral, dan etika praktik kedokteran Darah & Sistem Kekebalan Jantung, Pembul uh darah & Sistem limfatik Penyakit akibat trauma atau kecelakaan Aspek hukum dan etika Kesadaran, pemeliharaa n, dan pengembangan personal Saluran cerna, hepatobilier, dan pankreas Saluran Pernapasan Ginjal dan saluran Urogenital Endokrin dan metabolisme Blue Print UKDI 3

4 Aspek Review Isi Struktur Contoh Kasus 1: isi? Seorang pria 20 tahun, sehat, sebelumnya masuk perawatan rumah sakit dengan keluhan nyeri mendadak pada dada sebelah kiri, ECG normal, foto paru-paru terlihat pneumotorak. Apakah tindakan yang akan anda lakukan : A. Observasi. B. Intubasi C. Torakotomi. D. Torakostomi. E. Torakoektomi. 4

5 Contoh Kasus 1: isi? Seorang laki-laki berusia 20 tahun dibawa polisi ke UGD RS, setelah kecelakaan motor, dengan keluhan pada dada sebelah kanan. Pada pemeriksaan fisik diperoleh frekuensi napas 32 x /menit, denyut nadi 110 x/menit, tanda vital lain dalam batas normal, bentuk dan pergerakan toraks asimetris, VF kanan menurun, VBS kanan (-). ECG dalam batas normal. Apakah tindakan yang akan anda lakukan : A. Observasi. B. Intubasi C. Torakotomi. D. Torakostomi. E. Torakoektomi. SKDI Pneumothoraks (3a dan 3b) 3b. Mampu membuat diagnosis klinik berdasarkan pemeriksaan fisik dan pemeriksaanpemeriksaan tambahan yang diminta oleh dokter (misalnya : pemeriksaan laboratorium sederhana atau X-ray). Dokter dapat memutuskan dan memberi terapi pendahuluan, serta merujuk ke spesialis yang relevan (kasus gawat darurat). Torakotomi, torakostomi tidak ada dalam list keterampilan dokter umum. 5

6 Lesson Learnt pada isi Apakah secara isi, topik soal yang ditanyakan esensial? Rujukan: Standard Kompetensi Dokter Indonesia (SKDI) dan blueprinting UKDI. Pedoman dalam menyusun MCQ Fokuskan pada materi yang penting hindari trivia Hindari pertanyaan recall simpel : jawaban yang dapat diperoleh dari suatu halaman buku ajar. Hindari pertanyaan yang mendorong memorisasi simpel Selalu uji kemampuan aplikasi, integrasi, atau pemahaman Uji kemampuan daya nalar dan pemecahan masalah Relevansi pada SKDI 6

7 Esensial 24/10/2012 Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Tidak esensial Dikembalikan Review struktur Struktur? 7

8 Esensial 24/10/2012 Struktur Vignette Lead in Option Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Tidak esensial Dikembalikan Review struktur Vignette 8

9 Contoh Kasus 2: vignette? Seorang laki-laki berusia 55 tahun datang dengan nyeri dada kiri yang hebat sejak 2 jam yang lalu saat sedang senam pagi. Nyeri dirasakan menjalar ke lengan kiri, tidak hilang dengan istirahat. Pasien adalah perokok berat. Kakak tertua meninggal mendadak 2 tahun yang lalu saat latihan tenis. Apakah pemeriksaan yang paling tepat saudara minta untuk memastikan diagnosis pasien di atas? A. Foto thorax dan EKG B. Echocardiografi dan EKG C. Echocardiografi dan enzim CPK D. EKG dan enzim CPK E. Foto thorax dan Echocardiografi Komponen Vignette Jenis kelamin, usia (e.g. laki-laki 45 tahun) a. Kasus spesifik perempuan kehamilan b. Kasus anak-anak, dewasa, geriatri? - Tempat pelayanan/setting (IGD) - Keluhan Utama - Durasi - Gejala penyerta dan keterangan pasien lainnya - Pemeriksaan fisik - Pemeriksaan penunjang 9

10 Lesson learnt pada vignette - Bahasa yang digunakan pada vignette - Vignette terlalu pendek (tidak lengkap), atau terlalu panjang (tidak terkait logika option). - Urutan vignette tidak sistematik (HT, PD, HT, PD, PP). - Close the option rule Confirm The Vignette Lebih berfokus pada konsep daripada fakta penyakit Masalah dapat dijawab tanpa melihat pilihan jawaban Informasi relevan dan lengkap Tidak ada data yang ditampilkan pada vignette Tidak menjebak 10

11 Seorang (laki-laki/perempuan/anak laki-laki/anak perempuan) berusia..tahun (datang/dibawa orang tuanya/dibawa keluarganya) ke (rumah sakit/puskesmas/dokter praktik umum) dengan keluhan.. Keluhan disertai. Pasien diketahui Bekerja sebagai Pada pemeriksaan fisik (diperoleh/ditemukan/didapatkan) keadaan umum Pada pemeriksaan tanda vital diperoleh tekanan darah mmhg, denyut nadi.x/menit, frekuensi napas x/menit dan suhu. 0 C. Pada pemeriksaan (obstetrik, dermatologik, visus, neurologik) (diperoleh/ditemukan/didapatkan) Pada pemeriksaan laboratorium (darah/urine/feses/cairan serebro spinal) diperoleh. Pada pemeriksaan foto rontgen diperoleh gambaran Next step? 11

12 Esensial 24/10/2012 Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Tidak esensial Dikembalikan Review struktur Vignette Lead-in Kasus 3: Lead in? Seorang wanita umur 30 tahun mengeluh ada benjolan sebesar 1,5 cm dibawah telinga kanan yang diderita selama 4 tahun. Pada pemeriksaan, lesinya padat dan keras, dapat digerakkan, N.VII, fungsi baik, tidak teraba pembesaran kelenjar getah bening. Diagnosisnya kasus ini adalah : A. Kistoadenoma limfomatosum (Warthin tumor). B. Karsinoma Muko-epidermoid tahap awal. C. Tumor campur jinak. D. Tumor campur ganas. E. Adenokarsinoma sel asinar. 12

13 Lesson learnt pada Lead-in Menggunakan kata tanya secara langsung, sehingga dapat memenuhi close the option rule Berbagai contoh Jenis Pertanyaan (Lead-in) Mengidentifikasi penyebab/diagnosis Mengidentifikasi obat yang harus diberikan Memprediksi hasil pemeriksaan fisik Memprediksi hasil lab Mengidentifikasi efek samping obat Memperkirakan obat yang dikonsumsi Memperkirakan paparan zat beracun Memperkirakan jenis diet Memprediksi sekuel yang timbul 13

14 Esensial 24/10/2012 Next step? Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Tidak esensial Dikembalikan Review struktur Vignette Lead-in Option 14

15 Kasus 4: Option? Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat oleh seorang polisi, yang menemukannya dalam keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan dalam keadaan tidak tersumbat, langkah pertama dalam manajemen adalah administrasi intravena: A. pemeriksaan cairan serebrospinal B. glukosa dengan vitamin B1 (thiamine) C. CT scan kepala D. fenitoin E. diazepam Lesson learnt pada Option Homogen: gramatikal, semantik, panjangpendek. Hindari absolutisme: selalu, tidak pernah. Hindari konvergensi. Hindari kesamaan istilah dengan vignette. Hindari urutan yang tidak sistematis menyulitkan. Hindari kalimat: bukan salah satu di atas 15

16 Esensial 24/10/2012 Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Tidak esensial Dikembalikan Review struktur Vignette Lead-in Option Checkpoint Bagaimanakah step mereview soal? 16

17 Apa saja yang perlu ditelaah? Materi : Relevansi: Kongruensi Bahasa Tingkat kesulitan (tingkat kompetensi) Klasifikasi : e.g. Dasar atau klinik? Apa saja yang perlu ditelaah? Struktur : Stem Lead in Option Tinjauan (Blue Print) Kesimpulan Komentar umum dan saran Diterima/revisi/dikembalikan 17

18 1. Peserta: Metode 1. IBA Regional: membawa soal dari Institusi di regional 2. Reviewer Nasional: mereview soal dari institusi regional 3. Penulis soal (invited): membuat & mereview soal (30 soal) 2. Format Soal: Word vs. Aplikasi SIPENA 3. Kelompok Review: 2-3 orang per kelompok 4. Tugas Kelompok: Mengumpulkan soal Melakukan review soal (peer review) sesuai standard UKDI. Berurutan, 5-8 menit/soal Merekap hasil review soal: Soal terkumpul, Soal direview Soal baik/diterima Soal kurang baik/ditolak Soal belum direview Memperbaiki hasil review soal pada file/aplikasi Memperbaiki tinjauan dan penulis soal Protap Penyiapan Materi dan Review Format Word Simpan file word pada folder desktop: WS Item Rev_ Rename file word peserta (institusi_wsir120328_jumlah soal.doc) Review Soal Soal diterima: Ubah warna font BIRU Soal ditolak: Ubah warna font MERAH Soal belum direview Hitam Save As: (institusi_wsir120328_jumlah soal_rev.doc) Isi form review soal ID Soal (LIHAT PEDOMAN IBA): Kode Institusi-Bidang Ilmu-No. Urut Soal (dalam 1 file) 18

19 Protap Penyiapan Materi dan Review Format SIPENA Menggunakan USB SIPENA yang telah disiapkan panitia Login ke dalam SIPENA (sesuai upas IBA Regional) Review Soal Ikuti cara mereview sesuai pedoman Isi form review soal ID Soal (LIHAT PEDOMAN IBA): Kode Institusi--No. Urut Soal (dalam aplikasi) Serahkan USB kepada IT pusat sesuai tugas Tindak lanjut Pengembangan UKDI Try Out per regional Bank soal regional CBT di institusi dan regional Soal Try Out dikirim ke Pusat Penanganan Retaker Tim/Penanggung jawab di Institusi Koordinasi Div Man KBUKDI Try Out OSCE Pengembangan Soal dan Penguji 19

20 Selamat bekerja 20