Item Development and Review

Transkripsi

1 Item Development and Review

2 LATAR BELAKANG Era perdagangan bebas barang & jasa Dampak ganda: kesempatan kerja yang luas dan persaingan yang semakin ketat TANTANGAN MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD KEBUTUHAN GLOBAL

3

4 Kenapa MCQ A type? Paling umum digunakan ujian lisensi oleh profesi-profesi (standardized test) Sejarah panjang riset tentang psychometric Cost effective untuk skala besar Paling objektif & reliable (tanpa halo effect) Memungkinkan berbagai variasi dan topik Sulit & memakan waktu untuk dibuat

5 Masalah Ujian Isi yang diujikan tidak konsisten Proporsi tidak konsisten Soal ada yg terlalu mudah/sulit Soal yang tidak layak masih sering keluar

6 Tahap Penjaminan Mutu Input Process Output 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 1. Review Process 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank Criterionreference. Standard setting exercise

7 Kompetensi Esensial Terujikan Ujiandiharapkanmemenuhitingkatsafety Bagi Nakes pemula: Penciri nakes(kompetensi Inti) Sangat penting dan prinsip untuk dikuasai oleh lulusan baru Sangat sering dilakukan oleh Nakes baru

8 Ujian Tulis Multiple Choice Question One Best Answer

9 Why One Best Answer Jenis soal lebih mudah ditebak Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien

10 Membuat Soal MCQ UNTUK LEVEL TINGGI (PROVINSI/NASIONAL) Tidak semudah yang dibayangkan Kedalam, aplikasi, berpikir kritis sesuai kompetensi Perlu sounding multidiscipline team Perlu ketetapan istilah bersama Perlu Standarisasi bahasa Perlu Standarisasi struktur

11 Ciri Soal Kelas Tinggi Bukan soal ingatan sederhana(recall) Menggabungkan berbagai data Menggambarkan situasi nyata praktek (pekerjaan) Bisa menjadi prediktor terhadap kemampuan kinerja

12 Taxonomy Cognitive Bloom: C1 Mengetahui(menyebutkan) Pengethuanumum, konsepumum, nilai/fakta C2 Memahami(menjelaskan) Interprestasi chart, grafik, nilai, justifikasi Urutan prosedur C1. C2 C. 3 C3 Menerapkan(menghubungkan) Aplikasi konsep dlm situasi baru, aplikasi prosedur, memecahkan hitungan matematika

13 Bloom C4 Menganalisa(membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data C5 Mensintesa(menyimpulkan, menyusun) mengungkap sebuah konsepsi dengan baik, merumuskan konsepsi baru, C6 Mengevaluasi(mengkritik, SOAP) Menyesuaikan, menjustifikasi suatu pekerjaan

14 RANAH KOGNITIF dlm UJIAN Penggabungan: Pengetahuan komprehensif(c1-c2) (nilai normal, definisi, konsep, dasar patofisiologi, dll) Aplikasi klinis(c3) (ilmuterapan, diagram masalah, tindakan, tetesan, dosis) Berpikir kritis(c4-c6) (menegakanmasalah, prioritas, analisahubungan, prediksi, evaluasiperkembangan, dll) Afektif(A1-A5) (sikap dalam bekerja bersama klien/keluarga, tim kes)

15 Tahap Telaah soal (Review) Apakah isi soalessensial dlm pekerjaan Apakahstruktursoalterstandarbaik terstandar Bila keduanya Baik: DITERIMA

16 I S I Apakah secara isi, topik soal yang ditanyakan esensialdalam menjalankan pekerjaan? Rujukan: Standard Kompetensi

17 Struktur Soal Vignette/kasus/pernyataan Pertanyaan Pilihanjawaban

18 Vignete Bisa Berisi: Pernyataan Situasi Kasus pasien Ketentuan: Logis Sistematis Janganterlalupanjang/ pendek

19 Vignette / kasus / stem (klinis) Jenis kelamin, Umur (e.g. laki-laki 25 tahun) Kasus spesifik wanita kehamilan Kasus anak-anak, dewasa, geriatri? Tempat pelayanan/setting (IGD, poli, puskesmas) Keluhan Utama Lama atau derajat keluhan Gejala penyerta dan keterangan lainnya Pemeriksaan fisik Pemeriksaan penunjang

20 Jenis Soal Berupa soal pilihan berganda dengan lima pilihan jawaban soal. Soal terdiri dari stemsoal yang berbentuk skenario (vignette), pertanyaan, dan lima pilihan jawaban dengan satu jawaban benar. Untuk memudahkan penulisan soal, pada petunjuk ini juga mencantumkan pola redaksional soal yang dapat digunakan sebagai template pembuatan soal.

21 Kadiah Umum Yakinkan bahwa setiap soal dapat diduga jenis jawabannya tanpa harus melihat pilihan jawaban atau yakinkan bahwa pilihan jawaban adalah 100 % benar atau salah. Usahakan agar data atau informasi penting Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin

22 lanjutan Hindari informasi berlebihan pada soal Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan. Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan soal. Hindari kata-kata absolut seperti, selalu, tidak pernah, dan semua pada pilihan jawaban, dan hindari pula istilah yang tidak jelas (meragukan) seperti biasanya atau sering.

23 lanjutan Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN. Fokuskan soal pada konsep-konsep penting, dan hindari hanya menguji kemampuan mengingat fakta Fokuskan soal-soal pada konsep penting dan kasus-kasus yang sering serta memiliki potensi masalah serius.

24 lanjutan Setiap soal diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi Setiap soal tidak terlalu menekankan aspek klinik yang subspesialis Setiap soal lebih baik menekankan pada pertanyaan mengenai pengambilan keputusan klinik.

25 lanjutan Setiap soal dibuat pada satu lembar formulir, jika soal dalam bentuk berangkai maka masing-masing kasus dicantumkan pada setiap formulir. Setiap soal mencantumkan tinjauan yang terkait dengan soal tersebut

26 Kesalahan struktur soal testwiseness suatu keadaan di mana peserta ujian dapat menjawab satu soal bukan karena penguasaannya terhadap isi materi yang ditanyakan pada soal tersebut, tetapi karena kepintarannya dalam menebak jawaban yang benar.

27 irrelevant difficulty berkaitan dengan kesulitan yang dihadapi peserta ujian untuk menjawab suatu soal, bukan karena sulitnya materi yang diujikan, namun lebih ke arah sulitnya mahasiswa menjawab, yang ditimbulkan oleh struktur soal tersebut.

28 Kesalahan yang berkaitan dengan testwiseness: Grammatical Cues Logical Cues Istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi soal

29 Kesalahan yang berkaitan dengan kesulitan yang tidak perlu/relevan Pilihan jawaban yang panjang, kompleks, atau duplikasi Pilihan yang berupa angka tidak diurut sesuai dengan besarnya Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi

30 lanjutan Pilihan jawaban tidak parallel dan urutan tidak logis Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban Badan soal terlalu panjang, sulit, dan kompleks

31 Kaidah Penulisan Stem Skenario klinik ( vignette ) terdiri dari deskripsi data pasien dan skenario kliniknya dengan beberapa atau seluruh informasi di bawah ini: Umurdan jenis kelamin Tempat perawatan (contoh, Unit Emergensi) Keluhan utama Durasi dari keluhan

32 Lanjutan Riwayat pasien lainnya yang berhubungan dengan keluhan Temuan Pemeriksaan Fisik Hasil-hasil pemeriksaan investigasi diagnostik Hasil-hasil terapi sebelumnya, atau penemuan selanjutnya.

33 Penulisan Lead In Berbagai contoh Jenis Pertanyaan Memperkirakan obat yang dikonsumsi Memperkirakan paparan zat beracun Memperkirakan jenis diet Memperkirakan mood Memprediksi hasil pemeriksaan fisik Memprediksi hasil lab Memprediksi sekuel yang timbul Mengidentifikasi penyebab/diagnosis Mengidentifikasi sebab reaksi terhadap obat Mengidentifikasi obat yang harus diberikan

34 Lead in (pertanyaan) Kata tanya di depan (apakah, manakah, dll) Diakhiri dengan tanda tanya (?) Terpisah satu baris dari kasus (vignette) agar jelas terlihat

35 Kaidah Penulisan Opsi Opsi yang salah disebut distraktor. Opsisebaiknya terdiri dari pilihan dengan masalah yang homogen(semuanya merupakan diagnosis, langkah langkah penanganan pasien, dan lain -lain). Berbeda dari jawaban yang benar Merupakan opsi yang masuk akal dan membuat mahasiswa yang tidak tahu akan memilihnya.

36 Lanjutan Memiliki bentuk maupun panjang yang menyerupai jawaban yang benar Tidak mengandung kesalahan susunan kalimat dan sesuai dengan bentuk kalimat pada stem.

37 Tip! Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban

38 Checkpoint Bagaimanakah step mereview soal?

39 Apa saja yang perlu ditelaah? Materi : Relevansi dengan pekerjaan inti Bahasa Tingkat kesulitan Klasifikasi : sesuai blue print

40 Apa saja yang perlu ditelaah? Struktur : Stem Lead in Option Kesimpulan Komentar umum dan saran Diterima/revisi/dikembalikan

41 Kesimpulan Hasil Review Diterima tanpa perbaikan Diterima dengan perbaikan Perlu konfirmasi pembuat soal Tidak perlu konfirmasi (langsung edit) Dikembalikan kepada pembuat soal Berpotensi diterima dengan perbaikan

42 Alasan penolakan Isi tidak esensial Isi terlalu spesialistis. Isi tidak realistis, terlalu teoritis Tidak ada vignette. Vignette tidak berfungsi

43 Next step? Bekerja dalam kelompok untuk mereview soalsoal menggunakan formulir review yang ada.

44 Feedback terhadap pembuat soal?