Bagaimanakah step mereview soal? Tahap Telaah soal (Review) Apakah isi soal Essensial dlm pekerjaan Apakah struktur soal terstandar baik Bila keduanya Baik: DITERIMA 1
Struktur Soal Vignette/kasus/pernyataan Pertanyaan Pilihan jawaban I S I Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan? Rujukan: Standard Kompetensi Baca soal sekilas, ambil kesan umum, Tentukan relevansi isi dengan Pekerjaan sebagai perawat (D III/Ners) Baru Lulus 2
STOP: Baca Soal Anda! Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan sehari-hari? Menanyakan hal yang bermanfaat untuk ditanyakan? Contoh : Untuk calon Nakes baru???? Berapakah jumlah tulang diseluruh tubuh Manusia? Apakah mode yang tepat diberikan untuk kasus post op craniotomy? Apakah pertanyaan diatas pantas dan cocok?? 3
Vignete Bisa Berisi: Pernyataan Situasi Kasus pasien Ketentuan: Logis Sistematis Jangan terlalu panjang / pendek Apa saja yang perlu ditelaah? Materi : Relevansi dengan pekerjaan inti Bahasa Tingkat kesulitan Klasifikasi : sesuai blue print 4
Apa saja yang perlu ditelaah? Struktur : Stem (vignette) Lead in Option Kesimpulan Komentar umum dan saran Diterima/revisi/dikembalikan Kesalahan umum dalam pembuatan soal yang perlu diwaspadai Ketidak sesuaian antara pertanyaan dengan kompetensi Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif Kemaknaan klinis yang tidak relevan dengan kompetensi Bahasa dan kalimat tidak logis atau multi interprestasi Menanyakan sesuatu yang bersifat hafalan (recall) sederhana Kasus (vignette) tidak menggambarkan suasana klinis yang sebenarnya Substansi tidak logis (misalnya data pemeriksaan klinik dan atau laboratorium) Pilihan jawaban tidak homogen 5
Evaluasi butir soal secara umum Apakah butir soal relevan untuk menilai learning objectives atau kompetensi? Apakah tata bahasa, penulisan dan ejaan sudah benar? Apakah kosa kata yang tidak perlu dan sulit dipahami sudah dihindari? Apakah menggunakan kalimat-kalimat yang ringkas, berisi dan mudah dipahami? Evaluasi butir soal secara spesifik menggunakan stem/vignette Apakah stem butir soal tidak mengandung materi yang tidak relevan? Apakah vignette berisi informasi/data yang memungkinkan mahasiswa yang kompeten mampu menjawab dengan benar? Apakah vignette merepresentasikan keadaan yang mungkin terjadi di konteks nyata? Apakah vignette memfoskuskan prinsip atau konsep penting/esensial yang perlu dimengerti oleh mahasiswa, bukan hanya soal hafalan? Apakah stem bisa dijawab oleh mahasiswa yang kompeten tanpa melihat jawaban yang tersedia? Apakah stem tidak menjebak dan juga tidak terlalu rumit? 6
Evaluasi Lead in Question: Apakah dibuat dengan kalimat tanya? Apakah telah dihindari menanyakan tentang opini? Apakah pertanyaan berhubungan dengan stem? Apakah telah dihindari penggunaan kata kecuali? Evaluasi Pilihan Jawaban Apakah alternatif jawaban sudah dibuat jelas dan singkat? Apakah alternatif jawaban sudah homogen? Apakah alternatif jawaban mempunyai panjang yang hampir sama dengan jawaban kunci? Apakah alternatif jawaban sudah menghindari alternatif yang tidak rasional? Apakah alternatif jawaban merupakan jawaban yang tidak benar atau kurang benar dibandingkan dengan jawaban kunci? 7
Lanjut.. Apakah alternatif jawaban cukup menarik mahasiswa yang tidak kompeten untuk memilihnya? Apakah alternatif jawaban secara tata bahasa konsisten dan cocok dengan stem dan lead in question? Apakah alternatif jawaban sudah menghindari penggunaan salah satu di atas dan bukan salah satu di atas? Apakah alternatif jawaban sudah menghindari kata selalu, jarang, kadang-kadang? Apakah poin jawaban yang benar sudah diletakkan posisinya secara acak terhadap distractornya? Kesimpulan Hasil Review Diterima tanpa perbaikan Diterima dengan perbaikan Perlu konfirmasi pembuat soal Tidak perlu konfirmasi (langsung edit) Dikembalikan kepada pembuat soal Berpotensi diterima dengan perbaikan 8
Alasan penolakan Isi tidak esensial Isi terlalu spesialistis. Isi tidak realistis, terlalu teoritis Tidak ada vignette. Vignette tidak berfungsi Daftar Tilik Soal/Item (Untuk Reviewer) Catatan: satu set daftar tilik berlaku untuk tiap satu soal/item Diisi dengan tanda silang (X) ID Soal : Isi soal Relevansi dan kesesuaian terhadap kompetensi ners Indonesia ( ) Sangat Relevan ( ) Relevan ( ) Ragu ragu ( ) Kurang relevan ( ) Tidak relevan Bahasa yang digunakan Tingkat kesulitan soal ( ) Sulit dimengerti ( ) Sangat sulit ( ) Kurang dimengerti ( ) Sulit ( ) Mudah dimengerti ( ) Sedang ( ) Mudah ( ) Sangat Mudah Struktur Soal Vignette Terdapat ( ) Ya ( ) Tidak Berfungsi ( ) Ya ( ) Tidak Badan soal terlalu panjang, sulit, dan kompleks ( ) Ya ( ) Tidak 9
Lead in Memenuhi Close the option rules ( ) Ya ( ) Tidak Pertanyaan/pernyataan negatif ( ) Ya ( ) Tidak Option Kesalahan tata bahasa ( ) Ya ( ) Tidak Penggunaan istilah yang absolut ( ) Ya ( ) Tidak Jawaban benar yang panjang ( ) Ya ( ) Tidak Pengulangan kata dari badan soal ke jawaban ( ) Ya ( ) Tidak Konvergensi option ( ) Ya ( ) Tidak Pilihan jawaban yang panjang, kompleks, atau duplikasi ( ) Ya ( ) Tidak Pilihan yang mengandung unsur frekuensi suatu kejadian ( ) Ya ( ) Tidak bersifat multi interpretasi ( ) Ya ( ) Tidak Pilihan jawaban tidak paralel dan urutan tidak logis ( ) Ya ( ) Tidak Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban ( ) Ya ( ) Tidak Komentar Umum Reviewer Kesimpulan Hasil Review ( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Perlu konfirmasi pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) Berpotensi diterima dengan perbaikan ( ) Memerlukan perbaikan keseluruhan Saran Perbaikan Tanda Tangan Reviewer Tanggal: (DD) / (MM) / (YY) Nama Jelas : Dengan ini menyatakan bahwa proses review soal di atas telah benar benar telah dilakukan oleh nama yang bertanda tangan di atas, tidak dilakukan oleh orang lain atau juga tidak dilakukan oleh orang lain yang mengatasnamakan nama di atas. 10
Next step? Bekerja dalam kelompok untuk mereview soalsoal menggunakan formulir review yang ada. 11