Item Development and Review

Transkripsi

1 Item Development and Review Oleh : I MADE KARIASA,SKp.,MM.,MKep.,SpKMB.,PG.Cert Objektif Memahami prinsip: 1. Dasar dasar ujian regional/nasional 2. Dasar prinsip assesment 3. Standar kualitas soal MCQ (type A) 4. Prinsip prinsip proses review Mampu melakukan 1. Self review 2. Review soal orang lain 1

2 LATAR BELAKANG Era perdagangan bebas barang & jasa Dampak ganda: kesempatan kerja yang luas dan persaingan yang semakin ketat MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD KEBUTUHAN GLOBAL Urgensi ujian nasional Uji nasional adalah proses standarisasi penilaian kemampuan Menegakan akuntabilitas profesional Menegakan standard dan ethik profesi Melindungi kepercayaan publik Melindungi pemberi jasa 2

3 Tahapan uji nasional 1. Pembentukan dan validasi standar kompetensi oleh stakeholders 2. Menentukan kompetensi dasar yang diujikan 3. Pembuatan blue print sesuai objektif dari pendidikan (kriteria lulusan Perawat) 4. Menentukan model test yang efektif dan efisien 5. Membuat instrument test yang valid/reliable (psychometric principles) 6. Membuat standard setting dan proses pengambilan putusan Langkah Pengembangan uji 1. menyusun spesifikasi test, 2. menulis soal, 3. menelaah soal test, 4. melakukan uji coba test, 5. menganalisis butir soal, 6. memperbaiki test, 7. marakit test, 8. melaksanakan test, 9. menafsirkan hasil test 3

4 Pilihan assessment Menentukan level kompetensi lulusan baru Menentukan kompetensi mana yang paling penting dan esensial dalam perspektif public safety Menentukan apa yang bisa di ujikan dengan alat ukur yang telah ditetapkan 4

5 Kenapa MCQ type A? Paling umum digunakan pada ujian lisensi oleh profesi profesi (standardized test) Sejarah panjang riset tentang psychometric Cost effective untuk skala besar Paling objektif & reliable (tanpa halo effect) Memungkinkan berbagai variasi dan topik Sulit & memakan waktu untuk dibuat Evidence Health Education Institution Exit exam (HESI E2) predictor of NCLEX RN employment success (Reiter, 2005; Joho, 2007) HESI Exit Exam (E 2 ) was 96.30% to 98.30% accurate in predicting NCLEX RN success (Britt, 2007) E 2 scores are potentially useful determinants of the new graduate nurses ability to assume entry level positions within the practice setting (Pine, 2007) 5

6 Masalah Ujian Isi yang diujikan tidak konsisten Proporsi tidak konsisten Soal ada yg terlalu mudah/sulit Soal yang tidak layak masih sering keluar Tahap Penjaminan Mutu Input Process Output 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 1. Review Process 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank Criterionreference. Standard setting exercise 6

7 Kompetensi Esensial Terujikan Ujian diharapkan memenuhi tingkat safety Bagi tenaga kesehatan pemula: Penciri nakes (Kompetensi Inti) Sangat penting dan prinsip untuk dikuasai oleh lulusan baru Sangat sering dilakukan oleh Nakes baru Ujian Tulis Multiple Choice Question One Best Answer 7

8 Why One Best Answer Jenis soal lebih mudah ditebak Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien Membuat Soal MCQ UNTUK LEVEL TINGGI (PROVINSI/NASIONAL) Tidak semudah yang dibayangkan Kedalam, aplikasi, berpikir kritis sesuai kompetensi Perlu sounding multidiscipline team Perlu ketetapan istilah bersama Perlu Standarisasi bahasa Perlu Standarisasi struktur 8

9 Ciri Soal Kelas Tinggi Bukan soal ingatan sederhana (recall) Menggabungkan berbagai data Menggambarkan situasi nyata praktek (pekerjaan) Bisa menjadi prediktor terhadap kemampuan kinerja C1 C2 Taxonomy Cognitive Bloom: Mengetahui (menyebutkan) Pengethuan umum, konsep umum, nilai/fakta Memahami (menjelaskan) Interprestasi chart, grafik, nilai, justifikasi Urutan prosedur C1. C2 Menerapkan C. 3 (menghubungkan) C3 Aplikasi konsep dlm situasi baru, aplikasi prosedur, memecahkan hitungan matematika 9

10 C4 C5 C6 Bloom Menganalisa (membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data Mensintesa (menyimpulkan, menyusun) mengungkap sebuah konsepsi dengan baik, merumuskan konsepsi baru, Mengevaluasi (mengkritik, SOAP) Menyesuaikan, menjustifikasi suatu pekerjaan RANAH KOGNITIF dlm UJIAN Penggabungan: Pengetahuan komprehensif (C1-C2) (nilai normal, definisi, konsep, dasar patofisiologi, dll) Aplikasi klinis (C3) (ilmu terapan, diagram masalah, tindakan, tetesan, dosis) Berpikir kritis (C4-C6) (menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll) Afektif (A1-A5) (sikap dalam bekerja bersama klien/keluarga, tim kes) 10

11 Kaidah kaidah umum pembuatan soal (penting) Yakinkan bahwa setiap soal dapat diduga jenis jawabannya tanpa harus melihat pilihan jawaban Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin Hindari informasi berlebihan pada soal. Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan. Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan soal. Hindari kata-kata absolut seperti, selalu, tidak pernah, dan semua pada pilihan jawaban, dan hindari pula istilah yang tidak jelas (meragukan) seperti biasanya atau sering. Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN. Fokuskan soal pada konsep-konsep penting, dan hindari hanya menguji kemampuan mengingat fakta. Fokuskan soal-soal pada konsep penting dan kasus-kasus yang sering serta memiliki potensi masalah serius. Setiap soal diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi. Setiap soal tidak terlalu menekankan aspek klinik yang subspesialis. Setiap soal lebih baik menekankan pada pertanyaan mengenai pengambilan keputusan klinik 11

12 Kaidah Penulisan Stem Skenario klinik ( vignette ) terdiri dari deskripsi data pasien dan skenario kliniknya dengan beberapa atau seluruh informasi di bawah ini: Umur dan jenis kelamin Tempat perawatan (contoh, Unit Emergensi) Keluhan utama Durasi dari keluhan Riwayat pasien lainnya yang berhubungan dengan keluhan Temuan Pemeriksaan Fisik Hasil-hasil pemeriksaan investigasi diagnostik Hasil-hasil terapi sebelumnya, atau penemuan selanjutnya. Lead in (pertanyaan) Kata tanya di depan (apakah, manakah, dll) Diakhiri dengan tanda tanya (?) Terpisah satu baris dari kasus (vignette) agar jelas terlihat 12

13 Kaidah Penulisan Option Option yang salah disebut distractor. Option sebaiknya terdiri dari pilihan dengan masalah yang homogen (semuanya merupakan diagnosis, langkah langkah penanganan pasien, dan lain - lain). Berbeda dari jawaban yang benar Merupakan option yang masuk akal dan membuat mahasiswa yang tidak tahu akan memilihnya. Memiliki bentuk maupun panjang yang menyerupai jawaban yang benar Tidak mengandung kesalahan susunan kalimat dan sesuai dengan bentuk kalimat pada stem. Kesalahan struktur soal Hindari kesalahan jenis, testwiseness dan irrelevant difficulty. Testwiseness dapat menjawab soal bukan karena penguasaan materi tetapi karena kepintaran dalam menebak jawaban yang benar. irrelevant difficulty kesulitan menjawab soal, bukan karena materi sulit tapi karena struktur soal buruk. 13

14 Kesalahan testwiseness: Grammatical Cues Logical Cues Istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi soal Kesalahan irrelevant difficulty Pilihan jawaban yang panjang, kompleks, atau duplikasi Pilihan yang berupa angka tidak diurut sesuai dengan besarnya Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi Pilihan jawaban tidak parallel dan urutan tidak logis Penggunaan BSSD (bukan salah satu diatas) Badan soal terlalu panjang, sulit, dan kompleks 14

15 Grammatical Cues Contoh soal : Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat oleh seorang polisi, yang menemukannya dalam keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan dalam keadaan tidak tersumbat. Apakah langkah pertama dalam manajemen administrasi intravena? A. pemeriksaan cairan serebrospinal B. glukosa dengan vitamin B1 (thiamine) C. CT scan kepala D. fenitoin E. diazepam Cat: lihat yang berwarna merah. Apakah cocok dg pertanyaan? Logical Cues Contoh Kejahatan adalah A. terjadi secara merata pada berbagai kelas social B. lebih sering muncul pada golongan orang miskin C. lebih sering muncul pada kelompok masyarakat menengah sampai kaya. D. pada dasarnya merupakan suatu indikasi psychosexual maladjustment E. mencapai keadaan toleransi yang plateau terhadap negara Cat: A,B,C : orang pintar mungkin akan benar D & E, orang kurang mampu sering berfikir ini 15

16 Istilah yang absolut Contoh soal : Pada pasien dengan demensia lanjut, tipe Alzheimer, defek memori yang terjadi A. dapat diberikan terapi secara adekuat dengan fosfatidilkolin (lesitin) B. dapat merupakan sekuel dari parkinsonism dini C. tidak pernah terjadi pada pasien dengan neurofibrillary tangles pada otopsi D.tidak pernah menjadi berat E.mungkin melibatkan sistem kolinergik Istilah yang absolut: kata selalu atau tidak pernah digunakan dalam opsi jawaban Pada soal di atas, opsi A, B, dan E mengandung makna yang tidak mutlak sebagaimana opsi C dan D. Mahasiswa yang cerdas akan menyingkirkan jawaban C dan D karena kedua opsi itu terlihat lebih tidak mungkin sebagai jawaban yang benar karena sifatnya yang cenderung mutlak tersebut. Perlu dicatat bahwa kesalahan semacam ini tidak akan terjadi apabila kalimat pertanyaan terfokus dan opsi jawabannya pendek, hal ini muncul ketika kata kerja dimasukan kedalam opsi jawaban dan bukan di dalam pertanyaan leadin Jawaban benar yang panjang Contoh soal : Secondary gain adalah A. synonym dengan malingering B. Problem yang biasa timbul pada orang dengan gangguan obsessive-compulsive C. Komplikasi dari berbagai penyakit dan cenderung untuk memperlama waktu penyakit D. Tidak pernah timbul pada gangguan otak organic Jawaban benar yang panjang: jawaban C lebih panjang dari yang lain. terdapat 2 hal : 1. pilihan benar di beri perhatian yang terlalu berlebih 2. Distraktornya sangat tidak mendapat perhatian, sehingga pernyataan pendek 16

17 Pengulangan kata dari badan soal ke jawaban Contoh soal: Seorang pria berusia 58 tahun dengan riwayat penggunaan alkohol yang berat dan sebelumnya pernah dirawat karena gangguan psychiatric mengalami kebingungan dan agitasi. Dia mengatakan bahwa dunia ini tidak nyata (unreal). Keadaan ini disebut: A. depersonalisasi B. derailment C. derealisasi D. focal memory deficit E. tanda anxietas Konvergensi soal Anestesi lokal akan bekerja paling efektif pada kondisi: A. dalam bentuk anionic, bekerja dari dalam membrane syaraf B. dalam bentuk cationic, bekerja dari dalam membrane syaraf C. dalam bentuk cationic, bekerja dari luar membrane syaraf D. dalam bentuk tidak bermuatan, bekerja dari dalam membrane syaraf E. dalam bentuk tidak bermuatan, bekerja dari luar membrane syaraf 17

18 Kesalahan irrelevant difficulty Pilihan jawaban panjang, kompleks, atau duplikasi Komite Peer review di HMO bisa menolak keputusan dokter dalam penanganan kesehatan anggotanya. Berkaitan dengan hal ini dokter sebelumnya harus telah menerima proses klarifikasi. Proses kalrifikasi tersebut termasuk apa saja? A. Peringatan, sebuah forum tertutup, pengadilan, kesempatan untuk didengar dan ditunjukkan bukti yang memberatkan. B. Peringatan yang tepat, pengadilan pengambilan keputusan, kesempatan untuk bertemu di pengadilan dengan saksi yang memberatkan dan kesempatan untuk menunjukkan bukti yang meringankannya. C. Peringatan yang tepat waktu dan dipercaya, pengadilan tertutup untuk pengambilan keputusan, kesempatan untuk mendengarkan bukti yang memberatkan dan bertatap muka dengan saksi yang memberatkan dan kesempatan untuk menunjukkan bukti yang meringankan. Pilihan jawaban yang panjang, dan kompleks: pada soal di atas dapat terlihat bahwa pilihan jawaban terlalu panjang sehingga menimbulkan kesulitan bagi peserta untuk menjawabnya karena hal teknis tersebut. 18

19 Pilihan berupa angka tidak diurut sesuai dengan besarnya Apabila terjadi infeksi pada rongga pelvis yang berulang ( kedua kalinya), berapa kemungkinan seorang wanita mengalami keadaan infertile? A. kurang dari 20% B % C. Lebih dari 50% D. 90% E. 75% Pilihan mengandung unsur frekuensi suatu kejadian bersifat multi interpretative Penderita obesitas berat dewasa muda: A. biasanya berrespon secara dramatis terhadap regimen diet B. sering berkaitan dengan kelainan hormon C. memiliki kemungkinan 75 % untuk kembali normal secara spontan D. mempunyai prognosis yang buruks E. biasanya berrespon terhadap terapi obat dan psikoterapi intensif Pakai kata kata : biasanya, sering, dll. Multi tafsir 19

20 Pilihan jawaban tidak paralel dan urutan tidak logis Pada penilitian terhadap suatu vaksin, 200 anak laki laki yang berusia 2 tahun diberikan vaksin terhadap suatu penyakit tertentu kemudian diikuti selama 5 tahun untuk melihat apakah penyakit tersebut muncul atau tidak. Dari kelompok ini, 85 % tidak pernah bersinggungan dengan penyakit ini. Manakah dari pernyataan di bawah ini yang benar untuk hasil penelitian tersebut? a. Tidak ada kesimpulan yang dapat diambil karena follow up dilakukan terhadap anak anak yang tidak divaksinasi b. Jumlah kasus yang diteliti (30 kasus selama 5 tahun) terlalu sedikit untuk menghasilkan kesimpulan yang secara statistic c. Tidak ada kesimpulan yang dapat diambil karena percobaan hanya melibatkan anak laki laki d. Vaccine efficacy (%) dihitung dengan 85-15/100 Penggunaan BSSD (bukan salah satu di atas) pada pilihan jawaban Kota apa yang terdekat dengan kota New York? a. Boston b. Chicago c. Dallas d. Los Angeles e. bukan salah satu di atas 20

21 Vignette / kasus / stem (klinis) Jenis kelamin, Umur (e.g. laki-laki 25 tahun) Kasus spesifik wanita kehamilan Kasus anak-anak, dewasa, geriatri? Tempat pelayanan/setting (IGD, poli, puskesmas) Keluhan Utama Lama atau derajat keluhan Gejala penyerta dan keterangan lainnya Pemeriksaan fisik Pemeriksaan penunjang Kasus / vignete Seorang pasien datang dengan keluhan anemia. Tekanan darah 110/80mmHg, Apakah ada pasien mengeluh anemia? Apakah ada hubunganya antara anemia dengan tekanan darah? Apakah ada arah yang jelas dari kasus? Kasus terlalu pendek, tidak lengkap 21

22 Kasus (Vignete) Seorang pria berusia 70 tahun datang ke poliklinik dengan keluhan tidak mampu mengontrol pengeluaran urine. Keluhan ini menyebabkan pasien merasa malu dengan kondisinya dan membatasi aktifitas normalnya. Sebelumnya pernah dilakukan tindakan operasi prostat 1. Apakah ini penting untuk menjalankan tugas sebagai perawat baru? 2. Apakah ini bermanfaat? Seorang ibu membawa bayinya berusia 15 bulan kerumah sakit dengan keluhan buang air besar 10 kali disertai muntah-muntah. Ibu mengatakan bayinya sering menangis dan tidak mau makan dan minum. Hasil pemeriksaan fisik di dapat : ubun-ubun cekung, kulit kering, mata cekung. Ibu gelisah melihat kondisi bayinyanya. 22

23 Kasus (vignete) Seorang laki-laki berusia 34 tahun dilakukan pemasangan kateter urine (Foley chateter) untuk persiapan operasi pemasangan plate and screw tibia dextra, data status urinarius tidak ada kelainan. Setelah pelumasan kateter dengan jelly, kateter dimasukan dengan mudah dan tanpa hambatan, segera urin terlihat keluar dan ditampung dalam bengkok/penampung yang telah disiapkan. Pertanyaan soal Apakah tindakan yang harus dilakukan perawat selanjutnya? Pilihan jawaban : A. Menekan pubis pasien dengan lembut B. Menggembungkan balon dengan NaCl 0,9 % C. Menyambungkan kateter ke kantung urin D. Memfiksasi kateter dengan penis menghadap keatas E. Meneruskan pemasukan kateter sampai percabangannya Contoh Pertanyaan yang Kurang tepat Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh Dari kasus diatas terdapat.. masalah utama 23

24 Tip! Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban Pilihan Jawaban Homogen: gramatikal, semantik, panjangpendek. Hindari absolutisme: selalu, tidak pernah. Hindari konvergensi. Hindari kesamaan istilah dengan vignette. Hindari urutan yang tidak sistematis menyulitkan. Hindari kalimat: bukan salah satu di atas 24

25 Contoh pilihan kurang baik a. Telkomsel b. Exelcomindo c. Satelindo d. simpati Contoh pilihan yang kurang baik a. Pernah mengalami cedera kepala b. Adanya luka pada telinga tengah atau penyakit telinga lainnya. c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua 25

26 Refleksi Berdasarkan diskusi.., apakah yang bapak ibu pikirkan dan rasakan? Apa yang bapak/ibu inginkan hari ini? D Kompetensi Tingkat kognitif Area keilmuan Kompetensi : Askep : Berpikir kritis : Medikal-bedah : Diagnosa keperawatan KUK: Mampu menentukan prioritas diagnosa kep. Seorang wanita berusia 37 tahun di rawat di bangsal bedah, 1 hari paska operasi histerektomy selesai jam 12 siang. Jam 3 pagi ia memanggil perawat karena kesakitan dan tidak bisa tidur nyenyak. Ekpresi wajah tampak menahan nyeri dan kelelahan. Nyeri skala 6-7 di bagian abdomen. Saat diperiksa, klien takut untuk bergerak miring kiri/kanan. Balutan operasi kering, tanda vital stabil. Apakah masalah keperawatan utama klien di atas? a. Gangguan pola tidur b. Nyeri sedang-berat c. Cemas sedang-berat d. Gangguan mobilisasi 26

27 D Kompetensi Tingkat kognitif Area keilmuan Kompetensi : Asuhan dan manajemen keperawatan : berpikir kritis : KMB : Memasang Kateter Urine Pria KUK: Saat memasang kateter urine seorang pria (44 thn). Anamnesa status urologi tidak ada abnormalitas. Ketika anda memasang kateter, saat selang kateter masuk ±10 cm terasa ada tahanan lunak. Apakah reaksi pertama anda sebaiknya? a. Menambahkan cylocain jelly diujung meatus urinarius b. Menekan dengan keras ujung kateter hingga masuk c. Menganjurkan klien menarik nafas dalam d. Sedikit menegakan penis sambil memasukan kateter Bagaimanakah step mereview soal? 27

28 Tahap Telaah soal (Review) Apakah isi soal Essensial dlm pekerjaan Apakah struktur soal terstandar baik Bila keduanya Baik: DITERIMA Struktur Soal Vignette/kasus/pernyataan Pertanyaan Pilihan jawaban 28

29 I S I Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan? Rujukan: Standard Kompetensi Baca soal sekilas, ambil kesan umum, Tentukan relevansi isi dengan Pekerjaan sebagai Nakes Baru Lulus STOP: Baca Soal Anda! Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan sehari-hari? Menanyakan hal yang bermanfaat untuk ditanyakan? 29

30 Contoh : Untuk calon Nakes baru???? Berapakah jumlah tulang diseluruh tubuh Manusia? Berapakah tagihan yang bisa diberikan oleh Askeskin? Apakah pertanyaan diatas pantas dan Vignete Bisa Berisi: Pernyataan Situasi Kasus pasien Ketentuan: Logis Sistematis Jangan terlalu panjang / pendek 30

31 Apa saja yang perlu ditelaah? Materi : Relevansi dengan pekerjaan inti Bahasa Tingkat kesulitan Klasifikasi : sesuai blue print Apa saja yang perlu ditelaah? Struktur : Stem (vennette) Lead in Option Kesimpulan Komentar umum dan saran Diterima/revisi/dikembalikan 31

32 Kesalahan umum dalam pembuatan soal yang perlu diwaspadai Ketidak sesuaian antara pertanyaan dengan kompetensi Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif Kemaknaan klinis yang tidak relevan dengan kompetensi Bahasa dan kalimat tidak logis atau multi interprestasi Menanyakan sesuau yang bersifat hafalan (recall) sederhana Kasus (vignyet) tidak menggambarkan suasana klinis yang sebenarnya Subtansi tidak logis (misalnya data pemeriksaan kliniks dan atau laboratorium) Pilihan jawaban tidak homogen Evaluasi butir soal secara umum Apakah butir soal relevan untuk menilai learning objectives atau kompetensi? Apakah tata bahasa, penulisan dan ejaan sudah benar? Apakah kosa kata yang tidak perlu dan sulit dipahami sudah dihindari? Apakah menggunakan kalimat-kalimat yang ringkas, berisi dan mudah dipahami? 32

33 Evaluasi butir soal secara spesifik menggunakan stem/vignette Apakah stem butir soal tidak mengandung materi yang tidak relevan? Apakah vignette berisi informasi/data yang memungkinkan mahasiswa yang kompeten mampu menjawab dengan benar? Apakah vignette merepresentasikan keadaan yang mungkin terjadi di konteks nyata? Apakah vignette memfoskuskan prinsip atau konsep penting/ esensial yang perlu dimengerti oleh mahasiswa, bukan hanya soal hafalan? Apakah stem bisa dijawab oleh mahasiswa yang kompeten tanpa melihat jawaban yang tersedia? Apakah stem tidak menjebak dan juga tidak terlalu rumit? Evaluasi Lead in Question: Apakah dibuat dengan kalimat tanya? Apakah telah dihindari menanyakan tentang opini? Apakah pertanyaan berhubungan dengan stem? Apakah telah dihindari penggunaan kata kecuali? 33

34 Evaluasi Pilihan Jawaban Apakah alternatif jawaban sudah dibuat jelas dan singkat? Apakah alternatif jawaban sudah homogen? Apakah alternatif jawaban mempunyai panjang yang hampir sama dengan jawaban kunci? Apakah alternatif jawaban sudah menghindari alternatif yang tidak rasional? Apakah alternatif jawaban merupakan jawaban yang tidak benar atau kurang benar dibandingkan dengan jawaban kunci? Lanjut.. Apakah alternatif jawaban cukup menarik mahasiswa yang tidak kompeten untuk memilihnya? Apakah alternatif jawaban secara tata bahasa konsisten dan cocok dengan stem dan lead in question? Apakah alternatif jawaban sudah menghindari penggunaan salah satu di atas dan bukan salah satu di atas? Apakah alternatif jawaban sudah menghindari kata selalu, jarang, kadang-kadang? Apakah poin jawaban yang benar sudah diletakkan posisinya secara acak terhadap distractornya? 34

35 Kesimpulan Hasil Review Diterima tanpa perbaikan Diterima dengan perbaikan Perlu konfirmasi pembuat soal Tidak perlu konfirmasi (langsung edit) Dikembalikan kepada pembuat soal Berpotensi diterima dengan perbaikan Alasan penolakan Isi tidak esensial Isi terlalu spesialistis. Isi tidak realistis, terlalu teoritis Tidak ada vignette. Vignette tidak berfungsi 35

36 Daftar Tilik Soal/Item (Untuk Reviewer) Catatan: satu set daftar tilik berlaku untuk tiap satu soal/item Diisi dengan tanda silang (X) ID Soal : Isi soal Relevansi dan kesesuaian terhadap kompetensi ners Indonesia ( ) Sangat Relevan ( ) Relevan ( ) Ragu ragu ( ) Kurang relevan ( ) Tidak relevan Bahasa yang digunakan Tingkat kesulitan soal ( ) Sulit dimengerti ( ) Sangat sulit ( ) Kurang dimengerti ( ) Sulit ( ) Mudah dimengerti ( ) Sedang ( ) Mudah ( ) Sangat Mudah Struktur Soal Vingete Terdapat ( ) Ya ( ) Tidak Berfungsi Badan soal terlalu panjang, sulit, dan kompleks ( ) Ya ( ) Tidak Lead in Memenuhi Close the option rules ( ) Ya ( ) Tidak Pertanyaan/pernyataan negatif ( ) Ya ( ) Tidak Option Kesalahan tata bahasa ( ) Ya ( ) Tidak Penggunaan istilah yang absolut ( ) Ya ( ) Tidak Jawaban benar yang panjang ( ) Ya ( ) Tidak Pengulangan kata dari badan soal ke jawaban ( ) Ya ( ) Tidak Konvergensi option ( ) Ya ( ) Tidak Pilihan jawaban yang panjang, kompleks, atau duplikasi ( ) Ya ( ) Tidak Pilihan yang mengandung unsur frekuensi suatu kejadian ( ) Ya ( ) Tidak bersifat multi interpretasi ( ) Ya ( ) Tidak Pilihan jawaban tidak paralel dan urutan tidak logis ( ) Ya ( ) Tidak Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban ( ) Ya ( ) Tidak Komentar Umum Reviewer 36

37 Kesimpulan Hasil Review ( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Perlu konfirmasi pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) Berpotensi diterima dengan perbaikan ( ) Memerlukan perbaikan keseluruhan Saran Perbaikan Tanda Tangan Reviewer Tanggal: (DD) / (MM) / (YY) Nama Jelas : Dengan ini menyatakan bahwa proses review soal di atas telah benar benar telah dilakukan oleh nama yang bertanda tangan di atas, tidak dilakukan oleh orang lain atau juga tidak dilakukan oleh orang lain yang mengatasnamakan nama di atas. Next step? Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada. 37

38 Terima kasih 38