Item Development and Review Workshop

Transkripsi

1 Item Development and Review Workshop KOMITE NASIONAL UJI KOMPETENSI PERAWAT PP PERSATUAN PERAWATAN NASIONAL INDONESIA Objektif Memahami prinsip: 1. Dasar-dasar ujian regional/nasional 2. Dasar prinsip assesment 3. Standar kualitas soal MCQ (type A) 4. Prinsip-prinsip proses review Mampu melakukan 1. Self review 2. Review soal orang lain 1

2 LATAR BELAKANG Era perdagangan bebas barang & jasa Dampak ganda: kesempatan kerja yang luas dan persaingan yang semakin ketat TANTANGAN MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD KEBUTUHAN GLOBAL Urgensi ujian nasional Uji nasional adalah proses standarisasi penilaian kemampuan Menegakan akuntabilitas profesional Menegakan standard dan ethik profesi Melindungi kepercayaan publik Melindungi pemberi jasa 2

3 Tahapan uji nasional 1. Pembentukan dan validasi standar kompetensi oleh stakeholders 2. Menentukan kompetensi dasar yang diujikan 3. Pembuatan blue print sesuai objektif dari pendidikan (kriteria lulusan Perawat) 4. Menentukan model test yang efektif dan efisien 5. Membuat instrument test yang valid/reliable (psychometric principles) 6. Membuat standard setting dan proses pengambilan putusan Langkah Pengembangan Soal Tes 1. menyusun spesifikasi tes, 2. menulis soal, 3. menelaah soal tes, 4. melakukan uji coba tes, 5. menganalisis butir soal, 6. memperbaiki tes, 7. marakit tes, 8. melaksanakan tes, 9. menafsirkan hasil tes 3

4 Pilihan assessment Menentukan level kompetensi lulusan baru Menentukan kompetensi mana yang paling penting dalam perspektif public safety Menetukan apa yang bisa di tes dengan alat ukur yang telah ditetapkan 4

5 Kenapa MCQ A type? Paling umum digunakan ujian lisensi oleh profesi-profesi (standardized test) Sejarah panjang riset tentang psychometric Cost effective untuk skala besar Paling objektif & reliable (tanpa halo effect) Memungkinkan berbagai variasi dan topik Sulit & memakan waktu untuk dibuat Evidence Health Education Institution Exit exam (HESI E2) predictor of NCLEX RN employment success (Reiter, 2005; Joho, 2007) HESI Exit Exam (E 2 ) was 96.30% to 98.30% accurate in predicting NCLEX-RN success (Britt, 2007) E 2 scores are potentially useful determinants of the new graduate nurses ability to assume entrylevel positions within the practice setting (Pine, 2007) 5

6 Masalah Ujian Isi yang diujikan tidak konsisten Proporsi tidak konsisten Soal ada yg terlalu mudah/sulit Soal yang tidak layak masih sering keluar Tahap Penjaminan Mutu Input Process Output 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support 1. Review Process 2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank Criterionreference. Standard setting exercise 6

7 Kompetensi Esensial Terujikan Ujian diharapkan memenuhi tingkat safety Bagi Nakes pemula: Penciri nakes (Kompetensi Inti) Sangat penting dan prinsip untuk dikuasai oleh lulusan baru Sangat sering dilakukan oleh Nakes baru Ujian Tulis Multiple Choice Question One Best Answer 7

8 Why One Best Answer Jenis soal lebih mudah ditebak Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien Membuat Soal MCQ UNTUK LEVEL TINGGI (PROVINSI/NASIONAL) Tidak semudah yang dibayangkan Kedalam, aplikasi, berpikir kritis sesuai kompetensi Perlu sounding multidiscipline team Perlu ketetapan istilah bersama Perlu Standarisasi bahasa Perlu Standarisasi struktur 8

9 Ciri Soal Kelas Tinggi Bukan soal ingatan sederhana (recall) Menggabungkan berbagai data Menggambarkan situasi nyata praktek (pekerjaan) Bisa menjadi prediktor terhadap kemampuan kinerja C1 C2 Taxonomy Cognitive Bloom: Mengetahui (menyebutkan) Pengethuan umum, konsep umum, nilai/fakta Memahami (menjelaskan) Interprestasi chart, grafik, nilai, justifikasi C1. C2 Urutan C. 3 prosedur C3 Menerapkan (menghubungkan) Aplikasi konsep dlm situasi baru, aplikasi prosedur, memecahkan hitungan matematika 9

10 C4 C5 C6 Bloom Menganalisa (membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data Mensintesa (menyimpulkan, menyusun) mengungkap sebuah konsepsi dengan baik, merumuskan konsepsi baru, Mengevaluasi (mengkritik, SOAP) Menyesuaikan, menjustifikasi suatu pekerjaan RANAH KOGNITIF dlm UJIAN Penggabungan: Pengetahuan komprehensif (C1-C2) (nilai normal, definisi, konsep, dasar patofisiologi, dll) Aplikasi klinis (C3) (ilmu terapan, diagram masalah, tindakan, tetesan, dosis) Berpikir kritis (C4-C6) (menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll) Afektif (A1-A5) (sikap dalam bekerja bersama klien/keluarga, tim kes) 10

11 Tahap Telaah soal (Review) Apakah isi soal Essensial dlm pekerjaan Apakah struktur soal terstandar baik Bila keduanya Baik: DITERIMA I S I Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan? Rujukan: Standard Kompetensi Baca soal sekilas, ambil kesan umum, Tentukan relevansi isi dengan Pekerjaan sebagai Nakes Baru Lulus 11

12 STOP: Baca Soal Anda! Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan sehari-hari? Menanyakan hal yang bermanfaat untuk ditanyakan? Contoh Untuk calon Nakes baru Berapakah jumlah tulang diseluruh tubuh Manusia? Berapakah tagihan yang bisa diberikan oleh Askeskin? 12

13 Struktur Soal Vignette/kasus/pernyataan Pertanyaan Pilihan jawaban Vignete Bisa Berisi: Pernyataan Situasi Kasus pasien Ketentuan: Logis Sistematis Jangan terlalu panjang / pendek 13

14 Vignette / kasus / stem (klinis) Jenis kelamin, Umur (e.g. laki-laki 25 tahun) Kasus spesifik wanita kehamilan Kasus anak-anak, dewasa, geriatri? Tempat pelayanan/setting (IGD, poli, puskesmas) Keluhan Utama Lama atau derajat keluhan Gejala penyerta dan keterangan lainnya Pemeriksaan fisik Pemeriksaan penunjang Kasus / vignete Seorang pasien datang dengan keluhan anemia. Tekanan darah 110/80mmHg, Apakah ada pasien mengeluh anemia? Apakah ada hubunganya antara anemia dengan tekanan darah? Apakah ada arah yang jelas dari kasus? Kasus terlalu pendek, tidak lengkap 14

15 Ny TR, 46 tahun dirawat di Rumah Sakit Cepat Sehat dengan riwayat multiple trauma akibat kecelakaan lalulintas. Terdapat fraktur humerus dextra post ORIF (open reduction internal fixation), post amputasi jari manis dan saat ini (hari ke 50) terpasang external fixation untuk stabilisasi fraktur tibia fibula sinistra dengan bone loss dan fraktur terbuka. Keluhan saat ini adalah nyeri hebat, terutama pada tungkai kirinya. Mengatakan para suster tidak mengerti betapa sakitnya saya. Tungkai kiri terlihat mengecil, kondisi luka terbuka menembus tulang, infeksi minimal. Lead in (pertanyaan) Kata tanya di depan (apakah, manakah, dll) Diakhiri dengan tanda tanya (?) Terpisah satu baris dari kasus (vignette) agar jelas terlihat 15

16 Contoh Pertanyaan yang Kurang tepat Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh Dari kasus diatas terdapat.. masalah utama Tip! Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban 16

17 Pilihan Jawaban Homogen: gramatikal, semantik, panjangpendek. Hindari absolutisme: selalu, tidak pernah. Hindari konvergensi. Hindari kesamaan istilah dengan vignette. Hindari urutan yang tidak sistematis menyulitkan. Hindari kalimat: bukan salah satu di atas Contoh pilihan kurang baik a. Telkomsel b. Exelcomindo c. Satelindo d. simpati 17

18 Contoh pilihan yang kurang baik a. Pernah mengalami cedera kepala b. Adanya luka pada telinga tengah atau penyakit telinga lainnya. c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua Lihat berbagai tipe kesalahan: Item construction (pdf file) 18

19 Refleksi Berdasarkan diskusi semalam, apakah yang bapak ibu pikirkan dan rasakan? Apa yang bapak/ibu inginkan hari ini? D Kompetensi Tingkat kognitif Area keilmuan Kompetensi : Askep : Berpikir kritis : Medikal-bedah : Diagnosa keperawatan KUK: Mampu menentukan prioritas diagnosa kep. Seorang wanita berusia 37 tahun di rawat di bansal bedah, 1 hari Paska operasi histerektomy selesai jam 12 siang. Jam 3 pagi ia Memanggil perawat mengeluh kesakitan dan tidak bisa tidur nyenyak. Ekpresi wajah tampak menahan nyeri dan kelelahan. Nyeri skala 6-7 di bagian abdomen. Saat diperiksa, klien takut untuk bergerak miring kiri/kanan. Balutan operasi kering, tanda vital stabil. Apakah masalah keperawatan utama klien di atas? a. Gangguan pola tidur b. Nyeri sedang-berat c. Cemas sedang-berat d. Gangguan mobilisasi 19

20 D Kompetensi Tingkat kognitif Area keilmuan Kompetensi KUK: : Asuhan dan manajemen keperawatan : berpikir kritis : KMB : Memasang Kateter Urine Pria Saat memasang kateter urine seorang pria (44 thn). Anamnesa status urologi tidak ada abnormalitas. Ketika anda memasang kateter, saat selang kateter masuk ±10 cm terasa ada tahanan lunak. Apakah reaksi pertama anda sebaiknya? a. Menambahkan cylocain jelly diujung meatus urinarius b. Menekan dengan keras ujung kateter hingga masuk c. Menganjurkan klien menarik nafas dalam d. Sedikit menegakan penis sambil memasukan kateter Checkpoint Bagaimanakah step mereview soal? 20

21 Apa saja yang perlu ditelaah? Materi : Relevansi dengan pekerjaan inti Bahasa Tingkat kesulitan Klasifikasi : sesuai blue print Apa saja yang perlu ditelaah? Struktur : Stem Lead in Option Kesimpulan Komentar umum dan saran Diterima/revisi/dikembalikan 21

22 Kesimpulan Hasil Review Diterima tanpa perbaikan Diterima dengan perbaikan Perlu konfirmasi pembuat soal Tidak perlu konfirmasi (langsung edit) Dikembalikan kepada pembuat soal Berpotensi diterima dengan perbaikan Komentar 22

23 Alasan penolakan Isi tidak esensial Isi terlalu spesialistis. Isi tidak realistis, terlalu teoritis Tidak ada vignette. Vignette tidak berfungsi Next step? Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada. 23

24 Feedback terhadap pembuat soal? K N U K P Terima Kasih 24