LAPORAN WORKSHOP NASIONAL ITEM REVIEW NERS Hotel Menara Peninsula, 8 9 Juli 2011 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 JULI 2011 Page 1
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan keperawatan yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif dan sesuai dengan kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tulis. Untuk mendapatkan soal-soal yang berkualitas, diperlukan item writer yang mempunyai kemampuan dalam me-review soal yang handal. Di sisi lain, diperlukan proses pembuatan soal dilanjutkan dengan proses review yang sesuai dengan kaedah standar nasional dan internasional oleh SDM yang cukup dan berkualitas di setiap institusi. Untuk dapat menjaga keberlangsungan program pelatihan ini, maka perlu dilakukan kegiatan pelatihan yang diselenggarakan secara nasional untuk dapat memperoleh pemahaman dan kemampuan yang sama terhadap cara dan sistem review soal yang berkualitas. Kegiatan ini melibatkan institusi pendidikan keperawatan (AIPNI) dan organisasi profesi keperawatan (PPNI). Pada tahun 2010 serangkaian workshop item development secara nasional telah dilakukan pada profesi. Soal dari workhsop item development yang telah dikumpulkan sejumlah 400 soal yang memenuhi kriteria soal yang baik, dan setelah dilakukan workshop item review terkumpul soal 133 soal baik. Berikut adalah rekapitulasinya: NO. KOMPONEN TARGET REALISASI 1. Jumlah soal yang direview dalam workshop 400 234 2. Jumlah soal yang memenuhi kriteria soal yang baik 350 133 3. Jumlah peserta workshop 21 16 4. Jumlah narasumber 1 1 2. Tujuan Tujuan dilaksanakannya workshop nasional item review Ners ini adalah : 1. Meningkatkan kemampuan SDM keperawatan dalam melakukan review soal untuk menghasilkan soal uji tulis yang berkualitas. 2. Meningkatkan jumlah soal uji tulis yang ter-review untuk digunakan pada uji nasional. 3. Output Workshop Output yang diharapkan dari workshop ini adalah : 1. Sejumlah item reviewer soal ujian tulis yang berkualitas 2. soal uji yang berhasil direview 4. Metode Pelaksanaan Workshop Workshop nasional item review Ners ini dilaksanakan pada tanggal 8-9 Juli 2011 di Hotel Menara Peninsula, Jakarta. Peserta workshop adalah 22 item writer terpilih dari 7 wilayah regional AIPNI, yaitu: WORKSHOP KOMPONEN 2 JULI 2011 Page 2
NO NAMA INSTITUSI ALAMAT EMAIL/NO HP 1 Kurnia Yuli Astuti PPNI Jawa Tengah Yuliastuti_07@yahoo.com / 08122834176 2 Meira Erawati PSIK FK UNDIP Semarang mei_ra@yahoo.co.id / 087831180309 3 Ema Madyaningrum PSIK FK UGM ema_madyaningrum@yahoo.com Jogjakarta 4 Ida Subardiah RSUD Abdul Moeloek, B. Lampung / 08562948525 umiayuki@gmail.com / 081541262980 5 Misroh Mulianingsih STIKES Yarsi Mataram misroh.yarsi@gmail.com / 085239502195 6 Sri Suprapti RSCM, Jakarta prapti.martono@yahoo.com / 0817789769 7 Ikhsanuddin F.Kep USU, Medan Ikhsanuddin_pain@usu.ac.id / 081375642777 8 Tri Hapsari RA STIKEP PPNI Jabar agustiyowati@yahoo.com/ 08521814111 9 Harif Fadhillah DPP PPNI Jakarta syamaranil@yahoo.com / 08161435752 10 Edy Soesanto PPNI Jawa Tengah soesantoedi@yahoo.com / 08122806764 11 Kumboyono UB, Malang kumbo_yono05@yahoo.com / 081805004106 12 Mariyono Sedyo Winarso PSIK FK UGM, Jogjakarta mariyonosm@yahoo.com / 08122969342 13 Rika Sabri PSIK UNAND, Padang rika.riyus@gmail.com / 08134743567 14 Maria Fransiska UPH, Tangerang frmaria333@yahoo.com /081214043433 15 Wawan Arif Sawana PPNI Bandung warifsawana@yahoo.co.id / 08122457448 16 Lulu Lusyana RSHK, Jakarta lulusyamsudin@gmail.com / 08111002522 17 Yakobus Siswandi UPH, Tangerang yakobuss@yahoo.com / 081808837371 18 I Ketut Suardana PSIK UNUD Denpasar suardanamambal@yahoo.com / 081338071751 19 Agus Santoso FIK UNDIP, Semarang cakgus2005@yahoo.com / 081338071751 20 I Dewa Putu Gede Poltekkes putrayasa71@yahoo.co.id / Putra Yasa Denpasar, Bali 21 Takdir Tahir PSIK FK UNHAS, Makassar 081389418624 ns.takdirpsikuh@gmail.com / 08164384948 WORKSHOP KOMPONEN 2 JULI 2011 Page 3
22 Yuni Sufyanti F.Kep UNAIR yuni_psik@yahoo.com / 08123106265 23 Tuti Herawati (Fasilitator) PPNI Jakarta itut_herawati@yahoo.com / 08111893213 24 Khudazi Aulawi (Fasilitator) PSIK FK UGM, Jogjakarta aulawi@gmail.com / 08122728871 25 Mustikasari (Fasilitator) PPNI Jakarta subur_ayu@yahoo.com / 08128014472 26 I Made Kariasa (LO) FIK UI, Depok venpenglit@yahoo.com / 081318293627 27 Masfuri (LO) FIK UI, Depok masfuri@yahoo.com / 08138765892 28 Dewi Masyithah (Narasumber) KBUKDI/ USU Medan dmasyithah@yahoo.com / 08196044545 Pada pelaksanaannya, peserta yang dapat hadir pada item review ners ini hanya 22 orang dari 23 orang yang diundang. Ditambah dengan 3 orang fasilitator, 2 orang Liaison Officer dan 1 orang narasumber dari KB UKDI. Kriteria yang harus dimiliki Item reviewer yang diundang kali ini adalah telah mengikuti workshop item development minimal dua kali. Untuk mempermudah proses review soal, para item reviewer dibagi menjadi 9 kelompok kecil yang dibagi berdasarkan kelompok keilmuan keperawatan yaitu kelompok keilmuan keperawatan medikal bedah, keperawatan jiwa, keperawatan maternitas, keperawatan anak, keperawatan gawat darurat, keperawatan komunitas, keperawatan keluarga, keperawatan gerontik dan manajemen keperawatan. Dalam mereview soal para item reviewer dipandu dan didampingi oleh fasilitator dan LO, yaitu Ibu Mustikasari, Ibu Tuti Herawati, Bapak Aulawi Khudazi, I Made Kariasa, Masfuri dan narasumber dari KB UKDI yaitu dr. Dewi Masyithah. 5. Hasil Kegiatan Workshop ini diawali dengan pembukaan dari Bapak Made selaku LO Profesi Ners Komponen 2. Pembukaan berisi penjelasan mengenai kegiatan yang akan dilakukan dalam workshop selama dua hari dan juga target soal yang dimiliki. Bapak Made menjelsaka bahwa sebelum uji coba kompetensi bulan November, target soal yang harus dikumpulkan adalah soal sementara oada saat kegiatan item review pertama baru terkumpul 300 soal. Kegiatan selanjutnya adalah penjelasan mengenai item review oleh narasumber dari KB UKDI yaitu dr. Dewi Masyithah. Penjelasan mengenai item review oleh dr. Dewi meliputi aspek-aspek yang perlu diperhatikan dalam melakukan item review. Narasumber menekankan bahwa dalam melakukan review soal, reviewer harus menekankan kesesuaian isi soal dengan standar kompetensi perawat. Pada penjelasan tersebut juga terdapat contoh soal yang diberikan untuk menunjukkan kepada peserta jenis soal yang memiliki unsur vignette, lead-in, option yang tidak baik. Peserta mendengarkan dengan aktif dan tidak ragu untuk bertanya kepada narasumber mengenai hal-hal yang dirasa kurang jelas. WORKSHOP KOMPONEN 2 JULI 2011 Page 4
Setelah narasumber selesai memberikan penjelasan, Bapak Made memberikan pengarahan mengenai kesepakatan-kesepakatan dalam melakukan review soal sehingga format soal yang direview seragam dalam hal koding dan format perbaikan soal. Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, outputt dari workshop item review Ners secara umum adalah sebagai berikut : NO KOMPONEN TARGETT REALISASI 1. Jumlah soal yang terkumpul dalam workshop 2. Jumlah soal yang direview dalam workshop 3. Jumlah soal yang memenuhi kriteria soal yang baik 4. Jumlah institusi yang berkontribusi mengirim soal 5. Jumlah peserta workshop 6. Jumlah narasumber - 23 1 520 426 378 38 22 1 800 600 400 200 0 520 Jumlah soal yang terkumpul dalam workshop Jumlah soal yang direview dalam workshop 426 378 Jumlah soal yang memenuhi kriteria soal yang baik target realisasi Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini masih kurang dari target yang ditetapkan. Hal ini dapat dilihat dari jumlah soal yang berhasil terkumpul, jumlah soal yang berhasil direview maupun jumlah soal yang memenuhi kriteria soal yang baik. Jika dilihat dari target soal yang terkumpul yaitu soal maka pada realisasinya telah tercapai target 52% dimana hal tersebut berarti target soal terkumpul telah sampai setengah dari target. Namun bila melihat target soal yang memenuhi kriteria soal yang baik, maka presentase realisasi lebih kecil yaitu hanya 378 soal atau sekitar 38%. Jumlah soal yang terkumpul dalam workshop Realisasi 52% WORKSHOP KOMPONEN 2 JULI 2011 Page 5
Selain itu, target institusi yang mengumpulkan soal juga tidak dapat dilakukan karena pengaturan secara regional dalam pengumpulan soal belum dilakukan sehingga kesepakatan mengenai target institusi yang harus berkontribusi dalam mengirimkan soal belum ada. Pada realisasinya terdapat 38 institusi yang berkontribusi dalam mengirim soal untuk kemudian dilakukan item review. 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja kelompok yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Waktu pelaksanaan workshop selama 2 hari untuk mencapai target item review soal dirasakan masih kurang, sehingga kurang dari 40% target yang tercapai. Kurangnya buku referensi yang dibawa peserta dan tidak tersedianya fasilitas free wifi menjadi salah satu kendala peserta dalam melakukan rujukan jika terdapat perbedaan persepsi. Saat melakukan item analysis, nilai rata-rata peserta adalah 46,67 dengan nilai minimum 0,83 (1 jawaban benar) dan nilai maksimum 6,67 (8 jawaban benar). Rendahnya nilai ini dirasakan oleh peserta dikarenakan soal yang diujicobakan belum berkualitas baik dan waktu satu menit untuk satu soal dirasakan masih kurang. Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah : Mekanisme pengumpulan soal diregional belum diatur secara berjenjang di tiap regional AIPNI sehingga soal dikumpulkan PSIK yang besar/ mapan yang diutamakan anggota AIPNI. Perlu dilakukan workshop sejenis (item development dan item review) di tingkat institusi/ lokal sehingga akan semakin banyak item writer yang berkualitas yang dapat menghasilkan dan mereview soal-soal yang berkualitas baik. Peserta perlu lebih memahami blueprint uji kompetensi, Standar Pendidikan dan Standar Kompetensi Ners sehingga memiliki persamaan persepsi dalam melakukan review soal. Fasilitator perlu memahami mengenai target dari pencapaian workshop sehingga dalam melakukan rekapitulasi mengacu pada target dalam TOR. Jika dirasa item yang direview masih terlalu sulit untuk diselesaikan dalam waktu satu menit, maka yang perlu diperbaiki adalah soalnya, bukan waktunya yang diperpanjang. Peserta dan Fasilitator Kendala yang dihadapi dalam melakukan item review ners Beberapa peserta tidak membawa buku referensi sehingga menyulitkan ketika terjadi perbedaan persepsi. Tidak ada fasilitas free wifi untuk mencari sumber online. Penyamaan persepsi antar tim kurang, meskipun ada pedoman dan pengarahan. Waktu terlalu singkat dan target soal terlalu banyak, pemahaman tinjauan terkait kompetensi ners kurang dipahami WORKSHOP KOMPONEN 2 JULI 2011 Page 6
Kompetensi dari tiap bidang belum tersusun, sehingga belum bisa memberi arah dari soal. Pembuatan vignette harus dapat dianalisis dan dianalogikan oleh yang membaca soal Standar kompetensi yang diperagakan mahasiswa saat praktik kerja sering kurang dukungan wahana praktik Kompetensi harus selalu diingat dan dijabarkan dengan lebih jelas. Harus paham tinjauan-tinjauan yang harus ada di dalam pembuatan soal tersebut, sementara tinjauan-tinjauan itu belum dapat dipahami sepenuhnya oelh pembuat soal. Kendala yang mungkin akan dihadapi sebagai Item Reviewer Ners Penyusunan distraktor agak susah Pemahaman mendalam komponen-komponen struktur soal Perlunya terus belajar dan ketersediaan waktu Cukup sulit menganalisa soal sebelum melakukan review Keterbatasan/ketiadaan referensi untuk validasi dan reliability Soal yang terlalu komplek, diperlukan klarifikasi ke pembuat soal Butuh konsentrasi penuh dengan waktu yang banyak oleh sebab itu harus disiapkan waktu khusus Kompetensi ners belum dipahami secara mendalam sehingga seringkali sulit mereview soal berdasarkan standar kompetensi yang ada Kadang soal yang ada banyak yang harus direvisi baik vignette maupun options Rencana untuk diseminasi kegiatan di institusi masing-masing o Mengadakan workshop dan pelatihan item development dan item review diwilayah masing-masing. o Melakukan diseminasi o Melaporkan ke bidang perawatan dan mengumpulkan data dari data pasien di unit untuk melengkapi vignette o Membentuk tim yang terdiri dari orang-orang yang telah mengikuti pelatihan item development/ item review. o Pelaporan hasil kegiatan kepada bidang perawatan. o Sebagai fasilitator, diharapkan para pesera dapat melakukan item development dan item reviewer di institusi masing-masing melalui sosialisasi o Kegiatan item review ners akan dilaksanakan ke bagian-bagian di prodi. Selanjutnya tiap semester akan dilakukan pelatihan untuk mendapatkan soal yang siap direview tiap bagian Strategi pengumpulan soal yang baik dari tiap institusi? Diadakan pelatihan di institusi tentang item development. Setelah diberi pelatihan, seluruh asesor, instruktur klinik membuat soal sesuai dengan bidangnya masing-masing Masing- masing dosen diminta membuat soal dan dikumpulkan oleh tim dan penanggung jawab evaluasi untuk dibuat bank soal. Soal yang telah dibuat dosen, dianalisis oleh tim dibawah pimpinan prodi/ Dekan Tiap institusi di wajibkan membuat soal masing-masing 25 soal tiap bidang Setiap institusi mengumpulkan soal yang telah direview ke zona/ regional ke Pusat WORKSHOP KOMPONEN 2 JULI 2011 Page 7
Tiap bagian di prodi akan diminta membuat soal sebelum ujian semester dan kumpulkan, kemudian soal tiap bagian direview secara bertahap, selanjutnya soal ini akan disiapkan untuk uji kompetensi ners 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan dan evaluasi pelaksanaan workshop beberapa hal yang dapat direkomendasikan sebagai bentuk peningkatan dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Perlu dilakukannya pelatihan-pelatihan sejenis item development dan item review di tingkat regional/ lokal dengan fasilitator dari peserta yang telah mengikuti pelatihan di tingkat pusat. Sehingga terjadi knowledge transfer mengenai proses item review yang baik hingga ke tingkat institusi. Asosiasi institusi pendidikan baik pada jenjang Ners maupun D3 dan pada institusi pendidikan milik Pemerintah maupun swasta dapat bekerja sama dalam menyelenggarakan workshop-workshop menngenai item development sehingga terjadi pemberdayaan di wilayah masing-masing. Perlunya mekanisme pengumpulan item yang berjenjang dari tingkat institusi ke tingkat regional hingga ke pusat. Perlu diversifikasi terhadap soal sehingga soal tidak hanya berfokus pada masalah diagnosa dan rencana tindakan, tetapi juga mengarah kepada pengkajian, evaluasi, dokumentasi, masalah etik dan prosedural. Perlu adanya kegiatan item review selanjutnya untuk mencapai target soal sehingga pada bulan November uji coba uji kompetensi bisa dilakukan 8. Penutup Kualitas soal dalam uji kompetensi harus disesuaikan dengan standar kompetensi lulusan. Oleh karena keperawatan memiliki jenjang pendidikan D3 dan S1 yang akan dilakukan uji kompetensi maka soal harus dibuat dan disesuaikan untuk kedua jenjang. Sistem pengiriman soal juga harus segera dilakukan dan ditetapkan agar keefektifan dalam pengumpulan dapat terjadi dan akan semakin banyak soal berkualitas dan sesuai dengan kriteria review yang masuk ke dalam bank soal nasional untuk uji kompetensi. WORKSHOP KOMPONEN 2 JULI 2011 Page 8