LAPORAN WORKSHOP NASIONAL ITEM REVIEW PERAWAT (gelombang 4) Hotel Inna Putri, Bali, 22 23 Oktober 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 1
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan keperawatan yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif dan sesuai dengan kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tulis. Untuk mendapatkan soal-soal yang berkualitas, diperlukan item review yang mempunyai kemampuan dalam me-review soal yang handal. Di sisi lain, diperlukan proses pembuatan soal dilanjutkan dengan proses review yang sesuai dengan kaedah standar nasional dan internasional oleh SDM yang cukup dan berkualitas di setiap institusi. Untuk dapat menjaga keberlangsungan program pelatihan ini, maka perlu dilakukan kegiatan pelatihan yang diselenggarakan secara nasional untuk dapat memperoleh pemahaman dan kemampuan yang sama terhadap cara dan sistem review soal yang berkualitas. Kegiatan ini melibatkan institusi pendidikan keperawatan (AIPNI) dan organisasi profesi keperawatan (PPNI). Workshop item review secara nasional telah dilakukan untuk profesi ners melalui serangkaian workshop, pada 16-17 April 2010 (gelombang 1), 23-24 Juli 2010 (gelombang 2), 22-23 September 2010 (gelombang 3) dan 22-23 Oktober 2010 (gelombang 4). Mengingat setelah pelaksanaan workshop para peserta mengirimkan soal sebagai bahan untuk ujian tulis, maka dipandang perlu untuk melakukan review soal yang telah dikumpulkan baik dari segi struktur maupun materi soal yang terkandung di dalamnya sebagai upaya menghasilkan soal yang berkualitas. 2. Tujuan Tujuan dilaksanakannya workshop nasional item review UKDI ini adalah : a. Meningkatkan kemampuan SDM keperawatan dalam melakukan review soal untuk menghasilkan soal uji tulis yang berkualitas. b. Meningkatkan jumlah soal uji yang te-review untuk digunakan pada uji nasional c. Teridentifikasi nama nama trainer nasional dalam review soal uji tulis keperawatan yang kompeten. 3. Output Workshop Output yang diharapkan dari workshop ini adalah : a. Sejumlah item reviewer soal ujian tulis yang berkualitas b. 350 soal uji yang berhasil direview c. Sejumlah trainer nasional untuk mereview soal WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 2
4. Metode Pelaksanaan Workshop Workshop nasional item review perawat ini dilaksanakan pada tanggal 23 24 September 2010 di Hotel Inna Putri, Bali. Peserta workshop adalah 22 item review, 1 orang fasilitator, dan 2 orang Tim MONEV. Pada pelaksanaannya, ada 10 undangan yang tidak hadir, 8 undangan dari peserta (3 diantaranya diwakilkan), 1 undangan dari tim Pokja PPSDM Komponen 2, dan 1 undangan dari tim MONEV. REKAPITULASI DAFTAR PESERTA WORKSHOP No. Nama Asal Institusi Email 1 Aulawi Khudazi PSIK FK UGM aulawi@gmail.com 2 Mustikasari FIK-UI / PPNI subur_ayu@yahoo.com 3 Wawan Arif Sawana PPNI Jawa Barat warifsawana@yahoo.co.id 4 Edy Wuryanto PPNI Jawa Tengah edywoerya@yahoo.com 5 Diwa Agus S. PPNI Jawa Barat diwa_mkep@yahoo.com 6 Mariyono Sedyowinarjo PSIK UGM / PPNI mariyonosw@yahoo.com 7 Masfuri PPNI Pusat masfuri@yahoo.com 8 Harif Fadhillah PP - PPNI syamaranail@yahoo.co.id 9 Yani Sofiani PSIK FKK UMJ kmb-yani@yahoo.com 10 Tuti Herawati PP - PPNI herawati.kmb.tik@gmail.com 11 Eddy Rosfiati PPNI / KNKP rosfiati@yahoo.com 12 Made Kariarsa AIPNI / FIK - UI venpenglit@yahoo.com 13 Heru Supriyanto PPNI / Poltekes Semarang heru_semarang@yahoo.co.id 14 Agus Santoso AIPNI / PSIK UNDIP cakgus2005@yahoo.com 15 Lulu Lusyana RS Jantung Harapan Kita lulusyamsudin@gmail.com 16 I Ketut Suardana PSIK FK UNUD suardanamambal@yahoo.com Untuk mempermudah proses review soal, para item review dibagi menjadi 3 kelompok. Masing masing kelompok membahas 3 kelompok soal yang didapatkan dari workshop item development di medan, yogyakarta, dan bali. Fasilitator (Trijoko) dari KBUKDI berperan mengarahkan setiap kali ada pertanyaan mengenai dasar item review. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara sudah berjalan sesuai dengan jadwal. Hanya saja ada sedikit kendala mengenai instrumen kaji ulang yang belum siap. Dengan demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil : HARI PERTAMA Waktu Acara Pelaksana/Fasilitator 14.00 14.15 Pembukaan & Pengarahan Workshop LO Profesi Ners Komponen 2 14.15 15.30 Penjelasan mengenai item review Fasilitator KB UKDI 15.30 17.30 Kaji Ulang Kelompok Fasilitator 17.30 19.00 ISHOMA Fasilitator WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 3
19.00 22.00 Kaji Ulang Kelompok Fasilitator HARI KEDUA Waktu Acara Pelaksana/Fasilitator 08.00 10.00 Kaji Ulang Kelompok Fasilitator 10.00 11.30 Kaji Ulang Pleno LO Profesi Ners Komponen 2 11.30 12.00 Wrap Up dan Rencana Tindak Lanjut LO Profesi Ners Komponen 2 5. Hasil Kegiatan Workshop ini diawali pengarahan dari fasilitator KBUKDI mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai. Workshop ini merupakan workshop item review yang pertama kali untuk perawat. Beberapa peserta nampak belum begitu memahami materi item review, sementara beberapa peserta lain yang sudah pernah mengikuti workshop item review sebagi pengamat tampak sudah memahami materi. Dalam penjelasan oleh fasilitator dijelaskan mengenai tugas dari item reviewer. Setelah itu acara dilanjutkan dengan item review soal yang sudah dibagi menjadi 3 kelompok. Pada tahap review soal, fasilitator kembali mengingatkan agar dalam mereview soal para peserta menggunakan instrumen yang telah ada. Berdasarkan pengamatan, masih banyak soal ujian yang kualitasnya belum optimal. Hal ini disebabkan karena sebagian besar item writer baru mengikuti workshop item development untuk pertama kali. Di lain pihak persamaan terminologi dan buku acuan bagi perawat masih berbeda antara institusi yang satu dengan institusi yang lain. Permasalahan dalam workshop ditambah dengan kurang pahamnya peserta mengenai tugas item review, karena ada sebagian peserta berusaha melihat konten soal lebih jauh di bidang keilmuan ketimbang mengikuti instrumen yang ada. Kesulitan yang paling mendasar muncul karena sebagian besar soal merupakan soal yang tidak baik, dan harus dibuang. Oleh karena itu, diambil kebijaksanaan untuk mencapai target workshop kali ini. Kebijaksanaan tersebut sebagai berikut : 1. Soal yang tidak memenuhi/ jauh dari kriteria soal baik, akan langsung ditolak dan dikembalikan kepada penulis soal dengan feedback yang terlampir. 2. Soal yang masih mungkin diperbaiki, akan langsung diperbaiki ditempat oleh item reviewer. 3. Dari soal yang diperbaiki dan diterima, diambil 5 contoh soal yang digunakan sebagai contoh soal (yang baik dan buruk) yang akan digunakan dalam workshop item development yang diadakan di tingkat institusi maupun regional. WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 4
Dengan adanya kesepakatan di atas, maka item reviewer juga melakukan perbaikan soal. Namun, peserta dan fasilitator sudah paham betul, bahwa nantinya item reviewer tidak akan mengkoreksi soal, tapi mengkaji soal, menetukan kelayakan soal, dan kemudian memberikan feedback untuk soal tersebut. Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item review perawat secara umum adalah sebagai berikut: No. KOMPONEN TARGET REALISASI 1. Jumlah soal yang direview dalam workshop 350 234 2. Jumlah soal yang memenuhi kriteria soal yang baik 350 133 3. Jumlah peserta workshop 21 16 4. Jumlah narasumber 1 1 Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini sudah sangat belum optimal. Hal ini dapat dilihat dari jumlah soal yang berhasil direview dan jumlah soal yang baik. Jumlah peserta workshop hanya mencapai 76%. Beberapa faktor mendukung tidak tercapainya target review soal 1. Jumlah soal yang kurang, sehingga review soal tidak sesuai dengan target. 2. Jenis soal yang masih perlu banyak perbaikan, banyak diantara soal yang dibawa berada dibawah target. 3. Kemampuan item development yang kurang, dikarenakan pelatihan item development baru dilaksanakan sekali waktu. Untuk workshop item review, tidak ada kesulitan dalam menyamakan terminologi karena sebelum peserta dibagi dalam kelompok, sudah disampaikan terminologi yang sudah disepakati secara nasional. Dalam undangan, ada 21 peserta yang diundang, namun pada kenyataanya hanya 16 orang yang datang. Hal ini menyebabkan SDM item review kurang dari terget dan membuat proses item review berjalan lambat. Jumlah soal yang didapat dari masing masing item development masih belum bisa memenuhi target. Selain itu buruknya kualitas soal yang terkumpul menjadi perhatian tersendiri dari masing masing peserta item review. KELOMPOK: 1 REKAPITULASI ITEM REVIEW No. Nama Asal Institusi Email 1 Aulawi Khudazi PSIK FK UGM aulawi@gmail.com 2 Mustikasari FIK-UI / PPNI subur_ayu@yahoo.com 3 Wawan Arif Sawana PPNI Jawa Barat warifsawana@yahoo.co.id 4 Edy Wuryanto Un. Muh. Semarang / PPNI Jawa Tengah edywoerya@yahoo.com 5 Diwa Agus S. PPNI Jawa Barat diwa_mkep@yahoo.com WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 5
KELOMPOK: 2 No. Nama Asal Institusi Email 1 Mariyono Sedyowinarjo PSIK UGM / PPNI mariyonosw@yahoo.com 2 Masfuri PPNI Pusat masfuri@yahoo.com 3 Harif Fadhillah PP - PPNI syamaranail@yahoo.co.id 4 Yani Sofiani PSIK FKK UMJ kmb-yani@yahoo.com 5 Tuti Herawati PP - PPNI herawati.kmb.tik@gmail.com 6 Eddy Rosfiati PPNI / KNKP rosfiati@yahoo.com KELOMPOK: 3 No. Nama Asal Institusi Email 1 Made Kariarsa AIPNI / FIK - UI venpenglit@yahoo.com 2 Heru Supriyanto PPNI / Poltekes Semarang heru_semarang@yahoo.co.id 3 Agus Santoso AIPNI / PSIK UNDIP cakgus2005@yahoo.com 4 Lulu Lusyana RS Jantung Harapan Kita lulusyamsudin@gmail.com 5 I Ketut Suardana PSIK FK UNUD suardanamambal@yahoo.com Selanjutnya, soal-soal yang telah berhasil terkumpul direview oleh tiap item review dengan berpedoman pada cara penulisan soal yang baik dan tinjauan yang disepakati serta instrumen review. Berdasarkan rekapitulasi jumlah soal yang berhasil direview, item review dari kelompok 1 dinilai paling produktif karena paling banyak mereview soal. Untuk soal yang berkualitas baik, kelompok 1 merupakan kelompok yang paling banyak mereview soal yang menjadi soal yang berkualitas baik. Pada dasarnya, pencapaian jumlah soal yang direview ini dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal yang direview juga akan semakin banyak. Jumlah soal di review Jumlah soal diterima dengan perbaikan Jumlah soal yang ditolak Jumlah soal yang sudah jadi Kelompok soal jogja 131 66 65 66 Kelompok soal medan 62 34 38 34 Kelompok soal bali 41 33 8 33 Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik yang nantinya akan dibawa pada workshop item review perawat untuk dijadikan sebagi sumber soal. Semua soal yang telah direview oleh kelompok yang memiliki kriteria baik dilakukan perbaikan pada saat mereview soal tersebut. Pada workshop kali ini ditemukan banyak kekurangan di bidang item development para item writer. Peserta sudah berjanji bahwa akan mengadakan workshop item development dan item review di wilayahnya masing-masing. Berdasarkan kesepakatan tersebut, sebaiknya masing-masing peserta dapat WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 6
menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing wilayah dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi perawat dan lulusannya. 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Mekanisme item review masih berjalan secara individual dan belum menyeluruh. Sejalan dengan hal ini, perlu identifikasi terhadap permasalahan-permasalahan terkait mekanisme item review di tiap wilayah keperawatan. Partisipasi institusi dalam mengumpulkan soal baik, hanya saja masih banyak soal yang tidak memenuhi kriteria. Perlu diadakan lebih banyak lagi workshop item review regiolnal maupun lokal. Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Kemampuan peserta dalam item review Institusi yang menyelenggarakan workshop item review masih sangat sedikit Disiplin ilmu asal peserta belum merata, pengalaman klinis beberapa peserta yang kurang Fasilitator Penilaian terhadap kemampuan peserta item review Pada umumnya peserta mengikuti workshop dengan antusias dan serius. Peserta mau menerima masukan dari fasilitator dan cepat beradaptasi. Peserta cukup berpengalaman dalam segi keilmuan dan menyadari kekurangannya setelah mendapat masukan. Kendala dari sisi peserta Beberapa soal yang dibawa tidak menggunakan vignette. Vignette yang dibuat peserta masih belum sistematis dan beberapa soal tidak masuk kriteria soal dengan one best answer. WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 7
Tidak semua berkontribusi dalam memberi masukan tiap soal, beberapa peserta bahkan tidak berkontribusi soal. Apakah peserta workshop mampu menjadi pelatih item review di institusi masing-masing? Mampu namun masih memerlukan pendampingan dari fasilitator. Manfaat kegiatan ini untuk pengembangan sisten uji kompetensi perawat di Indonesia Meningkatkan jumlah soal yang dapat dikontribusikan di dalam bank soal profesi perawat dan meningkatkan jumlah soal untuk digunakan dalam uji kompetensi perawat. Memberika wacana baru mengenai pembuatan soal yang baik kepada para item review, sehingga dapat menambah jumlah item review bagi uji kompetensi perawat. Rekomendasi Meningkatkan pelatihan item review di tingkat institusi Mewajibkan institusi untuk membuat soal sesuai dengan blue print yang ada. Melakukan sosialisasi uji kompetensi dan blue print. Adanya follow up dari AIPNI dan PPNI kepada anggotanya yang telah mengikuti workshop supaya dapat berkontribusi lebih dalam item review. Saran Jika memungkinkan, HPEQ dapat membantu dalam pembuatan software item analysis. Perlu ada regulasi yang meminta setiap institusi yang sudah mengikuti workshop untuk membuat soal dalam format yang disepakati. Perlu ada penambahan waktu workshop. Peserta Kendala Kesulitan dalam membuat soal yang sesuai dengan format yang baku, karena minimnya pengalaman tentang bagaimana cara menulis soal yang baik. Selain itu kesulitan juga dikarenakan kurangnya membaca text book. Perlu ada buku referensi dan pakar dalam bidang spesialistik tertentu. Selain itu perlu adanya kesepakatan di semua institusi mengenai referensi yang digunakan sebagai acuan pembuatan soal. Kurangnya dukungan pimpinan di daerah untuk mengikuti workshop dan mengadakan workshop di tingkat institusi. WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 8
Waktu workshop sangatlah sempit, sehingga peserta tidak dapat dilatih secara optimal. Tidak semua perawat mempunyai kompetensi yang sama dan beberapa institusi perawat belum sepaham. Belum ada kejelasan mengenai komitmen dari masing-masing institusi untuk melakukan uji kompetensi ini. Selain itu juga adanya perbedaan persepsi mengenai kompetensi perawat yang diharapkan. Sebaiknya ada sertifikat. Kedatangan surat undangan yang mendadak membuat peserta kesulitan dalam mempersiapkan soal. Kurangnya fasilitator dari institusi di wilayah indonesia bagian timur. Belum adanya kesamaan pemahaman dan penggunaan istilah-istilah yang digunakan dalam soal. Rencana diseminasi Membuat laporan workshop pada rektor dan dekan serta rencana diseminasi. Segera dilakukan tindak lanjut berupa sosialisasi dan workshop item review di tingkat institusi sebagai persiapan uji kompetensi. Juga perlu dilakukan sosialisasi pada seluruh anggota PPNI. Perlu ada sharing ilmu antara jajaran keperawatan dan direksi. Perlu dibuat bank soal di masing-masing institusi. Perlu dibuat mekanisme feedback yang efektif mengenai revisi soal, agar penulis soal juga semakin paham cara menulis soal yang baik. Perlu dilakukan advokasi kepada pimpinan institusi dan yayasan. Perlu ada uji coba soal pada ujian di institusi masing-masing. Komentar Waktu yang disediakan terlalu sedikit, dan diharapkan ada program IT untuk item review karena ada perbedaan persepsi antara masing-masing item review. Perlu ada lagi workshop serupa di tingkat regional maupun institusi. Selain itu perlu ada sosialisai mengenai blue print dan proyek HPEQ kepada pimpinan institusi. Kegiatan ini sangat berguna untuk melatih pada dosen dalam membuat soal yang baik. Sebaiknya perlu ada komunikasi yang intensif antara peserta, fasilitator, dan proyek HPEQ mengenai perkembangan informasi uji kompetensi. Workshop sudah sangat baik, namun mohon disediakan softcopy Analisis soal. Workshop ini memberikan ilmu yang sangat aplikatif dan membangun profesi perawat. Sebaiknya peserta juga diikutkan dalam workshop item review dan standard setting. Sangat membantu memberikan pemahaman mengenai cara pembuatan soal yang baik dan benar. WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 9
7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Semua institusi berkomitmen mendukung proyek ini. Akan dilaksanakan WS Item Review di tingkat Institusi / Regional yang akan dibiayai mandiri oleh masing-masing institusi. Sulawesi Tenggara = STIKES Mandala Waluya Sulawesi Utara = Univ. De Lesale Sulawesi Selatan = UIN Alauddin Sulawesi Selatan = PPNI STIKES Panakukang Jawa Tengah = PPNI Jateng Jawa Timur = STIKES Nganjuk Papua = STIKES Papua Sorong Bali = PPNI STIKES Wira Medika DKI = RS Jantung Harapan Kita Jawa Barat = PPNI STIKES Ahmad Yani 8. Penutup Upaya peningkatan kualitas dan kuantitas pembuatan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para item review yang terpilih di tingkat nasional dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian, upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 10