LAPORAN WORKSHOP NASIONAL ITEM REVIEW NERS CBT GELOMBANG 2 Hotel Best Western Jakarta, 11 12 Oktober 2011 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 1
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan keperawatan yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif dan sesuai dengan kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tulis. Untuk mendapatkan soal-soal yang berkualitas, diperlukan item writer yang mempunyai kemampuan dalam me-review soal yang handal. Di sisi lain, diperlukan proses pembuatan soal dilanjutkan dengan proses review yang sesuai dengan kaedah standar nasional dan internasional oleh SDM yang cukup dan berkualitas di setiap institusi. Untuk dapat menjaga keberlangsungan program pelatihan ini, maka perlu dilakukan kegiatan pelatihan yang diselenggarakan secara nasional untuk dapat memperoleh pemahaman dan kemampuan yang sama terhadap cara dan sistem review soal yang berkualitas. Kegiatan ini melibatkan institusi pendidikan keperawatan (AIPNI) dan organisasi profesi keperawatan (PPNI). 2. Tujuan Tujuan dilaksanakannya workshop nasional item review Ners ini adalah: 1. Meningkatkan kemampuan SDM keperawatan dalam melakukan review soal untuk menghasilkan soal uji tulis yang berkualitas. 2. Meningkatkan jumlah soal uji tulis yang ter-review untuk digunakan pada uji nasional. 3. Luaran Luaran yang diharapkan dari workshop ini adalah: 1. Sejumlah item reviewer soal ujian tulis yang berkualitas 2. 1000 soal uji yang berhasil direview 4. Metode Pelaksanaan Workshop Workshop nasional item review Ners ini dilaksanakan pada tanggal 11-12 Oktober 2011 di Hotel Best Western Mangga Dua, Jakarta. Peserta workshop adalah 32 item reviewer yang telah mengikuti workshop item development yang diselenggarakan oleh project HPEQ melalui seleksi yang dilakukan oleh para fasilitator, yaitu: NO NAMA INSTITUSI 1 Bachtiar Efendi STIKES Indramayu 2 Dewi Frintiana S. STIK Deli Husada Delitua Medan 3 Untung Sujianto PPNI Jawa Tengah 4 Rasmudjito PPNI Jawa Tengah 5 I Wayan Suardana PPNI Bali 6 Siti Aisah FIKES Univ. Muhammadiyah Semarang 7 M. Fatkhul Mubin FIK Universitas Muhammadiyah Semarang 8 Rita Hadi PSIK Universitas Diponegoro Semarang 9 Mustofa Haris PPNI Jawa Timur 10 Cucuk Suwandi PPNI NTB WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 2
11 Haryanto PPNI Kalimantan Barat 12 Neti Juniarti Fakultas Keperawatan Univ. Padjajaran Bandung 13 Suni Hariati PSIK Universitas Hasanuddin Makassar 14 Herlina Universitas Mitra Lampung 15 Deni Swandirman STIKES Falatehan Serang Banten 16 Agus Sudaryanto PSIK Universitas Muhammadiyah Solo 17 Teuku Samsul Bahri PSIK FK Unsiyah 18 Dwi Nurviyandari Fakultas Ilmu Keperawatan UI 19 Hanifah STIKES Tri Mandiri Sakti Bengkulu 20 Sapti Heru W. Universitas Advent Indonesia Bandung 21 Nunung Nurhayati STIKEP PPNI Jawa Barat 22 Achmad Setya R. STIKES Ahmad Yani Cimahi 23 Argi Virgona Bangun STIKES Ahmad Yani Cimahi 24 Iwan Rusdi Fakultas Keperawatan USU Medan 25 Erwinsyah STIKES Harapan Ibu Jambi 26 Elsi Dwi Hapsari PSIK UGM Jogjakarta 27 Rohman PSIK Universitas Muhammadiyah Jakarta 28 Agung Waluyo Fakultas Ilmu Keperawatan UI 29 Mila Triana Sari STIKES Baiturrahim Jambi 30 Lutfatul Latifah PSIK Universitas Jenderal Soedirman Purwakarta 31 Isma Yuniar STIKES Muhammadiyah Gombong 32 Chatarina Indriati STIKES St. Carolus Pada pelaksanaannya, peserta yang dapat hadir pada Item Review Ners ini hanya 32 orang dari 38 peserta yang diundang. Peserta didampingi oleh 2 orang fasilitator dan 1 orang Liaison Officer yang membantu peserta dalam melakukan proses item review. Ibu Tuti Herawati dan Bapak Aulawi Khudazi merupakan fasilitator sedangkan Bapak I Made Kariasa berlaku sebagai Liaison Officer. Peserta rapat adalah item reviewer yang telah melalui proses seleksi oleh fasilitator dan Liaison Officer. Kriteria yang harus dimiliki item reviewer adalah sebagai berikut: 1. Staf dosen dan instruktur klinik minimal berpendidikan Ners dan berpengalaman 5 tahun 2. Memahami standar kompetensi pendidikan Ners dan standar kompetensi Ners (PPNI) 3. Telah mengikuti pelatihan pembuatan soal batch I-III program HPEQ 4. Memahami dengan baik blue print pembuatan soal pada bidang masing-masing 5. Diharapkan peserta membawa buku rujukan 6. Bersedia menjadi trainer item review nasional pada bidang masing-masing 7. Masing-masing peserta membawa laptop Untuk mempermudah proses review soal, para item reviewer dibagi menjadi 5 kelompok yang merupakan gabungan dari beberapa kelompok keilmuan. Kelompok keilmuannya adalah keilmuan KMB bergabung dengan keilmuan KGD, keilmuan maternitas, keilmuan anak, serta kelompok jiwa yang bergabung dengan kelompok komunitas. WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 3
5. Hasil Kegiatan Workshop ini diawali dengan pembukaan dari Bapak Made selaku LO Profesi Ners Komponen 2. Pembukaan berisi penjelasan mengenai kegiatan item review yang akan dilakukan dalam workshop selama dua hari. Bapak Made menjelaskan kepada peserta bahwa soal yang akan direview adalah soal yang bersifat rahasia dan diharapkan semua peserta mau bekerja sama untuk menghapus semua soal di laptopnya masing-masing setelah proses item review selesai. Bapak Made juga menjelaskan bahwa proses me-review soal dilihat dari tiga indikator yaitu dari segi substansi, segi bahasa dan segi struktur soal. Lalu pada akhir proses diberikan keputusan untuk setiap soal dengan kategori diterima dengan perbaikan, diterima tanpa perbaikan dan ditolak. Menurut KPI kegiatan, target soal yang akan di-review dalam kegiatan ini adalah 1000 soal. Keaktivan peserta dalam kegiatan item review ini juga akan dilihat untuk kemudian peserta yang benar-benar memiliki kompetensi untuk membuat, me-review soal dan juga memiliki pengetahuan yang luas terhadap keilmuannya dapat menjadi panel expert soal pada proses selanjutnya. Sebelum melakukan proses item review secara masing-masing, para peserta melakukan item review bersama dalam kelompok. Pada tahapan ini, fasilitator membimbing peserta untuk dapat me-review soal agar dapat menghasilkan soal dengan vignette, lead-in dan option yang baik. Setelah melakukan review soal secara berkelompok, kemudian fasilitator membagi peserta menjadi kelompok yang lebih kecil yaitu masing-masing kelompok terdiri dari tiga orang untuk memaksimalkan jumlah soal yang di-review per kelompok. Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item review Ners secara umum adalah sebagai berikut : NO KOMPONEN TARGET REALISASI 1. terkumpul dalam workshop 1000 330 2. direview dalam workshop 1000 290 3. memenuhi kriteria soal yang baik 1000 236 4. ditolak - 54 5. Jumlah institusi yang berkontribusi mengirim soal 38 32 6. Jumlah peserta workshop 38 32 7. Jumlah fasilitator 3 2 8. Jumlah LO 2 1 WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 4
1000 900 800 700 600 500 400 300 200 100 0 1000 1000 1000 330 terkumpul dalam workshop 290 direview dalam workshop 236 memenuhi kriteria soal yang baik Target Realisasi Hasil rekapitulasi output workshop secara umum menyimpulkan bahwa pencapaian target workshop ini masih kurang dari target yang ditetapkan. Kesimpulan ini dapat dilihat dari jumlah soal yang berhasil terkumpul, jumlah soal yang berhasil direview maupun jumlah soal yang memenuhi kriteria soal yang baik. Jika dilihat dari target soal yang terkumpul yaitu 1000 soal maka pada realisasinya telah tercapai target 33% dimana hal tersebut berarti target soal terkumpul telah sampai setengah dari target. Namun bila melihat target 1000 soal yang memenuhi kriteria soal yang baik, maka presentase realisasi lebih kecil yaitu hanya 236 soal atau sekitar 24%. terkumpul dalam workshop 33% Realisasi Jumlah institusi yang berkontribusi dalam workshop ini sebanyak 32 institusi dari 38 institusi pendidikan yang diundang. Beberapa peserta institusinya tidak dapat hadir setelah mengkonfirmasi ketidakhadirannya sebelum acara. Ada 1 peserta yang terlambat datang, tetapi tidak sampai mengganggu jalannya pelatihan. Sebagai perbandingan, maka hasil perolehan soal pada kegiatan item review kali ini dengan item review ners pada bulan Juli 2011 adalah WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 5
NO KOMPONEN TARGET REALISASI Item Review Juli 2011 Item review Oktober 2011 Item Review Juli 2011 Item review Oktober 2011 1. terkumpul dalam workshop 1000 1000 520 330 2. direview 1000 1000 426 290 dalam workshop 3. memenuhi 1000 1000 378 236 kriteria soal yang baik 4. Jumlah peserta workshop 23 38 22 32 Grafik pencapaian Item Review 1 dan 2 600 500 400 300 200 100 0 520 426 378 330 290 236 22 32 Item review 1 Item review 2 terkumpul dalam workshop direview dalam workshop memenuhi kriteria soal yang baik Jumlah peserta workshop Hasil pencapaian item review pada kegiatan ini masih kurang jika dibandingkan dengan item review sebelumnya. Hal ini dapat dilihat dari jumlah soal yang berkualitas baik. Pada item review pertama, jumlah soal berkualitas baik yang dihasilkan sebanyak 378 item, sedangkan pada item review yang kedua jumlah soal berkualitas baik sebanyak 236 item. Hal ini sangat disayangkan mengingat jumlah reviewer pada workshop ini lebih banyak dari item review sebelumnya. ditolak pada saat workshop sebanyak 54 item. Hal ini adalah jumlah yang cukup banyak, mengingat beberapa peserta juga mengeluhkan banyaknya soal yang tidak sesuai standar. Sehingga perbaikan yang dilakukan cukup banyak, seperti membuat soal dari awal lagi. Oleh karena itu jumlah soal baik yang dihasilkan tidak lebih banyak dari item review sebelumnya. 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja kelompok yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 6
Gambaran Umum Waktu pelaksanaan workshop selama 2 hari untuk mencapai target item review 1000 soal dirasakan masih kurang, sehingga kurang dari 30% target yang tercapai. Kurangnya buku referensi yang dibawa peserta menjadi salah satu kendala peserta dalam melakukan rujukan jika terdapat perbedaan persepsi. Koneksi internet tersedia melalui wi-fi sehingga peserta yang membutuhkan referensi selain dari buku juga bisa membuka situs-situs referensi. Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah : Mekanisme pengumpulan soal dari institusi belum dikembangkan secara berjenjang di tiap regional AIPNI sehingga peserta masih mengirimkan soal secara manual via email ke koordinator pengumpul soal. Workshop sejenis (item development dan item review) di tingkat institusi/ lokal perlu dilakukan secara regular sehingga akan semakin banyak item writer yang berkualitas yang dapat menghasilkan dan mereview soal-soal yang berkualitas baik. Setiap fasilitator perlu memahami mengenai target dari pencapaian workshop sehingga dalam melakukan rekapitulasi mengacu pada target dalam TOR. Peserta perlu lebih memahami blueprint uji kompetensi, Standar Pendidikan dan Standar Kompetensi Ners sehingga memiliki persamaan persepsi dalam melakukan review soal. Peserta dan Fasilitator Kendala yang dihadapi dalam melakukan item review ners Beberapa peserta kurang paham maksud dan tujuan dari pembuat soal. Kendala bahasa dirasakan masih sulit untuk dapat mengemas vignette, lead in dan option yang selaras untuk mengukur kompetensi Kurangnya pemahaman akan kompetensi ners Ketidakseragaman buku referensi dan beberapa peserta tidak membawa buku referensi sehingga menyulitkan dalam proses review soal Pengalaman di rumah sakit yang kurang sehingga gambaran kearah aktual terbatas Kesulitan dalam memilah soal-soal yang bisa dibuat vignette (minimal C3 keatas) Soal-soal yang diberikan fasilitator belum terpisah dengan baik untuk setiap keilmuan Alokasi waktu yang perlu dipersiapkan agar dapat berkonsentrasi dalam menyusun soal sesuai blueprint Banyak soal yang dibuat hanya untuk memenuhi sebagian kompetensi yang ingin dicapai, tetapi belum dibuat sesuai kaidah pembuatan soal menurut HPEQ Soal terlalu banyak butuh perbaikan sehingga hampir sama dengan membuat soal yang baru. Kendala yang mungkin akan dihadapi sebagai Item Reviewer Ners Penggunaan bahasa dan istilah yang perlu diseragamkan Penyamaan persepsi dalam mereview soal Perlu ketelitian untuk poin soal (vignette, lead in dan option) untuk mencapai kompetensi yang diinginkan Perlu banyak latihan review dengan berbagai bentuk soal Melakukan review soal dengan daftar tilik yang seharusnya WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 7
Soal masih banyak yang tidak menurut kaidah-kaidah pembuatan soal Soal tidak berdasar pada referensi Reviewer harus dapat memahami keinginan pembuat soal Masih banyak soal yang belum sesuai standar Rencana untuk diseminasi kegiatan di institusi masing-masing Akan segera didiseminasikan, kalau perlu mengundang reviewer Sudah dijadwalkan dan akan segera dilakukan. Mewajibkan pada dosen untuk memulai membuat soal yang bagus dan mengadakan workshop Melakukan workshop item review ners di daerah dengan mengundang institusi pendidikan, PPNI dan CI rumah sakit Melakukan sosialisasi dalam forum pertemuan dosen Mengusulkan untuk dilakukan kegiatan item review dan item development di institusi pendidikan Koordinasi dengan organisasi profesi (PPNI) Diseminasi secara berkala dengan tindak lanjut bank soal yang sesuai standar untuk ujian akhir diinstitusi Membuat pelatihan item review sehingga semua staf bisa membuat soal yang berkualitas Melatih teman-teman satu institusi untuk belajar mengerjakan soal Memberikan penjelasan tata cara pembuatan soal kemudian memberikan usulan agar semua staf pengajar membuat soal sesuai dengan HPEQ. Saran strategi pengumpulan soal yang baik dari tiap institusi Tiap institusi membentuk tim soal untuk masing-masing departemen, selanjutnya dikumpulkan dan direview untuk memilih soal yang baik Soal bisa dikumpulkan dengan membentuk koordinator administrasi soal tiap PT. Institusi menyusun sesuai template direview di institusi kirim ke pusat pusat lakukan review ulang uji coba soal soal dipakai. Sebelum workshop diberikan info dengan jelas terkait cara pembuatan soal dan jumlah soal yang dibawa ke kegiatan workshop Mengadakan workshop internal, melakukan review internal dan dikirim kepada team project HPEQ Diserahkan ke tim HPEQ dalam bentuk hard copy lalu diketik ulang oleh tim untuk kesamaan format Dilakukan melalui AIPNI yang ada di setiap regional untuk dapat memiliki bank soal. Tiap institusi melakukan item review dan analisis soal dengan komputer kemudian soal yang bagus dikumpulkan dikoordinator dan Ka Prodi. Setiap pengampu diminta 50 soal sesuai panduan kemudian diujicobakan dan dianalisis dengan software lalu ditilik Dibuat tim ditiap institusi kemudian direview setelah itu dikirim ke bank soal. Setiap dosen mengumpulkan soal ke koordinator mata ajar dan diseleksi soal yang bisa dibuat untuk soal HPEQ. Setiap departemen ilmu mengumpulkan soal, dan direview oleh tim review yang sudah dilatih sebelumnya. Punya bank soal dan sebelum soal diujikan sudah dilakukan reviewer oleh tim reviewer institusi WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 8
7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan dan evaluasi pelaksanaan workshop beberapa hal yang dapat direkomendasikan sebagai bentuk peningkatan dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Setiap institusi yang sudah berpartisipasi dalam pelatihan item development dan item review melakukan workshop serupa di institusi masing-masing, sehingga proses transfer knowledge dapat berlangsung baik hingga ke tingkat institusi. Asosiasi institusi pendidikan bekerjasama dalam proses pengumpulan soal dan dalam pelaksanaan workshop di regionalnya masing-masing. Perlunya sistem yang terintegrasi dan berjenjang dalam pengumpulan soal dari tingkat institusi, regional hingga pusat. Pelaksanaan workshop Item Review CBT/ Item Bank Adminsitration yang direncanakan untuk dilakukan dalam waktu dekat. Perlu lebih banyak soal yang direview untuk mencapai target soal, yaitu 1000 soal sehingga pada bulan November uji coba uji kompetensi dapat dilakukan. 8. Penutup Kualitas soal dalam uji kompetensi harus disesuaikan dengan standar kompetensi lulusan. dikumpulkan diharapkan dapat meningkat di setiap pelatihan. Sistem pengiriman soal juga harus segera dikembangkan dan ditetapkan agar keefektifan dalam pengumpulan dapat terjadi dan akan semakin banyak soal berkualitas dan sesuai dengan kriteria review yang masuk ke dalam bank soal nasional untuk uji kompetensi. WORKSHOP KOMPONEN 2 OKTOBER 2011 Page 9