LAPORAN WORKSHOP NASIONAL PANEL EXPERT NERS TAHAP 2 Komponen 2- Health Professional Education Quality (HPEQ Project) Hotel Novotel Bandung, 9-10 November 2011 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 1
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan keperawatan dan yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tulis. Dalam program ujian tulis ini diperlukan sumber daya manusia yang mempunyai kemampuan dalam mentransformasi pengetahuan pembuatan soal yang saat ini masih belum memadai. Di lain pihak, dalam upaya untuk membuat dan menganalisis serta review soal tulis sehingga didapatkan soal yang kredibel, melalui satu proses pembuatan soal yang sesuai dengan kaedah dan berstandar nasional dan internasional di perlukan SDM yang cukup banyak dan berkualitas di setiap institusi. Ada tahapan yang harus dilalui dalam pembuatan soal yang berkualitas sebelum soal itu dapat dianggap berkualitas yaitu mulai dari penulisan soal, melakukan review soal dan panel expert. Dari hasil panel expert baru dapat dilakukan penyesuaian dengan blueprint dan dilanjutkan dengan pembuatan booklet soal. Dalam penetapan kualitas soal dari sisi konten yang harus sesuai dengan kompetensi harus dilihat oleh para ahli di bidang keilmuan masing-masing dalam hal ini dapat diwakili oleh kolegium keperawatan sebagai representasi dari keahlian keilmuan yang mampu melihat kedalaman, esensial dari setiap soal. Panel expert pertama telah dilakukan selanjutnya setelah dievaluasi masih sebagian soal belum direview dalam bentuk panel expert dan soal-soal yang telah melalui panel expert dan setelah disinkronisasi dengan blue print masih diperlukan beberapa komponen yang belum terisi. Oleh karena itu perlu di sinkronisasikan dan adanya pembuatan soal baru dan sekaligus dipanelkan melalui workshop ini. 2. Tujuan Tujuan dilaksanakannya workshop nasional panel expert ini adalah: a) Menghasilkan soal yang berkualitas dan siap untuk diujikan b) Meningkatkan jumlah SDM keperawatan yang kompeten dalam mereview soal c) Teridentifikasi nama nama panel expert yang juga mampu menghasilkan soal yang berkualitas d) Menghasilkan soal yang telah di review expert dan memenuhi blueprint untuk dijadikan paket buku soal ujian uji coba. WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 2
3. Output Workshop Output yang diharapkan dari workshop ini adalah: a. Soal-soal yang berkualitas dari konten yang esensial sesuai dengan kompetensi memberikan umpan balik terhadap proses pembelajaran. b. Kemandirian dan keberlangsungan (sustainability) pembuatan soal dan review akan terjamin c. Terciptanya unit-unit assessment pada setiap institusi pendidikan semakin cepat 4. Metode Pelaksanaan Workshop Workshop nasional panel expert ini dilaksanakan pada tanggal 9-10 November 2011 di Hotel Novotel, Bandung. Jumlah peserta workshop yang hadir adalah 27 peserta yang terdiri dari: Peserta yang hadir Jumlah LO Ners Komponen 2 2 Perwakilan kolegium 3 Item reviewer (AIPNI dan PPNI) 16 Tim persiapan uji coba 6 Total 27 Perwakilan kolegium yang hadir adalah kolegium KMB, keperawatan maternitas dan keperawatan keluarga. Participation rate peserta workshop ini cukup baik yaitu sekitar 73%. Pada hari pertama pelaksanaan workshop, para item reviewer dibagi menjadi 2 jenis kelompok kecil. Lima kelompok kecil pertama merupakan kelompok yang menyelesaikan target soal untuk memenuhi sel blue print soal yang belum tercapai. Empat kelompok kecil berikutnya adalah kelompok yang bertugas untuk mereview soal. Pada workshop ini, tidak terdapat lagi reviewer dari keilmuan jiwa karena soal yang dibutuhkan dari keilmuan jiwa sudah memenuhi target untuk digunakan dalam try out uji kompetensi ners. Hari kedua pelaksanaan item review, semua peserta melakukan review soal serta melakukan input ke dalam system item bank. Setiap kelompok yang ada tidak bedasarkan kelompok keilmuan namun masih dengan anggota kelompok yang sama seperti hari pertama. WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 3
Rabu, 9 November 2011 12.00 15.30 Registrasi dan penyiapan fasilitas Sekretariat HPEQ 15.30 15.45 Pembukaan dan Pengarahan LO Profesi Ners Komponen 2 Workshop 15.45 16.00 Arahan pembuatan soal untuk sel blue LO Profesi Ners Komponen 2 print yang masih kurang 16.00 18.00 Proses pembuatan soal dan review LO Profesi Ners Komponen 2 soal 18.00 19.30 ISHOMA LO Profesi Ners Komponen 2 19.30 22.00 Proses pembuatan soal dan review LO Profesi Ners Komponen 2 soal Kamis, 9 November 2011 08.00 11.30 Proses review soal LO Profesi Ners Komponen 2 11.30 12.00 Wrap Up dan rencana tindak lanjut LO Profesi Ners Komponen 2 5. Peserta Persyaratan peserta pada workshop panel expert ners kali ini adalah: 1. Sudah menjadi reviewer penulisan soal 2. Membawa soal yang sudah matang sesuai dengan bidangnya sebanak 10 soal dan soal yang baru di arahkan pada : a. Etik, legal dan peka budaya di berbagai bidang keilmuan b. Pengembangan professional di berbagai bidang keilmuan c. Pengetahuan Prosedural di berbagai keilmuan d. Afektif atau konatif di berbagai keilmuan e. Proses keperawatan : terutama pengkajian, dan evaluasi 3. Memahami dan sekaligus membawa standar kompetensi pendidikan Ners dan standar kompetensi perawat (PPNI). 4. Membawa referensi utama pada bidang keilmuan masing masing minimal satu referensi. 5. Memahami secara baik blueprint pembuatan soal pada bidang masing-masing dan membawa blue print di maksud 6. Bersedia menanda tangani etika dalam pembuatan soal nasional untuk menjaga kredibilitas individu. 6. Hasil Kegiatan Kegiatan panel expert diawali dengan pengarahan dan penjelasan dari LO Ners komponen 2 mengenai tujuan dan target yang harus dicapai pada workshop kali ini. LO menjelaskan bahwa selain target mereview soal, reviewer pada panel expert kali ini juga WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 4
memiliki target untuk membuat soal untuk memenuhi sel blue print soal yang masih kurang. Adanya kesalahan dalam pengiriman TOR yang dikirimkan kepada peserta membuat peserta tidak membawa soal seperti yang disyaratkan oleh LO terkait pengisian blue print yang masih kurang tersebut. Langkah penyelesaiannya adalah hari pertama peserta terbagi menjadi dua kelompok yaitu kelompok peserta yang membuat soal untuk memenuhi sel blue print yang kurang walaupun dan kelompok yang melakukan review soal. Selanjutnya pada hari kedua peserta fokus untuk mereview soal. Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item development ners secara umum adalah sebagai berikut : NO KOMPONEN TARGET REALISASI 1. Jumlah soal yang direview dalam workshop 500 240 2. Jumlah soal yang memenuhi kriteria soal yang baik 250 189 3. Jumlah soal yang ditolak - 51 4. Jumlah reviewer 20 16 5. Jumlah Perwakilan Kolegium 7 3 6. Jumlah LO 2 2 7. Jumlah Tim Persiapan Uji Coba 8 6 Hasil rekapitulasi output workshop secara umum menunjukkan bahwa pencapaian targetworkshop kali ini mencapai 48% dari target soal yang diberikan oleh fasilitator. Selanjutnya, 76% dari soal yang telah direview memiliki kriteria soal baik menurut item reviewer pada workshop kali ini. Terdapat 51 soal yang ditolak untuk dimasukkan ke dalam item bank uji kompetensi ners. Pencapaian target sel blue print yang masih kurang sudah terpenuhi. Soal-soal tersebut adalah tinjauan blue print untuk evaluasi, prosedural, pengembangan professional, etik legal dan peka budaya serta persepsi sensori. Soal-soal tersebut akan digunakan untuk mengisi sel-sel tinjauan yang jumlahnya masih kurang untuk kemudian digunakan untuk uji coba uji kompetensi ners. WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 5
Jumlah soal yang direview dalam workshop TARGET REALISASI 32% 68% Faktor-faktor yang menyebabkan kurangnya jumlah soal yang di-review berdasarkan target adalah: 1. Jumlah reviewer yang kurang 2. Waktu review yang kurang 3. Masih terdapat soal yang masih memerlukan revisi sehingga peserta perlu waktu lebih untuk merubah konten sesuai dengan blue print kembali 4. Kekeliruan dalam pengiriman TOR sehingga syarat peserta untuk membawa masingmasing 10 soal tidak terpenuhi 5. Sistem aplikasi yang masih sesekali mengalami eror program Adanya kegiatan lain dari AIPNI yang bersamaan dengan kegiatan panel expert ini mempengaruhi jumlah peserta yang hadir karena beberapa peserta harus mengikuti kegiatan tersebut. Selain itu pada hari kedua, terdapat beberapa peserta yang meninggalkan sidang sehingga jumlah reviewer semakin sedikit. Kekeliruan dalam mengirimkan TOR kegiatan mempengaruhi kurangnya pencapaian target dalam workshop ini. Poin persyaratan peserta pada TOR yang seharusnya dikirim untuk membawa masing masing 10 soal terkait sel blue print yang masih kurang menjadi sangat penting karena jika poin tersebut terpenuhi maka proses yang langsung dilakukan sejak awal workshop adalah proses item review. Namun karena adanya kekeliruan maka pada awal workshop, peserta melakukan pembuatan soal terlebih dahulu sehingga waktu review menjadi lebih singkat dan hasil pencapaian target tidak terpenuhi. Ketidakhadiran Tim IT dalam workshop ini juga menyebabkan beberapa kelompok mengalami kesulitan karena masih terdapat eror program dalam proses input ke dalam system. WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 6
Jumlah soal yang memenuhi kriteria soal yang baik TARGET REALISASI 43% 57% Pada item review panel expert kali ini, masih terdapat soal-soal yang membutuhkan revisi sebelum kemudian direview. Sehingga membutuhkan waktu yang lebih banyak bagi reviewer untuk memperbaiki soal-soal tersebut. Namun, pencapaian 76% soal yang berkualitas baik dapat menjadi indikasi bahwa secara konten soal-soal sudah memenuhi persyaratan blue print namun perlu dilakukan sejumlah revisi oleh expert agar soal benar-benar memenuhi persyaratan untuk uji coba kompetensi 7. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja peserta yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Acara yang terlambat dimulai membuat proses review tidak maksimal Pencapaian hasil workshop telah mendekati target soal untuk digunakan dalam uji coba uji kompetensi ners Kejadian eror pada program masih terjadi dan karena tidak ada tim IT yang mendampingi maka peserta kesulitan untuk memperbaiki masalah yang ada Peserta sudah membawa referensi baik dari buku cetak maupun dari electronic book sebagai rujukan untuk proses item review WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 7
Kurangnya reviewer menjadikan pencapaian target belum maksimal Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah : Kegiatan agar dimulai tepat waktu agar target yang sudah dibuat dapat dicapai Kekeliruan dalam mengirimkan TOR kegiatan kepada peserta agar tidak terjadi lagi Software IBA sebaiknya sudah lebih disempurnakan sehingga tidak terjadi error system pada saat proses review Peserta ditekankan untuk selalu membawa referensi untuk memperlancar proses review Soal yang direview pada workshop panel expert ini sebaiknya sudah melewati proses item review sebelumnya sehingga proses item review panel expert bisa lebih efisien dan efektif Jumlah reviewer ditambah untuk memaksimalkan waktu item review yang dilakukan Peserta dan Fasilitator Kendala yang dihadapi dalam mengkaji soal panel review uji coba kompetensi ners o Statement ada yang tidak sinkron dengan soal sebelumnya o Ada soal yang perlu revisi besar sehingga memerlukan waktu yang cukup banyak. Kalau ditolak sayang, jadi dicari idenya o Sistem aplikasi yang masih sering down, tidak familiar o Kekeliruan saat mengeluarkan flashdisk program o Kekeliruan TOR yang dikirim o Soal masih kurang memenuhi standar hingga proses review lebih lama dan juga langsung diperbaiki o Relative tidak ada masalah, hanya ada anggota baru yang belum pernah mengikuti IBA dan pembuatan soal tapi langsung review, sehingga ketika membuat soal masih banyak yang harus direview o Banyak soal yang direview duplikasi dengan soal-soal yang sudah pernah direview o Sejauh ini review berjalan lancar o Data-data focus pada vignette belum lengkap o Ada soal yang kurang matang/belum sesuai dengan persyaratan vignette Strategi penelaahan soal dari sertiap institusi o Membaca secara cepat dari konten soal, jika tidak sesuai maka langsung ditolak o Jika ada vignette, lead in dan option yang perlu perbaikan maka langsung menggantinya WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 8
o Bersama-sama mengkaji konten, apakah sesuai untuk kompetensi ners (skimming) ditolak atau diterima. Jika diterima, dilihat cara penulisan soal. Jika salah direvisi o Lihat buku referensi untuk revisi isi o Review minimal 3 orang o Seharusnya soal yang dibawa adalah hasil item analisis di institusi yang sudah digunakan ujian, namun saat ini belum berlangsung o Sudah cukup baik o Surat edaran dari petinggi Dikti ke universitas / STIKes tentang kewajiban dalam menyusun soal dan sosialisasi struktur pengelolaan uji kompetensi o Dibagi PJ untuk setiap peminatan o Sudah baik tapi ada soal-soal yang sepertinya rusak akbat aplikasi yang eror (option sama) o Perlu diberikan aturan yang pasti untuk setiap institusi supaya membentuk unit evaluasi o Sesuai dengan bidang kompetensinya/keahliannya o Melengkapi data focus pada vignette sebagai perbaikan o Menolak/tidak menerima soal yang tidak sesuai dengan prinsip o Mengumpulkan soal yang benar-benar sudah direview Saran peserta terkait perbaikan mekanisme penelaahan soal o Sudah baik o Komunikasi internal panitia ditingkatkan o Koordinasi dengan peserta ditingkatkan o Informasi kegiatan lebih awal / jauh-jauh hari sebelum pelaksanaan o Dilakukan di 3 bagian serentak agar percepatan proses menjelang uji kompetensi 2012 o Sinkronisasi output dengan TOR o Evaluasi kehadiran peserta o Disediakan LCD o Pemberitahuan sebaiknya jangan mendadak o Peserta banyak yang tidak bisa hadir akibat berbenturan dengan kegiatan lain sehingga panel expert (proses diskusinya) tidak komprehensif o Soal dikelompokkan dalam satu flashdisk o Cek soal yang duplikasi o Ditambah jumlah orang reviewer terutama dari kolegium o Direview oleh orang lain juga (kolegium) Hal-hal yang mendukung dalam workshop WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 9
o Proyek HPEQ telah memfasilitasi workshop dan akomodasi peserta dengan baik o Sebagian besar peserta adalah peserta apda panel expert tahap 1 sehingga sudah memahami proes review yang harus dilakukan o Terdapat perwakilan kolegium o Peserta membawa buku referensi baik berupa buku cetak maupun electronic book 8. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : o Perlu dilakukan sosialisasi ileh Dikti ke universitas / STIKes tentang kewajiban dalam menyusun soal dan sosialisasi struktur pengelolaan uji kompetens o Perlu dilakukan workshop item review oleh institusi sehingga masing-masing institusi memiliki kemampuan untuk melakukan item review dan memiliki bank soal yang dapat digunakan dalam uji kompetensi 9. Penutup Upaya peningkatan metode uji nasional perawat di mulai dengan mengikuti proses pembuatan soal berkualitas. Soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi narasumber dan fasilitator untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih luas. Lampiran Point of Discussion Workshop Rekapitulasi Lembar monev Rekapitulasi jumlah soal yang di-review Database Panel Expert WORKSHOP KOMPONEN 2 NOVEMBER 2011 Page 10