Panel Expert Computer Based Testing (CBT) Ners

Transkripsi

1 LAPORAN Panel Expert Computer Based Testing (CBT) Ners Jakarta, 6-7 Agustus 2012 Hotel Atlet Century Park 6-7 Agustus 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 1

2 1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan keperawatan dan yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tulis. Dalam program ujian tulis ini diperlukan sumber daya manusia yang mempunyai kemampuan dalam mentranspormasi mengetahuan pembuatan soal yang saat ini masih belum memadai. Di lain pihak dalam upaya untuk membuat dan menganalisis serta review soal tulis sehingga didapatkan soal yang kredibel, melalui satu proses pembuatan soal yang sesuai dengan kaedah dan berstandar nasional dan internasional di perlukan SDM yang cukup banyak dan berkualitas di setiap institusi Ada tahapan yang harus dilalui dalam pembuatansoalang berkualitas sebelum soal itu dapat dianggap berkualitas aitu mulai dari penulisan soal, melakukan review soal dan panel expert. Dari hasil panel expert baru dapat di lakukan penyesuaian dengan blue print dan dilanjutkan dengan pembuatan buklet soal. Dalam penetapan kualitas soal dari sisi konten yang manan harus sesuai dengan kompetensi harus di lihat oleh para expert di perawatg keilmuan masing-masing dalam hal ini dapat di wakili oleh pada kolegium keperawatan sebagai representasi dari keahlian keilmuan yang mampu melihat kedalaman, esensial dari setiap soal. 2. Tujuan Setelah mengikuti kegiatan ini diharapkan: 1. Menghasilkan soal yang tereview dan berkualitas baik dan siap untuk diujikan sebanyak Meningkatkan jumlah SDM keperawatan yang kompeten dalam mereview soal 3. Teridentifikasi nama nama panel expert yang juga mampu menghasilkan soal yang berkualitas 4. Menghasilkan soal yang telah di review expert 1000 soal dan memenuhi blue print untuk dijadikan paket buku soal ujian uji coba. 3. Output Workshop 1. Soal- soal yang berkualitas dari konten yang esensial sesuai dengan kompetensi memberikan umpan balik terhadap proses pembelajaran. 2. Kemandirian dan keberlangsungan (sustainability) pembuatan soal dan review akan terjamin 3. Terciptanya unit-unit assessment pada setiap institusi pendidikan semakin cepat 4. Metode Pelaksanaan Workshop Workshop item review CBT Perawat oleh panel expert ini dilaksanakan pada tanggal 6-7 Agustus 2012 di Hotel Atlet Century, Jakarta. Metode pelaksanaan workshop ini ialah dengan membahas soal secara bersama-sama dipimpin oleh Liaison Officer (LO). Peserta workshop yaitu 2 orang LO dan 30 orang peserta diskusi. Peserta diskusi merupakan expert yang memenuhi persyaratan sebagai berikut: 1. Sudah menjadi reviewer penulisan soal 2. Memahami dan sekaligus membawa standar kompetensi pendidikan Ners dan standar kompetensi perawat (PPNI) 3. Membawa referensi utama pada bidang keilmuan masing masing minimal satu referensi WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 2

3 4. Memahami secara baik blue print pembuatan soal pada bidang masing-masing dan membawa blue print yang dimaksud 5. Bersedia menanda tangani etika dalam review soal nasional untuk menjaga kredibilitas individu Tabel 1. Rencana rundown kegiatan 6 Agustus 2012 Waktu Kegiatan Pelaksana Pengarahan dan pembukaan Workshop LO Penjelasan mengenai Panel Expert LO Diskusi & Item Review Peserta Ishoma Panitia Diskusi & Item Review Peserta 7 Agustus Diskusi & Item Review Peserta Rehat kopi Panitia Diskusi & Item Review Peserta Rekapitulasi jumlah soal yang telah di review dan penyusunan rencana tindak lanjut LO Tabel 2. Daftar Undangan Peserta Workshop Liason Officer 1 I Made Kariasa AIPNI 2 Masfuri PPNI Panel Expert 3 Khudazi Aulawi PSIK UGM 4 Ikhsanuddin F.Kep USU 5 Kumboyono PSIK UB 6 I Ketut Suardana PSIK UNUD 7 Takdir Tahir PSIK UNHAS 8 Yuni Sufyanti F. Kep. UNAIR 9 Mustikasari PPNI 10 Rohman PSIK UMJ 11 Ai Mardhiyah F. Kep. UNPAD 12 Safwani Stikes Muh. Banjarmasin 13 Agus Santoso PSIK UNDIP 14 Gunawan STIKES Malahayati 15 Tuti Herawati FIK UI 16 M. Saifulloh Stikes Indramayu 17 Rika Sabri PSIK UNAND 18 Elsi Dwi Hapsari PSIK UGM 19 Dr. Yati Afiyanti FIK UI 20 Erwin PSIK UNRI 21 Sri Rahayuningsing PSIK UNSYIAH 22 Herawati PSIK UNLAM 23 Husin STIKES Sari Mulia 24 Sriyono F. Kep. UNAIR 25 Luthfatul Latifah PSIK UNSOED WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 3

4 26 Urip Rahayu F. Kep. UNPAD 27 Edy Soesanto PSIK UNIMUS 28 Perwakilan Kolegium Anak 29 Perwakilan Kolegium Marternitas 30 Perwakilan Kolegium Medikal Bedah 31 Perwakilan Kolegium Gerontik 32 Perwakilan Kolegium Man. Pend. Kep. 5. Capaian Kegiatan 5.1. Peserta Kegiatan Secara umum, peserta kegiatan ini terdiri atas peserta workshop, liaison officer, dan panitia pelaksana kegiatan. Participation rate secara keseluruhan sebesar 100%. Peserta Workshop Peserta yang diundang merupakan orang-orang pilihan yang dianggap sudah ahli dalam membuat dan mereview soal. Peserta yang ikut serta juga memenuhi persyaratan yang sudah ditentukan sebelumnya untuk reviewer. Dengan demikian, diharapkan peserta sudah memiliki kemampuan sehingga dapat menghasilkan soal yang baik pada tahapan panel expert ini. Peserta pada workshop ini sengaja diundang untuk menghasilkan soal yang akan dijadikan buku soal dan digunakan pada try out uji kompetensi perawat yang akan diadakan dalam waktu dekat. Selain karena keahlian dalam review soal, peserta juga dipilih karena komitmen dan kepeduliannya pada peningkatan kualitas lulusan perawat. Hal ini tampak dari participation rate peserta workshop yang mencapai 100% dan keaktifan saat mengikuti rangkaian kegiatan. Peserta workshop juga memenuhi permintaan untuk tetap profesional dan menjaga kerahasiaan soal. Liaison Officer (LO) Seluruh LO dapat hadir pada kegiatan ini. Hal tersebut sangat membantu jalannya acara yang berlangsung dua hari. Peran LO dapat dirasakan saat memberikan pengarahan dan informasi-informasi mengenai uji kompetensi yang akan diberikan, juga dalam menjawab pertanyaan-pertanyaan yang diajukan peserta mengenai lokasi-lokasi CBT. Panitia Panitia sudah mempersiapkan sarana dan prasarana yang dibutuhkan untuk melaksanakan kegiatan. Pada proses kegiatan, panitia memberikan respon yang baik terhadap kebutuhan peserta. Satu hal yang menjadi hambatan adalah persiapan printer yang ternyata tintanya habis dan menghambat kegiatan yang membutuhkan daftar tilik. WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 4

5 Tabel 3. Database Peserta Kegiatan No. Nama Institusi Hp 1. I Made Kariasa AIPNI/ Jakarta venpenglit@yahoo.com Masfuri PPNI/ Jakarta masfuri@yahoo.com Haryani PSIK FK UGM haryani15@gmail.com Kumboyono PSIK UB/ Malang kumbo_yono05@yahoo.com I Ketut Suardana PSIK UNUD/ Denpasar suardanamambal@yahoo.com Takdir Tahir PSIK UNHAS/ Makassar ns.takdirpsikuh@gmail.com Yuni Sufyanti F. Kep. UNAIR/ Surabaya yuni_psik@yahoo.com Mustikasari PPNI/ Jakarta subur_ayu@yahoo.com Rohman PSIK UMJ/ Jakarta rohman.azzam@yahoo.co.id Solikin Stikes Muh. Banjarmasin/ rosikinsolikin@yahoo.co.id Banjarmasin 11 Agus Santoso PSIK UNDIP/ Semarang cakgus2005@yahoo.com; Gunawan STIKES Malahayati/ Lampung iguana_2011@yahoo.com 13 Tuti Herawati FIK UI/ Jakarta itut_herawati@yahoo.com, herawati.kmb.fik@gmail.com 14 M. Saifulloh Stikes Indramayu/ Indramayu mumet_plumbon@yahoo.co.id; stikes_indramayu@yahoo.com / Elsi Dwi Hapsari PSIK UGM/ Yogyakarta elsidhapsari@gmail.com Yati Afiyanti FIK UI/ Jakarta 17 Erwin PSIK UNRI/ Pekanbaru erwinnurse@yahoo.com Sri Rahayuningsing PSIK UNSYIAH/ Banda Aceh intan_274@yahoo.co.id Herawati PSIK UNLAM/ Banjarbaru 20 Husin STIKES Sari Mulia/ Banjarmasin husin_ns@yahoo.com , Sriyono F. Kep. UNAIR/ Surabaya sriyono_70@yahoo.com Luthfatul Latifah PSIK UNSOED/ Purwokerto daanish.haura@gmail.com / Urip Rahayu F. Kep. UNPAD/ Bandung urip@unpad.ac.id Edy Soesanto PSIK UNIMUS/ Semarang soesantoedi@yahoo.com Yeni Rustina, PhD Kolegium Anak yenirs@yahoo.com Agung Waluyo FIK UI agungwss@yahoo.com Dewi Irawaty Kolegium Man. Pend. Kep. d_irawati@ui.ac.id Tien Gartinah,NM Kolegium Keperawatan tien_garti@yahoo.com Kritikal 29 Herawani Kolegium Manajemen herawaniaziz@yahoo.com pelayanan Keperawatan 30 Astuti Yuni Kolegium Kep. Keluarga fian_3121@yahoo.ca Yossie Susanti Eka Ketua Kol Kep Jiwa yossie_putri@yahoo.com Putri 32 Rita Sekarsari Kolegium Kardiovaskuler ritaakbar@yahoo.com WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 5

6 5.2. Proses Pelaksanaan Kegiatan Kegiatan dibuka oleh I Made Kariasa agak terlambat dari jadwal yang ditetapkan selama empat puluh menit. Setelah dibuka, diberikan pengarahan kepada peserta workshop mengenai sasaran yang hendak dicapai dalam kegiatan dan teknis proses pelaksanaan kegiatan. Sejak pertama kegiatan dimulai, ditekankan akan pentingnya soal yang baik setelah di-review dan kian dekatnya waktu pelaksanaan uji kompetensi. Kegiatan item review oleh panel expert ini dilakukan dalam kelompok-kelompok kecil. LO dengan membagi kelompok kecil yang terdiri atas 3 orang yang memang sedah ditentukan sebelumnya berdasarkan perawatg keilmuan masing-masing. Hal ini cukup baik karena memang soal yang harus direview memang lebih baik di-review sesuai perawatg keilmuan agar tingkat keabsahannya lebih terjamin. Peserta kemudian berkumpul berdasarkan kelompok masing-masing. Peserta dalam kelompok bekerja (melakukan review) dengan posisi duduk sejajar dan menggunakan 1 laptop yang diletakan di tengah kelompok. Jumlah 3 orang panel expert dirasakan cukup efektif. Selama diskusi kelompok berlangsung, peserta cukup fokus ke dalam diskusi dan tampak antusisme dari para peserta. Terdapat beberapa kelompok yang sering melakukan diskusi dengan jumlah expert 2 orang saja. Hal ini dirasakan lebih efisien dalam hal pencapaian target jumlah soal, namun tidak dapat menghindari subyektivitas saat mereview soal. Setelah istirahat buka puasa, peserta baru berkumpul kembali ke ruangan 30 menit lebih lambat dari jadwal yang telah ditentukan. Peserta dan LO tampak saling bahu-membahu dalam me-review soal-soal demi target yang ditetapkan pada TOR kegiatan, yaitu 1000 soal. Pukul sepuluh malam kegiatan dihentikan sementara karena Pak Made ingin mengumumkan tempat-tempat CBT yang tersedia untk uji kompetensi. Acara hari pertama selesai pukul 24:00. Pada hari kedua, kegiatan dimulai pada jam 08:30 dan berlangsung tertib dan baik hingga ditutup pada pukul 13:00. Tabel 4. Rundown Kegiatan Riil Waktu Agenda Narasumber/Pelaksana Senin, 6 Agustus Pembukaan dan pengarahan workshop Diskusi dan Review soal ISHOMA Diskusi dan Review soal + Pengarahan Lanjutan Selasa, 7 Agustus 2012 I Made Kariasa Tuti Herawati Peserta (dalam Kelompok kecil) Peserta + LO Diskusi dan review soal Peserta Diskusi dan review soal Peserta Rencana tindak lanjut dan penutup Masfuri WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 6

7 5.3. Hasil Kegiatan Dari 30 peserta yang dibagi menjadi 6 kelompok kecil, berhasil me-review 638 soal atau sebanyak 63,8% dari 1000 soal yang menjadi target. Salah satu jalan keluar dari kurangnya soal yang ter-review adalah menambah peserta kegiatan atau menambah waktu diskusi. Pada TOR kegiatan, diharapkan kegiatan ini berhasil me-review 1000 soal dan menghasilkan 1000 soal yang baik. Namun pada kenyataannya, kegiatan ini hanya menghasilkan 462 soal yang baik atau hanya sebanyak 46,2% dari 1000 soal baik yang menjadi target. Rendahnya angka perbandingan soal ter-review dengan soal yang baik menjadi kendala, terbukti hanya 72% soal yang ter-review dinilai baik oleh reviewer. Tabel 5. Rekapitulasi Jumlah Soal dalam Workshop Kelompok Jumlah soal yang diberikan Jumlah soal tereview (realisasi) Soal tereview dibanding soal diberikan (%) Target soal tereview Keberhasilan (%) Jumlah soal yang baik (realisasi) Soal baik dibanding soal tereview Target soal yang baik Keberhasilan (%) % 37 66% % 30 32% % 36 47% % 56 93% % % % % TOTAL % % % % Terkait dengan kualitas dan kuantitas soal yang dihasilkan, dibutuhkan peningkatan pemahaman akan soal-soal yang baik dari para pembuat soal di institusi. Pelatihan pembuatan soal menjadi hal yang signifikan, mengingat masih ada soal yang masuk kriteria tidak baik. Selain itu, dibutuhkan komitmen dari LO dan institusi masing-masing untuk ikut serta dalam pengembangan kemampuan staf pengajar institusi tersebut dalam membuat dan mereview soal. 6. Refleksi Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari liaison officer (LO), peserta, dan tim monev secara umum. Melalui refleksi ini diharapkan kendala yang dihadapi dalam melakukan review soal oleh panel expert dan rekomendasi dapat terjaring sehingga dapat diambil solusi yang paling tepat agar dapat menghasilkan persiapan yang baik terutama soal untuk tryout uji kompetensi perawat. Gambaran Umum Pelaksanaan kegiatan berlangsung dengan baik walaupun kurang tepat waktu karena masalah transportasi dan kendala teknis. Para peserta memiliki komitmen dan kepedulian dalam melaksanakan kegiatan sesuai dengan kesepakatan dan mereview soal. WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 7

8 Hal-hal yang masih perlu ditingkatkan dari workshop ini adalah: 1. Komunikasi dengan panitia mengenai perangkat yang dibutuhkan saat kegiatan 2. Jumlah kelompok panel expert dibandingkan dengan target jumlah soal yang dihasilkan 3. Ketepatan waktu menghadiri seluruh jadwal kegiatan Liaison Officer (LO) Menurut LO, kendala yang dihadapi peserta saat mereview soal yaitu: Hampir tidak ada Metode pelaksanaan Metode pelaksanaan dengan membagi dalam kelompok kecil dengan satu laptop dinilai sudah tepat guna dan efektif Rekomendasi perbaikan untuk meningkatkan jumlah soal berkualitas dalam workshop serupa yaitu: Pengembangan regional dan review regional sehingga soal yang dihasilkan lebih baik Peserta Hal-hal yang perlu diperhatikan dalam melakukan review soal ialah: 1. Blue print dan kompetensi 2. Memahami substansi dan cara penulisan vignette 3. Setting sesuai dengan keadaan riil di klinik atau rumah sakit 4. Option yang tidak sesuai 5. Penggunaan Bahasa Indonesia yang baik dan benar, 6. Konten yang sesuai dengan kompetensi perawat 7. Pemahaman pada daftar tilik dan target review 8. Pertimbangan waktu untuk merevisi/menolak soal 9. Sarana dari panitia 10. Konsentrasi para peserta 11. Kemampuan reviewer dalam me-review Kendala yang dihadapi dalam mereview soal, yaitu: 1. Beberapa soal review masih harus diperbaiki 2. Waktu terbatas jika dibandingkan jumlah soal yang direview 3. Buku referensi tidak tersedia saat me-review 4. Soal kurang fokus pada suatu permasalahan Rekomendasi yang diberikan untuk meningkatkan keterampilan dalam melakukan review soal sehingga dapat meningkatkan kualitas soal yaitu: 1. Kesepakatan kompetensi ners, dari sekedar tahu sampai yang harus dikuasai WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 8

9 2. Membiasakan me-review soal-soal yang akan digunakan dalam ujian semster dari institusi masing-masing 3. Memahami blueprint kompetensi ners 4. Perlu ada kajian lebih banyak untuk me-review 5. Menyediakan buku referensi 6. Batasan kompetensi S1 dan spesialis 7. Sebaiknya harus diambil dari kondisi nyata 8. Pemahaman reviewer terkait materi 9. Dibuat level kemampuan dalam review soal Hal-hal yang perlu diperhatikan untuk meningkatkan kualitas profesi perawat ialah: Standar kompetensi, sistem evaluasi, dan proses pendidikan perawat Menurut peserta, pelaksanaan workshop sudah baik, namun terdapat beberapa saran untuk pelaksanaan berikutnya. 43% TOR workshop dan arahan pada awal workshop memberikan big picture mapping pelaksanaan workshop dan target yang hendak dicapai sangat tidak tidak sangat 57% 48% Metode pelaksanaan workshop (diskusi kelompok kecil) dinilai efektif dalam menghasilkan output sesuai target sangat tidak tidak 52% sangat Output workshop telah optimal dan sesuai dengan yang diarahkan pada TOR sangat tidak 43% tidak 57% sangat WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 9

10 Responsiveness pelayanan yang diberikan oleh panitia telah optimal 33% 10% sangat tidak tidak 48% Kenyamanan tempat pelaksanaan workshop menunjang produktivitas workshop sangat tidak 52% tidak 57% sangat sangat Saran untuk pelaksanaan workshop berikutnya, yaitu: 1. Ganti tempat 2. Pemberitahuan yang dari jauh-jauh hari 3. Waktu dimulainya kegiatan jangan terlambat Pencapaian yang dirasakan peserta setelah workshop ini sangat baik lebih dari sebagian peserta sudah mampu mereview soal dengan baik serta soal yang dihasilkan sudah cukup baik dan menggambarkan kompetensi perawat dan meningkatkan kualitas calon profesional perawat. Pencapaian tersebut dapat dilihat pada grafik di bawah ini. Peserta sudah mampu mereview soal dengan baik 43% 57% sangat tidak tidak sangat Soal yang dihasilkan sudah memenuhi syarat soal yang baik 14% 5% 81% sangat tidak tidak sangat WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 10

11 Soal yang dikumpulkan sudah dapat menggambarkan kompetensi ners dan meningkatkan kualitas calon profesional ners sangat tidak 33% tidak 67% sangat 7. Rekomendasi Tindak Lanjut Berdasarkan analisis output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rekomendasi tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : 1. Perlu diadakan workshop panel expert gelombang 2 sebelum tryout uji kompetensi perawat 2. Pembuatan buku panduan pembuatan soal, review soal, dan penggunaan Bahasa Indonesia yang baik dan benar. 3. Diperlukan adanya pelatihan secara berkala untuk pembuat soal dan reviewer 4. Diperlukan adanya pemahaman yang mendalam dari panel expert dan reviewer dalam kompetensi perawat 5. Dibutuhkan adanya komunikasi yang intensif antar institusi karena waktu uji kompetensi semakin dekat Daftar Lampiran: 1. Database peserta kegiatan 2. Point of Discussion 3. Foto kegiatan Jakarta, 10 Agustus 2012 Addys Rino Hariar Asisten Monev Proyek HPEQ Supervisi oleh : Aprilia Ekawati Utami (Pengelola Monev HPEQ) WORKSHOP KOMPONEN 6-7 AGUSTUS 2012 Page 11