LAPORAN WORKSHOP NASIONAL PENGELOLA BANK SOAL (SEMUA PROFESI) GELOMBANG 2 KOMPONEN 2 PROYEK HPEQ Hotel JW Marriot Surabaya, 21 22 Agustus 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pelaksanaan ujian yang kredibel, efektif, dan efisien sesuai dengan tingkat kepentingan ujian yang tinggi (High Stake Exam). Sistem ujian ini membutuhkan mekanisme pengembangan soal yang berjenjang mulai dari tingkat institusi, regional selanjutnya juga di nasional. Proses ini merupakan mekanisme untuk meningkatkan kualitas soal melalui proses review soal berjenjang. Untuk mengelola soal yang dihasilkan tersebut maka diperlukan suatu sistem pengelolaan bank soal yang terkomputerisasi yang sangat kredibel baik dari segi keamanannya, maupun kemudahan dari proses administrasinya dengan dukungan piranti perangkat lunak dan keras yang memadai. Disamping upaya peningkatan kualitas pembuatan dan review soal, diperlukan pula Sumber Daya Manusia pendukung yang secara handal dapat mengelola Bank Soal yang kredibilitasnya sangat tinggi baik dari sisi penguasaan teknis maupun tingkat kepercayaan dalam mengemban kerahasiaanya. Oleh karena itu, proyek HPEQ telah memfasilitasi workshop pengelola bank soal gelombang 1 di tingkat regional pada tanggal 19-20 April 2010 (Regional 1-2), 21-22 April 2010 (Regional 3-4), 23-24 April 2010 (Regional 5-6), maupun di tingkat nasional pada tanggal 14-15 April 2010. Pada workshop gelombang pertama telah dicapai kesepakatan mengenai mekanisme atau prosedur kerja pengelola bank soal di tingkat institusi, regional dan nasional. Selain itu, telah dilakukan sosialisasi terkait pengembangan perangkat lunak pengelolaan bank soal dan didapatkan usulan untuk perbaikan. Output yang dihasilkan pada workshop gelombang satu dirasakan belum optimal, terutama dari sisi teknis instalasi software. Selain itu, proyek memiliki misi untuk melaksanakan akselerasi implementasi software pengelolaan bank soal untuk profesi lain, yaitu dokter gigi, bidan dan ners. Oleh karena itu, proyek HPEQ akan memfasilitasi kembali workshop pengelola bank soal gelombang ke-2 ini dengan coverage peserta yang lebih luas, yaitu untuk 4 profesi kesehatan yang dinaungi oleh proyek HPEQ. 2. Tujuan 1. Tersusunnya standar atau protokol kerja yang disepakati secara nasional dan menjadi acuan bagi pengelolaan bank soal untuk di semua profesi 2. Terlatihnya para calon pengelola atau administrator Bank Soal Ujian dalam penggunaan aplikasi dan proses administrasi pembuatan, review, persiapan dan pelaksanaan ujian, serta pelaporan hasil ujian 3. Terpilihnya kandidat pengelola atau administrator sesuai dengan jumlah pusat ujian dan institusi pendidikan yang diperlukan 4. Memberikan rekomendasi improvement pengelolaan bank soal untuk tiap profesi sehingga dapat ditingkatkan kualitas penyelenggaraannya dari waktu ke waktu 5. Menyusun perencanaan workshop pengelola bank soal ditingkat institusi Komponen 2 Agustus 2010 Page 2
3. Output Workshop 1. Standar atau protokol kerja pengelolaan bank soal untuk nasional bagi semua profesi 2. Pengelola bank soal yang eligible menjadi fasilitator pada tingkat regional 3. Rekomendasi improvement pengelolaan bank soal untuk tiap profesi 4. Perencanaan workshop pengelola bank soal ditingkat regional dan institusi 4. Metode Pelaksanaan Workshop Workshop nasional pengelola bank soal gelombang ke-2 ini scopenya lebih luas karena melibatkan 4 profesi kesehatan yang tergabung di proyek HPEQ, yaitu dokter, dokter gigi, bidan dan ners. Workshop nasional pengelola bank soal gelombang 2 yang telah dilaksanakan pada tanggal 21 22 Agustus 2010 di Hotel JW Marriot Surabaya ini dihadiri oleh 13 peserta yang terdiri dari 4 perwakilan profesi kedokteran, 3 dari profesi kedokteran gigi, 1 dari profesi perawat dan 5 dari profesi bidan serta 2 orang fasilitator dari KB UKDI. Participation rate workshop kali ini hanya mencapai 70 % karena ada 5 delegasi ners, 2 delegasi kedokteran dan 1 delegasi bidan yang berhalangan hadir. Berikut adalah para item bank administrator perwakilan profesi yang telah berpartisipasi : 1) Profesi Kedokteran a. Hemma Yulfi (FK USU) b. Ninik Sukartini (FK UI) c. Mahmud Ghaznawi (FK UNHAS) d. Achmad Y Heryana (FK UNAIR) Berbeda dengan profesi lainnya, delegasi dari kedokteran adalah para item bank administrator nasional yang telah terpilih pada workshop sebelumnya. 2) Profesi Kedokteran Gigi a. Indri Kurniasih (Item bank manager UKDGI / PSKG UMY) b. Utmi Arma (Core team UKDGI / FKG UNBRAH) c. Mei Syafriadi (Core team UKDGI / FKG UNEJ), mewakili Adam Malik. 3) Profesi Ners Tuti Herawati (Item bank manager ners / PPNI Jakarta) 4) Profesi Bidan a. Devi Syarif (STIKES Mercu Padang) b. Utin Siti Candrasari (Poltekkes Pontianak) c. Tri Novi (UB) d. Betty Mangkuji (Poltekkes Medan) Workshop dilaksanakan dengan 2 metode, yaitu dengan metode presentasi narasumber yang disertai dengan diskusi interaktif serta simulasi aplikasi software item bank yang diharapkan dapat memberikan pemahaman yang komprehensif kepada para item bank administrator perwakilan profesi. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara terlambat sekitar Komponen 2 Agustus 2010 Page 3
30 menit. Meskipun demikian, hal ini tidak mengurangi nilai substansi dari tiap sesi workshop secara keseluruhan. Berikut adalah rundown acara workshop pada kondisi riil : WAKTU ACARA PELAKSANA Jumat, 13 Agustus 2010 14.30 14.35 Pembukaan M Ghozali 14.35 15.00 Perkenalan peserta 15.00 15.50 Materi Sari Puspa Dewi 15.50 17.15 Diskusi Kelompok M Ghozali 16.30 17.15 Presentasi Profesi Kedokteran Gigi dan Bidan 17.15 19.30 ISHOMA 19.30 20.30 Presentasi Profesi Perawat dan Kedokteran Fasilitator 20.30 22.00 Simulasi Data Entry 08.30 10.00 Lanjutan Simulasi Data Entry Sabtu, 14 Agustus 2010 10.00 10.20 Diskusi Hasil Simulasi Data Entry 10.20 11.00 -Wrap Up & Rencana Tindak Lanjut -Penentuan fasilitator untuk workshop regional M Ghozali M Ghozali & Sari Puspa Dewi M Ghozali & Sari Puspa Dewi M Ghozali & Sari Puspa Dewi 5. Hasil Kegiatan Workshop diawali dengan penyampaian materi dari fasilitator KB UKDI, yaitu Moh Gozali dan Sari Puspa Dewi terkait prinsip dasar item bank administration dan garis besar proses administrasi soal. Kuliah yang diberikan oleh narasumber ini dianggap benar-benar dapat memberi masukan kepada peserta workshop dalam membuat sistem/ work flow item bank administration yang berkenaan dengan sistem pengelolaan yang credible dari segi keamanan dan kemudahan proses administrasi. Beberapa catatan penting dari sesi kuliah dan diskusi interaktif pada workshop adalah sebagai berikut : a. Keamanan dalam sistem item bank administration Diperlukan pengawasan yang ketat untuk bank administration agar tidak terjadi kebocoran soal b. SDM Administrator dibagi menjadi dua, yaitu sebagi operator untuk software dan operator yang memasukkan soal. Dua administrator ini memiliki jobdesc yang berbeda c. Work flow item bank administration Pada dasarnya, workflow item bank administration secara general adalah seagai berikut : Item Pool Institutional regional nasional item review soal yang baik masuk bank soal soal siap ujian UKDGI item anaysis ok masuk bank soal. Perlu ada pengawasan yang ketat mengenai persyaratan soal-soal yang masuk dari institusi ke regional. Komponen 2 Agustus 2010 Page 4
Setelah overview dari narasumber, masing-masing perwakilan item bank administrator mempresentasikan workflow pengelolaan bank soal yang selama ini dilaksanakan oleh masingmasing profesi. Selanjutnya, workshop bergerak pada sesi yang sangat teknis, yaitu simulasi data entry. Setiap item bank admin melakukan troube shooting terhadap software yang telah diinstalkan pada masing-masing laptop, dan selanjutnya mencoba setiap fitur yang ada. Berdasarkan hasil uji coba tersebut, para item bank admin dapat mengidentifikasi kesulitan-kesulitan yang dihadapi dalam menjadi mengoperasikan software yang telah dirancang, sehingga dapat memberikan rekomendasi improvement sebagai berikut : Sebaiknya masing-masing operator institusi dapat memasukkan soal ke dalam sofware item bank administration Perlu dibuat SOP item bank administration dari tingkat institusi sampai tingkat nasional, terutama dalah melakukan pengawasan terhadap software dan kerahasiaan soal Item writer sebaiknya mendapatkan pin/username untuk memasukkan soal pada sistem item bank admin Perlu dibuat suatu persyaratan nasional untuk institusi yang dapat menginputkan soal ke bank soal nasional Soal yang yang akan diinputkan pada item bank nasional harus memenuhi kriteria substansi (blue print, tinjauan, dll) maupun non substansi (format, dsb) Admin seharusnya ada 2, yang meguasai software dan satu lagi dari perwakilan profesi (yang menegrti blue print uji atau substansi soal uji). 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari parameterparameter penilaian yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Pada dasarnya, pelaksanaan workshop sudah berjalan dengan baik. Para item bank admin nasional dari masing-masing profesi sudah dapat lebih memahami protap item bank administration. Hal ini dapat tercermin melalui paparan item bank admin terkait workflow item bank administration yang diimplementasikan pada masing-masing profesi. Selain itu, para item bank admin juga dapat memberikan constructive input untuk sistem item bank administration yang telah dirancang. Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 12 kuesioner yang kembali ke tim monev, 75 % responden menyatakan parameter workshop yang dinilai sudah sangat sesuai. Persepsi peserta ini perlu dianalisa lebih lanjut, terutama untuk parameter-parameter yang dirasakan masih kurang sesuai. Parameter workshop yang dinilai persepsinya adalah sebagai berikut :
Parameter Penilaian 1. Saya mengikuti workshop ini secara utuh dari awal sampai akhir 2. Saya telah menyiapkan diri secara khusus untuk mengikuti workshop ini 3. Workshop ini meningkatkan kemampuan saya sebagai item bank administrator 4. Berdasarkan standar atau protokol yang telah disepakati dalam kegiatan ini, pengelolaan soal di tiap institusi dapat berjalan dengan baik 5. Narasumber mempunyai kemampuan yang memadai dalam item bank administrator 6. Narasumber telah memfasilitasi workshop ini dengan baik 7. Kegiatan ini bermanfaat dalam pengembangan sistem uji kompetensi 8. Pelayanan panitia dalam workshop ini memadai 9. Fasilitas dalam workshop ini memadai 10. Saya mengikuti workshop ini secara utuh dari awal sampai akhir 11. Saya telah menyiapkan diri secara khusus untuk mengikuti workshop ini Analisa lebih lanjut terhadap feedback peserta, kesesuaian terbesar peserta dirasakan terhadap output workshop, yaitu standar atau protokol item bank administration yang telah disepakati pada workshop ini akan berimplikasi pada pengelolaan soal di masing-masing institusi akan leih terstruktur. Selain itu, secara lebih komprehensif, workshop ini dinilai sangat bermanfaat untuk pengembangan sistem uji kompetensi. Dari sisi teknis, pelayanan panitia dalam workshop ini dinilai sangat memuaskan. Berdasarkan hasil feedback, dapat dianalisa pula parameter-parameter yang dinilai masih kurang sesuai, yaitu peserta kurang mempersiapkan diri dalam mengikuti workshop.
Selain itu, berikut adalah feedback peserta terhadap beberapa parameter workshop : 1. Kesiapan menjadi item bank administrator di masing-masing institusi serta menjadi fasilitator workshop item bank administrator baik ditingkat institusi maupun regional setelah mengikuti workshop ini : Siap sesuai dukungan institusi Siap dengan dukungan fasilitator HPEQ Siap, tapi harus ada orang IT yang mendampingi Siap, jika sistem sudah lengkap, sesuai dengan format yang ada di PS/ Fakultas 2. Usul/Saran untuk memperbaiki standar atau protokol pengelolaan soal di tiap institusi : Segera dilakukan penyempurnaan agar segera bisa diimplementasikan di institusi masing-masing Protokol yang ada sudah baik, namun perlu selalu di enforce agar tiap institusi dapat bekerja sesuai standar. Institusi dapat memodifikasi sesuai custom made yang lebih sesuai sebagai institusinya Diadakan workshop berkala di wilayah masing-masing Pertemuan tim item bank administration Harus ada item bank administrator tiap institusi Harus ada SOP yang tersosialisasi dengan baik Sebaiknya ada orang penanggung jawab protokol sehingga jika ada masalah ada orang yang bisa dihubungi Sosialisasi tentang item development dan item bank administration Dibuatkan standar protokol pengelolaan soal untuk institusi dan regional 3. Kendala yang dihadapi profesi dalam mengembangkan item bank uji kompetensi : Kesulitan dalam melakukan review soal-soal yang sudah terkumpul Pengadaan IT yang memadai Belum jelasnya bank soal dari institusi dengan item bank uji kompetensi dan belum terbentuknya tim uji komptensi untuk institusi dan regional Belum ada perangkat administrasi item bank di regional SDM Penguasaan IT Keterbatasan kemampuan SDM Waktu yang terbatas, karenanya software ini sangat perlu dikembangkan agar dapat bekerja efektif dan efisien Belum adanya manual prosedur yang tersusun baik untuk item bank uji kompetensi Data soal masih ada yang belum bisa diinputkan karena masih ada tinjauan yang belum sesuai dengan sistem yang ada di program Standar pengelolaan soal di institusi belum ada. Untuk langkah awal dibuat dulu standar pengeloalaan soal di setiap institusi 4. Saran untuk menjaga sustainability output dari workshop ini? Membentuk milis untuk media komunikasi di antara para IBA Komponen 2 Agustus 2010 Page 7
Diadakan pertemuan dan pelatihan berkala Mengadakan pertemuan untuk membahas hal-hal terbaru terkait item bank administration Tiap institusi harus mampu mengembangkan/ mensosialisasikan Membuat mailing list antar operator/ peserta IB manager dengan pengelola program / admin, sehingga apabila masing-masing institusi menjumpai masalah dapat didiskusikan melalui mailing list Workshop berkelanjutan dan melibatkan SDM yang lebih berkualitas serta menguasai IT dengan baik Workshop nasional bagi staf institusi yang mengetahui IT Pertemuan rutin atau berkala untuk penanganan software Pertemuan berkala telaah soal-soal yang di institusi Perlu pelatihan khusu untuk mengentry soal Selain feedback peserta, fasilitator juga memberikan penilaian dan feedback terhadap peserta maupun pelaksanaan workshop secara umum. 1. Penilaian terhadap kemampuan peserta dalam training item bank administrator pada workshop ini : Sangat baik, peserta sangat tertarik dengan mekanisme dan how to. Semuanya semangat dan tertarik untuk mempelajari mekanisme item bank administration 2. Fasilitator yakin dengan standar atau protokol yang telah disepakati dalam kegiatan ini, pengelolaan soal dapat berjalan dengan baik dimasing-masing institusi 3. Fasilitator menilai bahwa calon admistrator yang terpilih ini mampu menjadi fasilitator pada workshop item bank administration di regional/institusi masingmasing 4. Manfaat kegiatan ini untuk pengembangan sistem uji kompetensi di Indonesia: -Pengelolaan bank soal lebih efisien -Terbentuknya jalinan pengelola bank soal 5. Saran anda untuk perbaikan penyelenggaraan workshop ini adalah kesiapan aplikasi item bank administration yang nantinya akan digunakan di tiap-tiap institusi 7. Rencana Tindak Lanjut Workshop regional item bank administration untuk 4 profesi kesehatan yang akan dilaksanakan mulai tanggal 30 Agustus hingga 2 September, dengan fasilitator adalah item bank admin nasional dari masing-masing profesi. Workshop akan dilaksanakan dalam 3 batch dan berlokasi di Medan, Bandung dan Makassar. Penyerahan data-data institusi, bidang ilmu dan tinjauan dari masing-masing profesi melalui mailist ibanas_hpeq@yahoogroups.com. Untuk selanjutnya, mailist ini diharapkan dapat menjadi media komunikasi yang efektif dan efisien untuk para item bank admin nasional. Komponen 2 Agustus 2010 Page 8
8. Penutup Upaya peningkatan kualitas dan kredibilitas pengelolaan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat regional dan Institusi Pendidikan. Untuk itu diharapkan bahwa para pengelola yang terpilih dapat menjalankan pengelolaan bank soal di tingkat regional dan lokal, termasuk menyelenggarakan berbagai pelatihan yang diperlukan untuk itu. Dengan demikian upaya perluasan dari pengelolaan bank soal yang baik ini dapat berjalan dan berdampak pada peningkatan proses belajar peserta didik di institusi institusi pendidikan dalam skala nasional. 9. Lampiran Materi presentasi narasumber Workflow item bank administration profesi Database item bank admin nasional Komponen 2 Agustus 2010 Page 9