LAPORAN Pelatihan Nasional Koordinator CBT Center (Kedokteran dan Kedokteran Gigi) KOMPONEN 2 PROYEK HPEQ Hotel Sheraton Mustika Yogyakarta, 29 30 September 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 1
1. Pendahuluan Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Salah satu metode ujian yang akan dikembangkan adalah ujian tulis dengan menggunakan komputer computer-based testing (CBT). Melode ini memerlukan kesiapan baik menyangkut SDM, dukungan perangkat keras maupun lunak, serta prasarana tempat ujian. Keseluruhan aspek ini mesti disiapkan dan dikelola dengan sebaikbaiknya. Dalam hal ini diperlukan standar atau protokol kerja yang disepakati dalam skala nasional sehingga metode ujian tersebut dapat dilaksanakan dengan baik. Disamping prosedur kerja, pemahaman yang harus dimiliki oleh koordinator adalah penyiapan dan pengkoordinasian keseluruhan aspek penunjang tadi sehingga siap untuk menjadi tempat pelaksanaan ujian. Selanjutnya diperlukan pula proses evaluasi terhadap pelaksanaan kegiatan CBT di setiap tempat ujian. Mengingat keseluruhan aspek diatas maka perlu dilakukan pelatihan koordinator CBT center yang akan menjamin pelaksanaan CBT dengan sebaik-baiknya dan bahkan dapat ditingkatkan kualitasnya terus menerus. Mengingat urgensi output yang diharapkan dari program ini, proyek HPEQ akan memfasilitasi kegiatan yang sesuai dengan tujuan sub komponen 2.2, yaitu memperbaiki metodologi ujian berbasis standar nasional. Selain itu, kegiatan ini juga dilaksanakan untuk mendukung pencapaian KPl komponen 2 tahun 2011, yaitu implementasi CBT untuk uji kompetensi dokter dan dokter gigi. 2. Tujuan 1. Tercapainya kesamaan persepsi mengenai penyerenggaraan CBT Nasional 2. Tersusunnya pedoman tata laksana penyelenggaraan CBT Nasional 3. Tersusunnya standar atau protokol kerja yang disepakati secara nasional dan menjadi acuan bagi penyelenggaraan CBT di setiap tempat ujian 4. Tersusunnya standar fasilitas dan sumber daya manusia untuk penyelenggaraan CBT Nasional 5. Tersusunnya instrumen evaluasi penyelengaraan CBT Nasional 3. Output Pelatihan 1. Kesamaan persepsi mengenai penyelenggaraan CBT Nasional 2. Dokumen pedoman tata laksana penyelenggaraan CBT Nasional 3. Dokumen standar atau protokol kerja penyelenggaraan CBT ditempat ujian 4. Dokumen standar fasilitas dan sumber daya manusia untuk penyelengaraan CBT Nasional 5. Dokumen instrumen evaluasi penyelenggaraan CBT Nasional. 4. Metode Pelaksanaan Pelatihan Pelatihan ini akan diberikan dengan cara: 1. Pemaparan materioleh narasumber 2. Curah pendapat 3. Diskusi kelompok 4. Penugasan kelompok 5. Presentasi kelompok 6. Diskusi Panel Kegiatan Pelatihan Nasional Koordinator CBT center ini akan dilaksanakan pada: Hari : Rabu Kamis Tanggal : 29 30 September 2010 Pukul : Rabu, 29 September 2010, Pkl 14.00 22.00 WIB Kamis, 30 September 2010, Pkl 08.00 12.00 WIB Tempat : Hotel Sheraton Mustika Yogyakarta WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 2
Pada pelaksanaannya, ada satu peserta yang tidak hadir yaitu peserta dari FK UNPAD. Untuk mempermudah proses pembuatan dokumen pedoman tata laksana penyelenggaraan CBT Nasional, dokumen standar atau protokol kerja penyelenggaraan CBT ditempat ujian, dokumen standar fasilitas dan sumber daya manusia untuk penyelengaraan CBT Nasional, dan dokumen instrumen evaluasi penyelenggaraan CBT Nasional, para pengelola CBT center dibagi menjadi 3 kelompok kecil. Dalam mereview soal, para item writer dipandu dan didampingi oleh 5 orang fasilitator, yaitu Mohammad Ghozali, Iwan Dewanto, Iwan Dwi Prahasto, Yulherina, dan Kosterman. Namun Iwan Dwi Prahasto tidak dapat hadir, dan Yulherina hanya mengikuti setengah kegiatan hari pertama saja. 5. Hasil Kegiatan Pelatihan ini diawali dengan perkenalan masing-masing peserta dan fasilitator, serta berbagi pengalaman mengenai CBT di institusi masing-masing. Sebagian besar institusi belum pernah melakukan CBT atau tes lain yang mirip dengan CBT. Sedangkan infrastruktur yang menunjang di setiap institusi masih sangat beragam. Dalam satu institusi yang sama sekalipun didapatkan keberagaman komputer dan fasilitas penunjangnya. Hal tersebut merupakan pokok bahasan yang perlu dibicarakan lebih lanjut, karena ini menyangkut kesamaan hak yang harus diperoleh kandidat dalam mengikuti uji kompetensi. Perbedaan hardware yang ada akan menimbulkan paling tidak kecemburuan kandidat yang satu terhadap kandidat yang lain, yang akan berpengaruh pada psikologis para kandidat. Pada acara berikutnya, masing-masing peserta kembali diberikan sedikit pengarahan mengenai tugas dari komponen assesment dalam HPEQ, yaitu tugas dari item bank development and review, item bank adminisrtator, dan kolaborasi dari komponen tersebut. Selanjutnya, pengarahan diberikan secara lebih mendalam mengani CBT. Hal ini dilakukan karena sebagian besar peserta belum memiliki persepsi yang sama mengenai CBT. Diskusi yang terjadi di dalam pengarahan tersebut sebagian besar membahas hal yang bersifat teknis pelaksanaan CBT terutama prosedur pelaksanaan CBT. Beberapa isu teknis yang muncul adalah prosedur pengiriman soal, prosedur penanaman program ke dalam server CBT center, prosedur teknis troubleshooting, spesifikasi software yang sedang dikembangkan, dan masukan terkait dengan pengamanan lokasi dan bahan soal. Pada tahap selanjutnya peserta dibagi ke dalam tiga kelompok besar. Masing kelompok membahas isu yang berlainan. Kelompok 1 (Komponen Pelaksanaan Ujian) membahas mengenai Pengawas Pusat dan Lokal, Operator TI Pusat dan Lokal, dan Koord. CBT Center/Penanggung Jawab Lokasi. Kelompok 2 (Persiapan Sebelum Hari Ujian) membahas mengenai Lokasi Ujian dan Perangkat Penunjang Ujian. Kelompok 3 (Pelaksanaan Ujian) membahas menganai Instalasi Materi Ujian, Pengawasan Ujian, dan Penanganan terhadap hal yang tidak diharapkan (Cheating, Perangkat Gagal Kerja, Force Major). Materi diatas didasarkan pada Peraturan dan Tata Tertib Pelaksanaan Ujian Tulis Uji Kompetensi Dokter Indonesia versi 9 (11 Agustus 2010) yang kemudian dkembangkan agar sesuai dengan kriteria yang dibutuhkan untuk melaksanakan CBT. Pada proses pembahasan ini tampak bahwa para peserta sangat antusias. Namun masalah utama yang sering muncul adalah ketidakhadiran pihak pengembang software dan pakar IT. Kedua pakar tersebut merupakan hal yang mutlak perlu dipenuhi untuk mengembangkan CBT, karena sebagian besar peserta tidak begitu memahami mengenai masalah tersebut. Berdasarkan hasil pelatihan yang telah dilaksanakan selama 2 hari, output dari pelatihan nasional CBT center secara umum adalah sebagai berikut : WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 3
NO KOMPONEN TARGET REALISASI 1. Dokumen pedoman tata laksana penyelenggaraan CBT Nasional 1 1 2. Dokumen standar atau protokol kerja penyelenggaraan CBT ditempat ujian 1 1 3. Dokumen standar fasilitas & SDM untuk penyelengaraan CBT Nasional 1 1 4. Dokumen instrumen evaluasi penyelenggaraan CBT Nasional. 1 1 5. Jumlah institusi yang berkontribusi mengirim peserta 25 24 6. Jumlah peserta pelatihan 25 24 7. Jumlah narasumber 5 4 Berdasarkan hasil rekapitulasi output pelatihan secara umum, dapat disimpulkan bahwa pencapaian target pelatihan ini masih sudah optimal. Hal ini dapat dilihat dari jumlah dokumen yang dihasilkan. Namun dokumen tersebut belum final. Hal tersebut dikarenakan banyak hal dari dokumen tersebut yang harus disampaikan kepada pengembang software ujian untuk kemudian menunggu kesanggupan pihak pengembang. Finalisasi dokumen ini rencananya akan dilaksanakan pada tanggal 25-26 Oktober 2010 di Yogyakarta. Berikut merupakan nama peserta yang terbagi dalam tiga kelompok kerja. No Nama Institusi Pelatihan yg diikuti KELOMPOK 1 1 ISKANDAR SYARIF FK UNAND Judge 2 RETNO ASTI WERDHANI FK UI IBA 3 SETYO PURWONO FK UGM - 4 HARUN AL-RASYID FK UB IBA 5 ERLIERA FKG USU - 6 WIDIJANTO FKG USAKTI - 7 DEDY KUSUMA FKG UGM - 8 SRI KUNARTI FKG UNAIR OSCE 9 RAHMAT FKG UNHAS - KELOMPOK 2 1 ALMAYCANO GINTING FK USU 2 SANTOSO FK UNDIP IBA Nas, Fasilitator IBA Reg 3, IBD 3 I MADE SUDARMAJA FK UNUD Standar Setting 4 CITRA LESTARI FKG UNBRAH IW, IBA 5 IKA RATNA MAULANI FKG MOESTOPO - 6 FAHMI YUNISA PSKG UMY - 7 RIMA PARWITASARI FKG UHT - 8 ERNITA SARI PSKG IIK BAKTI WIYATA - KEDIRI KELOMPOK 3 1 ELSYE SOUVRIYANTI FK YARSI IBA, IW 2 DOMINGGUS MANGAPE FK UKM HPEQ vs AIPKI wil 3 (Bandung) 3 HARYANTO ALIMSARDJONO FK UNAIR - 4 MAHMUD GHASNAWI FK UNHAS IBA Nas, Faslitator IBA Reg 5 NIEKA ADHARA WAHONO FKG UI - 6 DANI RIZALI FIRMAN FKG UNPAD - 7 HAFIEDZ MAULANA FKG UNEJ - 8 SUMANTRI FKG UNMAS - WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 4
6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan pelatihan ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi masalah yang belum optimal dalam pelatihan ini. Berikut adalah refleksi pelaksanaan pelatihan dari beberapa perspektif tersebut : Gambaran Umum Hampir di seluruh CBT center, belum pernah melakukan CBT. Fasilitas yang dimilikipun sangat bervariasi dari masing-masing pusat CBT. Sejalan dengan hal ini, perlu identifikasi yang lebih mendetail untuk masing-masing pusat CBT mengenai syarta minimal sebuah pusat CBT. Partisipasi institusi dalam mengikuti pelatihan ini sudah baik. Hanya saja beberapa peserta memiliki tugas ganda di institusinya (menjadi IBA, IW, OSCE, dll). Beberapa hal yang perlu diimprove dari pelaksanaan pelatihan ini adalah : Kehadiran pihak pakar IT dan pengembang software ujian. Hal ini dimaksudkan untuk mempercepat koordinasi dan pembuatan dokumen. Sebagian besar peserta pelatihan belum memahami mengenai CBT. Perlu diadakan pertemuan antara IW dan IR, IBA, pengelola OSCE, dan pengelola CBT untuk menjelaskan garis koordinasi diantara mereka. Fasilitator Partisipasi peserta sangat baik namun pemahaman mereke mengenai IT masih sangat kurang. Beberapa peserta ternyata hanya mewakili temannya, dan nantinya tidak akan menjadi coordinator CBT di institusi asalnya. Perlu ada kepastian, agar peserta pelatihan tidak bergantiganti. Beberapa peserta terlihat dapat menjadi koordinator yang baik. Usulan : Diperbanyak pelatihan di tingkat regional atau institusi untuk mengingkatkan keterlibatan institusi dan melatih SDM di institusi yang menjadi CBT center. Perlu ada core team yang akan mereview dokumen yang telah ada untuk menjadi Peraturan dan Tata Tertib Pelaksanaan Ujian Tulis Uji Kompetensi Dokter Indonesia (versi CBT) Perlu ada pelatihan yang melakukan simulasi pelaksanaan CBT, agar peserta memahami dan mengerti real setting pelaksanaan CBT beserta troubleshooting yang diperlukan. Peserta Komitmen sebagai coordinator CBT nasional Sebagian besar peserta berkomitmen untuk menjadi koordinator CBT, hanya saja perlu dilakuakn pelatihan yang memadai terlebih dahulu. Beberapa peserta merasa keberatan apabila harus menjadi koordinator CBT nasional. Namun pada dasarnya mereka siap menjadi Koordinator regional / institusi. Rekomendasi penyempurnaan pedoman dan mekanisme CBT nasional Perlu dilakukan uji coba yang berulang kali di setiap institusi yang menjadi CBT center. Perlu pembuatan detail SOP, tata tertib, dan pelatihan untuk persiapan CBT. Sebaiknya diadakan dalam bentuk pelatihan (sebaiknya bukan hari senin-rabu). Perlu ada penyempurnaan software sesuai dengan diskusi yang telah dilaksanakan kemarin. (tercatat dalam dokumen) Perlu ada evaluasi yang dilakukan di setiap akhir CBT yang kemudian dibagikan ke masingmasing center CBT. WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 5
Perlu ada bantuan dari proyek HPEQ di bidang sarana dan prasarana. Perlu mengajak stakeholder yang berwenang di masing-masing profesi dalam mengembangkan CBT, agar nantinya tidak ada kesalahpahaman (Dokter = KBUKDI, Dokter Gigi = Kolegium, dan KKI). Strategi sosialisasi CBT di regional / institusi Perlu ada kunjungan KBUKDI ke masing-masing CBT center untuk melakukan sosialisasi. Web-based yang berupa PDF atau film dan banner di setiap institusi. Perlu diadakan try out dengan model yang sama seperti pelaksanaan CBT. Perlu ada sosialisasi 1 hari sebelum hari ujian, bersamaan dengan peninjauan lokasi oleh kandidat. Perlu ada pelatihan bersama antara tenaga IT nasional/pusat dengan tenaga IT lokal. Kendala pelaksanaan pelatihan CBT di masing-masing center Keterbatasan dana yang dimiliki masing-masing pusat CBT Ketersediaan SDM operator IT dan sarana prasarana yang beragam antara pusat CBT yang satu dengan yang lain. Benturan jadwal dengan kegiatan akademik di institusi tempat CBT berlangsung. Loyalitas SDM pada institusi yang akan menjadi pusat CBT Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan pelatihan. Dari 11 kuesioner yang kembali ke tim monev, 47 % responden menyatakan pelaksanaan pelatihan memuaskan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan para coordinator CBT yang sangat cooperative. PROPORSI SATIFICATION LEVEL 7% 11% 47% 35% tidak sesuai kurang sesuai sesuai paling sesuai Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output pelatihan, dimana peserta merasa mendapatkan added value yang besar, sehingga pelatihan ini dinilai dapat meningkatkan kemampuan mereka dalam mempersiapkan CBT di institusi mereka masing-masing. Fasilitas yang diberikan selama pelatihan dan pelayanan panitia juga dinilai sangat memuaskan. WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 6
Workshop Nasional Koordinator CBT Kedokteran & Kedokteran Gigi (29-30 Sept 2010) 25 Tidak Sesuai Kurang Sesuai Sesuai Paling Sesuai 20 15 10 5 0 Saya telah berkomitmen untuk menjadi koordinator CBT nasional Telah tercipta kesamaan persepsi mengenai penyelenggaraan CBT nasional melalui workshop ini Mekanisme CBT di tiap institusi telah distandarisasi secara nasional Pedoman CBT telah distandarisasi secara nasional Instrumen evaluasi penyelenggaraan CBT telah distandarisasi secara nasional Standar / protokol kerja penyelenggaraan CBT di tempat ujian telah disepakati secara nasional Standar fasilitas dan sumber daya manusia untuk penyelengaraan CBT telah disepakati secara nasional Setiap orang mendapatkan kesempatan yang sama untuk menyampaikan ide dan pendapat dalam penyempurnaan pedoman CBT Narasumber telah membimbing peserta untuk mendapatkan kesepakatan menjadi koordinator CBT dengan baik Waktu yang disediakan dalam workshop ini memadai Fasilitas dan pelayanan yang diberikan panitia dalam workshop ini memadai 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan pelatihan, refleksi dan feedback dari peserta pelatihan beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari pelatihan ini adalah sebagai berikut : Perlu ada komunikasi yang lebih intensif dengan pihak pengembang software dan pakar IT baik lokal maupun nasional/pusat untuk membangun pedoman yang baik yang berkaitan dengan sarana prasarana dan keamanan soal. Tiap institusi yang ditunjuk menjadi CBT center perlu mempersiapkan diri untuk menjadi CBT center dengan cara meningkatkan partisipasi dalam setiap pelatihan CBT. Diharapkan mengirimkan wakil yang sama untuk setiap pelatihan. Dokumen yang sudah dibuat akan direview lagi dan akan difinalisasi pada workshop CBT selanjutnya. Perlu ada perbaikan pada software yang dikembangkan sesuai dengan hasil diskusi. Termasuk didalamnya tampilan yang tidak membuat mata cepat lelah. 8. Penutup Upaya persiapan CBT center diharapkan tidak hanya dilakukan di tingkat nasional, namun juga di tingkat regional dan institusi. Untuk itu diharapkan bahwa para peserta pelatihan yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan persiapan pusat CBT yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. WORKSHOP KOMPONEN 2 SEPTEMBER 2010 Page 7