LAPORAN Pelatihan Pengelolaan Computer-based Testing (CBT) Center Koordinator CBT dan Operator Teknologi Informasi Lokal Kedokteran Gelombang 2 Hotel Gran Cempaka Jakarta, 20 21 Juli 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 JULI 2011 Page 1
1. Pendahuluan HPEQ PROJECT 2011 Komponen 2 HPEQ Project mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Salah satu metode ujian yang akan dikembangkan adalah ujian tulis dengan menggunakan komputer computer-based testing (CBT). Metode ini memerlukan kesiapan baik menyangkut SDM, dukungan perangkat keras maupun lunak, serta prasarana tempat ujian. Keseluruhan aspek ini mesti disiapkan dan dikelola dengan sebaik-baiknya. Dalam hal ini diperlukan sarana dan prasarana lokasi ujian dalam bentuk CBT Center yang memenuhi standar sehingga metode ujian tersebut dapat dilaksanakan dengan baik. Pengembangan CBT Center yang dilakukan adalah berbasis penguatan sarana dan prasarana laboratorium di institusi pendidikan dokter yang terdapat di Indonesia. Penetapan lokasi ujian mempertimbangkan aspek strategis pencapaian lokasi oleh peserta ujian, kapabilitas SDM di lokasi ujian dalam mengelola perangkat keras dan lunak serta penyiapan dan pengkoordinasian keseluruhan aspek penunjang sehingga siap untuk menjadi tempat pelaksanaan ujian. Serangkaian uji coba dalam mempersiapkan implementasi CBT Center telah dilaksanakan dan memberikan hasil positif bahwa tiap CBT Center dapat melayani pelaksanaan ujian secara baik. Hal ini juga ditunjang dengan komitmen dan kapasitas dari sarana-prasarana serta sumber daya manusia di masing-masing institusi. Dengan mengintegrasikan jadwal utilisasi sumber daya yang ada di tiap institusi, diharapkan fasilitas ini dapat dimanfaatkan untuk menunjang kegiatan rutin yang berjalan di institusi masing-masing secara mandiri. Pelatihan Koordinator CBT center dan Operator Teknologi Informasi Lokal sudah dilakukan pada Februari 2011 dengan mengundang 16 institusi yang berpartisipasi dalam try out CBT. Dalam perkembangannya, implementasi CBT akan dilakukan lebih dari 16 institusi tersebut. Untuk itu, dalam rangka persiapan CBT pada bulan Agustus 2011, maka proyek HPEQ berinisiasi untuk memfasilitasi kembali Pelatihan Koordinator CBT center beserta Operator Teknologi Informasi Lokal Gelombang 2. 2. Tujuan a) Terstandarisasinya kompetensi koordinator CBT dan operator TI Lokal dalam mengelola CBT Center dan mempersiapkan implementasi CBT yang meliputi sarana, prasarana dan SDM sesuai protokol kerja yang telah disepakati secara nasional. b) Terstandarisasinya kompetensi koordinator CBT dan operator TI Lokal dalam mengelola pelaksanaan ujian dan mengatasi permasalahan (trouble shooting) yang terjadi selama proses ujian secara mandiri sesuai protokol kerja yang telah disepakati secara nasional WORKSHOP KOMPONEN 2 JULI 2011 Page 2
3. Luaran HPEQ PROJECT 2011 a) Kompetensi Koordinator CBT dan Operator TI Lokal dalam mengelola CBT Center dan memfasilitasi ujian sesuai standar atau protokol kerja yang disepakati secara nasional, dalam rangka persiapan implementasi CBT b) Kompetensi Koordinator CBT dan Operator TI Lokal dalam mengelola pelaksanaan ujian dan mengatasi permasalahan (trouble shooting) yang terjadi selama proses ujian secara mandiri sesuai protokol kerja yang telah disepakati secara nasional, dalam rangka persiapan implementasi CBT 4. Metode Pelaksanaan Workshop Kegiatan Pelatihan Koordinator dan Operator IT CBT Center UKDGI ini akan dilaksanakan pada: Hari : Rabu-Kamis Tanggal : 20-21 Juli 2011 Pukul : Selasa, 20 Juli 2011 = Pkl 14.00 22.30 WIB (Hotel Grand Cempaka) Rabu, 21 Juli 2011 = Pkl 08.00 12.00 WIB (FK Universitas YARSI) Rabu, 20 Juli 2011 WAKTU ACARA PELAKSANA 14.00-14.30 Pengarahan dan pembukaan Pelatihan Fasilitator 14.30-15.30 Penjelasan Umum Mengenai Penyelenggaraan CBT Nasional Fasilitator 15.30-17.30 Persiapan Implementasi CBT di masing-masing lokasi ujian Fasilitator (Laporan Koordinator CBT dan Operator TI Lokal) 17.30-19.00 Istirahat, Sholat, Makan 19.30-22.00 Standarisasi Tata Laksana dan Prosedur Kerja Pengelolaan CBT Center sesuai Kesepakatan Nasional Fasilitator Kamis, 21 Juli 2011 WAKTU ACARA PELAKSANA 07.30-08.00 Perjalanan dari Hotel Grand Cempaka ke FK Universitas Yarsi 08.00-10.00 Simulasi Persiapan Penyelenggaraan Ujian Fasilitator 10.00-11.00 Simulasi Pengelolaan CBT center Fasilitator 11.00-11.30 Wrap Up & Rencana Tindak Lanjut Fasilitator Pada pelaksanaannya, ada enam peserta yang tidak hadir, yakni empat Koordinator CBT (FK UNPAD, FK UNAND, FK UNAIR, dan UKRIDA) dan dua IT Lokal (FK UNAIR dan UKRIDA). Ketidakhadiran peserta dari FK UNPAD disebabkan oleh anggapan bahwa kehadiran peserta dapat diwakilkan oleh fasilitator yang berasal FK UNPAD. Hal serupa juga terjadi untuk peserta UKRIDA (diwakilkan oleh FK UKRIDA). Sementara ketidak hadiran peserta dari FK UNAIR masih belum diketahui. Peserta dari FK UNSRAT mengalami keterlambatan satu hari akibat masalah teknis penerbangan dari MANADO. Para peserta didampingi oleh 2 narasumber dari FK dan 6 fasilitator IT WORKSHOP KOMPONEN 2 JULI 2011 Page 3
pusat. Satu orang fasilitator dari FK UGM tidak dapat hadir pada acara ini. Asisten MONEV dari FK UGM (Datu Respatika) juga terlambat hadir dikarenakan kesalahan membaca undangan dari HPEQ. No Nama Koordinator CBT Institusi Nama IT Lokal 1. - FK UNAND Abdullah 2. Almaycano Ginting FK USU Hidayat 3. Ridwan Siregar Universitas USU Soeharwinto 4. Elsye Souvriyanti FK Yarsi Aris Turna P 5. Aria Kekalih FK UI Nopa Krismanto 6. Dominggus Mangape FK UKM Jeammy Nolen 7. Hermawan FK UNDIP Paidi 8. - FK UNAIR - 9. Harun Al Rasyid FK UB Tunggal Laksono 10. Imade Sudarmaja FK UNUD I Made Rana Susanta 11. Mahmud G. FK UNHAS Adhy 12. - FK UNPAD Fajar Nugraha Sa'ad 13. Ikhlas M. Jenie FK UMY Arif Hadianto 14. Suweino FK UNSAKTI Bambang 15. Setyo Purwono FK UGM Melody Rarasati 16. Nawanto Agung FK UNIKA ATMAJAYA Wahyudi 17. Janno B Bernadus FK UNSRAT John Lela 18. Triawanti FK UNLAM Arniansyah 19. Hafni Bachtiar FK UNBRAH Indrian Ade Putra 20. Nurjannah FK UNSYIAH Alsa Bario Rusman 21. Diah Hermayanti FK UMM (malang) Maxima Ari S 22. Lestari Dewi FK UHT Shobbah 23. Djap Hadi Susanto FK UKRIDA Eko 24. - Universitas UKRIDA - 25. Nugroho Eko W.B FK UWKS Asih 5. Hasil Kegiatan Workshop ini diawali pengarahan dari perwakilan komponen 2 mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai. Masing-masing peserta kembali diberikan pengarahan mengenai tugas dari Koordinator CBT Center dan IT Lokal. Secara umum, sebagian besar peserta sudah memahami tugas tersebut. Selain itu, juga dipaparkan beberapa pengalaman yang di dapat oleh fasilitator selama mengikuti try out CBT UKDI. Kesepakatan yang kemudian menjadi SOP pelaksanaan UKDI juga dipaparkan. Dengan demikian, peserta semakin memahami tugas yang harus dilakukan oleh CBT koordinator dan IT lokal. Tidak hanya SOP yang dibicarakan, namun penjelasan mengenai masalah yang muncul dan cara mengatasi masalah tersebut juga dibahas dengan detail. Acara kemudian dilanjutkan untuk memaparkan langkahlangkah persiapan hingga pelaksanaan CBT ditinjau dari sisi IT. Hal ini dimaksudkan agar baik koordinator CBT center maupun IT lokal dapat mencapai kompetensi dalam menyelenggarakan CBT UKDI. Materi yang disampaikan berkisar tentang proses pengiriman soal, instalasi di CBT center, dan proses pengumpulan database jawaban soal UKDI ke dalam harddisk. Pada umumnya diskusi berjalan WORKSHOP KOMPONEN 2 JULI 2011 Page 4
lancar, hanya saja ada beberapa topik yang sedikit melenceng dari tahap persiapan. Para peserta banyak menyakan masalah detail item, kelengkapan, dan tampilan dari software. Beberapa tombol interaktif yang melekat pada software menajdi salah satu sasarannya. Semua masukan peserta ditampung oleh pihak pengembang software untuk kemudian dikombinasikan dengan masukan dari peserta try out UKDI (mahasiswa). Hari pertama diakhiri dengan paparan kembali beberapa pengalaman para fasilitator di try out UKDI sebelumnya. Hal ini dimaksudkan untuk memberikan gambaran tentang alasan pembentukan SOP yang ada sekarang. Pada hari kedua, peserta berpindah lokasi dari hotel Grand Cempaka, menuju Universitas YARSI. HPEQ memfasilitasi proses ini dengan 1 mobil dinas DIKTi, 1 mobil dinas HPEQ, dan 1 mobil dinas YARSI. Jarak tempuh dari hotel Grand Cempaka menuju hotel tidak terlalu jauh (± 500m). Namun, perjalanan membutuhkan waktu kurang lebih 30 menit, dikarenakan jalanan macet. Acara dimulai pada pukul 08.00 di ruang perpustakaan Universitas Yarsi lantai 3. Di sini telah disediakan 50 PC yang telah diurutkan. Proses setting komponen IT adalah acara pertama yang dilangsungkan. Di sini, peserta langsung dapat mempraktekkan apa yang menjadi paparan dari fasilitator IT. Beberpa masalah dan pertanyaan terus muncul selama proses simulasi persiapan komponen IT. Namun hal ini dapat diatasi oleh para fasilitator dengan cara mengulang proses tersebut. Dari masalah-masalah yang muncul pada proses simulasi ini dikarenakan para IT lokal belum begitu familiar dengan hardware dan software yang ada. Akan tetapi, pada dasarnya para IT lokal sudah memahami logika software yang digunakan, hanya saja untuk membiasakan keadaan ini dibutuhkan latihan beberapa kali. Peserta dari UNSRAT baru dapat mengikuti workshop pada pagi hari di Universitas Yarsi. Acara ini diakhiri dengan wrap up 2 hari workshop, untuk kembali mengingatkan peran CBT koordinator dan IT lokal. Selama 2 hari workshop dilakukan, output dari workshop item review UKDI secara umum adalah sebagai berikut : WORKSHOP KOMPONEN 2 JULI 2011 Page 5
No Institusi Jumlah IT Lokal HPEQ PROJECT 2011 Kapasitas Korrdinator CBT & IT lokal Permasalahan 1. FK UNAND 1 Sudah mencukupi Apabila listrik mati, genset yang ada baru bisa menghidupkan komputer saja, semsntara lampu dan AC tetap mati. 2. FK USU 1 Perlu penambahan staff Terbatasanya ruangan dan unit CPU yang digunakan, sehingga membutuhkan bantuan dari PSI USU 3. USU 9 4. FK Yarsi 5. FK UI 2 Perlu tambahan, sementara Tidak tersedianya router mikrotik dan kondisi dibantu IT dari UI lokasi ujian yang berjauhan 6. FK UKM 5 Sudah mencukupi Tidak adanya server dummy untuk mencoba 7. FK UNDIP 3 Sudah mencukupi 8. FK UNAIR 9. FK UB 3 Sudah mencukupi - Jumlah workstation terbatas. - Perlu ada penambahan, terutama jika nanti akan dgunakan bersamaan dengan KG 10. FK UNUD 3 11. FK UNHAS 12. FK UNPAD Perlu ada tambaha tenaga teknisi listrik dalam pelaksanaan CBT UKDI 13. FK UMY 3 Sudah mencukupi 14. FK UNSAKTI 2 Belum mencukupi - ruangan sempit - Jumlah workstation kurang Komputer yang digunakan merupakan komputer yang ada di laboratorium komputer, bukan dikhususkan untuk CBT UKDI Ada beberapa masalah pada trubleshooting saat pelaksanaan CBT, khususnya dari segi software. 15. FK UGM 6 Sudah mencukupi 16. FK ATMAJAYA 2 Sudah mencukupi 17. FK UNSRAT 3 Sudah mencukupi Terdapat kerancuan wewenang di UNSRAT, dikarenakan belum ada peraturan dari CBT UKDI 18. FK UNLAM 3-4 Sudah mencukupi Ada kendala non teknis 19. FK UNBRAH 3 Sudah mencukupi Belum pernah ada tryout di Unbrah 20. 21. FK UNSYIAH FK UMM (Malang) 1 Perlu penambahan 1 IT lokal 2 Sudah mencukupi - Perlu bantuan listrik yang terjamin (PLN) - Ruang karantina belum tetap, masih sementara - Peserta melebihi jumlah komputer yang ada - Software soal & admin masih perlu perbaikan - Pada pelaksanan tryout (2 Juni 2011), ada sebagian arus listrik yg kurang memadai. 22. FK UHT 3 Sudah mencukupi Belum ada ruang karantina dan loker 23. FK UKRIDA 2 Sudah mencukupi (ASK) Apakah penyediaan router diambil alih oleh Pusat? 24. FK UWKS 2 Belum mencukupi Pihak UWKS akan berusaha melaksanakan CBT sesuai yang ditetapkan (masih dalam persiapan) 25. FK Masalah dana karena tidak mendapatkan 4 Sudah mencukupi UNISSULA hibah HPEQ WORKSHOP KOMPONEN 2 JULI 2011 Page 6
Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini sudah optimal. Hal ini dapat dilihat dari kesiapan dari masing-masing center dalam mempersiapkan CBT UKDI. Hanya saja perlu ada SOP resmi yang akan menjadi acuan bagi semua pelaksanan CBT UKDI yang mendetail dan tidak multi-tafsir. 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi permasalahan yang ada di setiap wilayah dan dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Pelaksanaan workshop cukup lancar, walaupun didapatkan beberapa masalah yang melenceng dari luaran workshop. Seharusnya workshop kali ini bertujuan meningkatkan kompetensi koordinator CBT dan IT lokal. Namun diskusi yang terjadi lebih mengarah pada perbaikan software. Implementasi CBT masih terkendala pada belum adanya SOP yang baku, sehingga dalam setiap workshop selalu muncul masukan dan perbaikan untuk software. Hal ini sangat diharapkan terjadi, supaya software yang digunakan benar-benar matang. Namun ada kecenderungan bahwa masing-masing ahli IT memiliki ego dan pengalaman pribadi yang mengarahkan mereka kepada opini/pendapat mengenai bagaimana seharusnya software dibangun. Permasalahan seperti ini akan menjadi fenomena bola salju, yang akan terus bergerak dan semakin besar seiring berjalannya waktu. Kesimpulan ini didasarkan pada pengamatan kami dari pembicaraan beberapa personil IT lokal dari beberapa institusi. Pembicaraan tersebut mengarah pada keraguan mereka terhadap stabilitas program (bahasa pemrogaman PHP). Perlu ada suatu mediasi/fasilitas berupa workshop pengembangan software UKDI. Tentu saja ini semua dilaksanakan setelah SOP CBT UKDI yang baku dikeluarkan. Karena pada dasarnya sebuah software ada bahasa logika manusia (yang kemudian di digitalisasi) yang dapat dibangun dengan SOP yang jelas. Tanpa adanya SOP yang jelas, para programer/ahli IT akan menemukan banyak kesulitan, karena masing-masing programer/ahli IT memiliki logikanya masing-masing. Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Perlu ada follow up yang jelas dari HPEQ mengenai pelaksanaan workshop lanjutan di tingkat institusional. Perlu ada SOP yang jelas yang dibagikan ke semua center CBT UKDI WORKSHOP KOMPONEN 2 JULI 2011 Page 7
Fasilitator HPEQ PROJECT 2011 Apakah anda mengikuti kegiatan ini secara utuh dari awal sampai akhir? Ya Apakah anda menyiapkan diri secara khusus untuk mengikuti acara ini? Ya, terutama dengan membaca bahan-bahan pelatihan sebelumnya Bagaimana penilaian anda terhadap kemampuan peserta sebagai koordinator CBT dan IT lokal pada workshop ini? Untuk saat ini kemampuan masih beragam, terutam untuk lokasi baru Koordinator CBT telah mampu secara teknis maupun non teknis Untuk masalah IT sudah baik, namun untuk masalah koordinasi CBT, beberapa peserta belum memahami. Berdasarkan penilaian anda, apakah peserta telah mengikuti kegiatan ini dengan baik? Ya, peserta sangat antusias dalam mengikuti workshop. Berdasarkan penilaian anda, apakah peserta workshop ini telah mampu untuk menjadi koordinator CBT dan IT lokal di institusi masing-masing? Ya. Apa rekomendasi anda untuk meningkatkan kapasitas koordinator CBT dan IT lokal? Diharapkan tidak ada pergantian koordinator CBT. Perlu ada pelatihan di tingkat institusi. Apa saran anda untuk perbaikan penyelenggaraan workshop ini? Adanya pemisahan pada saat praktek IT dan koordinator CBT, sehingga pelatihan bisa dilakukan dengan materi-materi teknis yang spesifik dengan pelaksanaan UKDI. Perlu ada simulasi dengan berbagai kasus di dalamnya, sehingga kemampuan troubleshooting peserta terasah. Peserta Saran - Untuk kelancaran dalam pendelegasian tugas, perlu dibuat adanya surat keputusan dari DIKTI sebagai Koordinator CBT dan IT Lokal. - Perlu ada pemebaljaran / try out lebih lanjut di masing-masing center - Perlu ada penyelesaian dalam mengatasi kekurangan hardware yang ada. - Sebaiknya informasi jumlah peserta CBT UKDI dari KBUKDI bisa disampaikan jauh hari (paling tidak 2 minggu sebelum ujian/tryout UKDI). - Perlu ada training IT lokal yang sungguh-sungguh fokus. - Waktu training perlu diperpanjang, terutama perlu diperkuat pada materi teknis. WORKSHOP KOMPONEN 2 JULI 2011 Page 8
- Materi untuk trouble shooting perlu dikembangkan dengan percobaan kasus dan pemecahannya, sehingga lebih aplikatif. - Perlu ada penetapan segera manual prosedur yang akan diterapkan di lapangan - Perlu ada bantuan dari HPEQ untuk mencukupi workstation. - Program : o Perlu ada tombol istirahat untuk peserta. o Perlu ada perbaikan platform dan arsitektur aplikasi o Fitur pada tampilan admin juga memerlukan tambahan agar admin dapat memonitor seluruh peserta. o Tampian software perlu disederhanakan, sehingga konsentrasi peserta tidak terpecah oleh banyaknya fitur yang ada pada soal. o Perlu ada summary database peserta (username, password, jumlah soal yang dikerjakan/dijawab, sisa waktu, dsb) Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 35 kuesioner yang kembali ke tim monev, 64 % responden menyatakan pelaksanaan workshop memuaskan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia, dan para item writer yang sangat cooperative. PROPORSI SATISFACTION LEVEL 2% 4% 64% 30% tidak sesuai kurang sesuai sesuai paling sesuai Analisa lebih lanjut terhadap feedback peserta, kepuasan peserta terhadap output workshop sangat terlihat dari table dibawah yang menunjukkan bahwa workshop ini telah meningkatkan kemampuan peserta sbg koordinator IT local / CBT center. Fasilitas yang diberikan selama workshop dan pelayanan panitia juga dinilai sangat memuaskan. WORKSHOP KOMPONEN 2 JULI 2011 Page 9
REKAP MONEV KOORDINATOR CBT & IT LOKAL KEDOKTERAN Jakarta, 20-21 Juli 2011 30 tidak sesuai kurang sesuai sesuai paling sesuai 25 21 22 23 21 21 22 18 15 12 12 10 12 14 8 11 2 1 2 0 2 1 2 2 1 1 0 0 0 0 0 1 1 1 1 1 2 3 4 5 6 7 8 9 Keterangan : 1. Saya mengikuti workshop ini secara utuh dari awal sampai akhir 2. Saya telah menyiapkan diri secara khusus untuk mengikuti workshop ini 3. Workshop ini meningkatkan kemampuan saya sbg koordinator IT local / CBT center 4. Institusi saya telah mengimplementasikan CBT dengan baik 5. Narasumber mampu memberikan pemahaman mendalam terkait tugas dan fungsi koordinator IT local / CBT center 6. Materi yang diberikan pada workshop sangat relevan dan memberikan added value 7. Capaian workshop ini sesuai dengan yang ditargetkan pada TOR workshop 8. Pelayanan panitia dalam workshop ini responsif 9. Fasilitas dalam workshop ini memadai untuk mendukung pelaksanaan workshop 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Perlu ada workshop lanjutan di tingkat institusi untuk melatih ahli IT dan para koordinator. Perlu ada diseminasi segera SOP pelaksanaan CBT UKDI. 8. Penutup Upaya peningkatan kualitas dan kuantitas pembuatan soal OSCE diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan persiapan CBT UKDI yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. WORKSHOP KOMPONEN 2 JULI 2011 Page 10