Diisi oleh tim observer proyek MONITORING UJI COBA SKALA PENUH CBT-OSCE UKDGI LOKASI : FKG UNAIR TANGGAL : 25-27 Oktober 2011 PENGAWAS/ IT PUSAT : drg. Tecky CBT & OSCE Coordinator : drg Hendrik Setia Budi, MKes (CBT), drg. Karlina Samadi, MS., Sp.KG (OSCE) OBSERVER PROYEK HPEQ : drg. Freddy FW Parameter-parameter penilaian ini mohon diklarifikasi kepada koordinator uji di masing-masing institusi : A. CBT ASPEK SUBSTANSI NO PARAMETER PENILAIAN KLARIFIKASI 1 Jumlah pelaksanaan UKDGI (hingga saat ini) - 3 kali (24 Juni 2011, 18 Oktober 2011, 26 Oktober 2011) 2 Jumlah mahasiswa yang mengikuti ujian di tiap periode UKDGI 3 Jumlah rata-rata peserta uji tiap periode uji 4 Rata-rata tingkat kelulusan UKDGI (dari seluruh periode UKDGI) 5 Rata-rata nilai kelulusan UKDGI (dari seluruh periode UKDGI) 6 Try Out UKDGI : -Jumlah peserta try out : -Tingkat kelulusan UKDGI pada saat try out CBT : -Rata-rata nilai uji : 7 Problem yang dihadapi dalam implementasi CBT : - Periode 1 : 30 peserta - Periode 2 : 31 peserta - Periode 3 : 34 peserta - 32 peserta - Periode 1 : 0%, - Periode 2 : Yang Kedua nilai tertinggi 52 dan terendah 18 - Periode 3 : belum ada nilai - Periode 1 : 20,97 - Periode 2 : 39,35 Rata-rata 2 periode adalah : 30.16 - Dari 40 peserta yang terdaftar hanya 34 yang hadir - (belum ada data) - (belum ada data) - Tidak ada 8 Rekomendasi perbaikan - Mohon dilakukan pelatihan pada operator IT
ASPEK TEKNIS NO PARAMETER PENILAIAN KLARIFIKASI 1 Jumlah fasilitas komputer yang tersedia : - Fasilitas Komputer & IT Equipment lain dari proyek HPEQ - Fasilitas Komputer & IT Equipment lain yang merupakan hak milik institusi 2 Jumlah fasilitas komputer yang digunakan untuk CBT 3 Jumlah operator IT institusi 1 orang 4 Apakah sudah ada item bank system yang terintegrasi dengan item bank nasional? (mohon dijelaskan juga mekanisme item bank system yang digunakan) - 0 (resource sharing dengan FK sebanyak 40 komputer dan 4 komputer cadangan) - 0 40 komputer dengan 4 komputer cadangan Belum ada 5 Bagaimana sistem maintenance dan pembiayaan operasional CBT center? 6 Bagaimana mekanisme koordinasi koordinator CBT center dengan pihak institusi dan KDGI? 7 Bagaimana mekanisme resource sharing dengan CBT center FK? - Sistem maintenance menjadi tanggung jawab FK UNAIR karena komputer berada di ruangan perpustakaan FK dan mengenai pembiayaan operasionalnyam FKG dikenakan biaya sejumlah 4,5jt pada saat uji coba - Koordinator CBT mengajukan kepada Wakil Dekan III FKG UNAIR mengenai kebutuhan sarana komputer dan sarana pendukung. Wakil Dekan III mengirimkan surat kepada Wakil Dekan III FK UNAIR mengenai penggunaan fasilitas komputer yang ada di lingkungan Perpustakaan FK UNAIR (karena terkait masalah komputer yang resource sharing) dan FK UNAIR mengirimkan surat balasan mengenai persetujuan dan besarnya biaya yang dibebankan kepada FKG UNAIR - Koordinasi antara koordinator CBT center dengan KDGI biasanya dilakukan kontak langsung dengan koordinator IT Pusat (drg Iwan) - Mekanimenya adalah adanya biaya yang dibebankan kepada FKG UNAIR oleh pihak FK UNAIR - Pembiayaan ini telah diketahui oleh Dekan FK Unair dalam hal ini diwakili oleh Wakil Dekan III FK UNAIR - Biaya resource sharing periode 1 : 4,2jt - Biaya resource sharing periode 1 : 4,5jt - Biaya resource sharing periode 1 : 4,5jt dengan rincian Biaya Koordinator pelaksanaan ujian : 1jt Biaya Tim teknis (2 org) : 300rb
Biaya Tim Perpustakaan (2org) : 200rb Biaya Petugas Genset : 100rb Biaya Bahan Bakar Genset : 400rb Setting Komputer (50komputer) : 2,5jt Total : 4,5jt 8 Permasalahan yang dihadapi terkait sarana dan prasarana CBT : - Hardware (Komputer) - Instalasi software CBT - Item bank system 9 Rekomendasi perbaikan sarana dan prasarana CBT - Tidak ada masalah (jumlah komputer sudah memadai) - Tidak ada masalah dan telah sesuai SOP - Belum ada Item Bank System - Mohon ujian soal CBT bisa ditrial bisa/tidaknya dijalankan sebelum ujian berlangsung - Perlunya LCD proyektor, layar, dan sound syste dalam ruang ujian CBT - Lokasi ruang ujian terlalu terang karena ruangan tidak ditutup tirai sehingga gambar yang muncul diproyektor menjadi samar-samar - Koneksi internet yang jelek (karena pada saat ujian berlangsung sedang dilakukan maintenance) - Diperlukan koordinasi lebih baik dan intens dari pusat ke panitia lokal terutama masalah koordinasi administrasi - Perlu kejelasan mengenai kapan Protap akan dilaksanakan B. OSCE ASPEK SUBSTANSI NO PARAMETER PENILAIAN KLARIFIKASI 1 Try Out OSCE: - Jumlah peserta try out : - Rata-rata nilai uji : 2 Potential problem yang akan dihadapi dalam implementasi OSCE : - Dari 40 peserta yang terdaftar, hanya 30 yang hadir - (Belum ada Data) - Soal Skenario didalam amplop antar stasiun ada yang tertukar (seharusnya soal stasiun 6 tertukar dengan soal di stasiun 4) - Nametag peserta kurang besar, sehingga menyulitkan penguji membacanya - Aturan mengenai penggunaan pulpen yang berhubungan penulisan (akibatnya tulisan terlalu kecil, apa mungkin jika menggunakan spidol atau pulpen yang lebih besar) - Ada ketidaksinkronan antara model dan skenario (terjadi di stasiun 6) - Ada kesalahan pembagi pada lembar ceklist (di Stasiun 8 yang mestinya 32 tertulis 16 dan pada
3 Rekomendasi perbaikan : ASPEK TEKNIS statisun 1 jumlah score harusnya 10 tapi pembaginya tertulis 11) - Usulan supaya pakar-pakar yang dikirim pada Item Review Soal CBT OSCE merupakan orang-orang yang dipilih oleh kolegiumnya masing-masing NO PARAMETER PENILAIAN KLARIFIKASI 1 Fasilitas skills lab yang tersedia : - Sudah lengkap 2 Jumlah penguji OSCE saat ini : - 20 penguji termasuk cadangan dan hadir semua 3 Jumlah Standardized Patient saat ini : - 24 SP 4 Apakah sudah ada SOP implementasi OSCE yang disesuaikan dengan standar nasional? 5 Bagaimana sistem maintenance dan pembiayaan operasional OSCE center? 6 Bagaimana mekanisme koordinasi koordinator OSCE center dengan pihak institusi dan KDGI? 7 Permasalahan yang dihadapi terkait sarana dan prasarana OSCE center : 8 Rekomendasi perbaikan sarana dan prasarana OSCE - Belum ada - Sementara ini pembiayaan operasional OSCE Center berasal dari fakultas. Kedepan sistem pembiayaan akan dimasukkan kedalam RKAT fakultas. Saat ini, biaya seluruh peserta OSCE ditanggung oleh fakultas karena fakultas merasa bahwa try out ini masih merupakan bagian dari tanggung jawab fakultas terhadap mahasiswa - Sistem Maintenance sudah dilakukan dengan SDM yang cukup. - Koordinator OSCE melakukan koordinasi dengan Wakil Dekan 1 dan diteruskan ke Dekan - Wakil Dekan 1 juga melakukan koordinasi dengan Kolegium. - Koordinator OSCE juga berkoordinasi dengan pengawas pusat dan penguji lokal - Sarana, prasarana dan pembiayaan berkoordinasi dengan Wakil Dekan II namun waktu yang terlalu mendesak akhirnya bisa dipenuhin walaupun msh ada kekurangan. Seperti CCTV yang belum ada namun disiasati dengan Webcam via Netbook m - Untuk ujian OSCE sendiri masih menggunakan manekin milik skill labsaat ini ruangan OSCE yang digunakan adalah ruang belajar PBL. - CCTV dengan kelas paralel akan diusahakan pada awal 2012 bersamaan dengan pengadaan komputer CBT - Manekin dan sarana penunjang akan diupayakan sendiri dan berfungsi semua - Ruang OSCE akang menggunakan ruangan sendiri (namun hal ini masih dalam tahap perencanaan yang belum tau kapan akan direalisasikan)
KESIMPULAN HASIL OBSERVASI : - Secara umum, pelaksanaan CBT berjalan lancar dan sesuai SOP yaitu adanya pengawas Pusat dan pengawas lokal, Teknisi IT, dan koordinator CBT, namun ada beberapa kendala teknis yang terjadi pada pelaksanaan yaitu : Ruangan terlalu terang karena tidak terdapat tirai penutup kaca sehingga petunjuk pelaksanaan yang mestinya diarahkan ke layar (berhubung tidak ada layar maka langsung ke arah tembok) tidak dapat terlihat jelas oleh peserta ujian. Pada saat peserta memasukkan nama dan nomor peserta dan kemudian log in, hanya sedikit komputer yang kemudian bisa masuk kedalam sesi soal dummy (perlu dicek apakah ada kesalahan setting) Ada satu komputer peserta yang bisa langsung mengakses soal padahal menurut setting time, seharusnya komputer tidak bisa log in ke soal (kemungkinan tidak disengaja karena setelah dicek, memang komputer tersebut dapat dengan mudah ketika digunakan langsung masuk ke soal ujian) - Mengenai resource sharing pelaksanaan ujian CBT, pihak FKG UNAIR merasa keberatan dengan adanya pembebanan biaya, karena semestinya komputer ini dapat digunakan bersama. Jika ada pembebanan, hal ini juga mestinya dibebankan kepada FK UNAIR yang akan menggunakan fasilitas komputer Hibah proyek HPEQ tersebut. Ada usulan bagaimana jika komputer hibah tersebut ditarik dari FK UNAIR dan diserahkan kepada rektorat. Sehingga jelas kepemilikannya dan semua instansi yang akan menggunakan dapat mengaksesnya. - Ada usulan bagaimana jika komputer juga bisa digunakan untuk hal lain yang berkaitan dengan pendidikan karena jika hanya digunakan untuk CBT FK dan FKG saja, tentu akan mubazir. Namun hal ini perlu disepakati mengingat berhubungan dengan maintenance. Jangan sampai, ketika akan digunakan ujian CBT, komputer tersebut malah bermasalah (seperti terkena virus) dan mempengaruhi pelaksanaan ujian. - Perlu dilakukan MoU antara Proyek HPEQ dengan pihak-pihak yang mendapat bantuan hibah komputer untuk pelaksanaan ujian CBT berkaitan dengan resource sharing. Sehingga tidak terjadi misinterpretasi diantara institusi-institusi yang berada dalam satu atap Universitas berkaitan dengan resource sharing. - Adanya perhitungan besarnya biaya pelaksanaan ujian CBT dan OSCE sehingga dapat ditentukan besaran biaya yang akan dibebankan kepada peserta ujian CBT dan OSCE. Sebagai contoh, di UNAIR, peserta CBT dan OSCE tidak dibebankan biaya, peserta ujian merupakan mahasiswa co-ass yang akan lulus tahun depan dan akan menghadapi ujian CBT dan OSCE. Namun meskipun telah digratiskan, ada 10 mahasiswa atau 25% dari total mahasiswa yang telah mendaftar (40 peserta) namun tidak hadir pada saat pelaksanaan ujian. Hal ini cukup disayangkan, karena try out ini adalah sarana uji coba bagi mereka yang akan menghadapi ujian sebenarnya. - Perlu dilakukan cek dan re-cek kembali mengenai SOP dan protap pelaksanaan OSCE, karena ada institusi yang belum mendapatkan SOP dan Protap pelaksanaan OSCE terbaru. - Juga perlu dilakukan cek dan re-cek kembali sinkronisasi antara soal OSCE di setiap stasiun dengan alat atau bahan yang diperlukan disetiap stasiun. Karena sempat terjadi kesalahan antara soal dan alat atau bahan yang diperlukan. Juga terjadi kesalahan di lapangan dimana soal yang digunakan di ujian berbeda dengan soal yang ada di Koordinator Exam (perlu pemeriksaan akhir sebelum digandakan untuk keperluan ujian karena ternyata soal yang ada di Koordinator Exam adalah soal terbaru hasil revisi). Ada pula kasus tertukarnya FD yang berisi soal CBT (juga diperlukan pemeriksaan akhir) - Diperlukan koordinasi internal yang lebih intens diantara panitia pelaksana ujian pusat dan antara pelaksana ujian pusat dengan para pengawas pusat - Masih perlu dibahas di tingkat kolegium, apakah try out CBT dan OSCE masih akan dilaksanakan lagi atau ujian CBT dan OSCE akan tetap dilaksanakan di bulan Januari 2012
namun menggunakan sistem Hybrid yaitu bagi institusi yang menghadapai kendala pada saat pelaksanaan try out ini akan menggunakan sistem PBT juga (sebagai cadangan jika CBT bermasalah), namun institusi yang tidak mengalami kendala akan tetap menggunakan CBT secara penuh - Usulan agar ruang monitoring dan pengawas pusat lebih tertata dan rapih. Barang-barang yang tidak berkaitan dengan pelaksanaan ujian agar ditempatkan ditempat/loker tertentu sehingga meja dapat steril dan berkas-berkas yang berkaitan dengan pelaksanaan ujian dapat tersusun dan tertata dengan baik. - Perlunya kesepahaman dan kesepakatan mengenai perlakuan terhadap segala dokumen dan perlengkapan ujian CBT-OSCE sebagai Dokumen Negara yang perlu dijaga kerahasiaannya. CATATAN KHUSUS : - Dari tim KDGI diperoleh informasi adanya masalah-masalah yang terjadi di CBT Center lain : Di UNEJ, video demo pelaksanaan ujian mengalami masalah Di UPDMB, video demo pelaksanaan ujian dan dummy soal mengalami masalah (kemungkinana karena komputer nya terkena virus) Di UMY, pelaksanaan ujian CBT terkendala akibat sistem komputer masih menggunakan sistem lama sehingga soal dummy tidak bisa dibuka (kemungkinan karena sistem lama langsung ditumpangi dengan sistem baru, seharusnya sistem lama dihapus total terlebih dahulu baru di install sistem baru) DOKUMENTASI KEGIATAN : Ruang Stasiun 5 dan 6 OSCE (Sementara menggunakan ruang PBL)
Ruangan yang rencananya akan digunakan untuk CBT(lengkap dengan AC dan Sound System) Loker-loker bagi mahasiswa peserta ujian OSCE
Ruang ujian CBT (resource sharing dengan FK UNAIR) Ruang ujian CBT (resource sharing dengan FK UNAIR), namun tidak ada tirai sehingga cahaya matahari membuat layar LCD projector silau
Ruang Stasiun 1 dengan alat dan sarana penunjang Ruang monitoring pelaksanaan ujian OSCE