MONITORING UJI COBA SKALA PENUH CBT-OSCE UKDGI

Transkripsi

1 Diisi oleh tim observer proyek MONITORING UJI COBA SKALA PENUH CBT-OSCE UKDGI LOKASI : FKG UI TANGGAL : Oktober 2011 PENGAWAS/ IT PUSAT : Dhona Afriza CBT & OSCE Coordinator : Nieka dan Ali Noerdin OBSERVER PROYEK HPEQ : Ismiyati Parameter-parameter penilaian ini mohon diklarifikasi kepada koordinator uji di masing-masing institusi : A. CBT ASPEK SUBSTANSI 1 Jumlah pelaksanaan UKDGI (hingga saat ini) Koordinator CBT kurang tau tentang ini, tetapi memperkirakan sudah 16 kali UKDGI 2 Jumlah mahasiswa yang mengikuti ujian di tiap periode UKDGI 3 Jumlah rata-rata peserta uji tiap periode uji Kurang tau 4 Rata-rata tingkat kelulusan UKDGI (dari seluruh Kurang tau periode UKDGI) 5 Rata-rata nilai kelulusan UKDGI (dari seluruh Kurang tau periode UKDGI) 6 Try out UKDGI : -Jumlah peserta try out : -Tingkat kelulusan UKDGI pada saat try out CBT : -Rata-rata nilai uji : 7 Problem yang dihadapi dalam implementasi CBT : Jumlah mahasiswa dari FKG UI yang mengikuti UKDGI diperkirakan antara 75 sampai 100 mahasiswa setiap tahunnya, sesuai dengan angka kelulusan mahasiswa. Jumlah peserta try out UKDGI di CBT center FKG UI sebanyak 10 orang. Tingkat kelulusan belum dapat dilihat karena jawaban yang masuk belum di olah. Dalam hal sarana dan prasarana tidak ada kendala, karena meski ini adalah try out pertama dari UKDGI tetapi FKG UI sudah tidak asing dengan metode CBT. Dari sisi internal FKG UI sendiri sudah ada metode CBT dengan Aplikasi Scele yang digunakan dalam menguji mahasiswa. Aplikasi ini dikembangkan oleh UI dan sudah bisa sampai menganalisis item. 8 Rekomendasi perbaikan Ada sedikit kendala dalam hal SOP pengawas pusat. Memang sudah ada SOP untuk Pengawas Pusat, tetapi penjelasan kurang detail dan Pengawas Pusat tidak membawa berkas-berkas terkait peraturan dan tata tertib sendiri sehingga masih harus mencari. Saran terkait Pengawas Pusat adalah SOP dan Koordinasi antara pengawas pusat dan KDGI harus jelas. Perlakuan panitia lokal terhadap pengawas pusat juga harus jelas SOPnya agar tidak ada kesalahpahaman dan miskomunikasi, termasuk masalah penjemputan di bandara antar jemput dari penginapan ke lokasi ujian.

2 Sebaiknya nomer peserta ditentukan oleh KDGI bukan dari panitia lokal ASPEK TEKNIS 1 Jumlah fasilitas komputer yang tersedia : - Fasilitas Komputer & IT Equipment lain dari proyek HPEQ - Fasilitas Komputer & IT Equipment lain Komputer yang digunakan dalam try out uji kompetensi ini adalah milik FKG UI. Jumlah komputer yang ada di CBT center sebanyak 40 unit. Tetapi yang digunakan sebanyak 35 unit dengan 5 unit sebagai cadangan. yang merupakan hak milik institusi 2 Jumlah fasilitas komputer yang digunakan untuk CBT 35 unit + 5 unit cadangan 3 Jumlah operator IT institusi 1 orang 4 Apakah sudah ada item bank system yang terintegrasi dengan item bank nasional? (mohon dijelaskan juga mekanisme item bank system yang digunakan) Item bank institusional sudah ada dengan aplikasi Scele yang dikembangkan oleh Fakultas Ilmu Komputer UI. Item bank ini belum terintegrasi dengan item bank nasional. 5 Bagaimana sistem maintenance dan pembiayaan operasional CBT center? Selama ini pembiayaan operasional untuk pelaksanaan CBT dan maintenancenya di tangani oleh fakultas. Karena selain untuk CBT center, komputer ini juga dipakai untuk pembelajaran dengan metode PBL. 6 Bagaimana mekanisme koordinasi koordinator CBT center dengan pihak institusi dan KDGI? Koordinasi dirasakan masih kurang, terutama terkait detail pelaksanaan ujian, tata tertib dan perlakuan terhadap pengawas pusat. 7 Bagaimana mekanisme resource sharing dengan CBT center FK? Resource sharing blm dilaksanakan antara FKG FK terkait SOP yang belum jelas dan adanya biaya yang dikenakan untuk penggunaan fasilitas tersebut. 8 Permasalahan yang dihadapi terkait sarana dan prasarana CBT : - Hardware (Komputer) Dalam pelaksanaan CBT tidak ada kendala teknis yang berarti. Hal ini dikarenakan panitia lokal sudah terbiasa melakukan CBT dengan computer yang sama. - Instalasi software CBT - Item bank system

3 9 Rekomendasi perbaikan sarana dan prasarana CBT Perlu diperjelas mekanisme resource sharing CBT center yang ada di FK untuk mengantisipasi jumlah peserta uji kompetensi yang akan datang, walaupun saat ini jumlah komputer masih mencukupi. B. OSCE ASPEK SUBSTANSI 1 Try out OSCE: -Jumlah peserta try out : - Rata-rata nilai uji : Jumlah peserta try out ada 10 orang 2 Potential problem yang akan dihadapi dalam implementasi OSCE : 3 Rekomendasi perbaikan : Ada skenario yang berbeda terkait pelaksanaan try out ini dengan kesepakatan di Padang. Misalnya dalam hal pemasangan soal di depan pintu, sesuai kesepakatan pertemuan di Padang, soal tidak dipasang. Tetapi pada saat pelaksanaan ada ketentuan lain soal harus dipasang di depan pintu. Mungkin kedepannya perlu komitmen dan konsistensi dalam kesepakatan pelaksanaan uji kompetensi sehingga antara pembuat keputusan dan pelaksananya memiliki persepsi yang sama. Komunikasi dan koordinasi harus berjalan lancer. ASPEK TEKNIS 1 Fasilitas skills lab yang tersedia : Fasilitas dalam ujian OSCE ini sebagian besar berasal dari fasilitas lab fakultas. 2 Jumlah penguji OSCE saat ini : Jumlah penguji OSCE ada 8 orang dengan 1 orang penguji cadangan. Sebenarnya penguji cadangan yang disiapkan sebanyak 2 orang, tetapi pada saat pelaksanaan, 1 penguji cadangan tidak dapat hadir. 3 Jumlah Standardized Patient saat ini : Jumlah Pasien Standar yang digunakan sebanyak 5 orang, yang sudah dilatih dan disiapkan skenarionya. 4 Apakah sudah ada SOP implementasi OSCE yang disesuaikan dengan standar nasional? Kalau dari kolegium setahu saya kurang tau, tetapi secara internal fakultas kami sudah melaksanakan OSCE dan sudah ada standarnya. 5 Bagaimana sistem maintenance dan pembiayaan operasional OSCE center? Untuk maintenance alat-alat yang digunakan dalam OSCE diserahkan kepada fakultas. Akan tetapi, untuk pembiayaan operasional try out OSCE ini diluar anggaran fakultas.

4 6 Bagaimana mekanisme koordinasi koordinator OSCE center dengan pihak institusi dan KDGI? Sepertinya kurang koordinasi antara pihak kolegium dengan panitia lokal. Salah satunya dalam hal penyediaan alat-alat peraga, lay out ruang uji dan aturan-aturan yang berlaku selama ujian. 7 Permasalahan yang dihadapi terkait sarana dan prasarana OSCE center : 8 Rekomendasi perbaikan sarana dan prasarana OSCE Pada salah satu stasiun ada model gigi yang belum disiapkan. Di salah satu stasiun ada alat peraga yang lepas. Alat peraga tidak sinkron dengan soal dan daftar checklist Phantom yang disediakan membuat suasana lari dari soal Foto ekstra oral tidak focus Alat peraga harus di siapkan terlebih dahulu sebelum soal. Koordinasi dan kejelasan alat peraga yang harus disediakan institusi dan kolegium. KESIMPULAN HASIL OBSERVASI : Secara teknis, pelaksanaan try out uji kompetensi kedokteran gigi berjalan cukup lancar. Akan tetapi pada saat evaluasi antara penguji dan panitia pelaksana yang dilakukan setelah pelaksanaan CBT dan OSCE banyak masalah yang teridentifikasi. Terutama pada pelaksanaan OSCE, yaitu ketidakcocokan antara soal dengan alat peraga, ketidakcocokan antara alat peraga dengan checklist maupun ketidakcocokan antara soal, alat peraga dengan daftar checklist yang ada pada pengawas. Tim penguji juga menyatakan bahwa di tata tertib disebutkan bahwa penguji harus berdiri di sisi kiri alat peraga, tetapi dengan lay out ruangan uji yang menempatkan alat peraga di pojok ruangan, maka penguji menjadi tidak tahu harus berada dimana. Untuk meminimalisir hal tersebut, mungkin bisa diantisipasi dengan menentukan hal-hal apa yang menjadi wewenang, hak dan kewajiban dari panitia lokal. Dan hal-hal yang ditentukan oleh pusat misalnya lay out ruangan dan lain-lainnya mohon diinformasikan kepada panitia lokal seminggu sebelum pelaksanaan. Mengenai ketidakcocokan antara daftar checklist dengan soal atau alat peraga, sesuai masukan dari observer dari KB UKDI maka perlu adanya definisi operasional dari checklist tersebut, sehingga penguji tidak bingung ketika terjadi perselisihan mengenai apakah performance peserta ujian masuk daftar checklist atau tidak. Selain itu, instruksi pada lembar soal yang ada pada penguji dan peserta harus dibedakan sehingga setiap orang paham dengan hal-hal yang harus dilakukannya. Dan yang ditekankan adalah bahwa jika ketidakcocokan atau kesalahan checklist sampai terjadi pada uji kompetensi yang sebenarnya, maka peserta ujian berhak diberikan nilai tertinggi. Beberapa masukan dari peserta try out juga berhasil diidentifikasi melalui lembar feedback yang secara volunteer disebarkan oleh panitia lokal. Peserta mengeluhkan bahwa antara soal dan alat

5 peraga yang tidak matching, gambar foto yang tidak fokus/ tidak jelas, alat peraga yang lepas termasuk terlalu dinginnya AC diruangan. Beberapa peserta ada yg bingung saat harus berkomunikasi dengan pasien, karena pasien sudah teranastesi. Selain itu, peserta juga mengeluhkan kondisi lay out ruangan yang menempatkan pasien dan alat cukup jauh sehingga menyulitkan pada saat pemeriksaan dan menyelesaikan soal. Pada saat harus memverbalkan tindakan dan menjelaskan kepada pasien, ada peserta yang bingung harus menggunakan bahasa ilmiah atau bahasa yang dimengerti pasien. Beberapa masukan juga diperoleh dari tim penguji mengenai lay out ruangan dimana sebaiknya alat peraga atau pasien berada ditengah ruangan, sehingga peserta ujian dan penguji dapat lebih leluasa bergerak dan mengobservasi. Instruksi yang membingungkan dari soal juga sempat dikeluhkan oleh tim penguji, dan mereka menyarankan sebaiknya instruksi untuk penguji dan peserta dibuat berbeda. Salah satu penguji menanyakan apakah ada freeze time pada uji kompetensi. Sesuai masukan observer dari KB UKDI, disarankan ada freeze time di 1/3 rotasi sebagai waktu bagi penguji untuk ke toilet, sedangkan peserta tidak boleh keluar ruangan selama masa freeze ini. Untuk peserta yang ingin ke toilet, bisa memanfaatkan waktu pada saat mereka berada di stasiun istirahat. Pengawas pusat tidak ikut pengarahan karena keterlambatan kedatangan dan mis-informasi tentang pelaksanaan briefing yang semula direncanakan akan dilaksanakan pada pukul menjadi pukul berdasarkan ketersediaan ruangan. Sehingga pengawas sempat bingung mengenai jumlah soal try out CBT yang semula 100 soal ternyata pada saat pelaksanaan hanya 20 soal. Mengenai hal ini observer dari KB UKDI memberikan masukan bahwa akan lebih baik pada saat try out CBT soal diberikan sesuai dengan jumlah soal yang seharusnya, karena selain untuk membiasakan peserta juga untuk melihat ketahanan komputer dan sistemnya dalam pelaksanaan uji kompetensi nanti. Selain itu perlu juga diperjelas hak dan kewajiban dari pengawas pusat, apakah termasuk fasilitas penjemputan dari bandara dan antar jemput pada saat hari H. Jika memang difasilitasi, perlu kejelasan koordinasi dan SOP-nya dan informasi mengenai hal tersebut sebaiknya diinfokan seminggu sebelumnya supaya tidak mendadak. Beberapa saran dari pengawas pusat untuk memaksimalkan hasil dari pelaksanaan try out uji kompetensi adalah mengenai hari pelaksanaan. Akan lebih baik jika try out maupun uji kompetensi yang sebenarnya dilakukan di hari Sabtu sampai Minggu. Selain itu, pengawas pusat menekankan untuk lebih mempersiapkan kegiatan karena sangat dirasakan sekali persiapan yang kurang dari pelaksanaan try out ini. DOKUMENTASI KEGIATAN : (dalam folder foto)