LAPORAN Evaluasi Penyelenggara Tingkat Pusat UKDGI CBT-OSCE Kedokteran Gigi Periode III Tahun 2012 KOMPONEN 2 PROYEK HPEQ Hotel Le Meridien Jakarta, 26-26 Juli 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan HPEQ Project Komponen 2 Juli 2012 Page 1
1. Pendahuluan Komponen 2 HPEQ Project mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini, salah satunya dilakukan melalui proses evaluasi keseluruhan kegiatan UKDGI Teori dan Praktik (OSCE) metode CBT Periode III Juli 2012. Mengingat status uji kompetensi sebagai ujian yang bersifat high-stake exam dan menentukan seorang lulusan apakah dapat melakukan profesinya maka perlu dijaga mutu ujian melalui evaluasi kegiatan UKDGI yang melibatkan semua komponen yang terlibat dalam CBT teori dan praktik (OSCE). Pada Evaluasi Uji Kompetensi Dokter Gigi periode III Juli 2012, akan dievaluasi seluruh komponen yang terlibat melalui cek list/feedback yang didapat dari lembar evaluasi oleh kandidat/peserta CBT dan OSCE, penguji/examiner, kordinator CBT dan OSCE, operator TI, Pengawas pusat dan Pasien standar. Pada pelaksanaan UKDGI periode III Juli 2012, dilakukan uji coba OSCE menggunakan sistem TI pada 4 IPDG yaitu IPDG UNPAD, USAKTI, UGM dan UMY. Dalam rangka uji coba sistem maka perlu dievaluasi dan dimonitoring apakah sistem CBT OSCE tersebut sudah efektif atau masih perlu perbaikan untuk mendapatkan suatu sistem yang efektif dan efisien. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output kegiatan program UKDGI maka feedback yang didapat dari lembar evaluasi harus dapat menilai apakah program kegiatan UKDGI tersebut sudah berjalan dengan baik atau harus masih ada perbaikan pada SDM, Sarana dan prasarana, item development, reviewer ataupun para examiner dan pengawas pusat demi tercapai akuntabilitas pelaksanaan uji kompetensi setiap periode penyelenggaraan UKDGI maka diperlukan WS Evaluasi UKDGI periode III Juli 2012. 2. Tujuan Kegiatan Tujuan dilaksanakannya workshop kali ini adalah: 1) Mengevaluasi lembar feedback dari peserta UKDGI periode III Juli 2012 2) Mengevaluasi lembar feedback dari Kordinator CBT dan OSCE setiap center UKDGI periode III Juli 2012 3) Mengevaluasi lembar feedback pengawas pusat UKDGI periode III Juli 2012 4) Mengevaluasi lembar feedback dari para penguji UKDGI periode III Juli 2012 5) Mengevaluasi lembar feedback dari kordinator IT setiap center UKDGI periode III Juli 2012 6) Mengevaluasi lembar feedback dari pasien standar pada UKDGI periode III Juli 2012 7) Mengevaluasi uji coba sistem CBT untuk OSCE pada 4 IPDG dalam rangka mempersiapkan sistem CBT-OSCE yang sepenuhnya pada UKDGI. HPEQ Project Komponen 2 Juli 2012 Page 2
3. Indikator Keluaran Indikator keluaran utama program ini adalah : 1) Feedback pengawas pusat UKDGI periode III Juli 2012 2) Feedback dari Kordinator CBT dan OSCE setiap senter UKDGI periode III Juli 2012 3) Feedback dari para penguji UKDGI periode III Juli 2012 4) Feedback dari kordinator IT setiap senter UKDGI periode III Juli 2012 5) Feedback dari pasien standar pada UKDGI periode III Juli 2012 6) Evaluasi lembar feedback dari peserta UKDGI periode III Juli 2012 7) Solusi perbaikan sistem CBT-OSCE untuk UKDGI 2013. 4. Metode Pelaksanaan Kegiatan Workshop ini dilaksanakan pada tanggal 25-26 Juli 2012 di Hotel Le Meridien Jakarta. Workshop berisi kegiatan penginputan data hasil uji OSCE. Workshop hari pertama dimulai dengan menginput data hasil uji OSCE secara mandiri. Input data dilakukan hingga pukul 23.30 dihari pertama, diselingi dengan Ishoma pada pukul 18.30-20.00, dan dilanjutkan mulai pukul 9 pagi keesokan harinya. Workshop dimulai dengan pembagian 4 kelompok dan setiap kelompok bekerja secara mandiri dengan menginput dan mengolah data hasil ujian OSCE. Pembagian kelompok sebagai berikut : 1. Prof.Melanie S. Djamil (Ketua Core Team / KDGI) & Prof.Haslinda Z. Tamin(Sekretaris Core Team / FKG USU) 2. Prof. Mei Syafriadi (Core Team / FKG UNEJ) & Drg. Wiwiek Poedjiastuti (Core Team / KDGI ) 3. Drg. Mia Damiyanti (Core Team / FKG UI) & Drg. Indri Kurniasih (Core Team / KDGI) 4. Drg. Utmi Arma (Core Team / FKG UNBRAH ) & Drg.Adam Malik (Core Team / FKG UNHAS) Workshop ini dihadiri oleh seluruh peserta rapat yang terdiri dari 9 anggota core team dan 1 fasilitator. Ada 1 peserta yang tidak hadir dari staf KDGI yaitu Cipta, fasilitator Prof Boedi O Roeslan, dan anggota coreteam drg Gilang. Antusiasme peserta workshop cukup baik, karena participation rate yang mencapat 77%. Pada implementasinya, acara berjalan sesuai jadwal. Acara dimulai dengan pembukaan oleh prof Melanie selaku Ketua Core Team. Seharusnya acara dibuka oleh Prof Boedi O Roeslan selaku Ketua KDGI namun beliau tidak dapat hadir dikarenakan sedang sakit. Berikut adalah rundown acara workshop pada kondisi riil : Kamis, 16 Februari 2012 14.00-14.30 Pembukaan & Pengarahan Workshop Prof Melanie (Ketua Core Team / KDGI) 14.30 17.30 Kerja Kelompok: Prof.Melanie (Ketua Core Team / KDGI) & Prof.Haslinda (Sekretaris Core Team / FKG Core team dan KDGI HPEQ Project Komponen 2 Juli 2012 Page 3
USU) Prof. Mei Syafriadi(Core Team / FKG UNEJ) & Drg.Wiwiek P (Core Team / KDGI ) Drg.Mia D (Core Team / FKG UI) & Drg.Indri (Core Team / KDGI) Drg. Utmi (Core Team / FKG UNBRAH )& Drg.Adam (Core Team / FKG UNHAS) 18.30 20.00 ISHOMA Panitia 20.00-23.30 Lanjutan Kerja Kelompok Core team dan KDGI Jum at, 17 November 2011 09.00-09.30 Lanjutan Kerja Kelompok Core team dan KDGI 09.30-10.00 Pleno dan Penutupan Prof Mei 5. Hasil Kegiatan Workshop dimulai dengan pembukaan oleh prof prof Boedi O Roeslan, dan setelahnya diserahkan kepada prof Mei untuk memimpin jalannya diskusi di dalam workshop. Peserta terbagi menjadi 2 kelompok, yaitu kelompok perwakilan institusi koordinator OSCE dan Tim IT. Workshop diselingi dengan evaluasi singkat dalam pelaksanaan OSCE. Ditemukan fakta bahwa masih ada penguji OSCE yang tidak mengisi ceklist sesuai dengan prosedur dan kendaa teknis masih menjadi perhatian utama. Beberapa hasil rangkuman evaluasi pelaksanaan kegiatan adalah sebagai berikut : Center yang mengadakan UKDGI CBT OSCE : Center UNBRAH Center USU Center UPDMB Center USAKTI Center UNPAD Center UGM Center UMY Center UHT Center UNEJ Center UNMAS Center UNHAS Perlu koordinasi antara IT pusat dan koordinator IT tiap institusi untuk mencari jalan keluar mengenai masalah komunikasi. Jalur komunikasi antara center ujian dan pusat harus bisa dibuatkan pedoman yang baik dan terstandar, sehingga terjadi permasalahan dari center ujian bisa dengan segera dilakukan koordinasi Permasalahan teknis perihal pedoman pelaksanaan menuntut adanya perbaikan pedoman, perbaikan mengakomodir hasil evaluasi oleh semua pihak pada workshop kali ini dan akan dikoordinasikan oleh drg Koostermaan dan tim. Pedoman nantinya akan dapat diunduh dari website KDGI, antara lain perbaikan tersebut adalah : Standardisasi perlakuan soal-jawaban (perangkat ujian) sebelum dan sesudah dilaksanakannya ujian. Sandarisasi penggunaan tas, map, dan tanda-tanda pengenal. Perbaikan sistem yang memudahkan penguji contohnya dalam hal menginput kode pada saat ujian. Perbaikan sistem yang dapat mengurangi kelalaian penguji dalam pengisian checklist. Pemberian nomer kode soal. HPEQ Project Komponen 2 Juli 2012 Page 4
Standardisasi istilah station menjadi menggunakan kata STASIUN Perlakuan bagi peserta maupun penguji yang tiba-tiba sakit pada saat pelaksanaan ujian. Perbaikan Narasi instruksi pada pelaksanaan ujian perlu dilakukan, hal ini akan disempurnakan oleh tim IT pusat Penyempurnaan aplikasi (Computer Based Scoring) CBS OSCE akan dilakukan oleh tim IT pusat dan dishare melalui server pilihan yang dapat diunduh oleh tiap center nantinya. (mediafire, dropbox, 4shared) 6. Refleksi Dari sudut pandang monev, acara berjalan lancar dan cukup aktif. Setiap peserta memiliki kesempatan yang sama untuk menyampaikan evaluasinya, meskipun hanya 2 evaluasi yang dikemas dalam bentuk presentasi yaitu dari tim teknis UGM dan UMY. Beberapa catatan khusus dalam workshop kali ini adalah : Masih terlihat banyaknya perbedaan pendapat dalam arti ketidaksepahaman mengenai panduan dan tata cara pelaksanaan CBT-OSCE Perbedaan kultur di setiap institusi ternyata masih menjadi kendala, misal ketika pelaksanaan ujian masih dilakukan di center milik FK Standardisasi pelaksana atau center ujian yang tidak sama Salah satu hal penting lain yang perlu diperhatikan terutama pada pelaksanaan OSCE adalah independensi dari penguji pada saat pelaksanaan. Hal ini dikemukakan oleh tim pusat mengingat hasil perhitungan Global Performance Index oleh penguji yang terkesan sama rata baik, padahal dari evaluasi tim pusat masih banyak ditemukan kesalahan-kesalahan atau pemakaian bahan yang berlebihan dilakukan oleh peserta (jika seperti ini maka seharusnya penilaian GPS bervariasi). Secara umum koordinasi pelaksanaan diskusi berjalan sangat baik, dan antusias peserta pun baik. 7. Rencana Tindak Lanjut a. Penyempurnaan pedoman termasuk didalamnya petunjuk teknis dan kelengkapan yang harus dipersiapkan (standarisasi perlakuan soal dan peralatan yang harus digunakan) b. Perbaikan database penguji c. Penentuan kebijakan terhadap penguji yang masih melakukan kesalahan (Surat KDGI) d. Penyempurnaan sistem (aplikasi) dari hasil evaluasi e. Pelatihan penguji untuk wilayah barat (8 penguji) dan timur (8 penguji) dilakukan paralel jadi ada 2 tim IT yang disebar 11-13 Oktober 2012 f. Technical meeting koordinator OSCE UKDGI - Rakor (diskusi) 19 Oktober 2012 g. Technical Meeting Pengawas CBT OSCE UKDGI 22-23 Oktober 2012 h. Monitoring pelaksanaan UKDGI 24-25 Oktober 2012 8. Penutup Output workshop evaluasi UKDGI periode III Juli 2012 ini diharapkan menjadi feed back bagi tim KDGI. Berdasarkan hasil evaluasi dapat diketahui apakah program kegiatan UKDGI tersebut sudah berjalan dengan baik meskipun masih harus diperbaiki dari SDM, serta sarana dan prasarana. HPEQ Project Komponen 2 Juli 2012 Page 5
Lampiran Rekap Hasil Evaluasi Kuantitatif dan kualitatif Tingkat Kesukaran Soal Notulensi POD hasil Evaluasi Catatan coreteam Foto-foto kegiatan Data Penyelenggara Buku Pedoman dengan perbaikan sementara. Jakarta, 29 Juli 2012 Indra Prima Putra Asisten monev proyek HPEQ Supervisi oleh : Aprilia Ekawati Utami (Pengelola Monev Proyek HPEQ) HPEQ Project Komponen 2 Juli 2012 Page 6