LAPORAN Workshop Nasional Item Review Kedokteran Gigi Gelombang 1 Tahun 2011 Hotel Grand Sahid Jaya Jakarta, 10 11 Juli 2011 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggii Kementerian Pendidikan Nasional
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tertulis dengan dukungan teknologi berbasiskan computer atan disebut juga sebagai computer-based testing (CBT). Untuk itu, diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistemnya maupun soal soal yang terkandung di dalamnya. Di samping pengembangan infrastruktur dan aplikasi untuk melaksanakan CBT, tentu saja di saat yang bersamaan diperlukan upaya intensif untuk membuat dan mengisi Bank Soal Ujian Tertulis. Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal (Item Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus melibatkan seluruh institusi pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar dalam pembuatan soal dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini. Salah satu kegiatan yang akan dilakukan oleh Proyek HPEQ Komponen 2 adalah penyusunan bank soal. Hal ini sejalan dengan kebutuhan KDGI yang memerlukan soal (MCQ) untuk ujian Uji Kompetensi yang bersifat nasional dan dapat digunakan sebagai instrumen untuk mengukur standar kompetensi dokter gigi. Dalam rangka mempersiapkan bank soal (item bank), Proyek HPEQ Komponen 2 telah menyelenggarakan dua kali workhsop item review pada tahun 2010, yaitu pada tanggal 28-29 Juni 2010 dan 10-11 Oktober 2010. Berikut adalah output workhsop tersebut: NO KOMPONEN/ Workshop Item Review KG Gelombang 1 Gelombang 2 1. Jumlah soal yang direview dalam workshop 1584 582 2. Jumlah soal yang memenuhi kriteria soal yang baik 437 575 3. Jumlah Peserta Item Writer 22 23 Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi kegiatan Item review kedokteran gigi pada tahun 2011 untuk menambah bank soal UKDGI. 2. Tujuan Tujuan dilaksanakannya workshop nasional ini adalah: 1. Mengumpulkan 140 soal CBT dan OSCE (70 soal OSCE dan 70 soal CBT) 2. 200 jumlah soal yang tereview untuk masuk dalam bank soal UKDGI 3. Output Workshop Output yang diharapkan dari workshop ini adalah tekumpul 70 soal UKDGI untuk CBT dan 70 soal OSCE berkualitas baik yang dapat digunakan untuk ujian nasional dan mengisi bank soal di tingkat nasional
4. Metode Pelaksanaan Workshop Workshop nasional item review kedokteran gigi ini dilaksanakan pada tanggal 10 11 Juli 2011 di Hotel Grand Sahid Jaya, Jakarta. Peserta workshop adalah 22 item reviewer terpilih dari 6 institusi pendidikan dokter gigi, yaitu : PAKAR OSCE No. Nama Lengkap Pakar Instansi 1 Irma Ervina Periodonti Univ.Sumatra Utara 2 Edrizal Ortodonti Univ.Baiturahmah 3 Siti Rusdiana P.D. Konservasi Univ.Sriwijaya 4 Menik Priaminiarti Radiologi KG Univ.Indonesia 5 tdk hadir Prostodonti Univ.Moestopo (B) 6 Indra H. Bedah Mulut Univ.Padjajaran 7 Yulita Hendrartini IKGMP Univ.Gadjah Mada 8 Tita R. Utari Ortodonti Univ.Muh.Yogyakarta 9 Diah Savitri IPM Univ.Airlangga 10 Aprilia Konservasi Unv.Hang Tuah 11 Desi Sandra Sari Periodonti Univ.Jember 12 Rasmidar Samad IKGMP Univ.Hasanudin 13 tdk hadir Prostodonti Univ.Mahasaraswati CBT 1 Essie Octaria Pedodonti Univ.Sumatra Utara 2 tdk hadir Periodonti Univ.Baiturahmah 3 Maya Hudiyati IKGMP Univ.Sriwijaya 4 Vera Julia Bedah Mulut Univ.Indonesia 5 Anastasia Susetyo IKGMP Univ.Moestopo (B) 6 Suhardjo Radiologi KG Univ.Padjajaran 7 Erwan Sugiatno Prostodonti Univ.Gadjah Mada 8 Sartika Puspita Biomedik Univ.Muh.Yogyakarta 9 Adi Subianto Prostodonti Univ.Airlangga 10 Dian Mulawarmanti Biomedik Unv.Hang Tuah 11 Leliana Sandra Devi Ortodonti Univ.Jember
12 Sri Oktawati Periodonti Univ.Hasanudin 13 tdk hadir IPM Univ.Mahasaraswati Narasumber, Core team, KDGI, IT & Monev 1 Melani S. Djamil FKG USAKTI 2 Haslinda Z.Tamin FKG USU 3 Iwan Dewanto FKG UMY 4 Indri Kurniasih FKG UMY 5 Wiwiek Pudjiastuti FKG USAKTI 6 Utmi Arma FKG UNBRAH 7 Mei Syafriadi FKG UNEJ 8 Adam Malik FKG UNHAS 9 Kosterman FKG UNPAD 10 Gilang Yubliana FKG UNPAD 11 Ariadna Djais FKG UI 12 Peter Andreas PDGI 13 Boedi Roeslan KDGI 14 Beta Ahlam Gizela FK UGM 15 Santoso FK UNDIP 16 Sinta Setiadi IT FK Univ.Padjajaran 17 Elsye Tanjaya IT FK Univ.Padjajaran 18 Beny Setioko IT FK Univ.Padjajaran 19 Muhammad Ary Zucha FK Univ.Gadjah Mada Pada pelaksanaannya, 4 orang peserta tidak dapat hadir, yang berasal dari Universitas Baiturrahmah, Universitas Moestopo dan Universitas Mahasaraswati (2 orang). Keempat peserta tersebut telah mengkonfirmasi kedatangan (melalui pengiriman nama wakil institusi) tetapi pada hari pelaksanaan tidak hadir tanpa ada keterangan. Dengan demikian perwakilan dari institusi tersebut tidak memberikan kontribusi soal untuk direview. Untuk mengoptimalkan proses review, peserta dibagi menjadi 5 kelompok berdasarkan peminatan/bidang keahlian. Kelompok 1 : periodonsi dan bedah mulut Kelompok 2 : berisi pedodonsi, konservasi, orthodonsi. Kelompok 3 : ilmu penyakit mulut dan biologi oral Kelompok 4 : Ilmu Kesehatan Gigi Masyarakat Kelompok 5 : materi prosthodonsi, radiologi dan dental material
5. Hasil Kegiatan Workshop ini diawali pengarahan dari perwakilan fasilitator mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai.. Target yang ditetapkan bersama adalah penambahan soal untuk bank soal UKDGI, yaitu mereview 200 soal dan mendapatkan setidaknya 70 soal yang dinyatakan baik untuk CBT dan 70 soal untuk OSCE. Pada workshop kali ini, beberapa peserta yang diundang sebagai perwakilan OSCE tergabung dengan undangan CBT dan hanya akan membahas tentang CBT. Untuk pembahasan terkait OSCE akan dilakukan terpisah pada kesempatan lain, harapannya agar peserta dapat fokus untuk menyelesaikan target CBT. CBT ditargetkan dimulai pada Januari 2011. Sehingga acara kali ini untuk pematangan CBT sebelum ujicoba akan sangat baik, mendukung pelaksanaan CBT yang diharapkan. Untuk mengoptimalkan proses review, peserta dibagi menjadi 5 kelompok berdasarkan peminatan/bidang keahlian. Kelompok 1 : periodonsi dan bedah mulut Kelompok 2 : berisi pedodonsi, konservasi, orthodonsi. Kelompok 3 : ilmu penyakit mulut dan biologi oral Kelompok 4 : Ilmu Kesehatan Gigi Masyarakat Kelompok 5 : materi prosthodonsi, radiologi dan dental material Dengan pembagian kedalam 5 kelompok tersebut maka untuk mencapai target soal yang ter-review sejumlah 200 soal maka tiap kelompok memiliki target 40 soal. Tetapi pada pelaksanaannya, tiap kelompok menargetkan untuk mereview semua soal yang telah terkumpul sesuai bidang di kelompok masing-masing. Sehingga semua kelompok mereview lebih dari 40 soal. Rekapitulasi soal yang berhasil direview menurut kelompok dapat dilihat di tabel berikut Kelompok Jumlah soal yang direview Jumlah soal yang diterima (dinyatakan baik) Jumlah soal yang ditolak Jumlah peserta dalam kelompok Jumlah fasilitator 1 53 32 21 5 2 2 46 42 4 6 1 3 85 70 15 3 2 4 47 20 27 4 2 5 45 40 5 5 1 TOTAL 276 204 72 Untuk soal OSCE, baru terkumpul 35 soal. Padahal menurut TOR, jumlah soal yang ditargetkan untuk OSCE adalah 70 soal yang dinyatakan baik. Dari 35 soal yang terkumpul, belum ada satupun soal yang sempat direview. Berikut adalah grafik yang menggambarkan perbandingan antara target dan pencapaian untuk jumlah soal CBT yang ter-review.
Target minimal soal tereview Berdasarkan rekapitulasi soal yang tereview dapat dilihat bahwa semua kelompok telah mencapai target, yaitu mereview lebih dari 40 soal. Kelompok 3 telah mereview 85 soal, menunjukkan jumlah soal terbanyak dibandingkan kelompok yang lain. Jumlah total soal yang tereview pada workshop ini adalah 276 soal. Dari seluruh soal yang tereview, 207 di antaranya dinyatakan baik dan siap dimasukkan ke dalam bank soal UKDGI. Sisanya 72 soal ditolak, beberapa di antaranya masih dimungkinkan untuk diterima setelah revisi oleh pembuat soal (dikembalikan lagi kepada pembuat soal) sedangkan beberapa yang lain tidak dapat diterima karena dinilai terlalu dalam (di luar SKDGI). Berdasarkan hasil tersebut, yang perlu ditingkatkan adalah proporsi jumlah soal yang dinyatakan baik dibanding dengan soal yang ditolak. Usulan yang bisa ditindaklanjuti adalah pengiriman modul atau panduan penyusunan soal yang baik, baik, sehingga harapannya adalah soal yang direview kedepan akan lebih berkualitas dan proporsi soal yang ditolak semakin kecil. Selain itu perlu ada diseminasi knowledge yang didapat dari workshop di tiap institusi sehingga soal yang dikirim oleh institusi telah te melewati proses review. 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi inii diharapkan akan teridentifikasi root of causes dari kinerja kelompok yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Partisipasi peserta dalam workshop ini cukup baik, 4 dari 26 peerta menghadiri workshop dan telah membawa sejumlah soal yang diharuskan untuk dibawa di workshop ini. Peserta berpartisipasi secara aktif dalam review soal ini sehingga target output workshop, workshop yaitu untuk jumlah soal CBT telah tercapai. Dalam workshop ini belum ada review soal untuk OSCE, padahal dalam TOR telah disebutkan salah satu targetnya adalah terpilih 70 soal yang dinyatakan baik untuk OSCE. Untuk mencapai target tersebut, beberapa peserta peserta diundang untuk mereview soal OSCE (tertera dalam TOR). Tetapi dalam pelaksanaannya workshop ini baru membahas soal untuk CBT saja. Pencapaian jumlah soal untuk CBT dan OSCE sekaligus dinilai terlalu berat, sehingga dalam workshop ini
disepakati untuk membahas mengenai soal CBT saja, untuk itu sebaiknya ke depan target output workshop lebih terfokus dan memeprtimbangkan waktu yang tersedia. Jumlah soal OSCE yang dikumpulkan untuk direview juga masih sangat sedikit, yaitu 35 soal. Jumlah ini harus ditindaklanjuti dengan mendorong peserta untuk membuat soal OSCE seperti yang ditargetkan agar siap untuk direview jika workshop review soal OSCE diselenggarakan nantinya. Tim Monev menilai target dan koenten workshop kurang fokus, sehingga dapat membingungkan peserta dan pencapaian tidak optimal. Dalam TOR disebutkan target yang ingin dicapai di antaranya adalah pencapaian target jumlah soal CBT dan OSCE. Dalam acara juga ada materi yang berisi overview mengenai IBA yang ternyata dari KG sendiri merasa belum siap untuk melakukan review soal dengan menggunakan aplikasi yang disediakan oleh tim IT (review soal dilakukan secara manual). Fasilitator Kemampuan dan partisipasi peserta sangat baik. Peserta juga dinilai sangat antusisas dan bersemangat dalam mengikui workshop ini Usulan untuk perbaikan aplikasi IBA - Aplikasi dinilai belum maksimal, perlu ada beberapa penyesuaian untuk mempermudah pemanfaatan di UKDGI, misalnya dengan menyusun soal per bidang keilmuan - Pengisian data membuatuhkan waktu yang lama, perlu dipikirkan penggunaan aplikasi sesederhana mungkin sehingga proses menjadi lebih cepat - User interface perlu dibuat lebih mudah digunakan. Peserta 1. Jelaskan kendala yang mungkin akan anda hadapi sebagai Item review KG! - Waktu pemberitahuan yang terlalu mendadak sehingga menjadi keterbatasan untuk membuat soal yang baik - Kesesuaian antara bidang keilmuan reviewer dengan soal yang direview - Kesibukan dan tanggung jawab di luar sebagai item reviewer - Penyusunan soal berdasarkan kisi-kisi (blue print) memerlukan waktu lama 2. Bagaimana rencana untuk diseminasi kegiatan ini di institusi anda! - Review rutin soal MCQ di institusi - Menyiapkan soal-soal dengan format yang bak dan seragam - Sosialisasi item development kepada sejawat dosen - Mulai diterapkan segera mungkin - Menyusun proposal pelatihan item review untuk soal-soal ujian di insitusi. - sebagian soal di institusi selama ini sudah berupa kasus, tetapi kasus tersebut ternyata masih jauh dari soal yang baik dan benar 3. Berikan komentar anda terhadap workshop Item review KG ini! - Dilanjutkan dengan penguatan lembaga dan sistem uji kompetensi perawat - Sangat bagus untuk dapat saya sosialisasikan ke mahasiswa - Undangan jangan mendadak - Informasikan apa yang harus dibawa - Target workshop terlalu banyak dan tidak fokus - Fasilitas cukup baik 4. Penggunaan aplikasi IBA menngkatkan efektivitas dan kinerja item reviewer? Berikan feedback anda untuk mengoptimalkan aplikasi IBA - Perlu sosiasliasi aplikasi IBA untuk institusi
- Perlu membuat manual procedure sehingga memudahkan penguasaann aplikasi tersebut - Oleh karena keilmuan yang terus berkembang, maka seluruh soal di bank soal perlu direview secara periodik - Perlu dipikirkan mengenai keamanan aplikasi, dan juga keamanan isi (soal) melalui aplikasi tersebut. Sehingga perlu didefinisikan siapa saja yang bisa membuka aplikasi tersebut dan sejauh mana kemampuan mengakses soal. Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaann workshop. Dari 13 dari 17 kuesioner yang kembali ke tim monev menyatakan pelaksanaan workshop ini sangat bermanfaat bagi peserta. Tim Monev telah mengumpulkan persepsi peserta dan narasumber terkait dengan pelaksanaan workshop. Persepsi peserta digambarkan dalam grafik sebagai berikut: tidak sesuai kurang sesuai sesuai paling sesuai REKAP FEEDBACK ITEM REVIEW KG Jakarta, 10-11 JuLi 2011 16R 13 9 8 4 3 14 00 1 1 00 00 00 12 7 6 16 13 4 4 3 1 1 0 00 00 4 13 00 00 12 5
7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Soal yang telah direview dan dinyatakan dapat dimasukkan ke bank soal, menggunakan aplikasi yang tersedia Sejumlah soal yang belum dinyatakan baik dan masih memungkinkan untuk perbaikan oleh writer perlu dikembalikan agar dapat memperkaya bank soal Perlu penyempurnaan aplikasi IBA sesuai masukan yang didapat melalui workshop ini Untuk soal OSCE yang belum direview diusulkan untuk dibahas secara khusus di workshop yang berbeda 8. Penutup Standarisasi lulusan/ dokter gigi melalui uji kompetensi merupakan bagian penting dari upaya peningkatan kualitas lulusan/dokter gigi dan juga untuk institusi pendidikan dokter gigi. Kualitas lulusan/ dokter gigi yang baik dan kompeten sangat menguntungkan organisasi profesi dari sisi pembinaan, pemerintah pusat dan daerah selaku pengguna, serta untuk perlindungan masyarakat dari segi pelayanan. Mengingat fungsi dan perannya yang sangat besar, maka dukungan semua fihak terkait berkenaan kegiatan pada komponen sangat diperlukan