LAPORAN WORKSHOP NASIONAL ITEM REVIEW KEDOKTERAN GIGI KOMPONEN 2 PROYEK HPEQ Hotel Santika Jogjakarta 10 11 Oktober 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 1
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tertulis dengan dukungan teknologi berbasiskan computer atan disebut juga sebagai computer-based testing (CBT). Untuk itu, diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistemnya maupun soal soal yang terkandung di dalamnya. Di samping pengembangan infrastruktur dan aplikasi untuk melaksanakan CBT, tentu saja di saat yang bersamaan diperlukan upaya intensif untuk membuat dan mengisi Bank Soal Ujian Tertulis. Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal (Item Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus melibatkan seluruh institusi pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar dalam pembuatan soal dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini. Salah satu kegiatan yang akan dilakukan oleh Proyek HPEQ Komponen 2 adalah penyusunan bank soal. Hal ini sejalan dengan kebutuhan KDGI yang memerlukan soal (MCQ) untuk ujian Uji Kompetensi yang bersifat nasional dan dapat digunakan sebagai instrumen untuk mengukur standar kompetensi dokter gigi. Dalam rangka mempersiapkan bank soal (item bank), Proyek HPEQ Komponen 2 telah menyelenggarakan Lokakarya TOT Item Development and Analysis yang diikuti oleh wakil dari semua institusi pendidikan dokter gigi Indonesia. Lokakarya tersebut dilanjutkan di masing-masing institusi pendidikan dokter gigi untuk para dosennya. Diharapkan pada lokakarya di masing-masing institusi pendidikan dokter gigi anggota AFDOKGI, dapat terkumpul sedikitnya 20 soal sesuai dengan kisi-kisi (blue print) yang telah ditetapkan dan secara komprehensif sesuai Standar Kompetensi Dokter Gigi Indonesia. Dengan demikian akan diperoleh sekitar 480 soal untuk dikaji ulang. Bank soal untuk uji kompetensi yang pernah disusun KDGI pada tanggal 11 s/d 13 Pebruari 2008 di Kuta, Bali, sebanyak 800 soal, telah digunakan untuk Uji Kompetensi periode April 2008 sampai dengan April 2010. Sehubungan dengan itu, perlu dilakukan pengkajian ulang (item review) soal-soal hasil lokakarya Item Development and Analysis di setiap institusi pendidikan dokter gigi anggota AFDOKGI. Dengan demikian, soal-soal untuk uji kompetensi yang ada di dalam bank soal, merupakan soal yang sudah dikaji dengan baik dan memenuhi standar. Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi kegiatan Item review kedokteran gigi gelombang 1 tanggal 28-29 Juni 2010 di Pecatu Bali. Output yang didapatkan pada item review gelombang pertama menghasilkan 137 soal yang dinyatakan eligible untuk masuk ke dalam bank soal UKDGI. Selanjutnya, untuk menambah bank soal UKDGI periode berikutnya, perlu dilaksanakan workshop item review gelombang 2. WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 2
2. Tujuan 1. Mengkaji-ulang soal-soal dari FKG anggota AFDOKGI 2. Mengumpulkan soal-soal yang sudah dianalisis dan dikaji ulang dalam rangka penyusunan Bank Soal untuk Uji Kompetensi Dokter Gigi (UKDGI) 3. Output Workshop Terkumpulnya 480 soal untuk direview lagi oleh pakar Kedokteran Gigi dari seluruh anggota AFDOKGI 4. Metode Pelaksanaan Workshop Workshop nasional item review kedokteran gigi ini dilaksanakan pada tanggal 10 11 Oktober 2010 di Hotel Santika Jogjakarta. Workshop ini diikuti oleh 23 item writer, dengan pembidangan yang berbeda-beda, dan dari 23 institusi yang berbeda pula. N a m a Institusi Departemen/Bid.Ilmu No. HP Email Dwi Putranti Tj. FKG USU Prostodonti 0811635853 drgdwitp@gmail.com Edrizal FKG UNBRAH Ortodonti 081330478336 edrizalburhan@yahoo.com Sri Redjeki FKG UI Fisiologi 0811954983 sriredjekiprasetyo@yahoo.com Ary Indrawati FKG USAKTI Anatomi 08161870377 arybams@gmail.com Hady FKG U PROF. MOESTOPO (B) Penyakit mulut 08123202933 hadistyo@yahoo.com Mayu Winnie FKG UGM Farmakologi 081578800168 mayuwinnie@ugm.ac.id/ mayuwinnie@yahoo.com Asti Mezarini FKG UNAIR Material KG 0811337956 asti_mezarini@yahoo.com Istien Wardani FKG UHT 0811377059 istienwardani@yahoo.com Hestiyonini FKG UNEJ IKGM 08155909090 hestieyonini@plasa.com Sri Octawati FKG UNHAS Periodontology 08529958300 periounhas_sri@yahoo.com Sumantri FKG UNMAS Konservasi Gigi 08123848115 aji_manthree@yahoo.com Diana Setyaningsih FKG UNSYIAH Dental material 08126389600 dee_aceh@yahoo.co.id WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 3
Dedy Sumantri Shanty Chaerani Vinna Kurniawati S. PSKG UNAND Periodontology 08126713467 desuman_dentist@yahoo.co.id PSKG UNSRI Biologi oral 081380763696 drg_shantychaerani@yahoo.com PSKG UKM Biologi oral 08122115650 vinnakurniawati@yahoo.co.id Harris W. Tita Utari Budi Ratya PSKG UNSOED Biologi oral/ikgm 081335036549 harisbw@yahoo.com FKG UMY Ortodonti 08122970687 tita_utari@yahoo.com Djoko Prianto FKG UNISSULA Ortodonti 08122856063 djoko_prianto@yahoo.com Afrida PSKG IIK Bakti Wiyata Kediri Material KG 081335577150 afri_nur@yahoo.com Setyohadi PSKG UB 081334769758 tiyo1958@ymail.com Isyana Erlita PSKG UNLAM Prostodonti 081330199707 isyanaerlita@ymail.com Vonny Wowor NS. PSKG UNSRAT IKGM (Kesmas) 085240599273 vonnyw_dogi@yahoo.com Suci Erawati FKG UNPRIMA Ind. IKGM 081265410449 erawati_suci@yahoo.com Pada pelaksanaannya, yang tidak dapat hadir, yaitu satu peserta dari institusi FKG Universitas Padjajaran, 1 orang core team, Hazlinda Z Tamin (FKG USU) dan 1 orang monev Ekky S Soemantri (FKG UNPAD). Dalam menyusun dan mereview soal, para item writer dipandu dan didampingi oleh 10 orang core team kedokteran gigi. Core Team UKDGI 1 Utmi Arma FKG UNBRAH 08126770599 FKG_unbrah79@yahoo.co.id 2 Ariadna Djais FKG UI 021-3910344 ariedjais@yahoo.com 3 Peter Andreas PDGI/ FKG UI 021-96391199/ 081808559050 ptrandreas@yahoo.com 4 Iwan Dewanto FKG UMY 081578704082 iwanjoe1314@yahoo.com 5 Yohana FKG USAKTI 0811949999 yohanayusra@yahoo.com WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 4
Yusra 6 Indri Kurniasih 7 Mei Syafriadi 8 Melanie S Djamil FKG UMY 08122742330 ik_sb472@yahoo.com FKG UNEJ 081336181168 mei_syafriadi@hotmail.com FKG USAKTI 08151833515 melaniehendriaty@yahoo.com 9 Adam Malik FKH UNHAS 081355645501 adam_iboy@yahoo.co.id 10 Wiwiek P FKG USAKTI 0811977065 wiwiek_poedjiastoeti@gmail.com Narasumber 11 Bambang Trenggono 12 Boedi Roeslan KKI 0816704388 bamstrenggono@gmail.com KDGI 0811906793 bo_roeslan@yahoo.com 13 Sarworini B.Budihardjo FKG Monev UI/ 081618875360 sarworinibagio@yahoo.co.id Rundown acara workshop nasional item review kedokteran gigi tersebut adalah sebagai berikut : HARI PERTAMA, 10 Oktober 2010 14.20-14.35 Pembukaan & Pengarahan Workshop 1. Melanie S Djamil/ LO Profesi Kedokteran Gigi Komponen 2 2. Bambang Irawan/ Ketua KDGI 14.35 15.10 Review workshop item review terdahulu Indri Kurniasih 15.10 17.30 Kaji Ulang Kelompok Core Team 17.30 19.00 ISHOMA 19.00 22.00 Kaji Ulang Kelompok Core Team HARI KEDUA, 11 Oktober 2010 Waktu Acara Pelaksana/Fasilitator 08.00-10.00 Kaji Ulang Kelompok Core Team 10.00 11.30 Kaji Ulang Pleno Exam Manajer WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 5
11.30 12.00 Wrap Up dan Rencana Tindak Lanjut LO Profesi Kedokteran Gigi Komponen 2 5. Hasil Kegiatan Pada workshop ini peserta langsung dibagi menjadi 6 kelompok untuk melakukan review soal yang telah dibawa masing-masing peserta. Berikut adalah pembagian kelompoknya: Kelompok 1 Fasilitator: Melanie Djamil, Ariadna Djais Kepakaran: Biologi Oral/Biomedis/Patologi Anatomi/Patologi Klinik/Radiologi Nama Peserta Nama Institusi Sri Redjeki Shanty Chaerani Mayu Winnie Vinna Kurniawati S. Harris Budi W. FKG UI FKG UNSRI FKG UGM FKG UKM FKG UNSOED Ary Indrawati FKG USAKTI Setyohadi FKG UB Kelompok 2 Fasilitator: Utmi Arma, Wiwiek P Kepakaran: Periodontologi/Bedah Mulut/IPM Nama Peserta Nama Institusi Sri Octawati Dedy Sumantri Hady FKG UNHAS FKG ANDALAS FKG MUSTOPO WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 6
Kelompok 3 Fasilitator: Adam Malik, Indri K Kepakaran: Konservasi/IKGA Nama Peserta Nama Institusi Sumantri Istien Wardani FKG UNMAS FKG UHT Kelompok 5 Fasilitator: Mei S, Yohana Y, Sarworini B Kepakaran: Biomaterial/Epidemiologi/Perilaku Kes gigi/manajemen KG/IKGMP/IKGK/Interdisiplin Nama Peserta Nama Institusi Hestiyonini Diana Setyaningsih FKG JEMBER FKG UNSIAH Vonny NS. Wowor Suci Erawati Afrida Asti Mezarini FKG SAMRATULANGI FKG UMPRIMA IIK Bhakti Wiyata Kediri FKG UNAIR Kelompok 6 Fasilitator: Peter A, Iwan D Kepakaran: Prosthodontia/Orthodontia Dwi Tj. Putranti Isyana Erlita Nama Peserta FKG USU Nama Institusi FKG UNLAM WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 7
Edrizal Tita Ratya Utari FKG UNBRAH FKG UMY Djoko Prianto FKG UNISSULA Secara umum, output dari workshop nasional item review kedokteran gigi adalah sebagai berikut : KOMPONEN TARGET REALISASI Jumlah peserta yang mengikuti workshop Jumlah fakultas yang mengirim wakil 24 23 24 23 Jumlah narasumber 11 10 Jumlah soal yang direview 480 575 Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini sudah sangat optimal dalam mereview soal bahkan melebihi target yang ingin dicapai untuk jumlah soal yang direview. Beberapa faktor pendukung tercapainya target review soal adalah 1. Para peserta yang mengikuti workshop ini sudah lebih paham dalam mereview soal sehingga waktu yang diperlukan untuk mereview satu soal cukup optimal 2. Peserta dan fasilitator sudah dibagi dalam kelompok berdasarkan kepakaran sehingga content soal langsung dapat dibahas tanpa harus melihat referensi maupun bertanya ke peserta lain 3. Fasilitator sangat membantu peserta dalam memperbaiki soal Selanjutnya, soal-soal yang telah berhasil terkumpul direview oleh tiap item review dengan berpedoman pada template review dan tinjauan yang disepakati. Pada dasarnya, pencapaian jumlah soal yang direview ini dibatasi oleh waktu pelaksanaan workshop. Apabila diberi WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 8
alokasi waktu lebih lama, maka jumlah soal yang direview juga akan semakin banyak. Berikut adalah rekapitulasi item review pada workshop kali ini. Pada workshop ini, item-item yang akan direview adalah item yang belum terreview dalam workshop sebelumnya. Item-item ini sudah dikelompokkan kedalam bidang keilmuannya bukan berdasarkan institusi lagi. Dari diagram batang berikut, dapat dilihat bahwa soal yang belum direview pada bidang biomedis sudah terkumpul banyak. Tetapi setelah dilakukan review ternyata soal yang berkualitas baik hanya sedikit jika dibandingkan soal yang sudah terkumpul. Biologi oral merupakan bidang yang pada workshop ini paling sedikit menghasilkan soal yang berkualitas baik. TABEL REKAPITULASI ITEM REVIEW berdasarkan KELOMPOK Kelompok Dep/bid ilmu Soal berkualitas baik Soal perlu perbaikan Soal tidak bisa dipakai 1 Biologi Oral 10-26 Biomedis 19-48 Radiologi 20 2 6 2 Periodontologi 18 11 8 Bedah Mulut 32-18 IPM 48-11 3 Konservasi 40 10 1 IKGA 27 4 4 WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 9
4 Prosthodontia 41 Orthodontia 46 5 Biomaterial 24 10 16 IKGM 28 15 3 Total 353 52 177 Dapat dilihat bahwa kelompok 2 merupakan kelompok yang paling banyak mereview soal yang berkualitas baik. Kelompok ini membahas periodontologi, bedah mulut, dan IPM. Sedangkan kelompok 1 merupakan kelompok yang paling banyak mereview soal yang tidak bisa dipakai. Sehingga perlu adanya tambahan soal-soal yang membahas tentang biologi oral dan biomedis. Sebenarnya ada yang mengeluh karena tidak ada pakar dari radiologi untuk mereview soal tetapi ternyata masalah ini bisa teratasi. WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 10
Dari grafik berikut dapat dilihat bahwa dari workshop ini telah banyak menghasilkan soal yang berkualitas baik dalam bidang IPM, konservasi, prosthodonsia, dan orthodonsia. Untuk bidang biologi oral masih banyak soal yang tidak bisa dipakai dan hanya sedikit soal yang berkualitas baik. Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional. Semua soal yang telah direview oleh semua kelompok memiliki kriteria baik dengan perbaikan yang dilakukan pada saat mereview soal tersebut. Berdasarkan analisa tim monev, pencapaian target jumlah institusi yang berkontribusi, jumlah soal yang terkumpul, jumlah soal yang direview, dan jumlah soal yang berkualitas baik sudah melebihi target yang disepakati bersama. Peserta sudah berjanji bahwa akan mengadakan workshop item development dan review di institusinya masing-masing. Berdasarkan kesepakatan tersebut, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing wilayah dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter gigi dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri dari tim item review dan dapat dijadikan dasar pemetaan kemampuan dan strategi yang seharusnya diterapkan untuk tiap wilayah item review dalam meningkatkan kualitas pelaksanaan uji kompetensi yang akan berdampak positif pada kualitas lulusan uji kompetensi dokter gigi. 5. Evaluasi Kegiatan Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Selama workshop ini, semua peserta yang hadir menjadi mengerti struktur soal-soal yang akan digunakan dalam uji kompetensi dokter gigi Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Sebagian peserta baru pertama kali ini mengikuti item review sehingga perlu adanya penjelasan lagi dari fasilitator WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 11
Fasilitator Kendala Waktu Jumlah soal serta kualitas item yang direview Jumlah pakar kurang seimbang Sering terjadi perbedaan persepsi dari materi sehingga diskusi terlalu lama untuk satu soal Peserta baru karena belum memahami sehingga masih terlalu tinggi dalam penentuan soal yang kemungkinan berdampak menjadi soal yang sukar Saran Diberikan jadwal jauh-jauh hari Pengiriman soal dari masing-masing institusi sebaiknya benar-benar telah direview sehingga waktu review lebih maksimal lagi Semua pakar diundang untuk review Item yang telah direview disusun/diedit oleh tim editor (ahli bahasa Indonesia) Berikan masukan-masukan ke para peserta permasalahan-permasalahan yang muncul saat diskusi (kalibrasi istilah, pembuatan vignette masih banyak yang belum baik Agar ada perbaikan di institusi masing-masing kemudian di monev untuk difeedback di institusi apakah sudah melakukan perbaikan atau belum Sebaiknya soal yang akan direview telah terpilih sesuai dengan format sehingga lebih cepat proses reviewnya Perlu dilakukan lebih sering workshop seperti ini Peserta Usul/saran Sebaiknya untuk kegiatan HPEQ bila di Jogja di hotel ini juga Panitia lebih responsif diantaranya dalam hal masalah penempatan kamar Target perlu disesuaikan dengan waktu yang tersedia Soal yang dikirimkan sebaiknya telah benar-benar direview sehingga akan diperoleh hasil yang maksimal Mohon lebih proaktif meminta soal pada institusi Tim review sebaiknya pertemuan ditambah Bila dilaksanakan item review selanjutnya diharapkan untuk dapat memfasilitasi masing-masing IPDG mengirimkan minimal 2 orang pakar Mohon untuk menunjuk nama untuk kesinambungan pekerjaan (review) kepada institusi Dari hasil review menunjukkan masih banyak institusi yang belum mengerti pembuatan soal yang baik (vignette tidak sesuai dengan pertanyaan dan jawaban) sehingga perlu lanjutan pembuatan soal yang baik WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 12
Undangan kegiatan kalau bisa langsung untuk 1 bulan dan juga diketahui oleh institusi Ada feedback item review ke institusi Permintaan soal ke institusi harus lebih spesifik Penempatan dosen pakar di kelompok sudah tepat Dari soal-soal yang direview banyak yang belum sesuai dengan kriteria vignette sehingga perlu dilakukan lagi pelatihan pembuatan soal Sinkronisasi dan harmonisasi antara kegiatan HPEQ dan KKI dan kolegium Rencana tindak lanjut di institusi Review kembali kembali soal-soal yang belum sempat direvisi/soal baru yang belum pernah direvisi Mengkoordinir tim item review agar lebih pakar dalam pembuatan soal yang baik Penataran cara membuat soal yang baik melalui/mengadakan cara review soal learning by doing Mengkalkulasi jumlah soal yang masuk bank Mencanangkan satu hari satu soal Mereview soal-soal yang telah/akan digunakan Lebih meningkatkan pada dosen membuat soal yang lebih sesuai UKDGI Segera mensosialisasikan ke institusi tentang pengumpulan soal vignette di bank soal dari institusi Dekan mengkoordinasikannya bersama WD 1 dan staf yang telah terlibat dalam proyek HPEQ Pelatihan pembuatan soal dan review yang baik Diujicobakan di institusi ujian dengan vignette dan MCQ Item yang telah direview disusun/diedit kalimatnya oleh tim editor (ahli bahasa Indonesia) Penyusunan soal-soal ujian harus sesuai dengan materinya sehingga peserta ujian tidak bingung Membuat tim item review Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Kuisioner yang dibagikan kepada peserta dibagi menjadi 4 kelompok besar yang menilai input workshop item review, proses workshop item review, outout workshop item review, dan aspek klinis. Dari 22 kuesioner yang kembali ke tim monev, didapatkan hasil bahwa kepentingan untuk input, proses, output, dan aspek teknis di institusi masing-masing belum berjalan dengan baik sehingga diharapkan antara kepentingan dan persepsi seimbang. WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 13
Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam mereview soal yang baik. 6. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Masing masing Institusi melakukan workshop penyusunan item MCQ tipe one best answer dengan vignette Melakukan item review terhadap soal soal yang akan dikirimkan ke item bank UKDGI Masing masing Institusi mengirimkan minimal 20 soal tahap I (paling lambat akhir oktober 2010) dan 20 soal tahap II (paling lambat akhir november) Soal dikirim ke item bank melalui e-mail: o ik_sb472@yahoo.com o utmiarma@yahoo.com 7. Penutup Standarisasi lulusan/ dokter gigi melalui uji kompetensi merupakan bagian penting dari upaya peningkatan kualitas lulusan/dokter gigi dan juga untuk institusi pendidikan dokter gigi. Kualitas WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 14
lulusan/ dokter gigi yang baik dan kompeten sangat menguntungkan organisasi profesi dari sisi pembinaan, pemerintah pusat dan daerah selaku pengguna, serta untuk perlindungan masyarakat dari segi pelayanan. Mengingat fungsi dan perannya yang sangat besar, maka dukungan semua fihak terkait berkenaan kegiatan pada komponen sangat diperlukan WORKSHOP KOMPONEN 2 OKTOBER 2010 Page 15