LAPORAN WORKSHOP Item Analysis & Standard Setting Kedokteran Gigi Gelombang 3 KOMPONEN 2 PROYEK HPEQ Hotel Sanur Paradise Bali 22 23 November Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional HPEQ Komponen 2 Page 1
1. Pendahuluan Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metode yang dapat digunakan, yaitu metode relatif dan metode absolut. Mekanisme penentuan batas lulus yang saat ini berjalan masih menggunakan metode relatif. Bahkan pada kebanyakan praktek penentuan kelulusan dilakukan secara arbitrary yang tidak didasari oleh landasan ilmiah dan upaya keras untuk bersikap adil dan dapat dipertanggungjawabkan. Pemahaman tentang metodologi penentuan batas lulus ini masih kurang karena dalam prakteknya masih jarang digunakan. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Workshop Standard Setting Kedokteran Gigi secara kontinu setelah pelaksanaan uji kompetensi tiap periode. Pada tanggal 11-12 Mei, untuk pertama kalinya telah dilaksanakan workshop standar setting untuk kedokteran gigi. Pada workshop tersebut, telah diperkenalkan 3 metode standard setting, yaitu Hofstee, Ebel dan Modified Angoff. Output yang dihasilkan dari workshop masih kurang optimal karena baseline data yang digunakan masih belum melalui tahap item analysis. Pada pelaksanaan workshop Standard Setting gelombang 2, tanggal 20-21 Agustus diperoleh output yang lebih optimal dengan persiapan yang lebih matang, sehingga pada workshop Standard Setting kali ini diharapkan seluruh unsur terkait memahami dan mengerti seluruh proses penentuan batas lulus yang disepakati oleh semua stakeholder dengan menggunakan metode Modified Angoff. 2. Tujuan 1. Dipahaminya berbagai metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 2. Meningkatnya jumlah dan kemampuan standard setter yang akan menjadi judge pada panel expert 3. Menyepakati metode penentuan batas lulus untuk ujian nasional maupun ujian yang dilaksanakan secara lokal untuk meningkatkan penjaminan mutu sistem ujian 4. Menentukan Nilai Batas Lulus (NBL) UKDGI periode selanjutnya 3. Output Workshop 1. Metode penentuan batas lulus yang dinilai paling sesuai diterapkan untuk institusi kedokteran gigi di Indonesia 2. Rencana implementasi metode penentuan batas lulus yang paling sesuai untuk uji Kompetensi baik lokal maupun nasional 3. Sejumlah judge yang handal untuk panel expert kedokteran gigi 4. NBL UKDGI periode selanjutnya 4. Metode Pelaksanaan Workshop Workshop ini dilaksanakan pada tanggal 22 23 November di Hotel Sanur Paradise, Bali dengan mengundang seluruh wakil dekan FKG/ sekretaris prodi di Indonesia.Dari 25 IPDG yang diundang, hanya institusi UNPAD, UGM yang berhalangan hadir, Sedang dari Jember, UMY dan UNBRAH diwakili oleh coreteam. Selain itu, workshop ini juga dihadiri oleh stakeholder profesi dokter gigi, yaitu ketua KDGI, PDGI, MKKGI, perwakilan KKG, 9 orang core team UKDGI, dan monev kedokteran gigi. Antusiasme peserta sangat baik, hal ini dapat dilihat dari participation rate yang mencapai 97 % (33 orang) dari jumlah undangan yang seharusnya 40 orang. Workshop dilaksanakan dengan 2 metode, yaitu diskusi pleno dan diskusi kelompok. Setelah sesi pleno sosialisasi progress report OSCE dan UKDGI Oktober lalu, selanjutnya acara dibagi menjadi HPEQ Komponen 2 Page 2
3 kelompok judges, masing-masing kelompok mendapat masing-masing sekitar 35 soal. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara terlambat sekitar satu jam, hal ini dikarenakan diundangan waktu pelaksanaan menggunakan waktu WIB. Meskipun demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber dan diskusi tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil: HARI PERTAMA 14.00-14.30 Pengarahan dan pembukaan Workshop Boedi O Roeslan 14.30-15.30 -Sosialisasi Progress Report Kegiatan HPEQ Project untuk Kedokteran Gigi -- OSCE -Review hasil standard setting periode sebelumnya - Mei Syafriadi -Hazlinda Z Tamin 15.30-17.00 Materi Standard Setting Indri Kurniasih 17.00-19.00 Istirahat, Sholat, Makan 19.00-22.00 1. Pelatihan standard setting (dibagi ke dalam 3 kelompok): b. Metode standard setting & item analysis c. Penentuan standard setting 5. Hasil Kegiatan Sesi Utama Workshop dilaksanakan dalam dua metode, yang pertama adalah penjelasan materi dari core team mengenai standard setting, metode modified angoff dan borderline. Beberapa catatan penting dari sesi materi dan diskusi interaktif adalah sebagai berikut: 1. Metode STANDARD SETTING yang dipilih untuk UKDGI Absolute methode : Modified Angoff method Dinyatakan dalam persentase jawaban benar Performan seorang peserta tidak tergantung pada performan peserta lain Tepat untuk ujian berbasis kompetensi 2. Definisi Borderline Group UKDGI Mahasiswa yang lulus pada tahap akademik melewati batas masa studi Mahasiswa yang perlu kasus lebih banyak untuk mencapai standard kompetensi Mahasiswa yang ujian tertulis di setiap departemen biasanya mengulang sampai 2x Peserta UKDGI retaker yang kedua Peserta UKDGI baru (first taker) yang lulusan lama Mahasiswa dengan IPK 2.00-2.49 atau 2.50-2.74 (tergantung kondisi di institusinya) Mahasiswa yang nilai ujiannya berada antara C dan D Peserta adalah Judges didampingi coreteam HARI KEDUA Waktu Acara Pelaksana/Fasilitator 08.30-11.00 Diskusi pleno hasil pelatihan standard setting Indri Kurniasih 11.00-11.30 Wrap up dan rencana tindak lanjut - Hazlinda Z Tamin - Wiwik P - Boedi O Roeslan 3. Diangkatnya masalah pengumuman kelulusan AFDOGKI/ Kolegium kapan institusi siap membuka hasil ujian. Siapa yang ikut dan diapa yang lulus. Keterbukaan hasil ujian, Konsesus kolegium dengan AFDOGKI, beberapa masih keberatan. Pertimbangan sampai mana pengumuman itu dilakukan, apakah sampai ke masyarakat atau hanya sampai fakultas saja HPEQ Komponen 2 Page 3
4. Kendala dalam pengumpulan soal di bank soal adalah masalah soal yang dikirim dari institusi adalah soal mentah, seharusnya soal sudah direview oleh institusi, baru dikirim ke workshop item review 5. Soal yang tidak terterima dikembalikan ke institusi agar merka ada triger untuk terus maju, sekaligus sebagai input kembali ke institusi 6. Keberlanjutan jika HPEQ tidak ada. Kolegium sudah memikirkan dan untuk melanjutkan. Kendalanya adalah kolegium tahun depan akan berganti struktur dan tidak tahu nantinya bagaimana Pada workshop ini peserta dibagi menjadi 3 kelompok selesai ISHOMA, yaitu: Pada kelompok kerja tersebut, setiap wadek 1 yang bertindak sebagai judges berlatih menentukan nilai batas lulus (NBL) dengan metode modified angoff versi 2. Output yang diharapkan adalah mendapatkan metode penentuan batas lulus yang paling sesuai diterapkan untuk kedokteran gigi di indonesia Mekanisme yang dilakukan: Masing masing kelompok mengisi form score per item soal seperti pada step angoff modifikasi versi 1 Hasil akhir di rata rata menjadi NBL Kemudian mencoba mengisi form score per item soal seperti pada angoff modifikasi versi 2 Hasil akhir di rata-rata menjadi NBL Kemudian dipaparkan analisa terhadap Kesesuian Blueprint MCQ dengan soal UKDGI perbandingan periode juli & oktober : Tinjauan 1 % juli % okt % blue print Profesionalisme 3 16 10 Penguasaan ilmu pengetahuan kedokteran dan kedokteran gigi Pemeriksaan fisik secara umum dan system stomatognatik 42 39 10 14 13 25 Pemulihan fungsi sistem stomatognatik 27 18 25 HPEQ Komponen 2 Page 4
Kesehatan gigi dan mulut masyarakat 14 9 20 Manajemen praktik kedokteran gigi 0 5 10 Tinjauan 2 Kognitif 79 56 50 Procedural knowledge 18 33 25 Konatif 3 11 25 Tinjauan 3 % Juli % Okt % blue print RECALL 25 34 40 REASONING 75 66 60 Tinjauan 4 Pertumbuhan, perkembangan, dan degenerasi 21 16 10 Kelainan genetic dan kongenital 5 2 10 Penyakit infeksi dan imunologi 41 30 40 Penyakit neoplasma 1 2 10 Penyakit akibat trauma atau kecelakaan 2 6 10 Lainnya: (sebutkan) 30 44 20 Tinjauan 5 % Juli % Okt % blue print kedokteran gigi dasar (Biologi Oral & Dental Material) kedokteran gigi para klinik (patologi mulut dan maksilofasial) 16 18 15 2 0 15 HPEQ Komponen 2 Page 5
kedokteran gigi klinik (ilmu periodonsia, ilmu Bedah Mulut, ilmu penyakit mulut, prostodonsia, othodonsia, konservasi gigi, pedodonsia, radiologi kedokteran gigi kedokteran gigi masyarakat & kedokteran gigi pencegahan (epidemiologi oral, perilakukesehatan gigi, manajemen/ administrasi kesehatan gigi, ilmu kesehatan gigi pencegahan, ilmu kedokteran gigi keluarga) ilmu kedokteran gigi interdisiplin (anestesi kedokteran gigi, gerodontologi, implan kedokteran gigi, kedokteran gigi estetik, kedokteran gigi forensik, kedokteran gigi khusus, kedokteran gigi militer, oklusi dan gangguan sendi rahang) 62 55 30 16 27 20 4 0 20 Tinjauan 6 % Juli % Okt % blue print Promotif 10 7 20 Preventif 13 15 20 Kuratif 51 53 20 Rehabilitatif 22 9 20 tambahan : Aspek lain...(co etika & hkm) 4 16 20 Tinjauan 7 % real % blue print individu 84 83 60 keluarga 3 3 20 masyarakat 13 14 20 Diskusi mengenai porsi soal ini disoroti pada tinjauan 5, yaitu ilmu kedokteran gigi interdisiplin, pada UKDGI oktober point untuk soal tersebut 0, sedang pada bulan juli sudah ada 4 soal. Dipertanyakan persentase blueprint pada ilmu tersebut sebesar 20%. HPEQ Komponen 2 Page 6
Secara umum, output dari workshop Standard Setting kedokteran gigi gelombang 3 ini adalah sebagai berikut: 1. Hasil Perhitungan NBL Hasil perhitungan NBL menggunakan Percentage Angoff methode, dengan metode ini akan menghitung Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? Berdasarkan hasil kerja judges, dengan jumlah judges 23 orang, NBL yang didapat adalah 49 2. Rekapitulasi tingkat kelulusan UKDGI periode juli Dengan metode angoff, jumlah peserta ujian sebanyak 563 peserta, yang dinyatakan lulus sebanyak 398 peserta, tidak lulus 165 peserta. Dengan persentase kelulusan 70,69%. Score tertinggi (max) 82 diraih oleh (UNAIR) ADELINE WIBOWO dan Score terendah (min) 15. Mean score = 53,3 dan Standar Deviasi 10,46. SUCCESSFUL RATE & RATA-RATA PER TEMPAT PENYELENGGARAAN 100 80 60 40 20 SUCCESSFUL RATE MEAN 0 A B C D E F G H I J Berdasarkan hasil diskusi, berikut adalah beberapa kendala dalam penetuan NBL, yaitu: 1. Judge sulit membayangkan sebagai borderline 2. Belum familiar sebagai judge 3. Belum dapat memisahkan diri sebagai dosen atau judge sehingga sulit memposisikan diri sebagai borderline/minimally competence student 4. Judge harus lebih menghayati soal sehingga konsistensi dalam penentuan batas lulus Dan beberapa catatan yang berhasil dihimpun core team adalah: 1. Masih ada soal yang membingungkan sehingga sangat menyulitkan untuk memberikan score (10 soal) : salah cetak, jawaban double 2. Masih ada soal yang memerlukan revisi 6. Evaluasi Kegiatan Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : HPEQ Komponen 2 Page 7
Gambaran Umum Pada dasarnya workshop berjalan dengan baik. Hasil Nilai Batas Lulus yang ditetapkan telah sesuai dengan item analysis dan hasil standard setting Core team / tim teknis UKDGI memposisikan diri sebagai fasilitator dalam kelompok dan memberikan arahan yang jelas kepada para judges untuk melaksanakan tahapan-tahapan standard setting Peserta Usul dan saran Membuat syarat-syarat tertentu seperti tingkat jabatan/ golongan sebagai judge Perlu pelatihan lebih intensif untuk para judge Judge sebaiknya jangan berganti-ganti (judge orang yang sudah terlatih/ terbiasa menjadi judge) Perlu diberi sanksi bagi institusi yang mengirim judge tidak sesuai dengan kriteria Peserta yang ikut standard setting adalah wadek 1, tidak boleh diwakilkan Peserta yang ikut standard setting adalah institusi yang sudah ikut uji kompetensi Perlu terus diingatkan pada semua peserta bahwa harus bisa menempatkan diri sebagai borderline pada saat penentuan batas kelulusan Waktu yang disediakan kurang memadai sehingga waktu untuk diskusi kurang, agar dapat dipertimbangkan penambahan waktu Waktu perlu diefektifkan dan diefisienkan Judge tidak saling mempengaruhi dalam melakukan persentase Item analysis soal UKDGI dapat diberikan kepada seluruh institusi Adanya feedback untuk soal yang dianalisis Tentang permintaan soal dibuat jadwal tetap kapan soal harus sudah diserahkan Perlu adanya kontinuitas dari peserta workshop untuk dapat mengikuti acara serupa sehingga dapat lebih mahir dalam menilai sebagai judges Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of customer peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 24 kuesioner, 21 yang kembali ke tim monev. 94 % responden menyatakan parameter workshop yang dinilai sudah sesuai. Hanya 6 % responden yang menilai beberapa parameter workshop masih belum sesuai. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, materi yang sangat baik, tempat workshop, dan pelayanan konsumsi. PROPORSI SATISFACTION LEVEL 6% sesuai tidak sesuai 94% HPEQ Komponen 2 Page 8
Dengan parameter penilaian dibawah ini: Parameter Penilaian 1. Orientasi di awal pertemuan memberikan kejelasan tujuan workshop 2. Narasumber dalam workshop telah menguraikan tugas dengan jelas 3. Pelatihan dan praktik dalam workshop ini sangat membantu dalam memahami bagaimana menjalankan standard setting 4. Latihan standard setting pada workshop ini sangat membantu dalam memahami asesmen/penilaian 5. Definisi borderline cukup jelas dan bermanfaat dalam standard setting 6. Diskusi dalam kelompok kecil dan pleno membantu untuk memahami standard setting 7. Informasi tentang indeks kesukaran soal sangat bermanfaat 8. Waktu yang disediakan dalam workshop ini cukup memadai 9. Setiap orang mendapatkan kesempatan yang sama dalam kelompok untuk menyampaikan ide dan pendapatnya 10. Saya yakin dengan kelayakan nilai batas lulus yang direkomendasikan dalam standard setting 11. Metode standard setting yang diterapkan pada UKDGI selama ini perlu diimprove Analisa lebih lanjut terhadap feedback peserta, kesesuaian terbesar peserta dirasakan dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam memahami metode assessment di masing-masing IPDG. Selain itu, narasumber yang memberikan materi dan metode pelatihan standard setting yang diimplementasikan pada workshop ini dinilai sangat sesuai oleh karena peserta, sehingga pemahaman peserta terhadap standard setting meningkat. Dapat dianalisa pula parameter-parameter yang dinilai masih kurang sesuai, yaitu waktu pelaksanaan workshop yang dinyatakan sangat kurang. Selain itu, definisi borderline masih perlu dijelaskan lebih detail kepada peserta, sehingga hasil NBL yang telah dihasilkan dapat maksimal. REKAP FEEDBACK WORKSHOP STANDARD SETTING KEDOKTERAN GIGI GEL. 2 Surabaya, 22-23 November 21 21 20 21 17 21 20 17 21 17 20 0 0 1 0 4 0 1 4 0 4 1 Ya Tidak HPEQ Komponen 2 Page 9
Berdasarkan input dari peserta, beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Waktunya supaya lebih diperpanjang, supaya latihannya tidak terburu-buru Perlu pelatihan untuk tahap berikutnya, supaya menjadi judges yang expert Berdasarkan hasil pengisian kuisioner untuk menjaring aspirasi para judges mengenai penerapan metode standard setting secara nasional untuk seluruh IPDG di Indonesia, berikut adalah masukan dari peserta: Bisa asalkan semua IPDG mempunyai komitmen yang kuat untuk meningkatkan kualitas lulusan SDM merupakan permasalahan di IPDG baru Sedikit ragu, karena judge yang kurang bisa atau tidak dapat menempatkan diri sebagai borderline, sehingga nilai batas lulus bisa menjadi sangat tinggi Dapat diterapkan, tapi permasalahan adalah persepsi tentang borderline sulit sekali Bisa, asal judgenya betul-betul bisa berfungsi sebagi judge Standard setting sudah dapat digunakan. Permasalahan yang mungkin akan muncul banyak peserta yang belum berhasil walaupun standard yang ditetapkan sudah sangat minim Tidak bisa karena persepsi bordeline tidak homogen Ya, untuk metode modif angof (2) yang akan digunakan akan memiliki nilai batas lulus yang cukup tinggi apabila judges tidak dapat memposisikan diri sebagai borderline Permasalahan Juri bukan ahli dibidangnya Masih belum memposisikan diri sebagai bordeline group Dapat tapi harus ada kesamaan terminologi Banyak IPDG yang akan kesulitan untuk mencapai standard setting tersebut, terutama untuk IPDG yang masih baru Dapat saja, namun karena tiap institusi memiliki perbedaan dalam hal yang diajarkan kepada mahasiswa didik, maka mungkin akan menyebabkan perbedaan dari tingkat kelulusan 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Penambahan bank soal UKDGI sesuai blue print dan porsi yang telah ditetapkan menentukan contact person tim kurikulum dari masing-masing pendidikan Diharapkan institusi pada bulan Januari sesudah melakukan workshop untuk dosen untuk membuat soal, kemudian di review di masing2 institusi dan hasilnya bisa dikirim ke Utmi (utmiarma@yahoo.com) atau Indri (ik_sb472@yahoo.com), yang nantinya akan diproses dan jika layak dimasukkan dalam bank soal Item development OSCE, persiapan sudah memenuhi 4 set soal OSCE, dan direview ulang pada workshop sinkronisasi OSCE menghasilkan 2 set soal. Dimohon institusi untuk membuat soal OSCE dan persiapan try out di institusi 8. Penutup Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan judges dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua pihak terhadap keberhasilan workshop ini sangat diperlukan. HPEQ Komponen 2 Page 10
WO HPEQ PROJECT WORKSHOP KOMPONEN 2 SEPTEMBER Page 11