Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan

Transkripsi

1 LAPORAN WORKSHOP ITEM DEVELOPMENT DAN REVIEW COMPUTER BASED TESTING (CBT) KEDOKTERAN Hotel Grand Royal Panghegar, Bandung Maret 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan WORKSHOP KOMPONEN 2 MARET 2012 Page 1

2 1. Pendahuluan Proyek HPEQ Komponen 2 mempunyai fokus kegiatan pada upaya penyempurnaan sistem ujian. Metode ujian yang akan dikembangkan salah satunya adalah computer-based testing (CBT). Metode ini memerlukan persiapan yang salah satunya adalah penyiapan perangkat soal (item) yang akan dikumpulkan dalam suatu Bank yang secara kuantitas dan kualitas dapat dipertanggungjawabkan serta memiliki kredibilitas tinggi. Mengingat pentingnya keberadaan Bank yang mendukung sistem ujian pada pendidikan tenaga kesehatan, maka diperlukan adanya suatu penelaahan soal yang berjenjang mulai dari pembuat soal, institusi, regional dan akhirnya review akhir oleh panel expert. Selain itu bank soal perlu dipenuhi terkait blue print yang ditentukan. Oleh karena itu perlu dibuat suatu lokakarya Item Development dan Review. 2. Tujuan Setelah mengikuti kegiatan lokakarya ini diharapkan: 1. Kemampuan peserta untuk pembuatan dan penelaahan soal ujian tulis tipe A (one best answer) yang baik di wilayah dan institusi setempat. 2. Terpilihnya sejumlah soal yang memenuhi syarat untuk dimasukan ke dalam Bank. 3. Luaran 1. Dihasilkannya para ahli pembuat dan penelaah soal yang baik di tingkat nasional 2. Dihasilkannya para pelatih untuk pelatihan pembuatan dan penelaahan soal yang baik di tingkat wilayah dan institusi 3. Dihasilkannya soal soal yang baik untuk dimasukan ke dalam Bank tingkat wilayah dan institusi 4. Metode Pelaksanaan Workshop Workshop item development dan review CBT kedokteran ini dilaksanakan pada tanggal Maret 2012 di Hotel Grand Royal Panghegar, Bandung. Peserta workshop yang diundang adalah 12 item writer, 11 item reviewer, dan 6 item bank administrator yang didampingi oleh 1 narasumber, 3 orang fasilitator dan 3 orang anggota KB UKDI. Daftar narasumber, fasilitator dan anggota KB UKDI yang hadir: No Nama Institusi Keterangan 1 M. Ghozali UNPAD/ KB UKDI Narasumber 2 Dewi Masyitah USU Fasilitator 3 Yuni S Pratiwi UNPAD Fasilitator 4 Fajar KB UKDI 5 Herru KB UKDI 6 Windi KB UKDI Pada pelaksanaannya, narasumber/ pemimpin sidang yang ditunjuk yaitu Ibu Sari Puspa Dewi berhalangan untuk hadir sehingga digantikan oleh Bapak M Ghozali (fasilitator). Seluruh item writer, WORKSHOP KOMPONEN 2 MARET 2012 Page 2

3 item reviewer, dan fasilitator dapat hadir/ digantikan, namun terdapat dua orang IBA yang berhalangan hadir. Berikut adalah daftar peserta yang hadir: Item Writer No Nama Institusi Spesialisasi No Tlp 1 Budi Utomo FK UNAIR/ Surabaya IKM budiutom@gmail.com 2 Mayetti FK UNAND/ Padang IKA mayettispa@yahoo.com 3 Samdei C. FK UNCEN/ ; Radiologi Rumbino Jayapura samdeyrumbino@yahoo.com 4 Intaniati Nur R. FK UNDIP/ Semarang Forensik intarforensic@yahoo.co.id 5 Wahyudi FK UGM/ Istiono Yogyakarta IKM wistiono@gmail.com 6 Femi S. FK UNHAS/ femy.internist@yahoo.co.id; IPD Makassar fsyahriani@gmail.com 7 Retno Asti FK UI/ Werdani Jakarta IKM retnoasti@yahoo.com 8 Ahmad Dian W. FK UB/ ; THT Malang dian_punk@yahoo.com 9 Lucky Sjahputra FK UNPAD/ Bandung IPD luckysdr@yahoo.com 10 Andri Reza FK UNPAD/ Bandung KJ rahmadiandri@yahoo.com 11 Truly Sitorus FK UNPAD/ Bandung trullysitorus@yahoo.com 12 Sri Hastuti FK YARSI/ Jakarta IKA srihastutiandayani@yahoo.com 13 Artha Budi FK YARSI/ Dhuarsa Jakarta IKM arthabudi@gmail.com Item Reviewer 14 Huriatul FK UNRI/ Pekanbaru Histologi dr_huriatul@yahoo.co.id 15 Ramzi Amin FK UNSRI/ Palembang Mata ramzi.amin@rocketmail.com 16 Insi Farisa Desi FK UNPAD/ Bandung IKM 17 Hanna Yolanda FK UNIKA Atmajaya/ Jakarta hanna.yolanda@atmajaya.ac.id 18 Hermin Aminah FK UNPAD/ Patologi Bandung Anatomi hermin.seroja@gmail.com 19 Fen Tih FK UKM/ fentih@melsa.net.id; Biokimia Bandung fentihfk@gmail.com 20 Eka FK UNISBA/ Hendryanny Bandung Ilmu Faal eka_hendryanny@yahoo.com 21 Mahar FK UGM/ Agustono Yogyakarta KJ m_agusno2@yahoo.com 22 Moh. FK UMY/ muhammad_khotibuddin@yaho IKM Khotibbudin Yogyakarta o.com 23 Roostantia FK UNAIR/ Farmakolo roostantia@yahoo.com WORKSHOP KOMPONEN 2 MARET 2012 Page 3

4 Surabaya 24 Sri Wahyuni FK UMI/ Makassar Item Bank Administrator CBT 25 Hemma Yulfi FK USU/ Medan 26 Ninik Sukartini FK UI/ Jakarta 27 Iis Inayati FK UNJANI/ Cimahi 28 Achmad Yanuari H. FK UNAIR/ Surabaya gi IKM Patologi Klinik Biokimia Ilmu Kesehatan Anak Dalam workshop ini peserta dibagi menjadi dua kelompok besar, yaitu kelompok item development dan item review. Pembagian kelompok pada hari H disesuaikan kembali dengan peserta yang hadir. Kelompok item development terdiri dari 13 orang yang secara khusus diundang untuk memenuhi kebutuhan soal khususnya mengenai ilmu kesehatan masyarakat yang jumlahnya masih sedikit dalam bank soal. Oleh karena itu, masing-masing peserta yang diundang untuk item development akan membawa 30 soal terkait spesialisasi masing-masing, yang kemudian akan di-review bersamasama dalam kelompok kecil. Kelompok item review terdiri dari 11 orang item reviewer dan 4 orang IBA CBT. yang dibagi berdasarkan wilayah menjadi 5 kelompok kecil yang masing-masing terdiri dari tiga orang. Karena item reviewer wilayah 6 hanya ada satu orang, maka beliau digabungkan ke dalam kelompok lain yang jumlahnya masih dua orang. Kelompok item review akan me-review soal-soal dari regional. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan cukup tepat waktu. Berikut adalah rundown acara workshop pada kondisi riil : Rabu, 28 Maret Pembukaan dan Pengarahan Item M. Ghozali Review CBT Kedokteran Rekapitulasi soal dan telaah soal dalam Fasilitator kelompok (peer review) ISHOMA Telaah soal dalam kelompok (peer Fasilitator review) Kamis, 29 Maret Telaah soal dalam kelompok (peer Fasilitator review) Rekapitulasi soal dan Penutup M. Ghozali 5. Hasil Kegiatan Workshop ini diawali briefing oleh narasumber dari KB UKDI mengenai hal-hal yang akan dikerjakan selama workshop beserta target pencapaian. Dilakukan penjelasan kembali mengenai garis besar cara penilaian soal, teknis penilaian soal dalam bentuk word dan SIPENA, serta mengenai teknis penyimpanan soal untuk diserahkan kepada proyek. WORKSHOP KOMPONEN 2 MARET 2012 Page 4

5 Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item development secara umum adalah sebagai berikut: No. KOMPONEN TARGET REALISASI 1. Jumlah soal yang terkumpul dalam workshop Jumlah soal yang direview dalam workshop Jumlah soal yang diterima (soal yang memenuhi kriteria soal yang dianggap eligible untuk diinputkan ke bank soal UKDI) Jumlah soal yang ditolak Jumlah item writer yang terlibat Jumlah item reviewer yang terlibat Grafik Pencapaian Target Jumlah soal yang terkumpul dalam workshop Jumlah soal Jumlah soal yang direview yang diterima dalam workshop 84 Jumlah soal yang ditolak Jumlah item writer yang terlibat Jumlah item reviewer yang terlibat Target Realisasi Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini cukup optimal dalam mendapatkan soal yang baik untuk diinputkan ke bank soal UKDI. Jumlah soal yang terkumpul dalam workshop baik soal kiriman dari institusi maupun soal yang dibawa oleh item writer mencapai 1272 soal. Meskipun demikian, jumlah soal yang direview jauh lebih sedikit dari target yaitu hanya 56%. Meskipun demikian, dari keseluruhkan soal yang berhasil selesai di review, sebagian besar dapat diterima (88%) dan persentase soal yang ditolak hanya sebesar 12% sehingga dapat dikatakan bahwa soal yang terkumpul berkualitas cukup baik. Seluruh WORKSHOP KOMPONEN 2 MARET 2012 Page 5

6 Jumlah item writer dan item reviewer yang diundang dapat hadir/ digantikan, sehingga target kehadiran mencapai 100%. Item reviewer yang hadir pada workshop ini diharapkan membawa soal kiriman institusi sesuai dengan wilayah masing-masing dengan pembagian institusi yang sudah meluluskan diharuskan mengirim minimal 50 soal dan untuk setiap institusi yang belum meluluskan mengirim minimal 25 soal. Pada kenyataannya tidak semua institusi mengirim soal sebanyak yang diminta. Perlu dicermati kembali bahwa kontribusi dari masing-masing institusi sangat penting bagi pemerataan kontribusi dalam pembuatan soal uji kompetensi. Beberapa faktor tidak tercapainya target jumlah soal yang direview adalah sebagai berikut: 1. Penggunaan SIPENA pada awalnya cenderung memakan waktu lebih lama dalam operasinya, namun seiring dengan semakin seringnya dipakai, software SIPENA akan sangat membantu dalam proses review soal. 2. Banyak soal yang masih perlu diperbaiki secara konten sehingga diskusi lebih lama mengenai konten dibandingkan review struktur soal. Pada dasarnya, pencapaian jumlah soal dalam workshop ini juga dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal yang direview tentunya juga akan semakin banyak. Berikut adalah tabel rekapitulasi item development per kelompok pada workshop ini. Tabel Rekapitulasi Item Review Wilayah No Nama Reviewer Institusi Terkumpul Total Tereview Diterima yang Direview Dikembalikan Belum Direview Hemma Yulfi USU 2 Huriatul USU 3 Ramzi Amin UNSRI 4 Ninik Sukartini UI 5 Hanna Yolanda UAJ 6 Sri Wahyuni UMI 7 Iis Inayati UNJANI 8 Eka Handryanny UNISBA 9 Hermin Aminah UNPAD 10 Moh. Khotibuddin UMY 11 Mahar Agusno UGM 12 Intarniati Nur R UNDIP 13 Achmad Yanuari UNAIR 14 Roostantia UNAIR 15 Lucky Sjahputra UNPAD WORKSHOP KOMPONEN 2 MARET 2012 Page 6

7 Tabel Rekapitulasi Item Development dan Review Ke l N o Nama Penulis Institu si Bidang Ilmu Target Terkump ul Terkump ul Total Terevie w Diterima yang Direview Dikembalikan Belum Direvie w 1 Mayetti UNAND IKA Sri Hastuti UY IKA Samdei C Rumbino UNCEN RADIOLOGI Andri Reza UNPAD IPD Femi S UNHAS IPD Fen Tih UKM BIOKIMIA REVIEWER 7 Ahmad Dian W UB THT Truly Sitorus UNPAD FARMAKOLOGI Dewi Mastiyah USU PARASITOLOGI REVIEWER Artha Budi Dhuarsa UY IKM Budi Utomo UNAIR IKM Yuni S Pratiwi UNPAD FAAL REVIEWER 13 Insi Farisa Desi UNPAD IKM REVIEWER 8 14 Retno Asti Werdani UI IKM Wahyudi Istiono UGM IKM Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional sebelum di review kembali oleh panel expert. Jumlah soal yang diterima adalah sebesar 88% dari jumlah soal yang direview. Berdasarkan analisis tim monev, pencapaian target jumlah soal yang berkualitas baik dan dapat dimasukkan ke dalam item bank sudah cukup baik. Hal ini menandakan bahwa baik soal yang dikirim dari institusi maupun yang dibawa oleh item writer sudah cukup baik. Meskipun demikian, tetap diperlukan lebih banyak perhatian pada relevansi soal yang akan dikumpulkan ke workshop dengan UKDI. Tujuan lain dari workshop ini adalah untuk membangun capacity building bagi item reviewer institusi. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing institusi dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri dari tim item development dan dapat dijadikan dasar pemetaan kemampuan dan strategi yang seharusnya diterapkan untuk tiap wilayah item development dalam meningkatkan kualitas pelaksanaan uji kompetensi yang akan berdampak positif pada kualitas lulusan uji kompetensi dokter. 6. Refleksi Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. WORKSHOP KOMPONEN 2 MARET 2012 Page 7

8 Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Fasilitator KENDALA YANG DIHADAPI PESERTA DALAM MEMBUAT DAN MEREVIEW SOAL : - Menyesuaikan konten epidemiologi dan aspek public health dengan SKDI/ relevansi - Penentuan criteria soal (sulit-sedang-mudah) - Item writer belum benar-benar memahami pembuatan soal yang baik, namun lama kelamaan sudah dapat melakukannya dengan baik REKOMENDASI PERBAIKAN : - Sosialisasi panduan review yang free to download sebelum hadir di workshop - Penguatan SDM dari segi item writer dan item reviewer di tingkat regional/ institusi - Item writer sudah membawa soal lebih dulu sehingga target soal lebih banyak yang didapat Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta. Dari 28 kuesioner, 19 yang kembali ke tim monev. Hasil kuesioner tersebut adalah sebagai berikut: Kendala yang dihadapi dalam pengumpulan soal Sosialisasi pengumpulan soal terlalu mendadak dan waktunya terlalu singkat untuk mengumpulkan soal dari institusi Institusi terlambat mengumpulkan soal Sulitnya mengumpulkan soal dari dosen pengampu IBA dan tim reviewer di institusi belum aktif/ belum bekerja secara optimal Sebagian soal belum direview di tingkat regional Kendala yang dihadapi dalam mereview soal yang dikirim masih dalam bentuk word sudah ada, namun tidak dalam format/ kaidah UKDI Sebagian soal belum bervignette Kadang sulit mengerti apa yang dimaksud dalam soal Ketidakkonsistenan dalam struktur dan konten sering kali tidak sesuai dengan SKDI yang dibuat oleh dosen yang belum dilatih cara membuat soal UKDI biasanya soal akan diedit secara keseluruhan Isi soal tidak dikuasai oleh reviewer Jumlah SDM Kesesuaian format dan guideline review soal dan parameter review yang perlu dioptimalkan atau ditambah Sudah sesuai dan cukup optimal Rekomendasi perbaikan untuk pembuatan soal yang lebih baik Mengadakan workshop khususnya untuk item writer agar sesuai dengan format UKDI Workshop yang lebih intensif di tingkat institusi/ regional WORKSHOP KOMPONEN 2 MARET 2012 Page 8

9 Pembuat soal harus menyesuaikan soal dengan SKDI Pertemuan rutin antara item writer, item reviewer dan IBA Setiap soal yang sudah diujikan diberikan feedback Rekomendasi untuk meningkatkan jumlah soal yang dikumpulkan Perlu jadwal yang terencana sejak awal dan melibatkan personil yang lebih banyak Jejaring reviewer dan IBA di institusi lebih di aktifkan Koordinasi dengan setiap institusi Jangan hanya kuantitas soal namun kalau bisa soal harus mempunyai variasi yang luas Pelatihan di regional yang lebih sering Pemberitahuan jadwal nasional untuk item reviewer lebih awal (kalau perlu dimasukkan dalam kalender kegiatan UKDI) Topik-topik yang masih kosong agar disebarkan sehingga item yang dibuat cukup bervariasi Rutin ditagih via 2-3 minggu sebelum workshop Kesan secara umum dan saran terhadap pelaksanaan workshop Workshop berjalan dengan baik Undangan diberikan lebih awal Pelaksanaan review dalam group kecil lebih efektif dibandingkan dalam group besar kadang-kadang overlap, sebaiknya di pertemuan selanjutnya masing-masing sudah ditentukan tema soalnya Fasilitator membimbing dengan baik 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : 1. Mengadakan workshop serupa secara berkala 2. Undangan kepada peserta diberikan lebih awal sehingga pengumpulan soal dari institusi/ regional dapat berjalan dengan baik 3. Koordinasi dengan pihak institusi untuk menngirimkan soal dengan kualitas dan kuantitas yang diharapkan 4. Penentuan tema dari awal agar soal yang dibuat item writer lebih bervariasi 8. Penutup Standarisasi lulusan dokter melalui uji kompetensi merupakan bagian penting dari upaya peningkatan kualitas lulusan dokter dan juga untuk institusi pendidikan dokter. Untuk terlaksananya uji kompetensi yang baik penting untuk dikembangkan pembuatan soal yang berkualitas, komprehensif dan sesuai dengan tingkat kompetensi yang diharapkan. Dengan pelaksanaan workshop yang berkesinambungan maka diharapkan didapatkan bank soal yang berkualitas dan sekaligus membangun kapasitas item writer di institusi dan regional sehingga akhirnya tujuan peningkatan kualitas dokter melalui standarisasi uji kompetensi dapat tercapai. Mengingat fungsi WORKSHOP KOMPONEN 2 MARET 2012 Page 9

10 dan perannya yang sangat besar, maka dukungan dari semua pihak terkait kegiatan komponen sangat diperlukan. WORKSHOP KOMPONEN 2 MARET 2012 Page 10