LAPORAN WORKSHOP NASIONAL ITEM REVIEW CBT BIDAN GELOMBANG 2 Komponen 2- Health Professional Education Quality (HPEQ Project) Hotel Atlet Century Park Jakarta, 19-20 Juni 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan WORKSHOP KOMPONEN 2 JUNI 2012 Page 1
1. Pendahuluan Dengan diterbitkannya Permenkes tentang registrasi tenaga kesehatan, maka Uji kompetensi akan segera diberlakukan mulai tahun 2013 bagi setiap calon tenaga kesehatan sebelum memasuki dunia kerja. Uji kompetensi tersebut akan dilakukan secara nasional. Untuk mempersiapkan setiap calon tenaga kesehatan menghadapi Uji kompetensi tersebut institusipendidikan perlu mempersiapkan dan menjamin setiap lulusannya mampu bekerja sesuai dengan kompetensinya. Salah satu upaya yang dapat dilakukan adalah meningkatkan mutu pendidikan melalui peningkatan sistem ujian yang terstandar. Upaya peningkatan sistem ujian pada pendidikan tenaga kesehatan khususnya bidan yang menjadi salah satu fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Untuk itu melalui proyek HPEQ telah dilakukanbeberapa kali pelatihan Item Development dan telah terkumpul sejumlah soal yang dapat menunjang pelaksanaan Uji kompetensi yang akan dilaksanakan pada tahun 2013. Dalam persiapan ujian CBT ini diperlukan soal yang kredibel, melalui satu proses pembuatan soal sesuai dengan kaidah dan standar. Soal yang telah dibuat harus ditelaah apakah merupakan kompetensi esensial dalam pekerjaan dan struktur soal terstandar dengan baik serta merujuk kepada standar kompetensi yang ada. Untuk Itu soal yang sudah terkumpul perlu direview untuk menghasilkan soal yang berkualitas dan sesuai dengan tujuan uji kompetensi. 2. Tujuan a. Terkumpulnya 400 soal yang memenuhi syarat untuk digunakan sebagai soal uji kompetensi nasional b. Terbentuknya tim item reviewer tingkat nasional 3. Output Workshop a. 400 soal yang memenuhi syarat untuk digunakan sebagai ujian yang bersifat nasional b. Tim item reviewer tingkat nasional 4. Metode Pelaksanaan Workshop Workshop nasional item review CBT bidan gelombang 2 ini dilaksanakan pada tanggal 19-20 Juni 2012 di Hotel Atlet Century Park, Jakarta. Workshop dilakukan dengan metode diskusi kelompok kecil (8 kelompok) yang terdiri dari 3-4 orang untuk mereview WORKSHOP KOMPONEN 2 JUNI 2012 Page 2
soal soal, setelah sebelumnya dilakukan pengarahan oleh ketua AIPKIND, ibu Jumiarni Ilyas, dan LO Bidan Komponen 2 yaitu ibu Yetty L Irawan. Dibawah ini susunan acara kegiatan item review dalam kondisi riil: 14.45 15.00 Pembukaan dan Pengarahan 15.15 18.00 Item Review (8 kelompok) Selasa, 19 Juni 2012 Ketua AIPKIND dan LO Komponen 2 18.00 19.00 ISHOMA Panitia 19.00 22.15 Item Review (8 kelompok) 08.00 12.00 Item Review (8 kelompok) Rabu, 20 Juni 2012 12.00 12.15 Wrap Up dan rencana tindak lanjut Ketua AIPKIND 5. Peserta Peserta item review CBT bidan kali ini terdiri dari 29 orang item reviewer yang didampingi oleh ketua AIPKIND, 1 orang LO Komponen 2, 1 orang perwakilan IBI, dan 1 orang sekretariat AIPKIND. Dari total 33 undangan, hanya 1 orang yang tidak dapat hadir yaitu Ibu Dewi Purwaningsih (LO Komponen 2) sedangkan seluruh item reviewer dapat hadir atau digantikan (participation rate 94%). Selain itu, terdapat 1 orang peserta tambahan yaitu sekretariat AIPKIND untuk membantu kelancaran acara dan untuk membantu pendaftaran uji coba CBT bidan. Berikut adalah daftar peserta yang dapat hadir: No Nama Institusi Tlp Email 1 Adriana P STIKES sari Mulia 085280209489 adrimkia@yahoo.co.id 2 Lisma Evarany Prodi Keb Bukittinggi Poltekkes Padang 082116038327 lismaevareny@yahoo.com 3 OD Sariningsih STIKES Immanuel Bandung 081573252255 odsari@yahoo.co.id 4 Rika Nurhasanah STIKES Bhakti Kencana 08122234877 rika_dot@yahoo.com.au 5 Siti Nur Endah STIKES A Yani Cimahi 08122191980 siti_nurendah@yahoo.com 6 Huda Hanum Poltekkes Padang 08126755752 huda_hanum@yahoo.co.id 7 Sunesni STIKES Mercu Bakti Jaya 085263234660 nesni_haifi@yahoo.co.id 8 Mariana Theresiana T STIK Sint Carolus 08161331574 mariana_theresia@yahoo.com 9 Elda Yusefin Jur Keb Poltekkes Padang 081321584556 yusefnielda@yahoo.co.id 10 Fatimah Prodi D3 Ken RSIJ UMJ 08158938045 fatimahagus10@yahoo.com 11 Ida Ariyanti Prodi Keb Poltekkes Semarang 08122537509 idaariyanti@yahoo.co.id 12 Rinawati Sembiring STIKES Mutiara Indonesia 085373885507 rinawatipandiaz@yahoo.com 13 Risneni R Akbid Panca Bhakti 08127214662 info@pancabhakti.ac.id 14 Dwi Izzati PSPB FK Unair 081839810044 dwiizza.dizza@gmail.com WORKSHOP KOMPONEN 2 JUNI 2012 Page 3
15 Ni Nyoman Budiani Poltekkes Denpasar 08563737097 budiani.n3@gmail.com 16 Dewi Purnamawati STIKES Kharisma Karawang 081319400463 dpw_80@yahoo.co.id 17 Syafrani Ibrahim Akbid Pelita Persada 0818171457 syafraniibrahim@yahoo.co.uk 18 Yosi Oktri STIKES Budi Luhur 085862625214 yosi.oktri@gmail.com 19 Sri Handayani Akbid Estu Utomo Boyolali 08122508352 handaeub@yahoo.co.id 20 Tri Novi S1 Kebidanan FKUB 0811303031 trinovikurnia@yahoo.co.id 21 Sulastri Poltekkes Aceh 081903169548 lastri.jurkeb@gmail.com 22 Asri Hidayat STIKES Jogjakarta 081802143393 hidayat_asri@yahoo.co.id 23 Klanting Kasiati Poltekkes Surabaya 08123095650 kasiatitaufik@gmail.com 24 Evi Hasnita STIKES Fort De Kock Bukittinggi 081363046204 evihasnita_62@yahoo.co.id 25 Nur Yaqin Akbid Minasa Upa 085299218562 nuryaqin@yahoo.co.id 26 JM Metha Poltekkes Riau 08127345657 jm_metha@yahoo.com 27 Noviyanti STIKES A Yani Cimahi 08164824824 novi_ansefto@yahoo.com 28 Utin Siti Chandrasari Poltekkes Pontianak 081522570519 sultana68@ymail.com 29 Ratna Chairani MTKI 08159898215 ratna_chairani@yahoo.com 30 Ani Kusumastuti IBI 081320385156 ani_mid@yahoo.co.id 31 Yetty L. Irawan AIPKIND 081315611155 leonyirawan@yahoo.com 32 Jumiarni Ilyas AIPKIND 0811890515 yumilyas@yahoo.com 33 Siti Mudrikah AIPKIND 081294422043 sitimudrikah18@yahoo.com 6. Hasil Kegiatan Kegiatan item review diawali dengan pengarahan dan penjelasan dari Ketua AIPKIND dan LO Komponen 2 mengenai tujuan dan target kegiatan yang harus dicapai kali ini. Untuk memaksimalkan proses review, peserta dibagi menjadi 8 kelompok kecil yang terdiri dari 3-4 orang. Adapun berdasarkan pengarahan di awal acara, setiap kelompok diharapkan dapat mereview 100 soal. Berikut adalah daftar kelompok serta output dari masingmasing kelompok. Kelompok Peserta Jumlah Soal yang Berhasil Direview Jumlah Soal yang Diterima Jumlah Soal yang Ditolak Syafrani Ibrahim 1 Mariana T.H Risneni R Rinawati Sembiring 101 45 56 Nuryaqin 2 Evi Hasnita Fatimah 70 52 28 Sri Handayani 3 Ida Ariyanti Adriana 65 41 24 4 Asri Hidayat JM Metha 85 44 41 WORKSHOP KOMPONEN 2 JUNI 2012 Page 4
5 6 7 8 Sulastri Ratna Chairani Tri Novi Sunesni Elda Lisma Evareni Endah Dewi Rika Utin SC Sari Yosi Oktri Noviyanti OD Sariningsih Klanting Kasiati Huda Hanum Ni N. Budhiani Dwi Izzaty 60 51 9 55 40 15 85 57 28 70 61 9 Berikut adalah rekapitulasi keseluruhan output workshop: NO KOMPONEN TARGET REALISASI 1. Jumlah soal CBT yang direview 800 591 2. Jumlah soal CBT yang memenuhi kriteria soal baik 800 391 3. Jumlah soal CBT yang ditolak 0 200 4. Jumlah peserta workshop 33 32 900 800 700 600 500 400 300 200 100 0 800 800 591 Jumlah soal CBT yang direview Grafik Pencapaian Target Workshop Item Review CBT Bidan Gelombang 2 Hotel Atlet Century Park, 19-20 Juni 2012 391 Jumlah soal CBT yang memenuhi kriteria baik 0 200 Jumlah soal CBT yang ditolak 33 32 Jumlah peserta workshop Target Realisasi WORKSHOP KOMPONEN 2 JUNI 2012 Page 5
Target soal CBT yang seharusnya direview dalam workshop kali ini berdasarkan TOR adalah sejumlah 400 soal. Namun berdasarkan pengarahan pada awal acara, setiap kelompok diharapkan dapat mereview 100 soal sehingga target review menjadi 800 soal. Pencapaian pada workshop kali ini cukup baik bila dibandingkan dengan target pada TOR yaitu: soal yang berhasil direview adalah sebanyak 591 soal (148% dari target TOR dan 73% dari target pengarahan), dimana 391 diantaranya diterima dengan beberapa perubahan dan revisi soal (66% dari keseluruhan soal yang direview), sisanya sebanyak 200 soal (34% dari seluruh soal yang direview) ditolak. Jumlah peserta yang hadir mencapai 97% dari total keseluruhan undangan. Dari hasil rekapitulasi ini terdapat beberapa hal yang harus diperhatikan antara lain kinerja dari item reviewer yang sudah cukup baik namun masih belum ditunjang dari segi soal yang berkualitas. Hal ini dapat dilihat dari jumlah soal yang ditolak yaitu mencapai 34% dari total keseluruhan soal yang direview. Hal ini tentunya harus menjadi perhatian tersendiri bagi institusi pembuat dan pengirim soal agar meningkatkan kualitas soal yang dikirim ke tingkat nasional. 7. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif tim monev secara umum dan juga dari peserta. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari pencapaian target output yang masih belum optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari perspektif tersebut: Gambaran Umum Workshop secara umum berjalan tepat waktu dan sesuai dengan jadwal yang terlampir pada TOR kecuali waktu pembukaan yang agak terlambat. Meskipun demikian, waktu yang tersedia selama workshop dimanfaatkan dengan baik oleh peserta dalam kelompok untuk mereview soal. Walaupun telah ditetapkan bahwa soal yang masuk merupakan soal yang telah melalui proses review di institusi namun mayoritas soal yang direview dalam workshop kali ini belum pernah direview di tingkat institusi sehingga membuat reviewer bekerja keras dan memakan waktu yang lama dalam mereview soal selain itu banyak soal yang ada menjadi tidak terpakai karena dianggap tidak layak. WORKSHOP KOMPONEN 2 JUNI 2012 Page 6
Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah : Pada tingkat institusi perlu dilakukan workshop item development dan review agar semakin banyak item writer yang berkualitas dalam menghasilkan soal yang sesuai dengan standar serta soal yang masuk ke dalam IBA merupakan soal yang telah terreview. Untuk memudahkan item review, dalam membuat soal dan soal yang dibuat sudah sesuai dengan target yang diharapkan maka setiap peserta harus lebih memahami blueprint uji kompetensi, Standar Pendidikan dan Standar Kompetensi Bidan. Peserta Hal-hal yang perlu diperhatikan dalam mereview soal sehingga dihasilkan soal yang berkualitas o Ketelitian tim o Kualifikasi reviewer o Kerjasama tim o Bahasa yang digunakan harus dapat dipahami oleh semua daerah misal istilahistilah awam o Vignette atau kasus harus lebih jelas, sistemasis, data lengkap, sebaiknya kasus nyata; data sering mengada-ada. o Soal sebaiknya telah direview di tingkat institusi o Penulisan soal diupayakan sesuai dengan kaidah penulisan soal o Rambu-rambu daftar tilik soal/ review harus diperhatikan dengan benar o Kesiapan alat dan tempat o Penguasaan materi terkait soal yang direview o Relevansi dengan kompetensi bidan di Indonesia o Struktur vignette soal yang sesuai o Update buku-buku dan program-program yang sedang berjalan Kendala yang dihadapi saat mereview soal o Vignette yang tidak berfungsi dan penggunaan bahasa yang tidak tepat o Perbedaan persepsi dalam tim baik dari segi materi maupun susunan kata o Soal yang menyimpang dari standar o Keterbatasan waktu o Panduan/ teknik review yang masih belum ditetapkan o Vignette terlalu panjang dan kompleks o Tata bahasa o Panitia dapat hadir lebih awal sehingga soal dapat didistribusikan segera o Soal belum pernah direview sebelumnya di tingkat institusi mapun regional o Masih ada soal tanpa kunci jawaban o Soal masih jauh dari sempurna o Soal tidak menggambarkan kasus nyata sengan bahasa yang berbelit WORKSHOP KOMPONEN 2 JUNI 2012 Page 7
o Harus memperbaiki kasus dan melengkapi data agar kasus lebih mudah dipahami o Sulit dalam menginterpretasikan apakah vignette atau option masuk criteria sulit, sedang atau mudah o Lupa akan konsep vignette o Soal masih sesuai dengan pedoman o Kurang soal kepemimpinan dan etiket legal Kualifikasi yang harus dimiliki oleh seorang item reviewer CBT bidan yang baik o Komitmen dalam kerahasiaan soal o Pengalaman CBT dan item development o Kompeten (pernah mengikuti pelatihan) o Jujur o Komitmen o Memahami konsep item development dan item review o Kemampuan klinik di atas 3 tahun, karena tanpa pengalaman klinik akan sulit membuat soal kasus yang baik o Menjadi dosen tetap menimal 3 tahun o Memiliki pengetahuan tambahan yang berhubungan dengan evidence based kebidanan dan ketrampilan serta teori o Pendidikan minimal S2 o Pelatihan cara mengajar o Pelatihan pendukung materi Strategi pengumpulan soal ditingkat institusi selama ini o Membiasakan tim dosen di institusi untuk membuat soal evaluasi pembelajaran mengikuti kaidah item development o Melalui workshop di tingkat regional o Masing-masing tim membuat soal lalu dikumpulkan oleh coordinator Mk o Sudah mulai aktif o Membuat soal dalam bentuk vignette setiap pelaksanaan UAS o Soal dibuat oleh coordinator dan team MA sesuai dengan soal CBT direview oleh team reviewer CBT yang telah mengikuti pelatihan diujicobakan, disimpan oleh bank soal o Dosen diwajibkan membuat soal sesuai mata kuliah yang diampu dan disesuaikan dengan blue print soal uji kompetensi dan disosialisasikan ke mahasiswa o Diseminasi tatacara item development o Masing-masing staf diberi tugas untuk pembuatan soal sesuai dengan tinjauan yang ada dan ada pembagian tugas yang bertanggung jawab mengumpulkan soal dan mereview soal o Setiap tengah semester selalu menghimbau untuk membuat soal dan mengumpulkan soal 2x dalam 1 semester o Belum terkoordinir secara baik WORKSHOP KOMPONEN 2 JUNI 2012 Page 8
o Berikan surat resmi dari AIPKIND/ HPEQ bahwa ini adalah keharusan supaya komitmen semua civitas akademik dan pemimpin institusi o Ka prodi menentukan seorang dosen sebagai pengumpul soal o Belum optimal, perlu sosialisasi berkesinambungan Konsolidasi antara item reviewer dengan item bank administrator o Belum optimal o Sistem uji kompetensi belum terbentuk sehingga konsolidasi antara reviewer dan administrator belum baik o Belum pernah ada konsolidasi antara reviewer dengan IBA o Berjalan o Hari ini tim IBA tidak ada o Duduk bersama saat review o Komunikasi dengan IBA nasinal belum baik o Harus dilakukan secara berkesinambungan dan uraian tugas yang jelas. Rencana tindak lanjut kegiatan ini di tingkat institusi o Menggunakan kaidah item development dan item review untuk evaluasi pembelajaran o Dilakukan item review o Membuat soal vignette pada setiap ujian MK (UTS, UAS) harus ada soal yang bersifat analisis kasus o Mengagalakkan dosen untuk membuat soal model vignette dan dipaparkan ke mahasiswa dalam bentuk UTS/ UAS, dll o Setiap dosen membuat soal vignette sesuai MK yang diampu o Mengumpulkan soal dari masing-masing koordinator MK o Akan dikerjakan secara rutin dan berkala o Mengadakan pelatihan item development dengan melibatkan semua dosen o Tetap diusahakan berjalan sesuai dengan tanggung jawab yang diberikan o Sosialisasi kepada seluruh dosen, mengumpulkan soal kemudian direview bersama dan diujicobakan kepada mahasiswa, direview ulang untuk dimasukkan dalam item bank o Secara periodik membuat soal untuk dapat dikirim untuk direview dengan catatan sudah dilakukan review di tingkat institusi o Sosialisasi, diseminasi mulai dari semua pengelola institusi; kendalanya: tidak cukup/ tidak ada materu/ hand out yang ditayangkan o Membentuk tim uji kompetensi item development, rev, dan bank dan dilakukan uji coba di institusi 8. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai WORKSHOP KOMPONEN 2 JUNI 2012 Page 9
bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Perlu dilakukannya pelatihan-pelatihan sejenis item development dan item review di tingkat regional/ lokal dengan fasilitator dari peserta yang telah mengikuti pelatihan di tingkat pusat. Sehingga terjadi knowledge transfer mengenai proses item review yang baik hingga ke tingkat institusi. Penggunaan format item development untuk evaluasi hasil belajar di institusi. Hal ini dapat membuat kualitas soal lebih baik serta mahasiswa akan lebih terbiasa dengan soal sejenis. Perlunya mekanisme pengumpulan item yang berjenjang dari tingkat institusi ke tingkat regional hingga ke pusat dengan penegasan setiap soal yang dikirimkan merupakan soal yang telah direview di tingkat institusi. 9. Penutup Persiapan implementasi uji kompetensi untuk profesi Bidan diharapkan dapat diupayakan dengan peningkatan kualitas dan kuantitas pembuatan soal. Dengan demikian, upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. Selain itu proses implementasi CBT akan dapat berjalan sesuai dengan yang telah direncanakan HPEQ. Lampiran Point of Discussion Workshop Database peserta Dokumentasi Kegiatan WORKSHOP KOMPONEN 2 JUNI 2012 Page 10