LAPORAN PELATIHAN NASIONAL ITEM DEVELOPMENT DAN ITEM REVIEW UJI KOMPETENSI PERAWAT DIPLOMA III Gelombang 1 Proyek HPEQ Bandung, 1-2 Juni 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan 1
I. Pendahuluan Asosiasi Institusi Pendidikan Diploma III Keperawatan (AIPDiKI) telah dilibatkan dalam kegiatan komponen 2 HPEQ. Salah satu KPI dari komponen 2 adalah peningkatan sistem ujian dengan memperbaiki metodologi dan manajemen ujian. Metode ujian yang akan digunakan pada perawat lulusan Diploma III adalah ujian tertulis dengan PBT yang nantinya ujian tertulis ini akan menggunakan dukungan teknologi berbasis komputer yang disebut dengan CBT maupun paper based test (PBT). Implementasi Permenkes 1796 mengharuskan dilakukannya uji kompetensi pada perawat lulusan Diploma III yang akan dilaksanakan pada tahun 2013. Selain itu dengan banyaknya jumlah Institusi Pendidikan Diploma III keperawatan sesuai hasil pendataan PDPT Dikti tahun 2011 sebanyak 498 Institusi yang tersebar di 11 regional, perlu pengelolaan pembuatan dan review soal dengan melakukan pemberdayaan institusi dalam menyiapkan soal-soal uji sesuai kriteria pembuatan soal yang baik. Soal-soal yang telah disiapkan oleh institusi selanjutnya akan dikumpulkan melalui regional yang pada akhirnya soal-soal ini akan dibawa ke tingkat nasional untuk dilakukan review dan diputuskan oleh panel expert. Agar mekanisme dalam membuat soal uji yang baik ini terlaksana, perlu dipersiapkan SDM yang dapat memfasilitasi seluruh rangkaian proses ini. Dengan jumlah Institusi Pendidikan Diploma III Keperawatan yang cukup banyak dan tersebar di 11 regional, perlu disiapkan fasilitator dengan jumlah yang cukup dan kemampuan yang memadai sehingga untuk workshop item development selanjutnya dapat dilakukan oleh tim fasilitator yang terbentuk ini. Pada akhirnya persiapan uji kompetensi bagi Diploma III keperawatan dapat terlaksana dan upaya mempercepat pencapaian KPI komponen 2 dapat terwujud. 2
II. Tujuan Adapun tujuan dari workshop ini adalah untuk menyiapkan fasilitator yang dapat memfasilitasi item development sesuai kriteria pembuatan soal yang baik. III. Output Workshop Output dari workshop ini diharapkan dapat menyiapkan fasilitator yang mampu memfasilitasi item development sesuai kriteria pembuatan soal yang baik. IV. Metode Pelaksanaan Workshop Workshop nasional item development ini dilaksanakan pada tanggal 1-2 Juni 2012 di Hotel Novotel, Bandung. Jumlah peserta workshop adalah 46peserta yang terdiri dari 40 perwakilan institusi pendidikan, 5orang fasilitator dan 1 orang LO komponen untuk perawat D III. Participation rate peserta workshop ini sangat baik yaitu sebesar 100%. Pada saat workshop, setelah mendapat paparan terkait blue print pembuatan soal perawat D III dan dan prinsip-prinsip dasar item development dari narasumber. Kemudian setelah mendapatkan pelatihan terkait item development dan item review peserta dibagi menjadi 5 kelompok kecil untuk mempermudah proses diskusi dan latihan pembuatan dan review soal berdasarkan prinsip-prinsip dan blue print pembuatan soal. Dalam proses pembuatan dan review soal, setiap kelompok dipandu oleh fasilitator yang berasal dari profesi perawat dan ekspertis dari bidang kedokteran yaitu, I Made Kariasa, Tuti Herawati, Moh. Ghazali, Sari Puspa Dewi, dan Yuni S. Pratiwi. Setelah proses diskusi dan latihan di tiap-tiap kelompok selesai, setiap kelompok mempresentasikan hasil yang disepakati untuk kemudian ditanggapi oleh peserta dari kelompok lain. 3
V. Hasil Kegiatan Workshop ini diawali dengan pengarahan dan penjelasan mengenai item development uji kompetensi perawat diploma III dan tujuan dari workshop oleh Yupi Supartini (AIPDiKI). Kemudian dilanjutkan dengan perkenalan peserta workshop dan sharing experience peserta dalam item development sebelumnya. Sebagain besar peserta yang hadir ternyata belum pernah mengikuti workshop item development dan review uji kompetensi sehingga pemahaman konsep tentang item development masih kurang. Namun terdapat beberapa peserta yang menagatakan sudah siap melakukan diseminasi berdasarkan workshop yang pernah diikuti sebelumnya. Kemudian kegiatan dilanjutkan dengan paparan blue print uji kompetensi perawat dan template soal. Presentasi mengenai blue print uji kompetensi perawat dan template soal dilakukan oleh Narasumber, I Made Kariasa. Selain itu juga disampaikan materi tentang prinsip-prinsip pelatihan item development dan item review oleh Moh.Ghazali. Dalam TOR yang dikirimkan ke peserta, setiap peserta diminta untuk mengirimkan atau mengumpulkan 10 soal kepada LO kegiatan dan diharapkan selama proses workshop berlangsung dapat diperoleh soal-soal yang berkualitas baik dari masing-masing peserta. Namun tidak ada rekapitulasi soal-soal yang telah dikirim atau dikumpulkan oleh peserta dan pada pelaksanaan tidak ada proses review terhadap soal yang telah dibuat dan dikirimkan peserta sebelum kegiatan. Proses diskusi dilaksanakan dengan membagi peserta menjadi lima kelompok kecil Diskusi dimulai dengan pelatihan pembuatan soal secara bersama-sama di tiap kelompok kecil yang dipandu oleh fasilitator. Pada tahap pembuatan soal, fasilitator mengingatkan kembali agar dalam pembuatan soal para peserta mengikuti ketujuh tinjauan yang ada dalam blue print dan template soal. Pemahaman konsep terkait item development dan template soal yang sesuai blue print pada peserta masih kurang sehingga peran fasilitator sangat diperlukan untuk mengarahkan peserta. Adanya perbedaan persepsi dan pemahaman konsep yang masih kurang menyebabkan jumlah contoh soal yang dihasilkan dari proses diskusi dan latihan di tiap kelompok tidak sama. Peserta tampak antusias selama proses diskusi berlangsung. 4
Analisa yang dilakukan terhadap item writer(peserta) adalah masih ada item writer yang membuat soal bukan pada bidang keilmuannya. Sebaiknya item writer dibagi ke dalam kelompok berdasarkan bidang keilmuan sehingga dalam keilmuan tersebut. benar-benar memiliki spesialisasi Pada hari selanjutnya proses diskusi masih dibagi ke dalam lima kelompok kecil. Pembahasan terkait dengan penyusunan modul pelatihan item development. Kelompok 1 melakukan pembahasan terkait vignette, lead in, dan penyamaan istilah setting. Kelompok 2 melakukan pembahasan terkait item review, dengan melakukan review terhadap soal yang kurang berkualitas dan melakukan pembenaran. Sedangkan kelompok 3, 4, dan 5 melakukan pembahasan dan pelatihan terkait item development dengan melanjutkan pembuatan soal yang berkualitas. Kemudian kelompok 1 dan 2 melakukan presentasi dari hasil diskusi yang didapatkan. Analisa yang dilakukan terhadap penyusunan modul item development adalah perlu adanya pemahaman konsep yang baik oleh item writer dan item reviewer soal yang sesuai dengan blue print (tujuh tinjauan) sehingga mampu menghasilkan soal yang berkualitas yang dapat digunakan dalam uji kompetensi. Proses diskusi harus dapat menyamakan persepsi dari seluruh peserta. Terkait penyamaan istilah setting atau terminolgi yang digunakan dalam soal sebaiknya mengacu pada Kamus Besar Bahasa Indonesia. Output dari workshop dapat tercapai yaitu terbentuknya fasilitator item developmentdan item review yang siap melakukan capacity building atau pelatihan di tingkat wilayahnya dengan berbagai tahap yang akan dilakukan setelah kembali ke institusi. Output selanjutnya terbentuk tim perumus untuk menyusun modul item development dan item review yang akan digunakan secara nasional. 5
Workshop item development dan item review bertujuan untuk menghasilkan soal-soal yang berkualitas setelah dilakukan review terhadap soal oleh peserta dan fasilitator sesuai target pencapaian. Analisa terhadap output dan workshop kali ini jumlah soal yang dihasilkan belum menjadi fokus utama karena output yang diharapkan pada workshop ini adalah untuk menghasilkan fasilitator yang dapat memfasilitasi peserta pada workshop item development selanjutnya. Workshop kali ini lebih mengarah pada pelatihan item development dan item review kepada peserta karena masing-masing kelompok diskusi dan peserta masih dalam tahap belajar atau latihan sebagai item writer, belum ada target pencapaian soal yang harus dihasilkan. Diagram Jumlah Institusi, Jumlah Peserta danjumlah Fasilitator Workshop 45 40 35 30 25 20 15 10 5 0 Jumlah Institusi Jumlah Peserta Jumlah Fasilitator Target Realisasi Walaupun terdapat satu peserta yang tidak hadir di hari pertama, namun pada hari kedua peserta tesebut digantikan oleh rekannya dari institusi yang sama.analisa yang dilakukan terhadap jumlah item writer yang berpartisipasi dan jumlah institusi yang berkontribusi sudah sesuai target yang diharapkan. Sosialisasi juga sebaiknya dilakukan secara bertahap agar peserta yang belum mendapatkan informasi bisa mendapatkan informasi tersebut sesegera mungkin. 6
VI. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja peserta dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Secara umum kegiatan berlangsung lancar dan tepat waktu, walaupun pada saat memulai acara terdapat beberapa peserta yang datang terlambat karena peserta tersebut berasal dari tempat yang jauh. Presentasi peserta yang hadir pada acara ini baik, karena walaupun terdapat peserta yang datang terlambat, peserta yang tidak hadir juga mengirimkan perwakilannya sebagai pengganti. Sebagian besar dari total peserta belum mengikuti pelatihan item development. Pembagian kelompok dilakukan dengan memperhatikan distribusi wilayah asal peserta yang hadir agar modul yang disusun dapat digunakan pada tahap nasional karena setiap perwakilan daerah turut dalam melakukan revisi. Diskusi berlangsung hangat dan aktif, materi yang diberikan oleh fasilitator tidak hanya berupa presentasi namun menggali hambatan atau materi yang belum dikuasai oleh peserta. Peran fasilitator sangat penting dalam proses pembuatan soal dan review soal. Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah : Metode pelaksanaan diskusi, dimana peserta tidak dibagi ke dalam kelompokkelompok dengan bidang keilmuan yang sama sehingga dalam proses pembuatan soal terkait bidang keperawatan tertentu, peserta di tiap kelompok tidak memiliki kapabilitas yang sama pada bidang tersebut. Diharapkan peserta sudah mendapatkan materi atau referensi yang representatif 7
sebelum mengikuti pelaksanaan workshop untuk dipelajari sehingga peserta akan semakin tune in dengan materi dan tujuan workshop setelah diberikan penjelasan oleh narasumber. Soal-soal yang telah dikirimkan peserta perlu direkapitulasi dan direview sehingga dapat dianalisis sejauh mana kemampuan peserta dalam membuat soal dan dapat merevisi bagian yang belum sesuai dengan ketentuan pembuatan soal yang baik. Dalam workshop item development dan item review perlu ada target pencapain soal yang telah direview dimana soal yang berkualitas akan disubmit ke item bank. Maka untuk kegiatan workshop selanjutnya luaran yang akan dicapai tidak hanya menghasilkan fasilitator tetapi juga perlu ada target pencapaian jumlah soal yang akan dihasilkan. Kegiatan workshop perlu dilakukan beberapa tahap untuk memenuhi kebutuhan jumlah dosen yang belum terlatih menggunakan vignette dan template dalam membuat soal, mengingat jumlah institusi yang banyak maka dalam memilih institusi perlu memperhatikan distribusi institusi yang pernah dilatih untuk pemerataan pada setiap wilayah. Fasilitator Fasilitator aktif dalam membimbing dan menjawab setiap pertanyaan peserta dengan baik Saran : diharapkan kepada seluruh peserta memiliki komitmen yang kuat dalam pembuatan dan pengembangan soal uji kompetensi spesifik bagi perawat Diploma III sehingga proses yang sudah berjalan dan tujuan bisa tercapai. Peserta Hubungan antara pengalaman klinik dengan kualitas soal yang dibuat item writer. Seluruh peserta menyatakan bahwa terdapat hubungan antara pengalaman klinik dengan kualitas yang dibuat, pengalaman klinik menjadi prior knowledge untuk membuat soal pada tingkat aplikasi dan pengalaman klinik yang dimiliki 8
dapat memberikan tambahan variasi dalam pembuatan vignette dan memudahkan dalam menuangkan kasus dalam setting soal yang sesuai dengan kondisi riil di lapangan. Hal-hal yang menjadi kunci keberhasilan dalam membuat soal yang berkualitas. o Adanya standar kompetensi yang ditetapkan yang dapat menjadi acuan untuk pembuatan soal. o Adanya pelatihan, diskusi, kerja kelompok, dan telaah bersama dalam membuat soal uji kompetensi o Pengalaman praktek klinik dan lapangan serta penguasaan konsep bidang keilmuanyang terkait. o Penguasaan materi dan pemahaman blue print serta konsep yang adekuat. o Pemahaman terkait kaidah penulisan yang baik serta memiliki wawasan atau referensi yang cukup. o Adanya materi cara pembuatan soal, blue print yang sudah jelas dan template soal yang baik o Kualifikasi peserta maupun fasilitator: motivasi, ketelitian, kemampuan, penguasaan konsep keilmuan serta kemampuan critical thinking,konsentrasi,dan komitmen dalam pembuatan soal Kendala yang dihadapi dalam menyusun soal uji kompetensi perawat DIII. o Belum ada fokus yang dipakai sebagai pedoman penyusunan soal, materimateri dan literature masih terbatas o Pemahaman blue print yang belum mendalam untuk dapat diinternalisasi dalam upaya pencapaian standar kompetensi lulusan o Penggunaan istilah kalimat yang baik sehingga tidak menjebak dan menghasilkan soal yang baik o Belum jelasnya kompetensi dan kurikulum perawat DIII serta adanya perbedaan persepsi antara pembuat soal o Kesulitan dalam menuangkan soal-soal yang terkait tinjauan implementasi 9
o Panduan yang belum tersosialisasi dengan jelas dan aturan-aturan penulisan soal yang belum terinternalisasi dalam pembuatan soal sebelumnya o Belum terlihat adanya perbedaan kompetensi antara perawat S1 dan DIII o Kurangnya pelatihan yang menyeluruh bagi setiap dosen Key success factor dalam pengembangan soal uji kompetensi perawat DIII? o Adanya narasumber dan kerjasama yang baik serta antusias peserta dalam diskusi o Expand knowledge, mampu terbuka dalam menerima masukan, dantajam dalam menganalisa soal yang telah dibuat. o Memperkaya materi dan latihan dalam membuat soal yang berkualitas o Adanya persamaan persepsi dan tujuan o Ketekunan, kerjasama, integritas, dan komitmen yang kuat untuk melatih dan mengembangkan soal o Organisasi yang solid dari AIPDiKI, blue print yang jelas terhadap dosen pengajar MA serta pelatihan yang berkelanjutan Kendala yang mungkin dihadapi sebagai Item Writerdan Item reviewer soal uji kompetensi perawat DIII. o Adanya perbedaan pendapat antara pembuat soal (item writer) o Permaknaan kaidah dan aturan pembuatan soal perlu ditelaah kembali o Masih sulit dalam memahami kesamaan persepsi o Kesulitan dalam mentransmisikan pemahaman kepada rekan-rekan sehingga diperoleh visi dan misi yang sama o Waktu yang tersedia dan pemahaman untuk pengembangan materi saat ini masih terbatas o Adanya variasi kelompok keilmuan sehingga perlu mereview pada peer group tersendiri dengan bidang kelimuan yang sama o Belum semua institusi siap dengan mekanisme dan prosedural menghadapi uji kompetensi 10
o Masih belum ada kesepahaman dalam menyusun soal yang berkualitas di Indonesia Kendala yang dihadapi dalam penyusunan modul pelatihan item development o Kesiapan peserta terkait konsep pembuatan soal yang baik masih kurang, serta perbedaan dalam penggunaan istilah medis dan keperawatan o Masih adanya perbedaan persepsi dalam pembuatan soal o Terdapat tantangan untuk menghasilkan modul yang kreatif, kendala mungkin belum adanya rujukan bidang keperawatan o Waktu yang terbatas dalam penyusunan modul dan pelatihan o Penyamaan bahasa dan contoh-contoh yang sesuai dengan blue print o Belum tersosialisasi dengan baik pedoman penulisan modul Kesiapan menjadi fasilitator pada pelatihan item review setelah mengikuti workshop. o Perlu adanya pelatihan internal sebelum menjadi fasilitator o Siap untuk sharing kepada teman-teman dalam pencapaian tujuan, visi dan misi bersama sehingga menghasilkan lulusan dalam kualitas yang sama. o Menyiapkan diri setelah pelatihan ini dengan membaca dan memahami kembali materi yang telah disampaikan serta melakukan latihan terus menerus o Siap mempelajari modul pelatihan dan belajar mereview soal dan memuat soal yang benar sesuai petunjuk atau kaidah o Belajar dan berlatih mengembangkan soal serta memperdalam konten keilmuan sehingga kapabilitas diri akan meningkat o Semakin siap dengan adanya masukan oleh narasumber dan latihan membuat soal serta item review. Rencana untuk diseminasi kegiatan ini di institusi 11
o Mensosialisasikan hasil kegiatan pada seluruh dosen, melakukan pelatihan item development, dan menyepakati untuk uji akhir mahasiswa dengan menggunakan soal berdasarkan item development o Desiminasi hasil pertemuan kepada seluruh staf dosen dan mengembangkan soal diinstitusi sesuai blue print o Berkoordinasi dengan pengurus AIPDiKI regional untuk mengadakan item developmentdan item review di tingkat regional o Setiap 3 bulan akan dilakukan pelatihan staf di institusi dalam kaitannya dengan pembuatan soal UTS/UAS sebagai latihan dosen atau pengajar membuat soal uji kompetensi Saran perbaikanuntuk kegiatan workshop o Materi item developmentdan item review perlu disampaikan dengan waktu yang o Untuk mendapatkan pemahaman yang lebih baik disarankan waktu pelatihan menjadi lebih dari dua hari o Sebaiknya output disampaikan sejak awal, kontrak dalam undangan disampaikan sehingga peserta siap dalam pembuatan soal sesuai blue print dantarget output pelatihan tercapai secara optimal o Perbanyak waktu untuk item review dan modul pelatihan ataupun materi sebaiknya dikirim terlebih dahulu sehingga peserta akan mempersiapkan soal sesuai dengan modul yang ada. o Perlu adanya suatu prosedur tetap dan jelas dalam acara workshop ini. VII. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshopbeberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Tim perumus yang sudah terbentuk selanjutnya akan menyusun modul item development dan item review untuk uji kompetensi perawat Diploma III. 12
Koordinator ujian dan manajemen ujian di tingkat pusat akan dibentuk yang selanjutnya dibentuk di tingkat regional. Setiap koordinator di tingkat regional (11 regional) akan dibantu oleh penanggung jawab dengan perbandingan penanggung jawab dan jumlah institusi adalah 1 : 10-15. Setiap koordinator ujian bertugas untuk mensosialisasikan dan mendorong pelaksanaan pelatihan item development di institusi dan diharapkan ada percepatan pembuatan soal-soal yang sesuai dengan kaidah yang telah ditetapkan sesuai blue print. Masing-masing peserta workshop pelatihanakan melakukan sosialisasi materi hasil pelatihan ke institusinya masing-masing. Pada pelatihanitem development selanjutnya, fasilitator yang ditunjuk adalah beberapa peserta yang telah mengikuti workshop item development dan review ini. VI. Penutup Kegiatan ini merupakan upaya untuk meningkatkan kuantitas dan kualitas pembuatan soal terutama tingkat Institusi.Untuk itu diharapkan peserta ToT item development yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional atau institusi.dengan demikian upaya percepatan pembuatan soal yang berkualitas dapat terwujud dan memiliki dampak yang lebih bermakna. Jakarta, 5 Juni 2012 Asisten Monev, Denda Miftahul Huda 13
2012