HPEQ KOMPONEN II KEMENDIKBUD TIM UJI KOMPETESI NERS LAPORAN TRY OUT UJI KOMPETENSI NERS 2012

Transkripsi

1 2012 HPEQ KOMPONEN II KEMENDIKBUD TIM UJI KOMPETESI NERS LAPORAN TRY OUT UJI KOMPETENSI NERS 2012

2 BAGIAN I MANAJEMEN UJIAN Pada bagian ini, laporan evaluasi memaparkan mengenai evaluasi pra ujian dan pelaksanaan ujian dari manejemen ujian. Evaluasi pra ujian meliputi : Kepesertaan, Metoda Ujian dan Lokasi Ujian, Kesiapan CBT, Ruang Briefing dan fasilitas Penunjang, Briefing Pengawas Pusat. Sedangkan evaluasi brefing peserta dan pelaksanaan ujian. pelaksanaan ujian meliputi : evaluasi 1.1 Evaluasi Pra Ujian : Kepesertaan Evaluasi pra ujian terkait kepesertaan meliputi : jumlah institusi teregistrasi, jumlah peserta teregistrasi, jumlah peserta terverifikasi, jumlah peserta tervalidasi dan target waktu yang ditetap dalam registrasi. Tabel 1.1 Jumlah Target dan Realiasi Peserta yang Melakukan Registrasi No Registrasi Target Realisasi Keterangan 1 Jumlah institusi teregistrasi Realiasi institusi tidak mencapai target kemungkinan karena perhatian kurang dari institusi atau karena informasi tidak sampai 2 Jumlah peserta teregistrasi Ada beberapa data dari institusi tidak sesuai dengan format 3 Jumlah peserta terverifikasi Jumlah peserta tervalidasi Valiadai tidak dapat dilakukan karena waktu sangat sempit. 5. Waktu melakukan registrasi 1 bulan 1 bulan 2 mg Registasi terhambat karena ada libur lebaran. 6. Waktu verifikasi 7 hari 7 hari 7. Waktu memvalidasi - - Tidak dapat dilakukan 8. Waktu penetapan peserta final H-14 H-5 Bentuk data sangat beragam Page 2 of 37

3 Tabel 1.2 : Masalah dan Solusi dalam Registrasi Peserta No Masalah Solusi 1 Petunjuk/pedoman /format pendaftaran yang di kirim ke institusi/regional tidak lengkap Format yang di gunakan sebagai pendaftaran tidak sesuai dengan format yang ada pada aplikasi 2 Waktu pendaftaran ke regional dan dari regional ke pusat tidak di tepati, karena berbagai hal, terutama libur ramadhan dan lebaran. 3 Panitia pusat masih menerima kiriman data via dari institusi-institusi di masing-masing regional, tidak melalui sub regional atau double. 4 Masih ada pengiriman data pendaftar yang belum/tidak sesuai dengan format yang disediakan, termasuk file foto dan format foto (jpeg: 600x800 fixel) 5 Pemakaian pribadi menyulitkan identifikasi data, mengingat TO yang masuk akan tercampur lainnya Petunjuk/pedoman pendaftaran disusun/dirumuskan secara komprehensif, baru kemudian di kirim/di ke regional. Pengiriman petunjuk/pedoman pendaftaran hanya satu sumber Format yang di kirim sama dengan data yg sesuai dengan aplikasi Tanggal pendaftaran ke regional dan dari regional ke pusat hendaknya di tepati. Pendaftaran di luar jadwal tersebut, dinyatakan tidak diterima. Institusi hanya boleh mengirimkan data ke regional/sub regional. Panitia pusat tidak menerima data dari institusi, tetapi dari regional/sub regional. Berikan petunjuk pengisian data ke dalam format pendaftaran, termasuk cara melakukan edit foto agar sesuai dengan yang diinginkan (jpeg: 600x800 fixel) Kembalikan data pendaftar, jika ada yang tidak sesuai dengan format dan ketentuan yang diinginkan. Pada tiap kolom yang ada dalam form pendaftaran peserta di beri insert comment Data yang di kirim ke pusat adalah data bersih dari regional Perlu dibuat tersendiri yang khusus di buat untuk keperluan pendaftaran TO 6 Format pendaftaran berubah-ubah Format dikembangkan oleh tim IT dan didesign sedemikian rupa sehingga pengetikan data (termasuk hurup besar/kecil) hanya akan terbaca sesuai yang diinginkan 7 Respon institusi pengirim peserta try out sangat lamban Perlu sosialisasi yang lebih intensif melalui jejaring AIPNI dan organisasi profesi PPNI dan MTKP masing-masing daerah Page 3 of 37

4 1.1.1 Lesson Learn dalam Kegiatan Registrasi a. Pentingnya koordinasi antara regional dan sub regional serta panitia pusat dalam proses registrasi, verifikasi dan validasi b. Pentingnya melibatkan MTKP dan PPNI propinsi serta AIPNI regional dalam proses try out c. Perlu disusun lebih teknis SOP registrasi, verifikasi dan validasi d. Sistem registrasi dilakukan secara on line Rencana Tindak Lanjut a. Registrasi Peserta 1. Pemberitahuan registrasi kepada seluruh institusi peserta dilakukan 3 bulan sebelum hari H (format data peserta dilampirkan). 2. Registrasi dilakukan oleh AIPNI regional (AIPNI regional akan disesuaikan dengan MTKP regional). 3. Registrasi di AIPNI regional dilakukan 2 minggu setelah pemberitahuan registrasi. 4. Masing-masing regional mengirim data jumlah peserta dan institusi pengirim (sesuai format yang berlaku (format sedang dibuat]). 5. AIPNI regional melakukan kompilasi dan verifikasi data peserta dari seluruh institusi regional. 6. AIPNI regional melakukan validasi ke institusi pengirim peserta, sehingga data menjadi sangat valid dan pasti tidak berubah lagi. 7. Data peserta yang telah sangat valid dari seluruh regional dikirim ke ke Panitia Pusat. 8. Proses dari no 4 s.d. 7 diselesaikan dalam waktu 2 minggu. 9. Bagi peserta yang terlambat mendaftar dalam periode ini, akan dimasukan dalam periode selanjutnya. b. Verifikasi Peserta 1. Verifikasi dilakukan oleh pengelola regional dengan memastikan kesesuaian data antara lain nama institusi, jumlah peserta, dan kelengkapan data lainnya (sesuai format). 2. Jika terdapat data yang kurang/tidak sesuai agar langsung di sampaikan kepada institusi pengirim. 3. Institusi pengirim diminta untuk merevisi dan melengkapi data-data yang tidak sesuai atau menambahkan data, untuk selanjutnya dikembalikan ke pengelola regional. 4. Setelah data dilengkapi dan dinyatakan benar dan sesuai oleh institusi pengirim, data tersebut di kirim kembali ke pengelola regional. 5. Pengelola regional memverifikasi ulang Page 4 of 37

5 c. Validasi Peserta 1. Setelah verifikasi data, proses validasi dilakukan oleh penanggung jawab regional dibantu sub regional. 2. Data yang sudah diverifikasi dibuat dalam dua bentuk data: a. Data per institusi yang akan divalidasi oleh pimpinan institusi dan regional dibantu sub regional b. Data rekapitulasi yang akan divalidasi oleh regional dan MTKP lingkup regional bersangkutan c. Validasi ini dibuat dalam bentuk berita acara yang ditanda tangani stake holder yang bersangkutan 3. Data hasil validasi dikirim ke penanggung jawab pusat. 4. Waktu validasi maksimal 6 hari kerja 1.2. Evaluasi Pra Ujian: Evaluasi Metode Ujian dan Lokasi ujian Metode Ujian Semua kegiatan try out UKNI menggunakan metode CBT (Computer Based Test). Hal ini sesuai dengan yang direncanakan dan berlangsung di 17 CBT center Lokasi Ujian Perencanaan lokasi ujian ditetapkan 2 bulan sebelum pelaksanaan ujian dengan mengidentifikasi CBT center fakultas kedokteran dan kapaitas per CBT. Setelah jumlah peserta tergistrasi melalui koordinasi dengan penganggung jawab regional dilakukan pemetaan CBT center yang digunakan beserta kapasitasnya. Penetapan final CBT dan peserta per-cbt dilakukan 2 minggu sebelum ujian. Pemberitahuan ke penanggung jawab lokasi ujian (Koordinator CBT) secara informal dilakukan oleh penanggung jawab regional Ners di wilayah tersebut. Adapun pengiriman surat ke CBT Center dilakukan seminggu sebelum pelaksanaan ujian oleh HPEQ Komponen 2 Ners. Lokasi ujian yang digunakan menggunakan 17 CBT Center kedokteran. Setelah di tentukan CBT center yang digunakan panitia pusat menentukan pengawas pusat serta pengawas lokal melalui koordinasi dengan penanggung jawab regional. Page 5 of 37

6 TABEL Terdaftar 1.3 Penentuan CBT dan Jumlah Pengawas Berdasarkan Jumlah Peserta dan Instansi No CBT KOTA Institusi yg Terlibat Jumlah Peserta Ujian dalam Daftar Hadir Jumlah Pengawas Pusat Jumlah pengawas lokal 1. UNSYIAH BANDA ACEH USU MEDAN UNAND PADANG UNBRAH PADANG YARSI JAKARTA UNPAD BANDUNG UNJANI BANDUNG UMY YOGYAKARTA UGM YOGYAKARTA UNISSULA SEMARANG UNDIP SEMARANG UWKS SURABAYA UMM MALANG UB MALANG UNUD DENPASAR UNLAM BANJARMASIN UNHAS MAKASAR Masalah Pada Penentuan Lokasi Ujian Dalam penentuan lokasi ujian perinstansi ada satu instansi yang mendapatkan lokasi ujian dengan jarak cukup jauh. Hal ini kemungkinan karena tidak dilakukan validasi panitia pusat ke penanggung jawab regional baik peserta maupun jarak instansi peserta tersebut Solusi dan Rencana Tindak Lanjut 1) Perlunya validasi lokasi ujian dari panitia pusat ke penanggung jawab regional untuk memastikan jarak lokasi ujian dekat dengan instansi. 2) Dalam menetapkan lokasi ujian dengan registrasi online dapat diketahui dari alternatif kota instansi itu berada Page 6 of 37

7 1.3. Evaluasi Pra Ujian : Kesiapan CBT, Ruang Briefing dan Fasilitas Penunjang Tabel 1.4 : Jumlah Peserta Ujian dan Panitia Lokal Ujian No CBT Peserta Briefing Peserta Ujian yg Hadir Peserta Ujian yg Tidak Hadir Jumlah Koordinator CBT Jumlah IT Lokal Jumlah Petugas Pendukung 1. UNSYIAH USU UNAND UNBRAH YARSI UNPAD UNJANI UMY UGM UNISSULA UNDIP UWKS UMM UB UNUD UNLAM UNHAS TABEL 1.5 : Kesiapan Workstation, Ruang Briefing Dan Fasilitas Penunjang Di 17 CBT Center KESIAPAN WS CBT No JUMLAH JUMLAH WS RUANG BRIEFING FASILITAS PENUNJANG WS YANG YANG JARAK WS ADA DIGUNAKAN 1. UNSYIAH BAIK BAIK Loker tempat tas belum tersedia, pengumuman WS belum siap pada H-1 2. USU BAIK BAIK BAIK 3. UNAND BAIK BAIK BAIK BAIK Toilet belum besih 4. UNBRAH BAIK Kesiapan ruang briefing terlambat dari waktu yang disepakati 5. YARSI Jarak ws terlalu padat di lt3 6. UNPAD Jarak ws terlalu padat BAIK Loker hanya berjumlah 50, belum sesuai jumlah peserta 100 Oorang Pengumuman pembagian ruangan dan WS belum siap pada H-1 7. UNJANI BAIK Tempat penyimpanan tas BAIK BAIK Page 7 of 37

8 BAIK 8. UMY BAIK Kurang memadai daya tampung berbeda gedung dg tempat ujian, toilet kurang bersih loker tas belum ada 9. UGM BAIK BAIK BAIK 10. UNISSULA BAIK Ruang briefing di ruang ujian/cbt BAIK 11. UNDIP BAIK BAIK BAIK 12. UWKS BAIK BAIK BAIK 13. UMM BAIK BAIK BAIK 14. UB BAIK BAIK BAIK 15. UNUD BAIK BAIK BAIK 16. UNLAM BAIK BAIK Toilet kurang bersih 17. UNHAS BAIK BAIK Belum ada ruang khusus penyimpanan tas, toilet wanita dan pria digabung TABEL 1.6 : Penunjang Masalah Dan Solusi Berdasarkan Kesiapan Ws, Ruang Briefing Dan Fasilitas No Kegiatan Target Realisasi Masalah Solusi 1. KESIAPAN WS Semua CBT Center yang digunakan memenuhi jumlah workstation dan jarak Workstation sesuai dengan ketentuan. Walaupun semua workstation pada CBT center sudah memenuhi ketentuan tetapi ada beberapa CBT center mempunyai jawak WS yang terlalu padat Jarak workstation belum memenuhi standar Pelunya format evaluasi dan saran dari PP ke koordinator CBT 2. RUANG BRIEFING Semua ruang briefing pada CBT yang digunakan memadai disertai fasilitas penunjang seperti LCD dan Pengeras suara Belum semua ruang briefing di CBT Center sudah siap digunakan sesuai waktunya pada H-1 (Waktu telat digunakan untuk persiapan ruangan terlebih dahulu). Ada satu CBT menggunakan ruang Keberadaan fasilitas penunjang ruang briefing belum tepat waktu Belum seragamnya pemahaman PP tentang penggunaan ruang Perlunya ada panitia lokal ners yang membantu dalam persiapan ujian di CBT Center Kedokteran serta perlunya standar ruang briefing Page 8 of 37

9 briefing di tempat ujian briefing 3 FASILITAS PENUNJANG Fasilitas Penunjang yang digunakan seperti AC, Loker, memadai serta rambu-rambu sudah terpasang pada H-1 Ada beberapa CBT Center yang fasilitas penunjang belum siap digunakan pada H_1 keberadaan wc kotor, rambu-rambu penunjuk ruang CBT belum terpasang, serta pengumuman pembagian ruangan dan workstation belum terpasang pada H-1 Keberadaan fasilitas penunjang ujian belum terpenuhi sesuai ketentuan/standar Perlunya ada panitia lokal ners yang membantu dalam persiapan ujian di CBT Center Kedokteran 1.4. Evaluasi Persiapan Ujian : Briefing Pengawas Pusat TABEL 1.7 : Masalah dan Solusi Briefing Pengawas Pusat Berdasarkan kehadiran, Workshop, Pemahaman Tupoksi, Pembagian Perangkat Ujian, Pengecekan perangkat ujian, Penjelasan Pembagian Perangkat Ujian. No Kegiatan Target Realisasi Masalah Solusi 1 Kehadiran Semua PP dapat hadir tepat waktu 2 Workshop PP Semua PP mendapatkan pemahaman yang sama terhadap proses pelaksanaan TO CBT PP Terlambat 1 orang Ada beberapa PP pada saat pelaksanaan ujian tidak mematuhi petunjuk pelaksanaan ujian. Adanya kehadiran pengawas pusat pada saat briefing belum tepat waktu TOR workshop PP belum terstandar Materi workshop yang diperoleh PP belum terstandar dan belum sesuai tahapan-tahapan Dibuatkan standar baku toleransi keterlambatan pengawas pusat Perlu adanya SOP materi workshop PP. Perlu SOP tentang materi briefing PP ke pengawas lokal Perlu SOP tentang materi Page 9 of 37

10 3 Pemahaman Tupoksi PP Seluruh PP memahamai ketentuanketentuan dalam proses pelaksanaan TO UKNI CBT Ada beberapa PP yang melaksanakan tugasnya tidak sesuai ketentuan. contoh: cara menyegelan, cara mengisi berita acara ujian Belum ada standar evaluasi pemahaman tupoksi PP briefing PP ke peserta Dilakukan evaluasi tentang Tupoksi PP 4 Pembagian perangkat ujian 5 Pengecekan perangkat ujian Semua PP mendapatkan perangkat ujian yang lengkap PP melakukan pengecekan kelengkapan perangkat ujian PP hanya menandatangani penerimaan perangkat ujian PP secara individu melakukan pengecekan perangat ujian Belum ada berita acara penerimaan perangkat ujian dari penanggung jawab pembawa perangkat ujian ke PP. Belum adanya check list kelengkapan perangkat ujian Dibuatkan berita acara serah terima perangkat ujian. Dibuatkan lembar chek list kelengkapan perangkat ujian 6 Penjelasan pengembalia n perangkat ujian Semua PP mendapatkan penjelasan tentang proses pengembalian perangkat ujian termasuk checklist kelengkapan pengembalian perangkat ujian Semua PP tidak mendapatkan penjelasan pengembalian perangkat ujian Pengembalian perangkat ujian tidak sesuai ketentuan Perlunya penjelasan dan Sosialisasi PP tentang pengembalian perangkat ujian 1.5. Evaluasi Pelaksanaan Ujian H -1 Briefing Peserta TABEL 1.8 : Masalah dan Solusi Briefing Pengawas Peserta Berdasarkan waktu pelaksanaan briefing, Materi, Pengecekan lokasi ujian, Distribusi Kartu Peserta, Pengecekan perangkat ujian, Penjelasan Pembagian Perangkat Ujian. Page 10 of 37

11 No. Kegiatan Target Realisasi Masalah Solusi 1. Waktu pelaksana an 2. Materi Briefing dengan peserta 3. Pengecek an Lokasi Ujian 4. Distribusi kartu peserta Waktu pelaksanaan briefing dilaksanakan tepat waktu sesuai koordinasi di awal Materi briefing dengan peserta dari pengawas pusat seragam dengan media yang seragam Semua peserta di semua CBT sudah mengetahui lokasi ujiannya dan melakukan pengecekan lokasi/ruangan ujian Pada H-1 Semua kartu peserta dapat terdistribusi Semua kegiatan briefing dilakukan pada H-1 tetapi Ada beberapa CBT Waktu pelaksanaan briefing terlambat dilaksanakan terkait dengan kehadiran peserta terlambat Ada pengawas pusat yang belum menjelaskan aplikasi CBT pada H-1 pada peserta Belum semua peserta mengetahui pembagian ruangan ujian dan melakukan pengecekan lokasi ujian pada H-1 dikarenakan ada beberapa CBT center belum membagi dan memasang ramburambu atau penunjuk pada H-1 Tidak semua kartu peserta terdistribusi pada H-1 karena Keterlambatan waktu briefing dengan peserta dan pengawas lokal Belum seragamnya pemberian materi briefing oleh pengawas pusat kepada peserta dan pengawas lokal Belum semua panitia lokal ujian melaksanakan standar pelaksanaan ujian terkait penyediaan fasilitas pendukung Belum semua kartu peserta terdistribusi pada H-1 karena belum semua peserta Perlunya standar baku toleransi keterlambata n peserta dan pengawas lokal Dibuatkan daftar cheklist materi briefing pengawas pusat dengan peserta serta materi briefing dengan pengawas lokal Perlunya surat pernyataan komitmen panitia lokal ujian Perlunya standar baku persyaratan distribusi Page 11 of 37

12 sesuai ketentuan beberapa peserta di beberapa CBT tidak membawa identitas berfoto membawa id card berfoto kartu peserta Perlunya standar pengumuman kepada peserta ujian terkait persyaratan ujian 5. Laporan pelaksana an (H-1) di Lokasi Ujian Semua pengawas pusat melaporkan kegiatan (H-1) di lokasi ujian secara lengkap sesuai format yang disediakan Semua pengawas pusat membuat laporan pelaksanaan (H-1) di Lokasi Ujian sudah sesuai format Tidak ada Tidak Ada 1.6. PELAKSANAAN UJIAN TABEL 1.9 : Masalah dan Solusi Pelaksanaan Ujian Berdasarkan Pembukaan Berkas Ujian, Pembagian nomor login peserta, waktu pelaksanaan ujian, Pengisian Berita Acara Pelaksanaan, Penyegelan Tas Soal, Pengembalian Berkas Ujian No Kegiatan Target Realisasi Masalah Solusi 1 Pembukaan berkas ujian Pembukaan berkas ujian dilaksanakan sesuai ketentuan Ada CBT center pembukaan berkas ujian tidak disaksikan oleh koordinator CBTnya berhubung sedang adanya kegiatan Pembukaan berkas ujian belum sesuai ketentuan dihadiri oleh koordinator CBT Perlunya panitia lokal ners untuk persiapan menjadi koordinator CBT Ners atau Perlunya surat pernyataan kesiapan membantu penyelenggaraan ujian ners 2. Pembagian nomor login peserta Pembagian nomor login peserta dilakukan Pembagian nomor login kepada pengawas lokal Waktu yang diperlukan dalam Petugas admin persiapan ujian perlu menyusun Page 12 of 37

13 berdasarkan urutan peserta mengalami kesulitan karena disusun tidak berdasarkan nomor urut peserta pembagian nomor login peserta kurang efisien informasi login sesuai nomor urut peserta 3 Waktu pelaksanaan ujian Waktu pelaksanaan ujian dilakukan secara serentak di seluruh CBT Waktu pelaksanaan ujian di beberapa CBT dilaksanakan terlambat dikarenakan adanya kendala diprogram komputer seperti di UNJANI dan UMM - Perlunya pemahaman PP dalam pengoperasian WS serta perlunya panduan konsultasi terkait WS oleh PP 4. Pengisian Berita Acara Pelaksaaan Ujian Pengisian berita acara pelaksanaan ujian dilaporkan secara lengkap dan detil sesuai format Belum semua pengawas pusat mengisi berita acara pelaksanaan ujian secara detil dan lengkap Belum semua PP memahami cara pengisian BAP ujian Perlunya materi cara pengisian BAP ujian saat briefing PP 5. Penyegelan tas soal Melakukan penyegelan tas soal sesuai ketentuan Ada beberapa pengawas pusat melakukan penyegelan tas kurang benar. Penyegelan tas tidak memenuhi ketentuan Perlunya materi penyegalan saat briefing PP 6. Pengembalian Berkas Ujian Pengembalian berkas ujian sesuai dengan ketentuan Belum semua pengawas pusat mengembaikan berkas/barang sesuai dengan ketentuan: seperti hard disk demo, daftar absensi, informasi login Pengembalian berkas/barang belum sesuai tas/tempat yang seharusnya Perlunya penjelasan saat briefing pada PP terkait materi pengembalian berkas ujian 1.7 RENCANA TINDAK LANJUT Dari hasil kegiatan Pra Ujian dan Pelaksanaan Ujian diperlukan rencana tindak lanjut sebagai berikut : 1) Perlunya deskripsi tugas yang operasional terkait panitia ujian baik manajemen soal/divisi ujian dan manajemen ujian Page 13 of 37

14 2) Perlunya surat pernyataan kesiapan koordinator CBT, IT lokal maupun tim admin CBT center dalam dalam membantu penyelenggaraan ujian Ners atau perlunya dibentuk panitia lokal Ners yang membantu pelaksanaan ujian di Fakultas Kedokteran baik sebagai administrasi maupun IT lokal. 3) Perlunya standar baku materi workshop pengawas pusat/ penambahan daftar cheklis a. Materi saat briefing dengan peserta b. Materi saat briefing dengan pengawas lokal c. Materi tentang cara pengisian berita acara ujian baik persiapan maupun pelaksanaan ujian d. Materi tentang cara pengecekan/persiapan workstation e. Materi tentang pengembalian berkas ujian 4). Perlunya penambahan dan perbaikan panduan meliputi : a. Berita Acara pengambilan tas soal/berkas ujian oleh pengawas pusat dari penanggung jawab berkas ujian b. SOP cara penyegelan tas soal oleh pengawas pusat c. Berita acara pengembalian berkas ujian d. Memperbaiki panduan pembukaan berkas ujian terkait penambahan daftar cheklis briefing peserta dan briefing pengawas lokal Page 14 of 37

15 BAGIAN II MANAJEMEN SOAL Pengelolaan soal uji kompetensi ners pada pelaksanaan Try Out UKNI 2012 ini telah mengikuti pola pengembangan soal yang akuntabel. Proses diawali dengan kegiatan item development yang dilaksanakan melalui project HPEQ sebanyak 3 kali dengan melibatkan 111 peserta dari berbagai institusi penyelenggara ners berhasil mengumpulkan 1621 soal. Selain itu sudah terselenggara juga beberapa kali item development yang di selenggarakan oleh beberapa institusi dan saat proses item review setiap peserta di wajibkan membawa soal sebanyak 10 soal. Dari kedua proses tersebut terkumpul 764 soal. Jadi total soal yang masuk dan di review adalah 2385 soal. Soal yang terkumpul tersebut masuk ke dalam proses item review. Dari item review sebanyak 3 kali terjaring soal sebanyak 1426 soal baik (masuk pada item bank 1). Seluruh soal tersebut dilakukan panel expert sebanyak 2 kali dan menghasilkan soal sebanyak 1160 (masuk item bank 2). Soal ini kemudian dilakukan pemilihan soal sebanyak 622 soal yang dibuat dalam 4 booklet soal yang di gunakan dalam try out Berdasarkan hasil item analysis dari hasil try out, dihasilkan 292 yang dikatagorikan soal baik (masuk item bank 3). Soal-soal tersebut bersama dengan 142 soal katagori baik pada hasil try out 2011 masuk dalam item bank 3. Soal inilah yang siap dipergunakan untuk soal uji kompetensi ners tahun Alur proses manajemen soal dapat dilihat pada diagram di bawah ini. Page 15 of 37

16 ITEM WRITER (111) LOCAL ITEM BANK ADMINIST. REGIONAL ITEM BANK ADM. (1621) NATIONAL ITEM REVIEW ITEM BANK 2 (1160) PANEL EXPERT NATIONAL ITEM BANK ADM. ITEM BANK- 1 (1426) Try Out ITEM BANK 3 (292) ITEM SELECTION PROCESS QUESTION BOOK ITEM BANK Item development Hasil pencapaian UKNI Selama penyelanggaraan 3 kali item development di tahun 2012, UKNI mendapatkan 1621 soal dari 1860 soal yang ditargetkan. Proses pembuatan soal ini telah melibatkan 64 institusi pendidikan ners dari tujuh regional pendidikan Ners se Indonesia yang terdiri dari 8 institusi di Regional I, 7 institusi di regional II, 9 institusi di regional III, 17 institusi di regional IV,13 institusi di regional V, 6 institusi di regional VIdan 4 institusi di regional VII. Lima belas institusi dari perguruan tinggi negeri dan 49 institusi dari perguruan tinggi swasta. Untuk lebih jelas dapat dilihat pada tabel 2.1 Page 16 of 37

17 Tabel 2.1. Pencapaian jumlah soal berdasarkan regional dan jumlah institusi No. Regional Area Jumlah Institusi Jumlah soal Target Realisasi 1. I - Aceh Sumatera utara - Sumatera Barat - Kepulauan Riau 2. III - Jawa Barat Banten 3. II - DKI Jakarta Sumatera Selatan - Bengkulu - Lampung - Bangka - Jambi 4. IV - DIY Jawa Tengah 5. V - Jawa Timur Bali - NTB - NTT 6. VI - Kalimantan VII - Sulawesi - Maluku - Papua Penulis soal sebanyak 111 orang yang berasal dari 15 Perguruan Tinggi Negeri dan 49 Perguruan Tinggi Swasta. Soal yang diterima berdasarkan pencapaian keilmuan selama tiga kali pelaksanaan item development adalah 1) keilmuan keperawatan KMB dan KGD: 591 soal, 2) keilmuan Keperawatan Maternitas: 270 soal, 3) keilmuan Keperawatan Anak: 195 soal, 4) keilmuan Keperawatan Jiwa: 155 soal, 5) keilmuan Keperawatan Keluarga, komunitas dan gerontik : 270 soal, dan 6) keilmuan Keperawatan Manajemen: 169 soal. Institusi penyelenggara item development local atau mandiri dilaksanakan antara lain oleh Unsyiah, USU, Malahayati, Jambi, UPH, UI, STIKES Carolus, Unpad, Unjani, STIK Imanuel, UNDIP, UGM, UB, Unair, UNUD, UNHAS, UIN Jakarta. Pelatihan ini dilakukan untuk institusi sendiri dan juga melibatkan institusi sekitar. Pelatihan Secara mandiri ini telah dilaksanakan lebih kurang 17 kali sejak tahun 2011, namun data pasti tidak diketahui karena tidak ada laporan kegiatan secara tertulis. Jumlah soal yang terkumpul pada masing-masing workshop mandiri Page 17 of 37

18 juga tidak diketahui secara pasti, ada 4 kumpulan soal yang diselengarakan diberbagai workshop yang diikutkan dalam proses item review. Jumlah soal dan institusi yang terlibat di tahun 2012 bila dibandingkan tahun-tahun sebelumnya terjadi peningkatan yang signifikan. Hal ini diantaranya disebabkan tata kelola yang jauh lebih baik dalam hal penyebaran undangan, sosialisasi hal-hal yang harus dibawa saat workshop dan pelaporan dan dokumentasi, dimana institusi pendidikan dan profesi sudah secara aktif terlibat dalam semua proses. Sosialisasi dan perbaikan tata kelola terlihat dari jumlah institusi yang terlibat. Pada tahun 2010 dan 2011 institusi peserta merupakan keterwakilan dari institusi ners dan PPNI (institusi Poltekes dan praktisi). Beberapa institusi yang telah mengikuti item dev 2010 kembali mengikuti di tahun 2011 dan Hal ini terjadi karena proses sosialisasi yang belum efektif. Perbaikan ini juga terlihat dari adanya peningkatan produktifitas soal pada workshop 2012 dibandingkan 2011 dan Penyebaran peserta dari berbagai regional juga sudah meningkat. Dari sekitar 50 dari 307 institusi pendidikan S1 di tahun 2011 menjadi 64 dari 307. Hal ini dimungkinkan karena pada tahun 2012, sudah mengaktifkan koordinator regional dan sub regional dalam penunjukkan institusi peserta workshop. Namun demikian beberapa institusi dari Indonesia bagian timur masih perlu di tingkatkan motivasi dan peran serta aktifnya untuk ikut berkontribusi dalam item development. Peningkatan jumlah soal dari tahun ke tahun menunjukkan sudah ada peningkatan dari aspek keaktifan peserta dan perbaikan proses penyelenggaraan item development. Hal ini terjadi pada saat item development peserta sebelumnya telah mendapat informasi yang lebih lengkap tentang persyaratan, kualifikasi, tamplate soal, yang kesemuanya telah di masukan dalam TOR undangan sehingga saat workshop lebih banyak berkonsentrasi pada perbaikan struktur dan content soal. Hal ini berbeda dengan tahun 2010 dan 2011, soal yang dibawa oleh peserta dibawah target dan soal yang dibawa belum sesuai dengan template yang tersedia serta sebagian besar adalah soal recall sehingga perlu waktu untuk proses perbaikan. Page 18 of 37

19 2.1.2 Permasalahan yang ditemukan Permasalahan yang ditemukan selama tiga kali pelaksanaan item development, yaitu: Ketersediaan buku referensi Kurangnya pengalaman klinik dari kebanyakan peserta pembuat soal karena recruitment staf pengajar di berbagai institusi memang tidak mensensayaratkan adanya pengalaman klinik dan pada proses perkembangannya sebagai staf juga sangat kurang atau tidak mendapatkan kesempatan untuk mendapatkan pengalaman klinik Adanya variasi pemahaman tentang keilmuan di dalam kelompok. Untuk mengatasi perlu adanya pertemuan pertemuan pada pengampu mata ajar atau bidang keilmuan itu sendiri sehingga mempunyai kesepakatan kesepatan secara bersama sama Adanya perbedaan pemahaman di antara peserta tentang blueprint dan kompetensi ners Soal yang di bawa oleh beberapa peserta hampir sama atau kurang variasa baik dari sisi pemenuhan blue print baupun dari sisi kasus pemicunya ( stemnya) sehingga terkesan soal homogeny dan kurang heteroden sesuai dengan kebutuhan kompetensi dan blue print Review materi pembuatan soal yang terlalu singkat. Waktu workshop sangat singkat sehingga kesempatan untuk mendiskusikan materi yang masih beragam pemahaman itu menjadi terganggu dan menurunkan produktifitas Belum adanya contoh contoh soal yang memang sulit pada blue print yang di berikan kepada peserta sehingga soal soal yang sulit tersebut memang menjadi sangat kurang Masih belum pahamnya semua peserta dalam penggunaan kata kata yang di sepakati sehingga banyaki waktu saat review di gunakan untuk memperbaiki bahasa Peserta kesulitan membuat vignette dan option yang baik Item development yang dilakukan secara mandiri belum optimal dan terorganisir dengan baik. Soal-soal saat workshop mandiri masih belum banyak diterima nasional Page 19 of 37

20 Jumlah Item writer dan soal meningkat, manajemen soal lebih baik namun jumlah soal baik tidak berbeda dengan TO sebelumnya Sosialisasi item development di regional dan insttusi yang belum efektif. Terlihat dari peserta yang mengikuti workshop baru belajar cara menulis soal yang baik Penyelesaian masalah dan tindak lanjut Penyelesaian masalah yang dilakukan UKNI adalah: Mengingatkan peserta untuk membawa buku referensi, atau penyelenggara item development menyiapkan buku referensi Memilih peserta sesuai dengan persyaratan yang telah ditetapkan (pengalaman klinik dan tingkat pendidikan) Meminta peserta item development membuat curriculum vitae Pertemuan keilmuan secara regional untuk penyamaan persepsi, kesepakatan buku referensi yang digunakan Sosialisasi blueprint, keseragaman istilah yang digunakan, materi pembuatan soal yang baik dan contoh soal untuk beberapa tinjauan yang sulit dibuat Adanya pembagian tinjauan untuk soal yang akan dibuat, sehingga soal yang terkumpul tidak sama dan terdistribusi dengan baik Perlu penambahan waktu untuk pelaksanaan item development Aktifkan regionalisasi pengumpulan soal diserahkan ke nasional Perlunya struktur regionalisasi yang disahkan dan disosialisasikan untuk pengelolan soal yang berkelanjutan Pengaktifkan IBA regional untuk menyangga IBA Nasional Implementasi pendekatan pembuatan soal untuk masing-masing mata ajar di institusi masing-masing. 2.2 Item Review Hasil pencapaian UKNI Selama tiga kali pelaksanaan item review tahun 2012, UKNI mendapatkan 1426 soal dengan kriteria baik dari target Soal tersebut merupakan hasil review dari 1621 soal saat item dev dan 774 soal saat proses item review dan item dev Page 20 of 37

21 mandiri (2385 soal). Dengan kata lain, soal baik yang dihasilkan saat item review adalah sekitar 60 % dari jumlah soal yang direview. Ini menunjukan kualitas soal dari pembuat soal masih rendah. Institusi yang terlibat dalam tiga kali item review nasional dengan melibatkan 102 reviewer dari 44 institusi penyelenggara ners dari berbagai regional yang terdiri dari regional I sebanyak 4 intitusi; regional II sebanyak 8 intitusi; regional III sebanyak 4 intitusi; 4) regional IV sebanyak 12 intitusi; regional V sebanyak 9 intitusi; regional VI sebanyak 3 intitusi; dan regional VII sebanyak 3 intitusi. Table 2.2 Rekapitulasi kegiatan item review pada tahun 2012 dapat dilihat pada tabel di bawah ini. irev 1 irev 2 irev 3 target Realisasi Target realisasi Target Realisasi Reviewer Institusi jumlah soal * * * terreview jumlah soal baik Permasalahan yang ditemukan Soal yang terkumpul tidak proporsional (sesuai dengan blue print), dan kurang variasi Kemampuan penulis soal untuk menulis soal tinjauan tertentu terbatas Soal baik masih sedikit (sekitar 40 %) Penulis soal belum dapat feedback dari soal yang di buatnya karena sistem yang ada belum mendukung Kemampuan reviewer untuk mereview dari sisi content dan memperbaiki perlu ditingkatkan Fasilitas untuk mereview masih terbatas Soal yang direview masih menggunakan format word Page 21 of 37

22 Kesulitan dalam melakukan entry ke dalam SIPENA (user friendly) saat copy word ke system satu persatu dan kemampuan profesi untuk melakukan trubleshooting saat penggunaan SIPENA masih perlu di tingkatkan Belum adanya SOP terkait penyelenggaraan item review Pemahaman reviewer tentang kompetensi belum sama Pemilihan reviewer masih berfokus pada distribusi institusi belum berhubungan dengan kualitas reviewer Penyelesaian masalah dan tindak lanjut Item dev sesuai dengan permintaan (telah disesuaikan dengan blue print) Melakukan proses item reviewer di institusi dan regional untuk meningkatkan kemampuan reviewer Perlu adanya SOP dan fasilitas yang cukup untuk penyelenggaran item review Adanya sistem yang mendukung untuk proses feedback. Saat ini SIPENA belum sepenuhnya mampu mengidentifikasi penulis soal (karena saat penggabungan paket ditemukan beberapa soal yang berganti penulis) dan jumlah soal yang diproduksi oleh penulis soal tersebut Menentukan kriteria reviewer Sharing keilmuan dan kompetensi Sosialisasi IBA di regional dan penunjukkan penanggung jawab regional. 2.3 Item bank dan Pemilihan Soal Hasil pencapaian UKNI Selama persiapan Try Out 2012, pengelolaan soal sejak item development dan item review dilakukan bersama-sama oleh tim inti. Saat item development soal yang terkumpul sudah di katagorikan berdasarkan tinjauan keilmuan. Saat item review, setiap kali workshop sudah teridentifikasi jumlah soal berdasarkan tinjauan. Hal ini memudahkan pengelola untuk memberikan rekomendasi kepada reviewer untuk mengumpulkan soal-soal yang diperlukan untuk mengisi tinjauan yang kosong. Page 22 of 37

23 Namun demikian, soal-soal yang terkumpul masih tidak sesuai dengan proporsi blueprint. Soal-soal yang terkumpul saat item development dan item review masih dalam format MS word yang disimpan dalam flash disk khusus milik UKNI. Kegiatan identifikasi soal berdasarkan tinjauan keilmuan saat item development ataupun tinjauan secara keseluruhan saat item review masih dilakukan secara manual. Hal ini dilakukan karena kurang sosialisasinya penggunaan SIPENA, SIPENA yang masih terus berkembang (diperbaiki) dan kemudahan dalam proses review (editing) dengan menggunakan ms word. Namun demikian, untuk tetap menjaga kerahasiaan soal tim ukni hanya menggunakan komputer tim inti UKNI dan saat proses review dikerjakan di flash disk. Saat panel expert I, soal-soal yang direview masih dengan template ms word, dengan proses mengerjakan di flash disk UKNI dan komputer yang disediakan oleh tim UKNI. Kegiatan identifikasi tinjauan pun masih dilakukan secara manual. Soal-soal hasil panel expert 1 kemudian di entri ke dalam SIPENA. Saat panel expert II, soal-soal yang direview oleh expert sudah dalam SIPENA. Namun, selama proses tersebut tim mengalami beberapa kendala teknis terkait penggunaan SIPENA, karena saat proses tidak ada pendampingan IT. Masalah tersebut diantaranya, compatibility komputer terhadap SIPENA, soal yang sudah direview hilang, file SIPENA yang dicopy tidak bisa dibuka. Setelah proses panel expert, maka IBA mulai melakukan kompilasi soal-soal hasil panel expert 1 dan 2. Saat proses ini IBA menemukan masalah diantaranya saat soal yang dikumpulkan mendekati 1000 soal, jumlah soal yang dimasukkan tidak sesuai dengan jumlah total, banyaknya soal yang terkumpul, dan ketidak sesuaian nama penulis soal dan tinjauan. Hal ini akhirnya dapat diselesaikan dengan bantuan IT UKDI dan perbaikan tinjauan serta nama penulis soal oleh penulis soal. Adanya perbedaan tinjauan dengan isi soal dan perubahan nama penulis soal mungkin dapat disebabkan oleh ketidak fahaman penulisan soal tentang tinjauan, perubahan content soal yang tidak diikuti dengan perubahan tinjauan, entri soal yang tidak Page 23 of 37

24 tepat saat memasukkan dalam SIPENA dan kompilasi. kehandalan SIPENA saat proses Setelah proses kompilasi selesai, maka dilakukan proses pemilihan, namun ternyata jumlah soal yang akan dipilih tidak sesuai dengan jumlah soal hasil panel expert. Setelah berkonsultasi ternyata SIPENA yang dimiliki UKNI saat itu masih menggunakan template soal try out 2011, sehingga IBA harus mengeluarkan soal satu per satu sebelum melakukan pemilihan soal. Sebelum melakukan pemilihan soal, IBA melihat rekapitulasi item soal yang tersedia. Kemudian IBA melakukan penilaian soal-soal yang akan dilakukan proses jangkar (ada dua set soal jangkar yang di buat pada soal tertentu dengan jumlah soal masing masing 49 soal) dimana setiap set jangkar digunakan pada 2 booklet soal try out berdasarkan ketersediaan soal ditinjauan yang jumlah soal di bank soal sedikit. Hal ini dilakukan agar booklet soal yang diberikan sesuai dengan blue print. Setelah diketahui tinjauan yang akan dijangkarkan dan jumlahnya, maka IBA melakukan pemilihan tinjauan sesuai dengan yang diinginkan, membaca sekilas tinjauan dan soalnya, kemudian menuliskan no id soal untuk buku 1 dan 2 secara manual. Setelah jumlah soal yang akan di jangkarkan dibagi rata untuk kedua buku soal, IBA baru melakukan proses pemilihan di SIPENA. Hal yang serupa dilakukan dalam pemilihan soal try out selanjutnya. IBA memfokuskan pemilihan pada tinjauan keilmuan, proses keperawatan dan upaya yang dibagi secara merata pada keempat buku. Saat satu tinjauan keilmuan (KMB) lagi akan dimasukkan, IBA kembali melihat rekapitulasi item pada masing-masing buku, kemudian merencanakan jumlah soal yang diperlukan pada tinjauan tertentu agar sesuai dengan blue print. Setelah soal terpilih dalam 4 booklet, IBA melakukan proses pencetakan untuk diberikan kepada tiga editor. Soal yang diberikan kepada editor berupa hard copy, karena waktu yang terbatas maka 1 buku hanya di baca oleh satu editor. Page 24 of 37

25 Soal-soal yang memerlukan perbaikan secara teknis dan bahasa kemudian diperbaiki dan soal yang kurang tepat menurut editor, kemudian dicarikan padanannya untuk digantikan. Sedianya 2 booklet soal jangkar terdiri dari masingmasing 51 soal, akhirnya hanya 49 soal, kemudian soal di keempat booklet di tambahkan sesuai dengan tinjauan yang masih kurang sesuai dengan blue print. Setelah soal selesai diperbaiki, maka soal diberikan ke tim IT UKDI Bandung untuk ditindaklanjuti. Soal-soal tersebut kemudian dilakukan quality control oleh tim ners yang berada di Bandung Permasalahan yang ditemukan Soal hilang, perubahan nama pembuat soal dan tinjauan Compatibility SIPENA terhadap komputer File SIPENA yang tidak bisa dibuka Jumlah total soal yang berbeda saat soal dikompilasi mendekati 1000 soal Banyaknya bugs pada SIPENA Kurang friendly nya SIPENA saat entri soal Template soal 2011 yang masih ada Kurangnya pemahaman tentang IT/SIPENA atau dukungan IT Kurangnya sosialisasi SIPENA Penyelesaian masalah dan tindak lanjut SOP SIPENA dan troubleshooting dengan SIPENA Cara menggunakan SIPENA Pengembangan SIPENA Pelatihan IBA dan trouble shootingnya Workshop Item review terintegrasi dengan IBA Page 25 of 37

26 2.4.Panel Expert Hasil pencapaian UKNI Dilakukan 2 kali dengan melibat 39 institusi (pendidikan ners, PPNI, Kolegium) dengan melibatkan 59 expert dan menghasilkan 1160 soal dari 1426 soal yang direview Permasalahan yang ditemukan Variasi soal yang kurang Fokus pada target jumlah soal Waktu dan referensi terbatas Terbatasnya reviewer yang memahami SIPENA dan troubleshooting nya Penyelesaian masalah dan tindak lanjut Pembuatan soal sesuai dengan permintaan/blue print Sosialisasi SIPENA Peningkatan kemampuan penulis soal untuk membuat variasi soal Secara umum disampaikan rekomendasi untuk stakeholder terkait dengan uji kompetensi khususnya manajemen soal. Rekomendasi untuk AIPNI : 1. Memberikan perhatian khusus pada pembinaan dan pengembangan metode ujian 2. Mengakselerasi terbentuknya unit assessmen di institusi 3. Meningkatkan upaya untuk pelaksanaan pelatihan item dev institusi 4. Mengembangkan kelompok peminatan antara institusi 5. Menyepakati terbentuknya unit assessment di institusi 6. Menyepakati model ujian institusi dg model LPUK 7. Pengembangan model reward dalam pengembangan soal Rekomendasi untuk MTKI : 1. Menetapkan Blue print ners 2. Pengelolaan sesuai dengan ketentuan LPUK dalam pengelolaan item 3. Mempercepat capacity building dalam pengembagan item 4. Menyepakati pengelolaan bank soal dengan LPUK Page 26 of 37

27 Rekomendasi untuk PPNI : Menetapkan satu pola dalam pengembangan item sesuai LPUK BAGIAN III HASIL TRY OUT Pada bagian ini akan di sampaikan hasil try Out uji kompetensi UKNI September Hasil Ujian Tabel 3.1 Hasil Try out UKNI September 2012 TRY OUT Buku TOTAL 1 2 TOTAL JumlahPeserta JumlahSoal NilaiRerata (+ SB) (+ 7.31) (+ 6.92) (+ 7.68) (+6.99) (+ 6.52) (+ 7.20) (+ 7.21) (+ 6.95) NilaiTertinggi NilaiTerendah KR RerataIndeksKesulitan % Soal Baik Analisis hasil Try out 0 Jumlah peserta untuk setiap booklet soal cukup antara minimal 350 peserta dengan distribusi penjawab telah di acak untuk setiap soal dijawab oleh institusi regional untuk menghitung validitas dan reliabilitas serta distraktor 0 Ada perwakilan regional 0 Bancmarking nasional untuk setiap soal 0 Dapat melihat kemampuan institusi pada setiap regional Page 27 of 37

28 Nilai Rerata: 0 Menunjukan nilai rata rata yang dapat di jawab oleh seluruh peserta. Nilai rata rata nasional sekitar 44 dengan rata rata SD 7. Nilai ini memberikan banyak gambaran tentang kemampuan atau kompetensi nasional peserta yang masih rendah yakni di bawah kelaziman lulus suatu proses yakni sekitar Namun demikian nilai ini belum sepenuhnya dapat di persalahkan dari peserta didiknya mungkin yang pertama harus di lihat adalah proses sampai munculnya soal ujian dengan berbagai format dan bentuk yang baru. 0 Hal hal yang dapat dilihat terkait hasil tersebut adalah sebagai berikut : 1. Soal masih dianggap sulit banyak soal dalam analisis soal masih dianggap sulit ( tingkat kesulitan berada di bawah 0,3) Ini menunjukan banyak hal: kompetensi mahasiswa memang kurang? Atau kebiasaan mahasiswa dalam menjawab soal seperti ini masih kurang karena biasanya soal yang di buat tidak berdasarkan kasus ( veggneet ). Atau lebih substansi dimana proses pembelajaran yang di lakukan selama ini di institusi (dengan nilai rendah) belum berjalan sebagaimana mestinya ini menunjukan masih banyak pembenahan yang harus dilakukan oleh institusi dengan memperbaiki berbagai persyaratan tentang kualitas institusi yang dikatakan baik dan berkualitas terutama dari sisi sumber daya manusia (dosen). Dalam hal ini apakah ada hubungan antara hasil ini dengan nilai akreditasi institusi perlu di berikan data dan di analisis. jika nantinya menghasilkan nilai akreditasi tidak sesuai dengan hasil kemampuan peserta didiknya maka seharusnya juga dipertanyakan proses akreditas yang berlangsung selama ini. 2. Kualitas soal kurang bagus, ambigue, kurang jelas, membingungkan. Setelah soal soal yang dianggap sulit oleh mahasiswa itu di lihat dan analisis kembali ternyata banyak soal memang tidak menunjukan kualitas yang baik> Seperti kasus tidak jelas arah kompetensi yang mau di nilai pada soal tersebut< data penunjangnya tidak focus sehingga membingungkan, distraktornya atau pilihan jawabannya kurang baik> jawaban ambigue bahkan masih ada soal yang tidak ada jawaban yang benar atau salah jawaban ( final review belum memiliki kesepahaman konsep, Banyak soal yang masih masuk dalam review 3 dari segi konsep masih ragu). Ini menunjukan sangat jelas kemampuan penulis soalnya Page 28 of 37

29 masih sangat perlu ditingkatkan. Ada inisiatif dari seluruh institusi ners untuk meningkatkan kemampuan penulisan soal. Dengan belajar menulis secara baik ini staf pengajar atau dosen akan menyadari betapa masih perlunya mereka meningkatkan diri untuk meningkatkan pemahaman konsep dan praktik dalam proses pembelajaran. 3. Proses belajar belum mengacu pada kompetensi esensial dan blue print. Selama ini proses pembelajaran yang terjadi masih sebatas menyelesaikan kewajiban SKS. Pembelajaran seharusnya berfokus pada kompetensi inti< penunjang dan lainnya. Lebih jelas lagi seharusnya semua proses pencapaian kompetensi di araghkan pada pencapaian kompetensi esensial. Pada proses penulisan soal masih banyak yang kurang mampu untuk mengatakan dan memilih mana kompetensi yang esensial mana yang bukan. Hal ini juga tercermin pada saat penulisan soal. Soal yang masuk pada call for item belum sesuai dengan kompetensi esensial. KR21 0 Menunjukan reliabilitas booklet soal : paling tidak harus 0,70 0 Semakin tinggi semakin reliable soal tersebut 0 KR 21 ini cukup tapi belum memuaskan karena masih ada dikisaran 70 %. Kita akan puas bila reliabilitas soal itu sudah mencapai diatas 90 %. Nilai reliabilitas di pengaruhi banyak hal antara lain: jumlah pesrta menjawab, kualitas soal, proses pembelajaran di institusi, penulis soal masih kurang dapat melihat kompetensi esensial dan mngkin juga kurikulum belum menggambarkan kompetensi yang hendak dicapai. Tingkat Kesulitan 0 Sangat di pengaruhi oleh : - kemampuan peserta - proses pengajaran yang kurang sesuai : kurang fokus - Pengajaran tidak sesuai dengan kompetensi - Proporsi pengajaran dalam kurikulum kurang sesuai - Tingkat kompetensi yang di tulis dalam soal terlalu tinggi - bentuk soal yang kurang sesuai kaedah. Page 29 of 37

30 3.2 Analisis Tinjauan Try Out UKNI 2012 Pada try out 2012, UKNI membuat 4 booklet soal, dengan masing-masing booklet terdiri 180 soal Tinjauan I (Kompetensi Utama Perawat) Kompetensi Utama perawat terdiri dari: 1. Praktik Profesional, etik, legal dan peka budaya (15-25%) 2. Asuhan dan manajemen asuhan keperawatan (65-75%) 3. Pengembangan Profesional (5-15%) T1-1 T1-2 T1-3 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4 Tabel di atas menunjukkan bahwa proporsi kompetensi utama di ke empat booklet try out 2012 sama dan sesuai dengan blueprint perawat. Demikian pula rerata respon peserta terhadap masing-masing sub tinjauan merata di ke 4 booklet. Hal ini menunjukkan bahwa standar soal yang diberikan di ke empat buku dan tingkat kesulitan soal sama. Hal ini dibuktikan dengan jumlah benar peserta di masing-masing sub tinjauan pada keempat buku berkisar 50 % dari total jumlah soal pada masing-masing sub tinjauan. Pada sub tinjauan 1-1 dan 1-3, dibuat 2 booklet soal untuk 4 booklet soal try out, karena keterbatasan jumlah soal. Kedua booklet soal masing-masing terdiri dari 49 soal yang mengandung sub tinjauan praktik profesional, etik legal dan peka budaya; pengembangan profesional; afektif knowledge; upaya rehabilitasi Tinjauan II (Domain) Pada tinjauan ini terdiri dari 3 sub tinjauan, yaitu: 1. kognitif (65-75 %) 2. prosedural knowledge (20-25%) Page 30 of 37

31 3. Affective knowledge (5-10%) T2-1 T2-2 T2-3 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4 Tabel di atas menunjukkan bahwa proporsi subtinjauan domain di keempat booklet hampir merata dan masih dalam range yang ditetapkan blueprint perawat Rerata jumlah benar peserta pun hampir sama di setiap subtinjuan pada keempat booklet. Hal ini menunjukan kualitas soal dan tingkat kesulitan yang hampir sama pada ke empat booklet try out Tinjauan III (Keilmuan) Pada tinjauan ini terdiri dari 9 sub tinjauan keilmuan, yaitu : 1. KMB 25-37% 2. Maternitas 8-14% 3. Anak 8-14% 4. Jiwa 8-14% 5. Keluarga 8-14% 6. Gerontik 3-9% 7. Manajemen 3-9% 8. Gadar 3-9% 9. Komunitas 3-9% T3-1 T3-2 T3-3 T3-4 T3-5 T3-6 T3-7 T3-8 T3-9 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4 Page 31 of 37

32 Tabel di atas menunjukkan bahwa proporsi subtinjauan keilmuan di keempat booklet hampir merata dan masih dalam range yang ditetapkan blueprint perawat Pada subtinjauan 3-7 (manajemen) berada pada batas atas. Hal ini disebabkan soal manajemen yang merupakan soal jangkar (2 booklet soal untuk 4 booklet soal), selain soal manajemen itu sendiri. Rerata jumlah benar peserta pun hampir sama di setiap subtinjuan pada keempat booklet. Hal ini menunjukan kualitas soal dan tingkat kesulitan yang hampir sama pada ke empat booklet try out Tinjauan IV (Proses Keperawatan) Pada tinjauan ini terdiri dari 9 sub tinjauan Proses keperawatan, yaitu : 1. Pengkajian 20-30% 2. Penentuan masalah/diagnosa 20-30% 3. Perencanaan 15-25% 4. Implementasi 15-25% 5. Evaluasi 5-15% T4-1 T4-2 T4-3 T4-4 T4-5 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4 Tabel di atas menunjukkan bahwa soal-soal pada subtinjuan 4-1 (Pengkajian) bervariasi (13-22 % dari total jumlah soal) secara umum masih sedikit dibawah target blue aprint. Rerata jumlah soal pada subtinjauan 4-4 (implementasi) pada keempat booklet soal sedikit melebihi batas atas blue print. Pada tinjauan 4-5 (rehabilitasi) karena keterbatasan jumlah soal maka soal 2 booklet diperuntukkan 4 booklet. Sementara jumlah soal pada subtinjauan lainnya masih berada pada range blue print. Rerata respon peserta pada semua subtinjauan berkisar 50% dari total soal pada masing-masing subtinjauan Tinjauan V (Upaya) Pada tinjauan ini terdiri dari 4 sub tinjauan Upaya, yaitu : 1. promotif 15-25% 2. preventif 15-25% 3. kuratif 35-45% 4. rehabilitatif 15-25% Page 32 of 37

33 T5-1 T5-2 T5-3 T5-4 Jumlah Soal 1 Rerata 1 Jumlah Soal 2 Rerata 2 Jumlah Soal 3 Rerata 3 Jumlah Soal 4 Rerata 4 Jumlah soal pada subtinjauan 5-1 (promosi) dan 5-4(rehabilitasi) masih pada batas bawah proporsi blueprint, karena keterbatasan soal yang tersedia pada tinjauan ini. Jumlah soal pada subtinjauan 5-3 (prevensi) masih sesuai dengan batasan blueprint. Sehingga jumlah soal pada subtinjauan (kuratif) jauh melebihi batas atas blueprint. Respon peserta dalam menjawab masing-masing subtinjauan hampir merata (50%) Tinjauan VI (Kebutuhan) Pada tinjauan ini terdiri dari 11 sub tinjauan Pemenuhan kebutuhan, yaitu : Oksigenasi Cairan dan elektrolit 10-14% 10-14% Nutrisi 10-14% Aman dan Nyaman 10-14% Eliminasi 7-11% Aktivitas dan istirahat 7-11% Psikososial 7-11% Komunikasi 7-11% Seksual 3-7% nilai dan keyakinan 3-7% Belajar 3-7% Page 33 of 37