Evaluasi Uji Coba OSCE UKDI Forum Dekan AIPKI HPEQ Project Komponen 2 31 Agustus 1 September 2012
Road Map Try Out OSCE UKDI April 2012 Sept & Nov 2012 Juli 2011 Oktober 2011 I: Ujud Pelaksanaan OSCE II: Evaluasi Soal Januari 2012 III: + Evaluasi Penguji, pelatih PS, PS, IT IV: + Standard Setting OSCE V-VI: + Penanganan Retaker & General
Persyaratan OSCE Center Mempunyai fasilitas OSCE sesuai standar UKDI Mempunyai penguji OSCE yang terstandar nasional min 15 orang Mempunyai pelatih SP yang terstandar nasional min 3 orang Mempunyai PS yang terlatih min 11 orang Mengajukan permohonan sebagai OSCE Center Bersedia berkontribusi menanggung sebagian biaya pelaksanaan 3
Profil OSCE Center Kriteria TO 1 TO 2 TO 3 TO 4 TO 5 Prasarana Baik Beberapa center ruangan tidak sesuai Sarana Lengkap Beberapa manekin tidak ada/tidak sesuai Fasilitas Penunjang Komitmen pimpinan Ketersediaan SDM Baik Sebagian center Genset & akses internet tidak tersedia Baik Baik? Beberapa manekin tidak ada/tidak sesuai Sebagian center Genset & akses internet tidak tersedia Beberapa manekin tidak ada/tidak sesuai Sebagian center Genset & akses internet tidak tersedia Baik Baik Baik Baik? Baik Baik SDM tidak sesuai kriteria SDM tidak sesuai kriteria???
KETERLIBATAN OSCE CENTER PADA TRY OUT UKDI OSCE Center TO 1 TO 2 TO 3 TO 4 TO 5 UNSYIAH 1 set 1 set 1 set USU 1 set 1 set 1 set 1 set UNAND 1 set 1 set 1 set 1 set UNSRI 1 set 1 set 2 set UI 1 set 1 set 1 set 1 set YARSI 1 set 1 set 1 set 1 set UAJ 1 set 1 set 1 set USAKTI 1 set 1 set 1 set UPN 1 set 1 set 1 set UKRIDA 1 set 1 set 1 set UKI 1 set 1 set 1 set UNPAD 1 set 1 set 1 set 1 set UKM 1 set 1 set 1 set 1 set UNJANI 1 set 1 set UNILA 1 set 1 set 1 set UGM 3 set 1 set 1 set 1 set 1 set UMY 1 set 1 set 1 set UII 1 set 1 set 1 set UNDIP 1 set 1 set 1 set 1 set UMS 1 set UNS 1 set UNSOED 1 set 1 set UNMUL 1 set 1 set 1 set UNAIR 1 set 1 set 1 set 1 set UB 1 set 1 set 1 set 2 set UNUD 1 set 1 set 1 set UNRAM 1 set 1 set 1 set UWKS 1 set 1 set UNHAS 1 set 1 set 1 set 1 set UMI 1 set UNSRAT 1 set 1 set 1 set
Profil Penguji Kriteria TO 1 TO 2 TO 3 TO 4 TO 5 Dokter, min S2/Sp 95% 95% 95% 100%? Telah dilatih sesuai standar nasional Komitmen mematuhi tata tertib OSCE Target jumlah penguji setiap center Persentase kehadiran Penguji 90% 90% 90% 100%? 90% 90% 90% 90%? 15 15 15 15 15/30* 90% 90% 90% 90%?
Bahan Ujian Jumlah station 12 @ 15 menit + 2 station istirahat Blue print Template Soal Rubric & Global Performance
Minimal CVS Respiratory system Neurobehaviour Gastrointesti nal system Reproductive system Musculoscele tal system Endocrin e & Metabolic Hematology/ Oncology Gnitourinary system Head & Neck Special Sensory Phsyciatry Kategori Kompetensi Kasus 1. Anamnesis 4 2. Pemeriksaan Fisik 4 3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis 4. Menentukan diagnosis atau diagnosis banding 3 3 5. Penatalaksanaan: a. Non Farmakoterapi 3 b. Farmakoterapi 3 6. Komunikasi & Pendidikan Pasien 7. Perilaku Profesional 12 7
Format Penilaian OSCE Pencatatan manual c. Setelah login, maka akan ditampilkan mahasiswa pertama yang akan diuji pada stasion tersebut. Computer based scoring Setiap station mempunyai tampilan mahasiswa yang berbeda untuk tiap satation di setiap universitas. Diharapkan penguji dapat mencocokkan foto dan nama mahasiswa yang diujikan.
COMPUTER BASED SCORING N = 341 N = 344 N = 342 N = 334 N = 328
Profil Peserta Try Out OSCE Mekanisme penjaringan calon peserta: 1. Melalui registrasi online TO atau UKDI keberhasilan rendah 2. Melalui penjaringan langsung oleh institusi Kriteria TO 1 TO 2 TO 3 TO 4 TO 5 Dokter baru Mahasiswa (dominan) Mahasiswa (dominan) Mahasiswa (dominan) Mahasiswa (dominan) Ikut UKDI Minimal Minimal Minimal Minimal? Pernah OSCE 50% 50% 50% 55%?? Kriteria mahasiswa: 1. Sudah menyelesaikan seluruh rotasi, tetapi belum yudisium 2. Sudah melewati 2 rotasi bagian besar 3. Mahasiswa PSPD
KETERLIBATAN OSCE CENTER PADA TRY OUT UKDI OSCE Center TO 1 TO 2 TO 3 TO 4 TO 5 UNSYIAH 14 14 14 USU 11 14 14 14 UNAND 14 14 14 14 UNSRI 14 14 14 UI 14 14 14 14 YARSI 12 14 14 14 UAJ 14 14 14 USAKTI 14 14 14 UPN 14 14 14 UKRIDA 14 14 14 UKI 14 14 14 UNPAD 14 14 14 14 UKM 10 14 14 14 UNJANI 14 14 UNILA 14 14 14 UGM 14 14 14 14 14 UMY 14 14 14 UII 14 14 14 UNDIP 14 14 14 14 UMS 14 UNS 14 UNSOED 14 14 UNMUL 14 14 14 UNAIR 13 14 14 14 UB 14 14 14 14 UNUD 14 14 14 UNRAM 14 14 14 UWKS 14 14 UNHAS 13 14 14 14 UMI 14 UNSRAT 14 14 14 PESERTA 14 157 350 392 420
Troubleshooting 1. Penguji tidak hadir/terlambat 2. Penguji melakukan kegiatan lain 3. Penguji belum memahami role sebagai penguji 4. Peserta belum memiliki kompetensi sebagai dokter 5. Aspek pencegahan infeksi tidak dilaksanakan peserta 6. Alat tidak berfungsi, cadangan tidak tersedia
Pembiayaan Sumber pembiayaan untuk try out: 1. KBUKDI 2. HPEQ Project Unit Cost OSCE untuk 1 set Rp 24.000.000,- sd. Rp 26.000.000,-
Rincian pembiayaan Try Out 1 5 Item Kuantitas Unit Cost TO 1-4 TO 5 TO 6 Honor KOC 1 Orang Rp 1.250.000 HPEQ HPEQ Honor Penguji 12 orang 3 orang Rp 675.000 HPEQ HPEQ KDI & AIPKI Honor Pelatih PS 3 orang Rp 570.000 HPEQ HPEQ Honor PS 9 orang Rp 390.000 HPEQ HPEQ Honor PS Cadangan 2 orang Rp 280.000 HPEQ KDI & AIPKI Honor IT Lokal 2 orang Rp 470.000 HPEQ KDI & AIPKI Honor Laboran 3 orang Rp 280.000 HPEQ KDI & AIPKI Honor Administrasi Bahan Habis Pakai 2 orang Rp 523.750 HPEQ KDI & AIPKI Sesuai keperluan Institusi Institusi HPEQ, Institusi, KDI & AIPKI
Lesson Learnt Standarisasi kurikulum skill training ISLAND Standarisasi fasilitas (Skill Lab) variasi & spesifikasi Standarisasi penguji Standarisasi PS Persyaratan OSCE Center?
Uji Coba Pertama OSCE UKDI 22-24 Juli 2011 Tujuan 1. Melakukan uji coba formatosce UKDI mulai H-1 sampai H
Uji Coba Kedua OSCE UKDI 14-15 Oktober 2011 Tujuan: Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan yang baik 20 Fokus Evaluasi: Perangkat soal
Peserta TO II OSCE UKDI CENTER JUMLAH PESERTA USU 11 UNAND 14 UI 14 YARSI 12 UKM 10 UNPAD 14 UNDIP 14 UGM 14 UB 14 UNAIR 13 UNUD 14 UNHAS 13 TOTAL PESERTA 157
Minimal CVS Respiratory system Neurobehaviour Gastrointesti nal system Reproductive system Musculoscele tal system Endocrin e & Metabolic Hematology/ Oncology Gnitourinary system Head & Neck Special Sensory Phsyciatry Kategori Kompetensi Kasus 1. Anamnesis 4 V V V V V V V 2. Pemeriksaan Fisik 4 V V V V V V V V 3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis 3 V V V V V V V 4. Menentukan diagnosis atau diagnosis banding 3 V V V V V V V V V V V 5. Penatalaksanaan: a. Non Farmakoterapi 3 V V V V V V V V V b. Farmakoterapi 3 V V V V V V V 6. Komunikasi & Pendidikan Pasien 22 7 V V V 7. Perilaku Profesional 12 V V V V V V V V V V V V V V V V V V
Uji Coba Ketiga OSCE UKDI 24-25 Februari 2012 23
Tujuan: Evaluasi Perangkat Soal Evaluasi Kinerja Penguji Evaluasi Kinerja PS Evaluasi Kinerja IT 24
Lokasi TO III OSCE UKDI No CENTER No CENTER 1 USU 13 UNSYIAH 2 UNAND 14 UNSRI 3 UI 15 UAJ 4 YARSI 16 UKI 5 UKM 17 USAKTI 6 UNPAD 18 UKRIDA 7 UNDIP 19 UPN 8 UGM 20 UNILA 9 UB 21 UNMUL 10 UNAIR 22 UMY 11 UNUD 23 UII 12 UNHAS 24 UNRAM 25 UNSRAT
12 soal OSCE-12 station 9 station dgn pasien standar 15 menit tiap station: Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar 12-13 menit waktu efektif 2 station istirahat Antara station 6 dan 7 Antara station 12 dan 1
Rehat penguji dan PS setelah station ke-4 selama 8 menit (ada musik). Saat Rehat peserta duduk di station berikutnya Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas 27
Pasien Standar (PS): Skenario diberikan H-1; pelatihan dilakukan H-1 Peserta Ujian: Sebagian yang ikut CBT; Sebagian dokter muda yang telah menyelesaikan 3 rotasi Peralatan: Diberikan ke KOC saat H-10; di set H-1 28
Uji Coba Keempat OSCE UKDI 28 April 2012 29
Lokasi TO IV OSCE UKDI No CENTER No CENTER 1 USU 15 UAJ 2 UNAND 16 UKI 3 UI 17 USAKTI 4 YARSI 18 UKRIDA 5 UKM 19 UPN 6 UNPAD 20 UNILA 7 UNDIP 21 UNMUL 8 UGM 22 UMY 9 UB 23 UII 10 UNAIR 24 UNRAM 11 UNUD 25 UNSRAT 12 UNHAS 26 UNSOED 13 UNSYIAH 27 UWKS 14 UNSRI 28 UNJANI
Evaluasi Perangkat Soal
Invited Item Writers Dokter Spesialis Invited Item Reviewers Dokter Spesialis + Praktek Umum Technical editing OSCE Team 32
BRIEFING PENGUJI DILAKUKAN DENGAN BAIK 1% SETUJU TIDAK SETUJU 99% N = 355
KECUKUPAN WAKTU (Penguji) N = 349 N = 351
KECUKUPAN WAKTU (Peserta) 90% 83% 84% 80% 70% 60% 50% 40% 30% 20% 17% 15% 10% 0% Waktu yang dialokasikan cukup Alokasi waktu membaca skenario dan instruksi cukup tidak ya PESERTA TO OSCE IV = 387
KESESUAIAN SKDI (Penguji) SETUJU TIDAK SETUJU 94% 96% N = 341 N = 342 6% 4% Tujuan sta on terujikan Kompetensi yang diujikan sesuai SKDI
KESESUAIAN SKDI (Peserta) Tujuan station terujikan Kompetensi yang diujikan sesuai dengan SKDI 13% 12% 86% 88% tidak ya PESERTA TO OSCE IV = 387 tidak ya PESERTA TO OSCE IV = 387
Kejelasan instruksi peserta (Penguji) N = 348 N = 347 N = 349 N = 341 N = 341
Kejelasan instruksi peserta (Peserta) 90% 80% 80% 78% 74% 84% 70% 60% 50% 59% 41% 40% 30% 20% 20% 22% 25% 14% 10% 0% Instruksi untuk peserta terlalu sulit Instruksi untuk peserta terlalu mudah Skenario klinik dalam instruksi peserta mudah dimengerti Instruksi peserta mudah dimengerti Penekanan (BOLD dsb) membantu pemahaman instruksi tidak ya PESERTA TO OSCE IV = 387
Kejelasan instruksi penguji N = 349 N = 348 N = 351 N = 346 N = 337
ALAT DAN MANIKIN N = 317 N = 310 N = 308 N = 314
Timer berfungsi baik 3% TIMER SETUJU TIDAK SETUJU 97% N = 348
COMPUTER BASED SCORING N = 341 N = 344 N = 342 N = 334 N = 328
1% PETUGAS Petugas membantu saat dibutuhkan SETUJU TIDAK SETUJU 99% N = 349
KELANCARAN N = 350
PENGUJI TIDAK MELAKUKAN KEGIATAN LAIN 11% 89% tidak ya PESERTA TO OSCE IV = 387
Tersedia waktu istirahat yang cukup 13% 87% tidak ya PESERTA TO OSCE IV = 387
FASILITAS PENDUKUNG DI LOKASI UJIAN 90% 88% 88% 88% 80% 70% 60% 50% 40% 30% 20% 12% 12% 12% 10% 0% Ruangan transit nyaman dan tenang Toilet bersih dan nyaman Tersedia fasilitas penyimpanan barang pribadi tidak ya PESERTA TO OSCE IV = 387
PERSEPSI PENGUJI MENGENAI OSCE N = 333 N = 347 N = 349 N = 348 SETUJU TIDAK SETUJU 86% 99% 100% 99% 14% 333 347 349 348 1% 0% 1% Sebelum TO ini, saya pernah OSCE di ins tusi saya OSCE tepat dipakai sbg slh satu metodi penilaian kompetensi Penerapan OSCE memacu peserta belajar dan menguasai keterampilan klinik Penerapan OSCE memacu perbaikan penilaian klinik 49
PERSEPSI PESERTA MENGENAI OSCE 90% 80% 84% 80% 70% 60% 50% 55% 53% 45% 47% 40% 30% 20% 15% 18% 10% 0% Saya pernah mengikuti ujian OSCE di institusi saya OSCE tepat untuk menilai kompetensi Dokter Indonesia Penerapan OSCE menstimulus peserta untuk belajar dan menguasai ketrampilan klinik Penerapan OSCE menstimulus perbaikan pendidikan klinik tidak ya PESERTA TO OSCE IV = 387 50
Evaluasi Kinerja PS
PERBANDINGAN SKOR PS DINILAI OLEH PELATIH PS DAN PENGUJI N Mean SD Penguji 282 7,71 1,063 Pelatih 301 8,11 0,789
Pengalaman PS - Kinerja Pengalaman PS Skor Kinerja 5 tahun 7,58 6-10 tahun 8,13 > 10 tahun 7,73 p = 0,337
Variasi Kasus - Kinerja Variasi Kasus Skor Kinerja 5 kasus 7,55 6-10 kasus 8,14 > 10 kasus 7,65 p = 0,168
Latar Belakang PS - Kinerja Latar Belakang Seni Peran Skor Kinerja Teater/ Akting 7,95 Umum 7,50 p = 0,55
Tingkat Pendidikan PS - Kinerja Tingkat Pendidikan Skor Kinerja SD 7,33 SMP 8 SMA 7,55 S1 8,07 p = 0,408
Usia PS - Kinerja Usia PS Skor Kinerja 30 tahun 7,72 30-40 tahun 7,44 > 40 tahun 7,71 p = 0,509