Evaluasi Uji Coba OSCE UKDI. Forum Dekan AIPKI HPEQ Project Komponen 2 31 Agustus 1 September 2012

Transkripsi

1 Evaluasi Uji Coba OSCE UKDI Forum Dekan AIPKI HPEQ Project Komponen 2 31 Agustus 1 September 2012

2 Road Map Try Out OSCE UKDI April 2012 Sept & Nov 2012 Juli 2011 Oktober 2011 I: Ujud Pelaksanaan OSCE II: Evaluasi Soal Januari 2012 III: + Evaluasi Penguji, pelatih PS, PS, IT IV: + Standard Setting OSCE V-VI: + Penanganan Retaker & General

3 Persyaratan OSCE Center Mempunyai fasilitas OSCE sesuai standar UKDI Mempunyai penguji OSCE yang terstandar nasional min 15 orang Mempunyai pelatih SP yang terstandar nasional min 3 orang Mempunyai PS yang terlatih min 11 orang Mengajukan permohonan sebagai OSCE Center Bersedia berkontribusi menanggung sebagian biaya pelaksanaan 3

4 Profil OSCE Center Kriteria TO 1 TO 2 TO 3 TO 4 TO 5 Prasarana Baik Beberapa center ruangan tidak sesuai Sarana Lengkap Beberapa manekin tidak ada/tidak sesuai Fasilitas Penunjang Komitmen pimpinan Ketersediaan SDM Baik Sebagian center Genset & akses internet tidak tersedia Baik Baik? Beberapa manekin tidak ada/tidak sesuai Sebagian center Genset & akses internet tidak tersedia Beberapa manekin tidak ada/tidak sesuai Sebagian center Genset & akses internet tidak tersedia Baik Baik Baik Baik? Baik Baik SDM tidak sesuai kriteria SDM tidak sesuai kriteria???

5 KETERLIBATAN OSCE CENTER PADA TRY OUT UKDI OSCE Center TO 1 TO 2 TO 3 TO 4 TO 5 UNSYIAH 1 set 1 set 1 set USU 1 set 1 set 1 set 1 set UNAND 1 set 1 set 1 set 1 set UNSRI 1 set 1 set 2 set UI 1 set 1 set 1 set 1 set YARSI 1 set 1 set 1 set 1 set UAJ 1 set 1 set 1 set USAKTI 1 set 1 set 1 set UPN 1 set 1 set 1 set UKRIDA 1 set 1 set 1 set UKI 1 set 1 set 1 set UNPAD 1 set 1 set 1 set 1 set UKM 1 set 1 set 1 set 1 set UNJANI 1 set 1 set UNILA 1 set 1 set 1 set UGM 3 set 1 set 1 set 1 set 1 set UMY 1 set 1 set 1 set UII 1 set 1 set 1 set UNDIP 1 set 1 set 1 set 1 set UMS 1 set UNS 1 set UNSOED 1 set 1 set UNMUL 1 set 1 set 1 set UNAIR 1 set 1 set 1 set 1 set UB 1 set 1 set 1 set 2 set UNUD 1 set 1 set 1 set UNRAM 1 set 1 set 1 set UWKS 1 set 1 set UNHAS 1 set 1 set 1 set 1 set UMI 1 set UNSRAT 1 set 1 set 1 set

6 Profil Penguji Kriteria TO 1 TO 2 TO 3 TO 4 TO 5 Dokter, min S2/Sp 95% 95% 95% 100%? Telah dilatih sesuai standar nasional Komitmen mematuhi tata tertib OSCE Target jumlah penguji setiap center Persentase kehadiran Penguji 90% 90% 90% 100%? 90% 90% 90% 90%? /30* 90% 90% 90% 90%?

7 Bahan Ujian Jumlah station 15 menit + 2 station istirahat Blue print Template Soal Rubric & Global Performance

8 Minimal CVS Respiratory system Neurobehaviour Gastrointesti nal system Reproductive system Musculoscele tal system Endocrin e & Metabolic Hematology/ Oncology Gnitourinary system Head & Neck Special Sensory Phsyciatry Kategori Kompetensi Kasus 1. Anamnesis 4 2. Pemeriksaan Fisik 4 3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis 4. Menentukan diagnosis atau diagnosis banding Penatalaksanaan: a. Non Farmakoterapi 3 b. Farmakoterapi 3 6. Komunikasi & Pendidikan Pasien 7. Perilaku Profesional 12 7

9 Format Penilaian OSCE Pencatatan manual c. Setelah login, maka akan ditampilkan mahasiswa pertama yang akan diuji pada stasion tersebut. Computer based scoring Setiap station mempunyai tampilan mahasiswa yang berbeda untuk tiap satation di setiap universitas. Diharapkan penguji dapat mencocokkan foto dan nama mahasiswa yang diujikan.

10 COMPUTER BASED SCORING N = 341 N = 344 N = 342 N = 334 N = 328

11 Profil Peserta Try Out OSCE Mekanisme penjaringan calon peserta: 1. Melalui registrasi online TO atau UKDI keberhasilan rendah 2. Melalui penjaringan langsung oleh institusi Kriteria TO 1 TO 2 TO 3 TO 4 TO 5 Dokter baru Mahasiswa (dominan) Mahasiswa (dominan) Mahasiswa (dominan) Mahasiswa (dominan) Ikut UKDI Minimal Minimal Minimal Minimal? Pernah OSCE 50% 50% 50% 55%?? Kriteria mahasiswa: 1. Sudah menyelesaikan seluruh rotasi, tetapi belum yudisium 2. Sudah melewati 2 rotasi bagian besar 3. Mahasiswa PSPD

12 KETERLIBATAN OSCE CENTER PADA TRY OUT UKDI OSCE Center TO 1 TO 2 TO 3 TO 4 TO 5 UNSYIAH USU UNAND UNSRI UI YARSI UAJ USAKTI UPN UKRIDA UKI UNPAD UKM UNJANI UNILA UGM UMY UII UNDIP UMS 14 UNS 14 UNSOED UNMUL UNAIR UB UNUD UNRAM UWKS UNHAS UMI 14 UNSRAT PESERTA

13 Troubleshooting 1. Penguji tidak hadir/terlambat 2. Penguji melakukan kegiatan lain 3. Penguji belum memahami role sebagai penguji 4. Peserta belum memiliki kompetensi sebagai dokter 5. Aspek pencegahan infeksi tidak dilaksanakan peserta 6. Alat tidak berfungsi, cadangan tidak tersedia

14 Pembiayaan Sumber pembiayaan untuk try out: 1. KBUKDI 2. HPEQ Project Unit Cost OSCE untuk 1 set Rp ,- sd. Rp ,-

15 Rincian pembiayaan Try Out 1 5 Item Kuantitas Unit Cost TO 1-4 TO 5 TO 6 Honor KOC 1 Orang Rp HPEQ HPEQ Honor Penguji 12 orang 3 orang Rp HPEQ HPEQ KDI & AIPKI Honor Pelatih PS 3 orang Rp HPEQ HPEQ Honor PS 9 orang Rp HPEQ HPEQ Honor PS Cadangan 2 orang Rp HPEQ KDI & AIPKI Honor IT Lokal 2 orang Rp HPEQ KDI & AIPKI Honor Laboran 3 orang Rp HPEQ KDI & AIPKI Honor Administrasi Bahan Habis Pakai 2 orang Rp HPEQ KDI & AIPKI Sesuai keperluan Institusi Institusi HPEQ, Institusi, KDI & AIPKI

16 Lesson Learnt Standarisasi kurikulum skill training ISLAND Standarisasi fasilitas (Skill Lab) variasi & spesifikasi Standarisasi penguji Standarisasi PS Persyaratan OSCE Center?

17

18 Uji Coba Pertama OSCE UKDI Juli 2011 Tujuan 1. Melakukan uji coba formatosce UKDI mulai H-1 sampai H

19

20 Uji Coba Kedua OSCE UKDI Oktober 2011 Tujuan: Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan yang baik 20 Fokus Evaluasi: Perangkat soal

21 Peserta TO II OSCE UKDI CENTER JUMLAH PESERTA USU 11 UNAND 14 UI 14 YARSI 12 UKM 10 UNPAD 14 UNDIP 14 UGM 14 UB 14 UNAIR 13 UNUD 14 UNHAS 13 TOTAL PESERTA 157

22 Minimal CVS Respiratory system Neurobehaviour Gastrointesti nal system Reproductive system Musculoscele tal system Endocrin e & Metabolic Hematology/ Oncology Gnitourinary system Head & Neck Special Sensory Phsyciatry Kategori Kompetensi Kasus 1. Anamnesis 4 V V V V V V V 2. Pemeriksaan Fisik 4 V V V V V V V V 3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis 3 V V V V V V V 4. Menentukan diagnosis atau diagnosis banding 3 V V V V V V V V V V V 5. Penatalaksanaan: a. Non Farmakoterapi 3 V V V V V V V V V b. Farmakoterapi 3 V V V V V V V 6. Komunikasi & Pendidikan Pasien 22 7 V V V 7. Perilaku Profesional 12 V V V V V V V V V V V V V V V V V V

23 Uji Coba Ketiga OSCE UKDI Februari

24 Tujuan: Evaluasi Perangkat Soal Evaluasi Kinerja Penguji Evaluasi Kinerja PS Evaluasi Kinerja IT 24

25 Lokasi TO III OSCE UKDI No CENTER No CENTER 1 USU 13 UNSYIAH 2 UNAND 14 UNSRI 3 UI 15 UAJ 4 YARSI 16 UKI 5 UKM 17 USAKTI 6 UNPAD 18 UKRIDA 7 UNDIP 19 UPN 8 UGM 20 UNILA 9 UB 21 UNMUL 10 UNAIR 22 UMY 11 UNUD 23 UII 12 UNHAS 24 UNRAM 25 UNSRAT

26 12 soal OSCE-12 station 9 station dgn pasien standar 15 menit tiap station: Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar menit waktu efektif 2 station istirahat Antara station 6 dan 7 Antara station 12 dan 1

27 Rehat penguji dan PS setelah station ke-4 selama 8 menit (ada musik). Saat Rehat peserta duduk di station berikutnya Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas 27

28 Pasien Standar (PS): Skenario diberikan H-1; pelatihan dilakukan H-1 Peserta Ujian: Sebagian yang ikut CBT; Sebagian dokter muda yang telah menyelesaikan 3 rotasi Peralatan: Diberikan ke KOC saat H-10; di set H-1 28

29 Uji Coba Keempat OSCE UKDI 28 April

30 Lokasi TO IV OSCE UKDI No CENTER No CENTER 1 USU 15 UAJ 2 UNAND 16 UKI 3 UI 17 USAKTI 4 YARSI 18 UKRIDA 5 UKM 19 UPN 6 UNPAD 20 UNILA 7 UNDIP 21 UNMUL 8 UGM 22 UMY 9 UB 23 UII 10 UNAIR 24 UNRAM 11 UNUD 25 UNSRAT 12 UNHAS 26 UNSOED 13 UNSYIAH 27 UWKS 14 UNSRI 28 UNJANI

31 Evaluasi Perangkat Soal

32 Invited Item Writers Dokter Spesialis Invited Item Reviewers Dokter Spesialis + Praktek Umum Technical editing OSCE Team 32

33 BRIEFING PENGUJI DILAKUKAN DENGAN BAIK 1% SETUJU TIDAK SETUJU 99% N = 355

34 KECUKUPAN WAKTU (Penguji) N = 349 N = 351

35 KECUKUPAN WAKTU (Peserta) 90% 83% 84% 80% 70% 60% 50% 40% 30% 20% 17% 15% 10% 0% Waktu yang dialokasikan cukup Alokasi waktu membaca skenario dan instruksi cukup tidak ya PESERTA TO OSCE IV = 387

36 KESESUAIAN SKDI (Penguji) SETUJU TIDAK SETUJU 94% 96% N = 341 N = 342 6% 4% Tujuan sta on terujikan Kompetensi yang diujikan sesuai SKDI

37 KESESUAIAN SKDI (Peserta) Tujuan station terujikan Kompetensi yang diujikan sesuai dengan SKDI 13% 12% 86% 88% tidak ya PESERTA TO OSCE IV = 387 tidak ya PESERTA TO OSCE IV = 387

38 Kejelasan instruksi peserta (Penguji) N = 348 N = 347 N = 349 N = 341 N = 341

39 Kejelasan instruksi peserta (Peserta) 90% 80% 80% 78% 74% 84% 70% 60% 50% 59% 41% 40% 30% 20% 20% 22% 25% 14% 10% 0% Instruksi untuk peserta terlalu sulit Instruksi untuk peserta terlalu mudah Skenario klinik dalam instruksi peserta mudah dimengerti Instruksi peserta mudah dimengerti Penekanan (BOLD dsb) membantu pemahaman instruksi tidak ya PESERTA TO OSCE IV = 387

40 Kejelasan instruksi penguji N = 349 N = 348 N = 351 N = 346 N = 337

41 ALAT DAN MANIKIN N = 317 N = 310 N = 308 N = 314

42 Timer berfungsi baik 3% TIMER SETUJU TIDAK SETUJU 97% N = 348

43 COMPUTER BASED SCORING N = 341 N = 344 N = 342 N = 334 N = 328

44 1% PETUGAS Petugas membantu saat dibutuhkan SETUJU TIDAK SETUJU 99% N = 349

45 KELANCARAN N = 350

46 PENGUJI TIDAK MELAKUKAN KEGIATAN LAIN 11% 89% tidak ya PESERTA TO OSCE IV = 387

47 Tersedia waktu istirahat yang cukup 13% 87% tidak ya PESERTA TO OSCE IV = 387

48 FASILITAS PENDUKUNG DI LOKASI UJIAN 90% 88% 88% 88% 80% 70% 60% 50% 40% 30% 20% 12% 12% 12% 10% 0% Ruangan transit nyaman dan tenang Toilet bersih dan nyaman Tersedia fasilitas penyimpanan barang pribadi tidak ya PESERTA TO OSCE IV = 387

49 PERSEPSI PENGUJI MENGENAI OSCE N = 333 N = 347 N = 349 N = 348 SETUJU TIDAK SETUJU 86% 99% 100% 99% 14% % 0% 1% Sebelum TO ini, saya pernah OSCE di ins tusi saya OSCE tepat dipakai sbg slh satu metodi penilaian kompetensi Penerapan OSCE memacu peserta belajar dan menguasai keterampilan klinik Penerapan OSCE memacu perbaikan penilaian klinik 49

50 PERSEPSI PESERTA MENGENAI OSCE 90% 80% 84% 80% 70% 60% 50% 55% 53% 45% 47% 40% 30% 20% 15% 18% 10% 0% Saya pernah mengikuti ujian OSCE di institusi saya OSCE tepat untuk menilai kompetensi Dokter Indonesia Penerapan OSCE menstimulus peserta untuk belajar dan menguasai ketrampilan klinik Penerapan OSCE menstimulus perbaikan pendidikan klinik tidak ya PESERTA TO OSCE IV =

51 Evaluasi Kinerja PS

52 PERBANDINGAN SKOR PS DINILAI OLEH PELATIH PS DAN PENGUJI N Mean SD Penguji 282 7,71 1,063 Pelatih 301 8,11 0,789

53 Pengalaman PS - Kinerja Pengalaman PS Skor Kinerja 5 tahun 7, tahun 8,13 > 10 tahun 7,73 p = 0,337

54 Variasi Kasus - Kinerja Variasi Kasus Skor Kinerja 5 kasus 7, kasus 8,14 > 10 kasus 7,65 p = 0,168

55 Latar Belakang PS - Kinerja Latar Belakang Seni Peran Skor Kinerja Teater/ Akting 7,95 Umum 7,50 p = 0,55

56 Tingkat Pendidikan PS - Kinerja Tingkat Pendidikan Skor Kinerja SD 7,33 SMP 8 SMA 7,55 S1 8,07 p = 0,408

57 Usia PS - Kinerja Usia PS Skor Kinerja 30 tahun 7, tahun 7,44 > 40 tahun 7,71 p = 0,509