Uji Coba Ketiga OSCE UKDI. Komite Bersama Uji Kompetensi Dokter Indonesia HPEQ Project Komponen Februari 2012

Transkripsi

1 Uji Coba Ketiga OSCE UKDI Komite Bersama Uji Kompetensi Dokter Indonesia HPEQ Project Komponen Februari 2012

2 Uji Coba Pertama OSCE UKDI Juli 2011 Tujuan 1. Melakukan uji coba formatosce UKDI mulai H-1 sampai H

3

4 Uji Coba Kedua OSCE UKDI Oktober 2011 Tujuan: Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan yang baik 4 Fokus Evaluasi: Perangkat soal

5 Peserta TO II OSCE UKDI CENTER JUMLAH PESERTA USU 11 UNAND 14 UI 14 YARSI 12 UKM 10 UNPAD 14 UNDIP 14 UGM 14 UB 14 UNAIR 13 UNUD 14 UNHAS 13 TOTAL PESERTA 157

6 Minimal CVS Respiratory system Neuro- behaviour Gastrointesti nal system Reproductive system Musculoscele tal system Endocrin e & Metabolic Hematology/ Oncology Gnitourinary system Head & Neck Special Sensory Phsyciatry Kategori Kompetensi Kasus Hiper tensi TBC Stroke Diare Baby Delivery Fraktur Tibia DM Anemia BPH OMA Katarak Depre 1. Anamnesis 4 V V V V V V V 2. Pemeriksaan Fisik 4 V V V V V V V V 3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis 3 V V V V V V V 4. Menentukan diagnosis atau diagnosis banding 3 V V V V V V V V V V V 5. Penatalaksanaan: a. Non Farmakoterapi 3 V V V V V V V V V b. Farmakoterapi 3 V V V V V V V 6. Komunikasi & 7 V V V Pendidikan Pasien 6 7. Perilaku Profesional 12 V V V V V V V V V V V V V V V V V V

7 Uji Coba Ketiga OSCE UKDI Februari

8 Tujuan: Evaluasi Perangkat Soal Evaluasi Kinerja Penguji Evaluasi Kinerja PS Evaluasi Kinerja IT 8

9 Lokasi TO III OSCE UKDI No CENTER No CENTER 1 USU 13 UNSYIAH 2 UNAND 14 UNSRI 3 UI 15 UAJ 4 YARSI 16 UKI 5 UKM 17 USAKTI 6 UNPAD 18 UKRIDA 7 UNDIP 19 UPN 8 UGM 20 UNILA 9 UB 21 UNMUL 10 UNAIR 22 UMY 11 UNUD 23 UII 12 UNHAS 24 UNRAM 25 UNSRAT

10 12 soal OSCE-12 station 9 station dgn pasien standar 15 menit tiap station: Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar menit waktu efektif 2 station istirahat Antara station 6 dan 7 Antara station 12 dan 1

11 Rehat penguji dan PS setelah station ke-4 selama 8 menit (ada musik). Saat Rehat peserta duduk di station berikutnya Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas 11

12 Pasien Standar (PS): Skenario diberikan H-1; pelatihan dilakukan H-1 Peserta Ujian: Sebagian yang ikut CBT; Sebagian dokter muda yang telah menyelesaikan 3 rotasi Peralatan: Diberikan ke KOC saat H-10; di set H-1 12

13 Evaluasi Perangkat Soal

14 Invited Item Writers Dokter Spesialis Invited Item Reviewers Dokter Spesialis + Praktek Umum Technical editing OSCE Team 14

15 BRIEFING N = 242

16 KECUKUPAN WAKTU (Penguji) N = 243 N = 244

17 KECUKUPAN WAKTU (Peserta) N = 344 N = 341

18 KESESUAIAN SKDI (Penguji) N = 240 N = 240

19 KESESUAIAN SKDI (Peserta) N = 335 N = 341

20 Kejelasan instruksi peserta (Penguji) N = 243 N = 244 N = 241 N = 237 N = 236

21 Kejelasan instruksi peserta (Peserta) N = 338 N = 343 N = 343 N = 339 N = 340

22 Kejelasan instruksi penguji N = 241 N = 241 N = 241 N = 244 N = 241

23 ALAT DAN MANIKIN N = 239 N = 234 N = 234 N = 235

24 TIMER N = 241

25 COMPUTER BASED SCORING N = 242 N = 243 N = 242 N = 242 N = 240

26 PETUGAS N = 243

27 KELANCARAN N = 242

28 Penguji tidak melakukan kegiatan lain N = 338

29 WAKTU ISTIRAHAT PESERTA CUKUP N = 343

30 FASILITAS PENDUKUNG DI LOKASI UJIAN N = 341 N = 340 N = 341

31 Evaluasi Kinerja PS

32 PERBANDINGAN SKOR PS DINILAI OLEH PELATIH DAN PENGUJI N Mean SD Penguji 160 7,64 1,389 Pelatih 218 8,13 0,789

33 Pengalaman PS - Kinerja Pengalaman PS Skor Kinerja 5 tahun 7, tahun 8,13 > 10 tahun 7,73 p = 0,337

34 Variasi Kasus - Kinerja Variasi Kasus Skor Kinerja 5 kasus 7, kasus 8,14 > 10 kasus 7,65 p = 0,168

35 Latar Belakang PS - Kinerja Latar Belakang Seni Peran Skor Kinerja Teater/ Akting 7,95 Umum 7,50 p = 0,55

36 Tingkat Pendidikan PS - Kinerja Tingkat Pendidikan Skor Kinerja SD 7,33 SMP 8 SMA 7,55 S1 8,07 p = 0,408

37 Usia PS - Kinerja Usia PS Skor Kinerja 30 tahun 7, tahun 7,44 > 40 tahun 7,71 p = 0,509

38 Evaluasi Kinerja Penguji

39 Spesialisasi Sesuai Kasus VS Spesialisasi Lain OSCE Center Station Latar Belakang Penguji 1 Latar Belakang Penguji 2 Koefisien Alpha USU Station 1 Anestesi Spesialisasi lain 0,92 UNAND Station 2 Penyakit Dalam Spesialisasi lain 0,73 UKM Station 3 Saraf Spesialisasi lain 0,66 YARSI Station 4 Penyakit Dalam Spesialisasi lain 0,82 UNPAD Station 5 Obsgyn Spesialisasi lain 0,91 UI Station 6 Bedah Spesialisasi lain 0,51 UGM Station 7 Penyakit Dalam Spesialisasi lain 0,95 UNDIP Station 8 Kesehatan Anak Spesialisasi lain 0,96 UNAIR Station 9 Penyakit Dalam Spesialisasi lain 0,92 UB Station 10 THT Spesialisasi lain 0,97 UNUD Station 11 DV Spesialisasi lain 0,83 UNHAS Station 12 Jiwa Spesialisasi lain 0,68 39

40 Spesialisasi Sesuai Kasus VS Dokter Praktek Umum OSCE Center Station Latar Belakang Penguji 1 Latar Belakang Penguji 2 Koefisien Alpha UNSYIAH Station 1 Anestesi Dokter Praktek Umum 0,49 Station 2 Penyakit Dokter Praktek Umum 0,62 UNMUL Dalam/Paru UAJ Station 3 Saraf Dokter Praktek Umum 0,73 UMY Station 4 Penyakit Dalam Dokter Praktek Umum 0,72 USAKTI Station 5 Obsgyn Dokter Praktek Umum 0,76 UKRIDA Station 6 Bedah Dokter Praktek Umum 0,63 UNRAM Station 7 Penyakit Dalam Dokter Praktek Umum 0,91 UNILA Station 8 Kesehatan Anak Dokter Praktek Umum 0,42 UNSRI Station 9 Penyakit Dalam Dokter Praktek Umum 0,64 UII Station 11 DV Dokter Praktek Umum 0,88 UPN Station 12 Jiwa Dokter Praktek Umum 0,72 UNSRAT Station 1 Jantung Dokter Praktek Umum 0,79 40

41 Evaluasi Kinerja IT

42 Persiapan CBS Trial dilakukan pada hari rabu, 22 Feb 2012 Problem: Jaringan overload untuk menangani 25 Institusi Problem Solving: Merouting ulang jaringan menuju ke server OSCE Menambah alokasi bandwidth ke server

43 Problem saat Tryout Problem Ketika menekan tombol beri nilai, form penilaian muncul berupa 1 halaman web, bukan berupa pop-up. Oleh karena itu, penguji tidak dapat kembali ke lembar penilaian dan harus logout terlebih dahulu. Hal ini cukup mengganggu bagi penguji dalam memberikan penilaian, sehingga penilaian memakai kertas.: Analisa masalah Perbedaan konfigurasi server yang mengakibatkan beberapa fungsi pada program tidak berjalan dengan baik

44 Roadmap Uji coba pertama Juli 2011(1 institusi): Ujud pelaksanaan OSCE Uji coba kedua Oktober 2011 (12 institusi): + Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan Uji coba ketiga Januari 2012 (18-24 institusi): + Performance penguji dan SP + IT

45 Roadmap Uji coba keempat 28 April 2012 (36 institusi) + standard setting Uji coba kelima 8 September 2012 (48 institusi) + Retaker Uji coba keenam 3 November 2012 (60 institusi) + General

46 Unsyiah 46

47 UNSRI 47

48 UKI 48

49 USAKTI 49

50 UII 50

51 UNRAM 51