Uji Coba Keempat OSCE UKDI Komite Bersama Uji Kompetensi Dokter Indonesia HPEQ Project Komponen 2 28 April 2012 Tujuan Uji Coba Pertama OSCE UKDI 22-24 Juli 2011 1. Melakukan uji coba formatosce UKDI mulai H-1 sampai H 1
Uji Coba Kedua OSCE UKDI 14-15 Oktober 2011 Tujuan: Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan yang baik 4 Fokus Evaluasi: Perangkat soal 2
Minimal CVS Respiratory system Neurobehaviour Gastrointesti nal system Reproductive system Musculoscele tal system Endocrin e & Metabolic Hematology/ Oncology Gnitourinary system Head & Neck Special Sensory Phsyciatry 24/10/2012 Peserta TO II OSCE UKDI CENTER JUMLAH PESERTA USU 11 UNAND 14 UI 14 YARSI 12 UKM 10 UNPAD 14 UNDIP 14 UGM 14 UB 14 UNAIR 13 UNUD 14 UNHAS 13 TOTAL PESERTA 157 Kategori Kompetensi Kasus 1. Anamnesis 4 V V V V V V V 2. Pemeriksaan Fisik 4 V V V V V V V V 3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis 3 V V V V V V V 4. Menentukan diagnosis atau diagnosis banding 3 V V V V V V V V V V V 5. Penatalaksanaan: a. Non Farmakoterapi 3 V V V V V V V V V b. Farmakoterapi 3 V V V V V V V 6. Komunikasi & 7 V V V Pendidikan Pasien 6 7. Perilaku Profesional 12 V V V V V V V V V V V V V V V V V V 3
Uji Coba Ketiga OSCE UKDI 24-25 Februari 2012 7 Tujuan: Evaluasi Perangkat Soal Evaluasi Kinerja Penguji Evaluasi Kinerja PS Evaluasi Kinerja IT 8 4
Lokasi TO III OSCE UKDI No CENTER No CENTER 1 USU 13 UNSYIAH 2 UNAND 14 UNSRI 3 UI 15 UAJ 4 YARSI 16 UKI 5 UKM 17 USAKTI 6 UNPAD 18 UKRIDA 7 UNDIP 19 UPN 8 UGM 20 UNILA 9 UB 21 UNMUL 10 UNAIR 22 UMY 11 UNUD 23 UII 12 UNHAS 24 UNRAM 25 UNSRAT 12 soal OSCE-12 station 9 station dgn pasien standar 15 menit tiap station: Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar 12-13 menit waktu efektif 2 station istirahat Antara station 6 dan 7 Antara station 12 dan 1 5
Rehat penguji dan PS setelah station ke-4 selama 8 menit (ada musik). Saat Rehat peserta duduk di station berikutnya Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas 11 Pasien Standar (PS): Skenario diberikan H-1; pelatihan dilakukan H-1 Peserta Ujian: Sebagian yang ikut CBT; Sebagian dokter muda yang telah menyelesaikan 3 rotasi Peralatan: Diberikan ke KOC saat H-10; di set H-1 12 6
Uji Coba Keempat OSCE UKDI 28 April 2012 13 Lokasi TO IV OSCE UKDI No CENTER No CENTER 1 USU 15 UAJ 2 UNAND 16 UKI 3 UI 17 USAKTI 4 YARSI 18 UKRIDA 5 UKM 19 UPN 6 UNPAD 20 UNILA 7 UNDIP 21 UNMUL 8 UGM 22 UMY 9 UB 23 UII 10 UNAIR 24 UNRAM 11 UNUD 25 UNSRAT 12 UNHAS 26 UNSOED 13 UNSYIAH 27 UWKS 14 UNSRI 28 UNJANI 7
No Center Jumlah Peserta 1 UAJ 13 2 UB 14 3 UGM 14 4 UI 14 5 UII 14 6 UKI 14 7 UKM 14 8 UKRIDA 14 9 UMY 14 10 UNAIR 14 11 UNAND 14 12 UNDIP 12 13 UNHAS 14 14 UNILA 14 15 UNJANI 14 No Center Jumlah Peserta 16 UNMUL 14 17 UNPAD 14 18 UNRAM 14 19 UNSOED 14 20 UNSRAT 14 21 UNSRI 14 22 UNSYIAH 14 23 UNUD 14 24 UPN 13 25 USAKTI 14 26 USU 14 27 UWKS 14 28 YARSI 14 Jumlah 388 Evaluasi Perangkat Soal 8
Invited Item Writers Dokter Spesialis Invited Item Reviewers Dokter Spesialis + Praktek Umum Technical editing OSCE Team 17 BRIEFING PENGUJI DILAKUKAN DENGAN BAIK 1% SETUJU TIDAK SETUJU 99% N = 355 9
KECUKUPAN WAKTU (Penguji) N = 349 N = 351 KECUKUPAN WAKTU (Peserta) 90% 83% 84% 80% 70% 60% 50% 40% 30% 20% 17% 15% 10% 0% Waktu yang dialokasikan cukup Alokasi waktu membaca skenario dan instruksi cukup tidak ya PESERTA TO OSCE IV = 387 10
KESESUAIAN SKDI (Penguji) SETUJU TIDAK SETUJU 94% 96% N = 341 N = 342 6% 4% Tujuan sta on terujikan Kompetensi yang diujikan sesuai SKDI KESESUAIAN SKDI (Peserta) Tujuan station terujikan Kompetensi yang diujikan sesuai dengan SKDI 13% 12% 86% 88% tidak ya PESERTA TO OSCE IV = 387 tidak ya PESERTA TO OSCE IV = 387 11
Kejelasan instruksi peserta (Penguji) N = 348 N = 347 N = 349 N = 341 N = 341 Kejelasan instruksi peserta (Peserta) 90% 80% 80% 78% 74% 84% 70% 60% 59% 50% 41% 40% 30% 20% 20% 22% 25% 14% 10% 0% Instruksi untuk peserta terlalu sulit Instruksi untuk peserta terlalu mudah Skenario klinik dalam instruksi peserta mudah dimengerti Instruksi peserta mudah dimengerti Penekanan (BOLD dsb) membantu pemahaman instruksi tidak ya PESERTA TO OSCE IV = 387 12
Kejelasan instruksi penguji N = 349 N = 348 N = 351 N = 346 N = 337 ALAT DAN MANIKIN N = 317 N = 310 N = 308 N = 314 13
TIMER Timer berfungsi baik 3% SETUJU TIDAK SETUJU 97% N = 348 COMPUTER BASED SCORING N = 341 N = 344 N = 342 N = 334 N = 328 14
PETUGAS Petugas membantu saat dibutuhkan 1% SETUJU TIDAK SETUJU 99% N = 349 KELANCARAN N = 350 15
PENGUJI TIDAK MELAKUKAN KEGIATAN LAIN 11% 89% tidak ya PESERTA TO OSCE IV = 387 Tersedia waktu istirahat yang cukup 13% 87% tidak ya PESERTA TO OSCE IV = 387 16
FASILITAS PENDUKUNG DI LOKASI UJIAN 90% 88% 88% 88% 80% 70% 60% 50% 40% 30% 20% 12% 12% 12% 10% 0% Ruangan transit nyaman dan tenang Toilet bersih dan nyaman Tersedia fasilitas penyimpanan barang pribadi tidak ya PESERTA TO OSCE IV = 387 PERSEPSI PENGUJI MENGENAI OSCE N = 333 N = 347 N = 349 N = 348 SETUJU TIDAK SETUJU 86% 99% 100% 99% 14% 333 347 349 348 1% 0% 1% Sebelum TO ini, saya pernah OSCE di ins tusi saya OSCE tepat dipakai sbg slh satu metodi penilaian kompetensi Penerapan OSCE memacu peserta belajar dan menguasai keterampilan klinik Penerapan OSCE memacu perbaikan penilaian klinik 34 17
PERSEPSI PESERTA MENGENAI OSCE 90% 80% 84% 80% 70% 60% 50% 55% 53% 45% 47% 40% 30% 20% 15% 18% 10% 0% Saya pernah mengikuti ujian OSCE di institusi saya OSCE tepat untuk menilai kompetensi Dokter Indonesia Penerapan OSCE menstimulus peserta untuk belajar dan menguasai ketrampilan klinik Penerapan OSCE menstimulus perbaikan pendidikan klinik tidak ya PESERTA TO OSCE IV = 387 35 Evaluasi Kinerja PS 18
PERBANDINGAN SKOR PS DINILAI OLEH PELATIH PS DAN PENGUJI N Mean SD Penguji 282 7,71 1,063 Pelatih 301 8,11 0,789 Pengalaman PS - Kinerja Pengalaman PS Skor Kinerja 5 tahun 7,58 6-10 tahun 8,13 > 10 tahun 7,73 p = 0,337 19
Variasi Kasus - Kinerja Variasi Kasus Skor Kinerja 5 kasus 7,55 6-10 kasus 8,14 > 10 kasus 7,65 p = 0,168 Latar Belakang PS - Kinerja Latar Belakang Seni Peran Skor Kinerja Teater/ Akting 7,95 Umum 7,50 p = 0,55 20
Tingkat Pendidikan PS - Kinerja Tingkat Pendidikan Skor Kinerja SD 7,33 SMP 8 SMA 7,55 S1 8,07 p = 0,408 Usia PS - Kinerja Usia PS Skor Kinerja 30 tahun 7,72 30-40 tahun 7,44 > 40 tahun 7,71 p = 0,509 21
Uji Coba Kelima OSCE UKDI 7-8 September 2012 43 12 soal OSCE-12 station 9 station dgn pasien standar 15 menit tiap station: Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar 12-13 menit waktu efektif 2 station istirahat Antara station 6 dan 7 Antara station 12 dan 1 22
Rehat penguji dan PS setelah station ke-6 selama 8 menit (ada musik). Saat Rehat peserta duduk di station berikutnya Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas 45 Tujuan: Evaluasi Perangkat Soal Evaluasi Kinerja Penguji Evaluasi Kinerja PS Evaluasi Kinerja IT Standar Setting 46 23
Lokasi TO V OSCE UKDI No CENTER No CENTER No CENTER 1 USU 13 UNSRI 25 UWKS 2 UNAND 14 UAJ 26 UNJANI 3 UI 15 UKI 27 UNSOED 4 YARSI 16 USAKTI 28 UNS 5 UKM 17 UKRIDA 39 UMS 6 UNPAD 18 UPN 30 UMI 7 UNDIP 19 UNILA 31 UHT 8 UGM 20 UNMUL 9 UB 21 UMY 10 UNAIR 22 UII 11 UNHAS 23 UNRAM 12 UNSYIAH 24 UNSRAT Koordinator OSCE 48 24
Persyaratan Koordinator Staf pendidik yang ditunjuk oleh institusinya sebagai penanggung jawab OSCE center di institusi Pernah menjadi penguji OSCE sesuai standar OSCE nasional Memiliki komitmen untuk menyelenggarakan OSCE Memahami standar penyelenggaraan OSCE nasional Bisa melakukan koordinasi dengan koordinasi OSCE dari institusi lain serta panitia 49 Tugas Koordinator: Mengkoordinasikan dan bertanggungung jawab terhadap pelaksanaan OSCE di institusi tempat berlangsungnya ujian Mempersiapkan pelaksanaan OSCE sesuai dengan standar yang sudah disiapkan Mengawasi pelaksanaan OSCE di institusi penyelenggara Mengevaluasi pelaksanaan OSCE di institusi penyelenggara Melaporkan pelaksanaan OSCE dalam bentuk berita acara ujian Bekerja sama dengan pengawas pusat mengatasi permasalahan yang timbul pada saat pelaksanaan ujian Mengembalikan semua berkas ujian yang diterima kepada pengawas pusat Satu bulan sebelum penyelenggaraan ujian Koordinator OSCE sudah mengetahui jadwal pelaksanaan serta station yang akan diujikan untuk mempersiapkan peralatan yang dibutuhkan. Bertanggung jawab untuk menjaga kerahasiaan station yang diujikan di OSCE Center-nya 50 25
Hak Koordinator Mendapatkan honorarium sesuai ketentuan yang berlaku Mendapatkan informasi umpan balik pusat ujian yang dikelolanya Mendapatkan sertifikat Koordinator OSCE 51 Penguji 52 26
1. Syarat dan kontrak A. Syarat 1. dr dengan pendidikan terakhir minimal S2 dan/atau dr spesialis 2. Sudah berpengalaman menjadi instruktur keterampilan klinik (pre klinik atau klinik) minimal 1 tahun dan penguji OSCE di institusinya minimal 3 kali periode masa ujian 3. Telah mengikuti pelatihan yang terstandar sebagai penguji OSCE sesuai SOP HPEQ yang dibuktikan dengan sertifikat 4. Mematuhi tata tertib dan kode etik penguji OSCE 27
5. Syarat pengalaman (dibuktikan dengan surat tugas dari institusi masing-masing): a. Instruktur skills lab di institusi masingmasing minimal 1 tahun b. Penguji OSCE minimal 3x periode masa ujian di institusi masing-masing B. Kontrak Perlu ada kontrak atau komitmen kontrak Penguji dengan Panitia OSCE Nasional Berisi: Hak Penguji Kewajiban Penguji Tata tertib 28
Hak penguji Penguji mendapatkan honorarium sesuai ketentuan yang berlaku Penguji luar kota mendapatkan lumpsum, transportasi dan akomodasi sesuai ketentuan yang berlaku Mendapatkan informasi umpan balik sebagai penguji Mendapatkan sertifikat penguji OSCE nasional Kewajiban penguji 1. Mengikuti instruksi penguji sesuai kebutuhan skenario uji, seperti a. Memberi informasi tambahan (bila ada intruksi dalam soal) b. Mengajukan pertanyaan (bila ada instruksi dalam soal) c. Mengingatkan waktu yang tersisa pada 3-5 menit akhir station 2. Mengevaluasi kandidat sesuai lembar penilaian 3. Mengisi berita acara ujian dan formulir umpan balik OSCE 29
Kewajiban penguji 4. Dalam kondisi tertentu, PS tidak melaksanakan tugasnya sesuai instruksi penguji memberikan intervensi : ralat/revisi informasi. 5. Dalam situasi peralatan atau fasilitas rusak: penguji langsung meminta kandidat menggunakan alat cadangan 6. Dalam kondisi tertentu yang tidak terduga, penguji harus melaporkan kepada Koordinator OSCE Center yang kemudian melaporkan kepada pengawas pusat. Keputusan diambil oleh pengawas pusat dan dicantumkan pada berita acara ujian. Tata tertib penguji Datang tepat waktu Tidak meninggalkan tempat saat ujian berlangsung Tidak boleh menggunakan alat komunikasi apapun saat ujian Menjalankan tugas sebagaimana instruksi untuk penguji Mengikuti persiapan bersama panitia nasional Bertanggung jawab terhadap pelaksanaan ujian di station tempat penguji bertugas Memberikan feedback pada lembar yang telah dipersiapkan oleh panitia Harus hadir pada briefing penguji yang dilakukan stau hari sebelum putaran pertama ujian dilaksanakan Harus hadir 1 jam sebelum ujian dimulai untuk standarisasi penguji dan PS 30
2. Kode etik 1. Komitmen dan disiplin yang tinggi 2. Tidak membocorkan soal 3. Tidak membantu atau merugikan kandidat 4. Bersifat obyektif dan bertanggung jawabb 5. Menjunjung tinggi nilai-nilai sebagai berikut: Kejujuran Loyalitas Kebajikan Kehormatan Kebenaran Respek Keramahan Integritas Keadilan Kerjasama 31
3. Tugas dan Peran Penguji A. Sebelum ujian Menandatangani kontrak Mengikuti persiapan bersama panitia nasional Mengikuti briefing persamaan persepsi mengenai soal/check list Ikut mengecek alat dan bahan bersama koordinator dan penanggung jawab instrument 32
B. Saat menguji Mengikuti instruksi penguji sesuai kebutuhan skenario uji, seperti Memberi informasi tambahan (jika ada dalam instuksi dalam soal) Mengajukan pertanyaan (jika ada dalam instuksi dalam soal) Mengingatkan waktu yang tersisa pada 3-5 menit akhir station Mengevaluasi kandidat sesuai lembar penilaian C. Setelah ujian selesai Mengisi berita acara ujian dan formulir umpan balik OSCE 33
Kebutuhan Penguji TO V OSCE 15 penguji 12 penguji + 1 penguji dan 2 siaga Lihat daftar penguji tandem 67 Pasien Standar 68 34
Instruksi untuk pasien standar akan dibawa oleh panitia pusat. Briefing PS dilakukan H-1 Kebutuhan PS lihat pada daftar set kebutuhan per station 69 Peserta Ujian 70 35
KOC memilih 14 peserta ujian + 2 cadangan dari daftar yang diberikan oleh KBUKDI Kode Ujian : Sesuai kode CBT UKDI 4 digit: 2 digit LOKASI ujian (kode OSCE center); 2 digit nomor urut Akan dibawa oleh Pengawas Pusat 71 Peralatan 72 36
Lihat di dalam daftar yang dibagikan Harus sudah diset oleh center H-1 BUKAN oleh pengawas pusat 73 HOTLINE IT OSCE : Melodi (Hp 081328269000) NON IT OSCE : dr. Adrian(Hp 081215523373) Keuangan : Anita (Hp 085695116003) 74 37