23/10/2012. HPEQ Project LAPORAN KEGIATAN COMPONENT 2 HPEQ PROJECT. Kolegium Dokter Gigi Indonesia (KDGI) 10 Agustus Component 2 HPEQ Project

Transkripsi

1 LAPORAN KEGIATAN COMPONENT 2 HPEQ PROJECT PERSIAPAN UJI KOMPETENSI DOKTER GIGI INDONESIA (UKDGI) DENGAN CBT DAN OSCE Component 2 HPEQ Project Kolegium Dokter Gigi Indonesia (KDGI) 10 Agustus 2011 UNDANG-UNDANG TENTANG PRAKTIK KEDOKTERAN KOLEGIUM MENERBITKAN SERTIFIKAT KOMPETENSI HPEQ Project KOLEGIUM DOKTER GIGI INDONESIA (KDGI) Menyelenggarakan Uji Kompetensi Dokter Gigi Indonesia (UKDGI) Sejak 3 April 2007 Terselenggaranya UKDGI yang dapat lebih menjamin kualitas Drg UKDGI dengan CBT & OSCE 1

2 HPEQ Project Pembuatan Bahan Uji Pengelolaan Bahan Uji Penyelengaraan Uji Pembuatan Bahan Uji PELATIHAN 2

3 22-23 Mar Workshop Nasional Pengembangan Soal Ujian Tulis Kedokteran Gigi Mei Workshop Standard Setting Kedokteran Gigi Mei Workshop Regional Pengembangan Soal Ujian OSCE Kedokteran Gigi wil Barat Mei Workshop Regional Pengembangan Soal Ujian OSCE Kedokteran Gigi wil Timur Mei Workshop Nasional Pengembangan Soal Ujian OSCE Kedokteran Gigi 9-10 Juni Workshop Regional penguji OSCE Kedokteran Gigi Wil. Barat Juni Workshop Regional Penguji OSCE Kedokteran Gigi Wil. Timur Juni Workshop Nasional penguji OSCE Kedokteran Gigi Juni Workshop Nasional Kaji ulang soal (item review) uji kompetensi kedokteran gigi Indonesia Juli Workshop Panel Expert Kedokteran Gigi Gel Juli Workshop Regional Pelatih SP Kedokteran Gigi Wil. Timur Juli Workshop Regional Pelatih SP Kedokteran Gigi Wil. Barat Juli Workshop Nasional Pelatih SP Kedokteran Gigi Agustus Pelatihan Regional Item Dev OSCE - Dokter Gigi Wilayah Barat (Gel 2) Agustus Pelatihan Regional Item Dev OSCE - Dokter Gigi Wilayah Timur (Gel 2) Oktober Workshop Item Review Kedokteran Gigi Gel 2 2 Pengelolaan Bahan Uji ITEM BANK ADMINISTRATOR (IBA) 3

4 JANUARI APRIL JULI OKTOBER JANUARI UKDGI UKDGI UKDGI UKDGI UKDGI 23/10/2012 Workflow of Item Bank Administration Kedokteran G Institusi Item writer Item review Nasional Item Bank Administrator National Item Review item bank 2 Panel expert Item bank 1 National Item Bank Administrator Item selection process Question book (UKDGI) Item Bank 3 Time schedule IBA Yearly Item Item IBA Item Item Item Item Item Item Item Item Item IBA Item writer review inst review writer review IBA review writer review IBA review writer review inst review inst inst nas inst inst inst nas inst inst inst nas inst inst nas jan feb feb mar apr mei mei juni Juli agt agt sep okt nov nov des 4

5 GENERAL BLUE-PRINT for DENTISTRY DOMAIN COMPETENCY MCQ (%) OSCE (%) 1. Professionalism Application of basic medical and dental sciences 3. General physical examination and stomatognatic system 4. Management of stomatognatic functions System Oral and dental health Management of dental practices Blue print 5

6 6

7 Rekap hasil UKDGI setelah menerapkan MCQ tipe one best answer & Standard setting modified Anggof tahun periode N peserta Successful rate Failure rate Pass mark 2010 Juli % 20% Okt ,69% 29,31% Januari ,07% 12,93% April ,55% 14,45% Juli ,50% 29,50% 49 7

8 Jumlah pengumpulan soal per institusi (2010) N O NAMA INSTITUSI I (JULI ) II (NO V) III (DE S) Total yg sesuai format N O NAMA INSTITUSI I (JULI ) 1 USU * UNSYIAH 93* 20* II (NOV ) III (DES) Total yg sesuai format 2 BAITURAHMAH UNAND 1 20* 1 3 UI UNSRI 100* USAKTI Maranatha MOESTOPO * UNJANI UNPAD UNSOED - 10* - 7 UGM 30* UMY UNAIR UNISULA UHT Bhakti Wiyata UNEJ UB - 21* - 11 UNHAS UNLAM UNMAS UNSRAT UNPRIMA TOTAL Jumlah pengumpulan soal per institusi (2011) N O NAMA INSTITUSI I JUNI- JULI NAMA INSTITUSI 1 USU 21 UNSYIAH 20 2 BAITURAHMAH 20 UNAND 20 3 UI 25 UNSRI 40 4 USAKTI 24 Maranatha 20 5 MOESTOPO 20 UNJANI 20 6 UNPAD 27 UNSOED 20 7 UGM 120 UMY 35 8 UNAIR 65 UNISULA 20 9 UHT 42 Bhakti Wiyata UNEJ 20 UB UNHAS 15 UNLAM UNMAS 20 UNSRAT 20 UNPRIMA 20 I (JUNI- JULI) TOTAL SOAL = 764 8

9 Hasil UKDGI periode Juli 2010 berdasarkan standard setting Agustus 2010 Hasil perhitungan NBL Percentage Angoff methode (Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? Jumlah judges : 24 NBL = 48 9

10 Rekapitulasi tingkat kelulusan UKDGI periode juli 2010 Jumlah peserta = 381 Lulus = 304 Tidak lulus = 77 Persentase kelulusan = 80% Score tertinggi (max) = 76 Score terendah (min) = 6 Mean score = 54,9 SD = 10,2 Rata-rata nilai UKDGI & successful rate setiap institusi 10

11 Hasil UKDGI periode Oktober 2010 berdasarkan standard setting November 2010 Hasil perhitungan NBL Percentage Angoff methode (Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? Jumlah judges : 23 NBL = 49 11

12 Rekapitulasi tingkat kelulusan UKDGI periode juli 2010 Jumlah peserta = 563 Lulus = 398 Tidak lulus = 165 Persentase kelulusan = 70,69% Score tertinggi (max) = 82 (UNAIR) Score terendah (min) = 15 Mean score = 53,3 SD = 10,46 SUCCESSFUL RATE & RATA-RATA PER TEMPAT PENYELENGGARAAN 12

13 Catatan Urutan grafik hasil ukdgi juli dan oktober tidak menunjukkan tempat penyelenggaraan yang sama Tingkat Fakultas/Progr Studi Persiapan Computer Based Test (CBT) Item development Item review (Pakar bid ilmu masing2) Koordinator CBT Dilatih di institusi masingmasing Persiapan OSCE Item development Item review (Pakar bid ilmu masing2) Penguji OSCE & standard setting Pelatih Pasien Simulasi Koord OSCE Dilatih di institusi masing-masing 13

14 3 Penyelengaraan Uji CBT NACE Soal2 dr IPDG Item review IBA system Bank Soal UKDGI Software proses oleh KB UKDI WS 1 Uji coba software Uji coba UKDGI Panel expert Soal UKDGI Software CBT proses oleh KDGI CBT Software System OSCE Koord. CBT IT Lokal CBT Pengawas Pusat CBT CBT UKDGI 2012 Standard setting Item Analisis 14

15 Workshop 1 Pelatihan Koordinator CBT dan IT (lokal) bersama dengan koordinator dari FK dan IPDG Sheraton Yogyakarta Santika Yogyakarta Terdapat perbedaan sistem dantatalaksana CBT antara FK dengan FKG/IPDG Di FK dengan model KB UKDI membuat CBT center, sedangkan di IPDG di masing-masing Institusinya Mendapatkan data awal kesiapan dari masing-masing IPDG CBT CENTER MENYATAKAN SIAP DENGAN SARANA YANG DIMILIKI SENDIRI UMY Fahmi Yunisa Herman Yuliansyah Ada CBT Center UGM Dedy Kusuma Adi Nugroho Ada Labkom UHT Rima Parwati Sari Dedy Kristiawan Ada LabCBT/Lab Multimedia Citra UNBRAH Lestari Ivan Sander Tidak Ada Labkom CBT Nieka Bisri, UI Adhara Romdoni Ada Labkom Unej Hafiedz Maulana Widya Dwinoto D. Tidak Ada Labkom 15

16 CBT CENTER MENYATAKAN SIAP DENGAN SARANA CBT CENTER UKDI BANTUAN HPEQ UNHAS Rahmat Acing Habibie USU Erliera Armia CBT CENTER MENYATAKAN SIAP DENGAN SARANA PINJAMAN Dani Rizali Tidak Unpad Firman Anzarudin Ada Unair Sri Kunarti Wahyudi Tidak Ada Tidak Ada Lab Penunjang Tidak Ada Labkom LP3 Labkom FK Labkom FK FK Unpad LP 3 Unair CBT CENTER MENYATAKAN BELUM SIAP UPDM(B) Ika Ratna Maulani USAKTI Widijanto Santi UNSRI Herani Satya Adriansy Tidak Labkom ah Ada FE/FIKOM Tidak Andre Rian Ada Tidak Ada Tidak Ruang Ada Seminar FE/FIK OM UPDM Tidak Ada FK Unsri CBT CENTER TIDAK HADIR PERTEMUAN UNMAS Sumantri 16

17 Software CBT KG Karena menunggu beberapa proses dari KB UKDI maka schedule untuk proses CBT KG menjadi terlambat Diputuskan untuk membuat software CBT sendiri dengan mengacu perbedaan proses pelaksanaan di FKG/IPDG yang berada di institusi bukan di center UKDI UJI COBA APLIKASI CBT Dilaksanakan 27 April 2011, dengan hasil : CBT Center yang dapat digunakan untuk CBT UKDGI : No Nama Institusi 1 FKG Universitas Sumatera Utara 2 FKG Universitas Baiturrahmah 3 FKG Universitas Indonesia 4 FKG Universitas Gadjah Mada 5 PSKG FK Universitas Muhamaddiyah Yogyakarta 6 FKG Universitas Hang Tuah 17

18 CBT Center yang perlu perbaikan untuk dapat digunakan CBT UKDGI: No Nama Institusi Kekurangan 1 FKG Universitas Padjadjaran Aplikasi tidak di-instal ke server, webcam saat uji coba tidak terkoneksi dengan KDGI 2 FKG Univeritas Jember Jumlah work station yang berhasil dicoba terlampau sedikit (6 komputer), webcam saat uji coba tidak terkoneksi dengan KDGI 3 FKG Universitas Hasanuddin Jumlah work station yang berhasil dicoba terlampau sedikit (4 komputer), CBT Center yang tidak dapat digunakan CBT UKDGI: No Nama Institusi Penyebab 1 FKG Universitas Prof Dr Moestopo Tidak ada ruang komputer (Beragama) 2 FKG Universitas Trisakti Tidak ada ruang komputer 3 FKG Universitas Airlangga Tidak ada kelengkapan audio, LCD, jam, ups, webcam. Tidak ada uji coba pada work station. Koordinator CBT berbeda dengan yang biasa dikirim ke pelatihan HPEQ 4 PSKG FK Universitas Sriwijaya Tidak melakukan uji coba 5 FKG Universitas Mahasaraswati Tidak mengirimkan wakilnya saat pelatihan, tidak melakukan uji coba 18

19 VIDEO-CONFERENCE CBT KEDOKTERAN GIGI INSTITUSI KONEKSI JARINGAN KETERANGAN 1. USU V YM Kendala kerja sama dg FK 2. UNBRAH V YM Koneksi berjalan baik 3. UNSRI V YM Terkoneksi tetapi tidak ikut uji coba 4. UI - YM Belum terkoneksi tidak lancar 5. USAKTI V SKYPE Terkoneksi dg baik 6. UPDM UNPAD - YM Belum terkoneksi 8. UNEJ - YM Belum terkoneksi 9 UGM V YM Terkoneksi dg baik 10. UMY - YM Terkoneksi tdk lancar 11. UNAIR - YM Belum terkoneksi 12. UHT V YM Terkoneksi dg lancar 13 UNMAS UNHAS V YM Terkoneksi dg baik tetapi uji coba tidak jadi dilaksanakan UJI COBA CBT Dilakukan uji coba CBT pada tanggal 24 Juni 2011 di masing2 IPDG Telah disepakati bahwa masing2 IPDG diperbolehkan menarik iuran dengan batas maksimal 300 rb. Dan diperbolehkan/dianjurkan melaksanakan uji coba CBT untuk pelatihan mhs nya berulang-ulang Diharapkan dengan uji coba tersebut masing2 institusi dapat membangun CBT center nya menjadi lebih baik (atau bagi yang masih memakai sarana tempat lain, dapat membuat CBT center sendiri) Diikuti oleh 11 CBT Center, yang tidak ikut : UPDM(B), UNMAS, UNSRI Evaluasi akan dilaksanakan 16 Agustus

20 Tujuan Uji Coba CBT Dapat membantu financial untuk CBT center di masing2 institusi Koordinator CBT dan IT lokal mendapatkan pengalaman dalam pelaksanaan CBT Permasalahan yang muncul pada saat pelaksanaan uji Coba CBT akan dipresentasikan pada Workshop evaluasi, sehingga dapat memberikan pengalaman ke IPDG lain 3 Penyelengaraan Uji OSCE 20

21 HASIL OSCE KOORDINATOR (KONSEP) 1. Pedoman tata laksana penyelenggaraan OSCE Nasional meliputi: 1.Dasar penyelenggaraan 2.Tujuan 3.Komponen Ujian 4.Persiapan 5.Tata tertib peserta ujian 6.Pelaksanaan 7.Evaluasi 8.Dokumentasi -HPEQ Project Standar atau protokol kerja penyelenggaraan OSCE di tempat ujian meliputi: 1.Pengorganisasian penyelenggaraan OSCE Nasional di institusi 2.Tupoksi masing masing penanggungjawab 3.Pendokumentasian hasil OSCE 4.Evaluasi pelaksanaan OSCE 5.Pengumuman hasil OSCE -HPEQ Project

22 3. Standar fasilitas dan SDM untuk penyelenggaraan OSCE Nasional meliputi: 1.Ruangan : Ukuran, jumlah, lay out tata letak ruangan dan pencahayaan dll 2.Fasilitas: Peralatan, Manekin, PS (Pasien terstandar) dlll 3.Ruang ujian, ruang karanina, dan loker (tempat penitipan) 4.SDM: Penguji, PS (pasien terstandar), PJ (penanggungjawab), Timer. -HPEQ Project Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran September 2010 Yogyakarta WS Nasional Koordinator OSCE dan CBT - Tersusunnya konsep konsep penyelenggaran OSCE Ked dan KG nasional 2-3 Oktober 2010 Medan WS Nasional item Dev OSCE Gelombang Oktober 2010 Surabaya WS Nasional item Dev OSCE Gelombang 3 Jumlah soal tereview: 16 dari kumpulan soal OSCE gel. 2 wil. Barat (3 set blue print ujian osce ) Jumlah soal tereview: 20 dari kumpulan soal OSCE gel. 2 wil. Barat (4 set blue print ujian osce TOTAL SOAL 32) -HPEQ Project

23 Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran Oktober 2010 Bandung WS Nasional Sinkronisasi Item Dev, examiner, SP Trainer dan Koordinator OSCE November 2010 Wilayah Barat: Jakarta- Usakti Wilayah Timur: Makasar- Unhas WS examiner ke 2 menggunakan 1 set paket soal yang telah tersedia Tereview 2 paket soal osce Total paket soal osce yang tersedia 4 paket soal Masih ditemukan kekurangan dalam 1.skenario soal soal Konser dan Perio, masih perlu direview ulang 2.Waktu yang dibutuhkan kandidat di setiap stasion masih belum konsisten Mei-Juni 2011 dan 30 Juni institusi KG yaitu: USU, Unbrah, UNSRI, UNPAD, UI, Moestopo, Trisakti, UMY, UGM, UHT, Unair, UNEJ, UNMAS, Survei kesiapan IPDG sebagai penyelenggaraan OSCE dan laporan hasil survey tahap I 13 IPDG menyatakan siap menjadi pusat penyelenggara OSCE mulai tahun 2011 kecuali UNSRI menyatakan siap Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran Juli institusi KG yaitu: Unsyiah, Unprim, Unand, UKM, Unjani, Unsoed, Unissula, IIK Bakti Wiyata, UB, Unsrat, Unlam, Survei kesiapan IPDG sebagai penyelenggaraan OSCE 11 institusi KG yaitu: Unsyiah, Unprim, Unand, UKM, Unjani, Unsoed, Unissula, IIK Bakti Wiyata, UB, Unsrat, Unlam, telah di survey Juli 2011 Hotel grand Sahid, Jakarta Item review soal CBT dan OSCE Soal OSCE terkumpul 35 Soal tetapi belum sempat di review 8-9 Agustus 2011 Hotel grand Sahid, Jakarta Laporan hasil Survey tahap II dan Grading hasil survey OSCE -HPEQ Project Masih diperlukan perbaikan dan peningkatan sarana dan prasarana serta mengadakan pelatihan 23

24 Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran Mei 2010 Palembang WS item writer Dev OSCE Wil. Barat Terkumpul 9 soal OSCE Mei 2010 Yogya WS item writer Dev OSCE Wil. Timur Mei 2010 Surabaya WS Nasional item writer Dev OSCE Terkumpul 12 soal OSCE Review: 9 Blue Print OSCE KG Jumlah soal berkualitas baik 18 soal Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran 9-10 Juni 2010 Yogya-UMY WS Standart Setting & Examiner OSCE Wil. Barat Juni 2010 Bali-UNMAS WS Standart Setting & Examiner OSCE Wil. Timur Juni 2010 Surabaya WS Nasional Examiner OSCE Soal OSCE yang telah dibuat masih banyak kekurangan terutama pada check list Soal OSCE yang telah dibuat masih harus dilengkapi Kesepakatan PS yang digunakan di OSCE KG 24

25 Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran Juli 2010 Medan-USU Makasar-UNHAS WS Pelatih SP OSCE Wil. Barat WS Pelatih SP OSCE Wil. Timur Perlu adanya pertemuan antara pelatih SP & item Dev Juli 2010 Batam WS Nasional Pelatih SP OSCE Agustus Padang Surabaya WS item writer Dev OSCE Gel. 2 Wil. Barat WS item writer Dev OSCE Gel. 2 Wil. Timur Kesepakatan- Kesepakatan &Koordinator Nasional Pelatih SP Terlampir (18 soal Tereview) 21 soal Tereview Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran Agustus 2010 Yogya WS Koordinator OSCE 12 FK 13 FKG Tersusunnya konsep 1. Dokumen Pedoman Tatalaksana Penyelenggaraan OSCE Nasional 2. Dokumen Standar / Protokol kerja penyelenggaraan OSCE di tempat ujian 3. Dokumen Standar Fasilitas & SDM Untuk Penyelenggaraan OSCE Nasional 25

26 HASIL OSCE KOORDINATOR (KONSEP) 1. Pedoman tata laksana penyelenggaraan OSCE Nasional meliputi: 1.Dasar penyelenggaraan 2.Tujuan 3.Komponen Ujian 4.Persiapan 5.Tata tertib peserta ujian 6.Pelaksanaan 7.Evaluasi 8.Dokumentasi -HPEQ Project Standar atau protokol kerja penyelenggaraan OSCE di tempat ujian meliputi: 1.Pengorganisasian penyelenggaraan OSCE Nasional di institusi 2.Tupoksi masing masing penanggungjawab 3.Pendokumentasian hasil OSCE 4.Evaluasi pelaksanaan OSCE 5.Pengumuman hasil OSCE -HPEQ Project

27 3. Standar fasilitas dan SDM untuk penyelenggaraan OSCE Nasional meliputi: 1.Ruangan : Ukuran, jumlah, lay out tata letak ruangan dan pencahayaan dll 2.Fasilitas: Peralatan, Manekin, PS (Pasien terstandar) dlll 3.Ruang ujian, ruang karanina, dan loker (tempat penitipan) 4.SDM: Penguji, PS (pasien terstandar), PJ (penanggungjawab), Timer. -HPEQ Project Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran September 2010 Yogyakarta WS Nasional Koordinator OSCE dan CBT - Tersusunnya konsep konsep penyelenggaran OSCE Ked dan KG nasional 2-3 Oktober 2010 Medan WS Nasional item Dev OSCE Gelombang Oktober 2010 Surabaya WS Nasional item Dev OSCE Gelombang 3 Jumlah soal tereview: 16 dari kumpulan soal OSCE gel. 2 wil. Barat (3 set blue print ujian osce ) Jumlah soal tereview: 20 dari kumpulan soal OSCE gel. 2 wil. Barat (4 set blue print ujian osce TOTAL SOAL 32) -HPEQ Project

28 Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran Oktober 2010 Bandung WS Nasional Sinkronisasi Item Dev, examiner, SP Trainer dan Koordinator OSCE November 2010 Wilayah Barat: Jakarta- Usakti Wilayah Timur: Makasar- Unhas WS examiner ke 2 menggunakan 1 set paket soal yang telah tersedia Tereview 2 paket soal osce Total paket soal osce yang tersedia 4 paket soal Masih ditemukan kekurangan dalam 1.skenario soal soal Konser dan Perio, masih perlu direview ulang 2.Waktu yang dibutuhkan kandidat di setiap stasion masih belum konsisten Mei-Juni 2011 dan 30 Juni institusi KG yaitu: USU, Unbrah, UNSRI, UNPAD, UI, Moestopo, Trisakti, UMY, UGM, UHT, Unair, UNEJ, UNMAS, UNHAS Survei kesiapan IPDG sebagai penyelenggaraan OSCE dan laporan hasil survey tahap I 13 IPDG menyatakan siap menjadi pusat penyelenggara OSCE mulai tahun 2011 kecuali UNSRI menyatakan siap tahun Workshop OSCE KG dan Luaran yang dihasilkan Tanggal Tempat Kegiatan Luaran Juli institusi KG yaitu: Unsyiah, Unprim, Unand, UKM, Unjani, Unsoed, Unissula, IIK Bakti Wiyata, UB, Unsrat, Unlam, Survei kesiapan IPDG sebagai penyelenggaraan OSCE 11 institusi KG yaitu: Unsyiah, Unprim, Unand, UKM, Unjani, Unsoed, Unissula, IIK Bakti Wiyata, UB, Unsrat, Unlam, telah di survey Juli 2011 Hotel grand Sahid, Jakarta Item review soal CBT dan OSCE Soal OSCE terkumpul. Soal tetapi belum sempat di review 8-9 Agustus 2011 Hotel grand Sahid, Jakarta Laporan hasil Survey tahap II dan Grading hasil survey OSCE -HPEQ Project Masih diperlukan perbaikan dan peningkatan sarana dan prasarana serta mengadakan pelatihan 28

29 29

30 TERIMA KASIH TIM TEKNIS KG 30