OSCE. Gandes Retno Rahayu Department of Medical Education Faculty of Medicine Gadjah Mada University. Education for family planning SUTURING

Transkripsi

1 OSCE Gandes Retno Rahayu Department of Medical Education Faculty of Medicine Gadjah Mada University Education for family planning Take history taking from the mother of sick child Test for blood glucose level SUTURING Examine the deep tendon reflexes Demonstrate exam of the thyroid gland Take patient s BP and record its value Take a history in an acute chest pain patient

2 OSCE Objective Structured Clinical Examination Objective? or POSCE? Seven Ps of OSCE Performance assessment Process and product assessment Profile of students Progress of students can be monitored and feedback can be given Public assessment Participation of staff from different disciplines Pressure for change 2

3 OSCE: Direct observation of simulated hands-on clinical behavior under standardized test taking conditions, but. They come in a variety of ways. Varieties of OSCEs Patient-based Written task Clinical task Traditional OSCE SP-based test Station couplets Integral consultations.... 3

4 Disadvantages Expensive (time and manpower) Vulnerable (logistics) Miller s competency pyramid Does Shows how OSCE Knows how Knows Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 990; 65: S63-S7. 4

5 The construction of an OSCE-station Step : Decide what you want to assess Develop blue print for representativeness Measure what it claims to measure 5

6 Validity Blue print / Matrix Expert judgment on the representativeness Competence Categories CVS RS NB GI Repro MSS Endo/ Metab Haem/ Oncology GUS Head & Neck Special Sense Phsyciatry Case AMI (3B) TB Lung Febrile Conv. (SP) Diarrhea (pediatric ) Obgyn (contrasept ion) Low Back Pain Thyroid (SP) DHF Grade 3-4 (adult) (SP) Urinary Retenti on (SP) Mild- Moderate Head Injury (SP) Hearing Dissorders (3A, depkes) Schizoprenia (SP) (3A, depkes) History Taking Physical Exam Tests & Procedures Management Communicati on & Patient Education Perilaku Profesional 6

7 The construction of an OSCE-station Step 2: Writes the assignment for the student - situation - part of the consultation that should be demonstrated - maximum time available Skenario klinik: Seorang laki-laki usia 35 tahun datang ke Puskesmas dengan keluhan utama mata merah Tugas: Lakukanlah anamnesis dan pemeriksaan dasar mata untuk pasien ini kemudian tentukan diagnosis dan penatalaksanaan yang dibutuhkan 7

8 The construction of an OSCE-station Step 3: Writes the role/script for the simulated patient Nama : Nama SP sendiri Rentang usia : tahun Jenis kelamin : Laki-laki/Perempuan, dengan Visus normal Pekerjaan : Sesuai SP sendiri Status pernikahan : Sesuai SP sendiri Pendidikan terakhir : Sesuai SP sendiri Riwayat penyakit sekarang : Keluhan utama : Mata merah lokasi : Mata kanan sejak kapan : 4 hari yang lalu perjalanan penyakit : Semakin hari Semakin memerah keluhan lain terkait keluhan utama : Mata sulit dibuka di pagi hari, ada kotoran mata warna putih kekuningan, mata terasa nyeri, kelopak mata bengkak hal-hal yang memperburuk keluhan : jika mata digosok bertambah merah hal-hal yang mengurangi keluhan: tidak ada Riwayat pengobatan sekarang: sudah diberi obat tetes mata yang dibeli di apotik tapi tidak ada perubahan, lupa nama obatnya apa 8

9 Riwayat penyakit dahulu : tidak ada Penyakit kronis : tidak ada Riwayat pengobatan penyakit dahulu : tidak ada Riwayat penyakit keluarga : Suami/Istri mengalami keluhan yang sama Riwayat kebiasaan sosial olahraga = sesuai SP sendiri merokok = sesuai SP sendiri diet = sesuai SP sendiri hubungan suami istri = sesuai SP sendiri hubungan dengan tetangga/teman = sesuai SP sendiri Peran yang harus dilakukan: Yang harus dilakukan: memakai kaca mata hitam Pada waktu pemeriksaan Snellen, SP dapat membaca sampai huruf/angka yang terkecil dengan lancar Bila peserta tidak memberikan resep, tanyakan pada peserta obat apa yang harus dibeli Setelah peserta memberikan resep, tanyakan: apa saja yang harus dihindari The construction of an OSCE-station Step 4: Write the instruction for examiner 9

10 Instruksi: Penguji mengamati dan menilai penampilan peserta berdasarkan lembar penilaian Penguji tidak diperbolehkan melakukan interupsi ataupun bertanya kepada peserta selain yang ditentukan Penguji mengingatkan waktu yang tersisa peserta jika tersisa 3 menit lagi Penguji memberikan informasi terhadap data yang dibutuhkan setelah peserta melakukan pemeriksaan fisik sesuai dengan apa yang diperiksa oleh peserta : Inspeksi: Mata merah sebelah kanan, edema palpebra (+) Oblique Iluminasi : Injeksio Konjungtiva (+), secret (+) mukopurulen, Penguji menanyakan hal berikut kepada kandidat: Pertanyaan untuk kandidat: Apakah diagnosis pasien ini? Apakah penatalaksanaan untuk pasien ini? Jawaban: Konjungtivitis/ Konjungtivitis Akut Penatalaksanaan : Oxitetracyclin % zalf mata (boleh menjawab merek dagang) Vitamin C Hygiene diperbaiki Bed Rest Hindari kontak dengan orang lain (Jawaban yang betul wajib menyebutkan Oxitetracyclin % zalf mata (boleh menjawab merek dagang) dan Vitamin C) Penguji menyiapkan peralatan untuk peserta ujian berikutnya 0

11 The construction of an OSCE-station Step 5: Develop the instrument (narrative rating scale) INSTRUMEN PENILAIAN STATION MATA Komponen yang dinilai Anamnesis Hanya menanyakan keluhan Menanyakan: Menanyakan: utama keluhan utama proses perjalanan penyakit sekarang keluhan utama proses perjalanan penyakit sekarang Riwayat penyakit dahulu Pemeriksaan fisik Tidak dilakukan Hanya Melakukan inspeksi Melakukan: Inspeksi Oblique Iluminasi dengan cara membuka palpebra dan posisi senter yang tidak benar Keterampilan prosedur klinik Diagnosis dan Tatalaksana Profesionalisme Konseling Keterangan: Tidak melakukan pemeriksaan Visus Melakukan pemeriksaan visus dengan menempatkan posisi pasien secara tidak benar Melakukan pemeriksaan visus dengan: menempatkan posisi pasien secara benar urutan pemeriksaan tidak sesuai prosedur* Diagnosis salah Diagnosis benar, tata laksana salah Diagnosis Benar dan tatalaksana benar tapi tidak lengkap Tidak menciptakan Melakukan informed consent sebelum Berusaha menciptakan hubungan dokter hubungan dokter pasien melakukan pemeriksaan tapi tidak pasien yang baik (respek dan empati) yang baik (respek dan menciptakan hubungan dokter pasien yang Melakukan informed consent sebelum empati) baik (respek dan empati), atau melakukan pemeriksaan Tidak melakukan Menciptakan hubungan dokter pasien yang informed consent sebelum baik (respek dan empati) tapi tidak melakukan pemeriksaan melakukan informed consent sebelum Tidak memberikan penjelasan melakukan pemeriksaan Memberikan penjelasan yang tidak benar *= lihat buku panduan tentang prosedur pemeriksaan mata (akan dibuat kemudian) Menjelaskan apa yang harus dihindari dan apa yang harus dilakukan dengan benar tapi dengan bahasa yang tidak dimengerti oleh pasien Menanyakan riwayat penyakit secara lengkap mencakup riwayat penyakit dahulu dan riwayat penyakit keluarga Melakukan: Inspeksi Oblique Iluminasi dengan cara membuka palpebra dan posisi senter sekitar 60 o Melakukan pemeriksaan visus dengan: menempatkan posisi pasien secara benar urutan pemeriksaan sesuai prosedur* Diagnosis Benar dan tatalaksana benar dan lengkap Menciptakan hubungan dokter pasien yang baik (respek dan empati) Melakukan informed consent sebelum melakukan pemeriksaan Menjelaskan apa yang harus dihindari dan apa yang harus dilakukan dengan benar dan dengan bahasa yang mudah dimengerti oleh pasien

12 The construction of an OSCE-station Step 6: Identify the all equipments needed, including how to set Ruangan dengan ukuran panjang minimal 3 meter dengan cermin ukuran x meter yang diletakkan 3 meter di depan SP dan kartu Snellen diletakkan di belakang SP meja pemeriksaan = meja alat = kursi = 3 Senter = Snellen Test = set Kapas Lidi = set Kasa Steril = set Wastafel = Sabun cair = Tissue = dos Tempat sampah = Catatan rekam medik & ATK Blanko Resep Lembar penilaian 2

13 The construction of an OSCE-station Step 7: Write down the station writer(s) Station writers: dr. Suliati P. Amir, dr. Syamrina, dr. Rustam, dr. Asty Amalia 3

14 The construction of an OSCE-station Step 8: Write down the reference(s) referred General Ophthalmology 4

15 The construction of an OSCE-station Step 9: Station review Make necessary correction The construction of an OSCE-station Step 0: Train the simulated patients Train the examiners/observers 5

16 Psychometric Issues Reliability (R) Validity (V) Educational impact (E) Acceptability (A) Cost (C) We can t have them all OSCE = POSCE? Wider range of competences can be sampled Students are assessed by several number of examiner NOT just one Criteria are agreed in advance A uniform/comparable assessment can be implemented 6

17 OSCE = POSCE? Bottlenecks are: Number of suitable rooms Days available in curriculum schedule Number of students Available staff Patients or simulation patients Test material (models etc) OSCE = POSCE? Avoid excessive time pressure to students ambiguous instruction poorly constructed instrument poorly prepared examiners 7

18 OSCE = POSCE? The reliability of a test like this is dependant on many factors but very important are the total test time and the number of stations Many studies have been done: to accomplish a 0.80 reliability requires a 4 hour test with 2-24 stations. A 0.60 reliability requires a 2 hour test with 6-2 stations. (van der Vleuten and Swanson 990) Standard setting for OSCE station Absolute Methods Compromise Methods. Angoff (modified) 2. Ebel. The Hofstee Method 2. The Borderline Group Method 3. The Borderline regression method 8

19 A N G O F F METHOD Content experts serve as judges: Discuss characteristics of a borderline examinee and what constitutes adequate/inadequate knowledge Reach consensus on the qualities of a borderline candidate with specific examples in mind Each judge estimates performance of borderline examinee (s) on each item ( / 00) MPL Independent observer records judgments Judgments combined (totaled and averaged) to determine passing score Modified Angoff in OSCE Based on each item in checklist Average scores from judges will be the cutoff point Both overall cut-off and item-by-item one can be calculated Items full mark Explain to pt Position pt Inspection of skin 2 Temperature change Pulsation Femoral Popliteal Post. tibial Dors. pedis Capillary refill Total 0 80% % %.6 60% % % % % % Pass mark for this station is 6.6 (Ben-David, 2000) 9

20 The Ebel Method Content experts serve as judges: Session Independently classify each item for DIFFICULTY (easy, medium, or hard); and RELEVANCE (acceptable, important or essential). May review representative performance data. Compute summary statistics guide The Ebel Method Session 2 Reach consensus on qualities of a borderline candidate. Prompt: If a borderline student had to perform a large number of items like these, what percentage would they get correct? Judges independently estimate the percentage of items in each category that borderline testtakers will answer correctly. Judgments averaged and a passing score is calculated. 20

21 Hofstee s method Content experts serve as judges: Review the exam paper What is the minimum acceptable pass score? Min % correct that allows candidate to pass What is the maximum acceptable pass score? Max % correct that allows candidate to pass What is the minimum acceptable pass rate? Lowest acceptable % of failing candidates What is the maximum acceptable pass rate? Highest acceptable % of failing candidates After the test is given, the distribution of scores in graphed and the passing score computed 2

22 Borderline Regression Method Increasingly popular in OSCE and performance based examination In each station each examinee is assessed using two methods Check list based method Global performance (e.g. fail, borderline, pass, outstanding) Data from each station is aggregated A regression equation is developed using global performance is independent variable and check list marks as dependent variable Cut-mark (standard) is the boundary between borderline and pass Borderline Regression Method Items Explain to pt Position pt Inspection of skin 2 Temperature change Pulsation Femoral Popliteal Post. tibial Dors. pedis Capillary refill Total 0 Full mark Mark Put the global rating from the overall performance in OSCE Fail () Borderline (2) Pass (3) Outstanding (4) a 22

23 Borderline Regression Method Items Explain to pt Position pt Inspection of skin 2 Temperature change Pulsation Femoral Popliteal Post. tibial Dors. pedis Capillary refill Total 0 Full mark Mark Put the global rating from the overall performance in OSCE Fail () Borderline (2) Pass (3) Outstanding (4) a Borderline Regression Methods Global Actual Rating Mark Actual Mark Actual Mark = * gr R-Square = Global Rating 23

24 Borderline Regression Methods It is important Suitable Judges Transparent Sufficient training and practice 24