Hikmah Muktamiroh. Mila Citrawati. Anisah. Dipresentasikan pada. The 8th Jakarta Meeting on Medical Education,

Transkripsi

1 Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR): Suatu upaya untuk mengetahui kemampuan dosen membuat soal dan kemampuan mahasiswa menjawab soal Hikmah Muktamiroh Mila Citrawati Anisah Dipresentasikan pada The 8th Jakarta Meeting on Medical Education, Fakultas Kedokteran Universitas Indonesia 14-15th Nopember 2015 Fakultas Kedokteran Universitas Pembangunan Nasional Veteran Jakarta 2015 i

2 DAFTAR ISI Halaman Halaman Judul i Daftar Isi ii Abstrak iii BAB I Pendahuluan... 1 BAB II Teori. 3 BAB III Metode... 5 BAB IV Hasil dan Pembahasan... 6 BAB V Penutup.. 9 Daftar Pustaka... 9 Lampiran : Arsip presentasi ii

3 Evaluation on MCQ OSPE question analysis based on Digital Mark Reader (DMR) as ameans to ascertain lecturer ability to create MCQ and student ability answering question Hikmah Muktamiroh, Mila Citrawati, Anisah Faculty of Medical Universitas Pembangunan Nasional Veteran Jakarta Background: Laboratory activity (Lab Act) was done to sustain tutorial and lecture learning methods. Those activity was done from semester 1 until semester 7 in accordance with the running block. Assessment was done by MCQ (Multiple Choice Question) on OSPE (Objective Srtuctured Practical Examination) which is done integrated by departement involved in the block. On those assessment result, evaluation must be done to ascertain student ability answering MCQ and lecturer ability to create MCQ. Lecturer ability to create MCQ and student ability answering MCQ needed to know so lecturer could make an effort to follow up. Objective: Knowing student ability answering MCQ on OSPE, knowing lecturer ability to create MCQ s distinguishing power and determine follow up from evaluation result. Methods: Student s MCQ answer will be evaluated using Digital Mark Reader (DMR) software. Evaluation was done individually dan comprehensively. Based on student answer comprehensively on a goal, item difficulty level will be known. Item difficulty level based on DMR evaluation was compared to item difficulty level according to lecturer evaluation result. Item difficulty level and distinguishing power evaluation result will determined learning follow up. Evaluation carried out in the 2 nd. 4 th and 6 th semester 2014/2015. Result: Based on DMR, there was some less distinguish power of MCQ. There was few item with difficulty level based on DMR which has suitability with item difficulty level based on lecturer assessment. On contrast, there was few item with difficulty level based on DMR which has no suitability with item difficulty level based on lecturer assessment. There was effort plan to follow up on those evaluation result iii

4 Conclusion: Evaluation on analysis of MCQ OSPE question based on Digital Mark Reader (DMR) needed to be compared with item dfficulty level based on lecturer assessment and with distinguishing power. Evaluation by this means is further illustrate lecturer ability to create MCQ and the end, student ability answering item. Key words: Assessment, evaluation, difficulty level, distinguishing power, Digital Mark Reader (DMR), lecturer perception iv

5 Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) sebagai upaya untuk mengetahui kemampuan mahasiswa menjawab soal Hikmah Muktamiroh, Mila Citrawati, Anisah Bahaswan FK UPN Veteran Jakarta Contact person: LatarBelakang: Kegiatan Laboratorium Activity (Lab Act) dilakukan untuk menopang metode pembelajaran tutorial dan kuliah. Kegiatan tersebut dilakukan dari semester 1 hingga semester 7, sesuai dengan blok berjalan. Assessment kegiatan tersebut dilakukan dengan MCQ (Multiple Choice Question) pada OSPE (Objective Structured Practical Examination) yang dilakukan secara terintegrasi oleh departemen yang terlibat dalam blok. Terhadap hasil assessment tersebut harus dilakukan evaluasi untuk mengetahui kemampuan mahasiswa menjawab soal MCQ. Kemampuan mahasiswa menjawab soal MCQ perlu diketahui agar dosen dapat membuat upaya tindak lanjut. Tujuan: Mengetahui kemampuan mahasiswa menjawab soal MCQ pada OSPE dan menentukan tindak lanjut hasil evaluasi. Metode: Jawaban MCQ mahasiswa akan dievaluasi menggunakan soft ware Digital Mark Reader (DMR). Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban mahasiswa secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal. Tingkat kesukaran soal berdasar hasil evaluasi DMR dibandingkan dengan tingkat kesukaran soal bagi mahasiswa menurut hasil evaluasi staf pengajar. Hasil Evaluasi tingkat kesukaran soal oleh mahasiswa akan menentukan tindak lanjut pembelajaran. Hasil: Terdapat beberapa soal dengan tingkat kesukaran soal berdasar DMR yang memiliki kesesuaian dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Sebaliknya, v

6 terdapat pula beberapa soal dengan tingkat kesukaran soal berdasar DMR yang tidak sesuai dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Didapatkan rencana upaya tindak lanjut terhadap hasil evaluasi tersebut. Kesimpulan: Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) perlu dibandingkan dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Evaluasi dengan cara ini ini dapat lebih menggambarkan kemampuan mahasiswa menjawab soal. Kata kunci: Assessment, evaluasi, tingkat kesukaran, Digital Mark Reader (DMR), persepsi staf pengajar vi

7 BAB I PENDAHULUAN Sejak 2006, Fakultas Kedokteran Universitas Pembangunan Nasional telah melakukan Kurikulum Berbasis Kompetensi. Kurikulum tersebut memuat pembelajaran ilmu kedokteran yang terbagi dalam blok sistem yang ditunjang dengan praktikum (Laboratorium Activity/ Lab Act) di departemen untuk memperkuat retensi pembelajaran materi ilmu dasar dan kegiatan ketrampilan klinik untuk seawall mungkin mahasiswa memiliki ketrampilan klinis. Pengaturan kegiatan Laboratorium Activity yang digunakan untuk menopang metode pembelajaran tutorial dan kuliah tersebut dilakukan dari semester 1 hingga semester 7, sesuai dengan blok berjalan. Misalnya pada blok Gastrointestinal system (Sistem pencernaan) maka: 1) Departemen Anatomi akan menyampaikan fisiologi saluran pencernaan; 2) Departemen Fisiologi akan menyampaikan fisiologi sistem pencernaan; 3) Departemen Histologi akan menyampaikan materi jaringan sakit sistem pencernaan; 4) Departemen Patologi Anatomi akan menyampaikan materi jaringan sakit sistem pencernaan; 5) Departemen Mikrobiologi akan menunjukkan aneka bakteri dan virus di sistem pencernaan; 6) Departemen Parasit akan menunjukkan aneka bakteri dan virus di sistem pencernaan; 7) Departemen Patologi Klinik akan menunjukkan beberapa pemeriksaan laboratorium pada darah, urin dan lainnya yang berkaitan dengan gangguan pada sistem pencernaan; 8) Departemen Farmakologi akan menunjukkan beberapa jenis obat berikut cara metabolism dan cara kerja obat di tubuh, cara ekskresi obat, waktu mulai kerja obat (onset of action), lama kerja obat (duration of action), cara pemberian obat efek sampingnya terhadap tubuh dan lain sebagainya. 1 Terhadap semua pembelajaran tersebut di atas, tak berbeda dengan kurikulum konvensional, pada kurikulum berbasis kompetensi, juga dilakukan asesmen terhadap pembelajaran. Asesmen tersebut meliputi ujian SOCA (Structural Objective Case Analyzed) yaitu ujian lisan, OSPE (Objective Structured Practical Examination), MDE (Multiple Discipline Examination), dan OSCE (Objective Structured Clinial Examination) yang merupakan ujian untuk menguji ketrampilan klinis. Secara khusus, asesmen pembelajaran di lab act adalah MDE dan OSPE, meskipun pada beberapa ujian yang lain, pembelajaran di lab act yang berkaitan dengan ketrampilan klinik juga diujikan di OSCE. MDE (dengan soal Multiple Choice Question MCQ atau pilihan ganda) dan OSPE dilakukan secara terintegrasi oleh departemen yang terlibat dalam blok. 2 1

8 Ujian MDE dan OSPE dilakukan berbasis paper, dengan memberikan tanda silang di lembar kertas jawaban yang telah didesain untuk dikoreksi dengan komputer yang telah diprogram dengan program tertentu, dengan melalui tahap scanning jawaban dahulu. Demi terlaksananya peningkatan proses pembelajaran, asesmen yang dilakukan terhadap mahasiswa perlu di evaluasi agar kita mengetahui valid tidaknya asesmen yang dilakukan, untuk mengetahui kemampuan dosen membuat soal dan kemampuan mahasiswa menjawab soal. Makalah ini merupakan makalah hasil peninjauan evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) sebagai upaya untuk mengetahui kemampuan mahasiswa menjawab soal. 2 2

9 BAB II TEORI Asesmen merupakan cara untuk mendorong mahasiswa agar belajar lebih baik. Asesmen yang baik adalah asesmen yang drive learning. 3,4 Kegiatan evaluasi pembelajaran mahasiswa di Lab Activity dilakukan dengan MDE dan OSPE. Baik MDE maupun OSPE, keduanya menggunakan soal pilihan ganda (soal MCQ). Soal MCQ ini terdiri dari pokok soal (stem) dan pilihan jawaban. Pilihan jawaban meliputi 1 option kunci jawaban dan 4 jawaban pengecoh (distraktor). Jawaban mahasiswa terhadap soal akan dievaluasi oleh piranti lunak Digital Mark Reader. Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban mahasiswa secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal. Tingkat kesukaran soal : P = B/Jx P = indeks kesukaran, B = banyaknya siswa yang menjawab soal dengan benar, Jx = jumlah seluruh siswa peserta tes. Hasil: P Klasifikasi Soal 0,00 0,30 Soal sukar 0,31 0,70 Soal sedang 0,71 1,00 Soal Mudah. Berdasar keseluruhan jawaban mahasiswa terhadap suatu soal akan diketahui daya pembeda soal. Daya pembeda soal adalah kemampuan suatu soal untuk membedakan siswa yang berkemampuan tinggi dengan siswa yang berkemampuan rendah. 3

10 Daya pembeda soal: 5 DB = (Ba/Ja )- (Bb/Jb) DB = Daya Pembeda B a = banyaknya peserta tes kelompok atas yang menjawab soal dengan benar Ja = banyaknya peserta tes kelompok atas B b = banyaknya peserta tes kelompok bawah yang menjawab soal dengan benar Jb = banyaknya peserta tes kelompok bawah Hasil: P Klasifikasi Soal Negatif 0,09 Soal Kurang 0,31 0,70 Soal Cukup 0,71 1,00 Soal Baik Kisaran angka untuk daya pembeda mulai dari -1,00 sampai 1,00, dengan perincian sebagai berikut: a. Nilai minus (-) : daya pembeda sangat jelek, mahasiswa yang kurang secara akademik dapat menjawab benar, sementara mahasiswa yang pintar menjawab salah b. 0,00 0,20 : daya pembeda jelek c. 0,21 0,40 : daya pembeda cukup d. 0,41 0,70 : daya pembeda baik e. 0,71 1,00 : daya pembeda sangat baik Dari kedua penilaian tersebut di atas, maka soal dapat dikategorikan menjadi baik, cukup dan kurang. 4

11 BAB III METODE Penelitian ini terdiri dari 2 tahap, yaitu: 1. Tahap 1 : merupakan tahapan penelitian kualitatif, dengan pertanyaan tertutup dan terbuka yang diberikan kepada responden. 2. Tahap 2: tahapan penelitian kuantitatif dengan analisis deskriptif, dengan melakukan analisa terhadap jawaban MCQ mahasiwa. Jawaban MCQ mahasiswa akan dievaluasi menggunakan piranti lunak Digital Mark Reader (DMR). Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban mahasiswa secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal. 3. Tahap 3: Tingkat kesukaran soal berdasar hasil evaluasi DMR dibandingkan dengan tingkat kesukaran soal bagi mahasiswa menurut hasil evaluasi staf pengajar. Sampel pada penelitian ini meliputi semua jawaban mahasiswa pada blok dengan kelangkapan arsip yang lengkap, yang terdiri dari: 1) Kelengkapan arsip soal dan jawaban ; 2) Kelengkapan arsip catatan urutan soal berdasar departemen pada ujian blok tersebut; 3) Kelengkapan arsip soal dan jawabannya; 4) Kelengkapan arsip analisa DMR. Disamping syarat tersebut di atas, juga diperlukan kesediaan dosen pembuat soal/tim departemen dengan kesamaan penguasaan ilmu untuk menjawab pertanyaan. Bila ada dosen/ tim departemen dengan kesamaan penguasaan ilmu yang tidak bersedia, maka tidak dilakukan analisa terhadap soal pada departemen yang bersangkutan. Adapun hasil yang akan dicari berdasar tiga tahapan yang telah disebutkan, akan didapatkan: hasil analisa DMR, hasil evaluasi soal oleh dosen sebagai responden, hasil evaluasi DMR dibandingkan dengan tingkat kesukaran soal bagi mahasiswa menurut hasil evaluasi staf pengajar 5

12 BAB IV HASIL DAN PEMBAHASAN Berdasar persyaratan yang telah disebutkan pada bab 3, blok yang memenuhi syarat untuk dievaluasi adalah: Blok Spesial Sensory System (SSS), Blok Gastrointestinal System (GIS), blok Dermatomusculosceletal System (DMS), blok blok Genitourinary System, blok Cardiovascular system (CVS). Tabel 1 menunjukkan bahwa berdasar hasil analisa DMR yang ditampilkan, blok CVS merupakan blok yang memiliki tingkat kesukaran tertinggi. Sedangkan blok SSS adalah blok dengan persentase soal yang dianggap mudah terbesar. Tabel 1 Gambaran tingkat kesukaran soal menurut analisa DMR Tabel 2 menunjukkan bahwa berdasar hasil analisa DMR, blok GUS merupakan blok yang memiliki soal dengan daya pembeda baik terbanyak. 40% soal pada blok GUS dapat digunakan untuk membedakan mahasiswa yang mengerti tentang soal yang diberikan dan mahasiswa yang tidak mengerti. Hal sebaliknya terjadi pada soal-soal di blok SSS. Sebanyak 24 soal di blok SSS kurang dapat membedakan mahasiswa mahasiswa yang mengerti tentang soal yang diberikan dan mahasiswa yang tidak mengerti. Demikian pula yang terjadi pada blok SSS. 6

13 Tabel 2 Gambaran kriteria soal berdasar daya pembeda Tingkat kesukaran soal menurut analisa DMR dibandingkan dengan hasil evaluasi staf pengajar dapat dilihat pada tabel 3. Tabel ini menunjukkan bahwa soal-soal pada blok GUS dan CVS memiliki ketidak sesuaian analisa DMR paling sedikit dibanding 3 blok yang lain. Tabel 3 Tingkat kesesuaian antara tingkat kesukaran soal menurut analisa DMR dibandingkan dengan hasil evaluasi staf pengajar 7

14 Tabel 4 menunjukkan bahwa berdasar persepsi pembuat soal/ tim di departemen yang berkaitan, blok GUS merupakan blok yang memiliki tingkat kesukaran terendah. Sedangkan blok GIS adalah blok dengan persentase soal yang dianggap sukar terbesar. Tabel 4 Gambaran tingkat kesukaran soal menurut persepsi dosen pembuat soal Tabel 5 menunjukkan bahwa menurut pembuat soal/ tim di departemen yang berkaitan, blok SSS merupakan blok yang memiliki kebutuhan klarifikasi konsep pembelajaran yang berkaitan dengan soal yang digunakan pada ujian OSPE. Sedangkan blok DMS adalah blok dengan jumlah soal yang yang membutuhkan klarifikasi stem soal terbesar. Kebutuhan klarifikasi konsep dapat dilakukan melalui kuliah review materi, sedangkan kebutuhan klarifikasi stem soal dan item soal dilakukan dengan revisi soal. Tabel 5 Gambaran tindak lanjut perlakuan terhadap soal Klarifikasi konsep Klarifikasi stem Klarifikasi item Total SSS GIS DMS GUS CVS

15 BAB V PENUTUP Kesimpulan: Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) perlu dibandingkan dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Evaluasi dengan cara ini ini dapat lebih menggambarkan kemampuan mahasiswa menjawab soal. Saran: Dengan hasil evaluasi pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) dan penilaian oleh dosen, perlu dipertimbangkan penentuan batas lulus nilai tidak menggunakan nilai patokan, tetapi berdasar review dosen. Hal ini tentu mebutuhkan daya upaya yang besar di tahap awal, tetapi bila dilakukan secara terus menerus dan berkesinambungan akan didapat kan kualitas evaluasi dan kualitas pembelajaran yang makin meningkat. DAFTAR PUSTAKA 1. Kurikulum FK UPN Veteran Jakarta, MEU FK UPN Veteran Jakarta 2. Panduan Medical Assessment Unit FK UPN Veteran Jakarta 3. Amin Z, Seng CY, Eng KH, A Practical Guide to Medical Student Assessment, World Scientific Singapore. ISBN: Dent A, Harden RM, Practical Guide for Medical Teacher, ISBN Ramdani Y, Jurnal Penelitian Pendidikan, Vol. 13 No. 1, April

16 LAMPIRAN 1 Yth. Ka Dep dan Rekan-rekan Di Departemen... FK UPN Veteran Jakarta Assalamu alaikum WrWb Dengan hormat, Bersama surat ini, tim evaluasi MCQ OSPE meminta kesediaan Bapak Ibu untuk berkenan melakukan evaluasi soal berdasar jawaban mahasiswa yang terdokumentasikan oleh scanner. Evaluasi ini berguna untuk: 1. Melihat kemampuan pembuat soal dalam membuat stem soal, option soal termasuk distraktor soal. 2. Melihat kemampuan mahasiswa menjawab soal berdasar eavaluasi tingkat kesukaran soal. 3. Menentukan tindak lanjut. Berikut sekilas refreshing materi yang diharapkan dapat memfasilitasi Bapak Ibu saat melakukan evaluasi. Kegiatan evaluasi pembelajaran mahasiswa di Lab Activity dilakukan dengan soal MCQ. Soal MCQ ini terdiri dari pokok soal (stem) dan pilihan jawaban. Pilihan jawaban meliputi 1 option kunci jawaban dan 4 jawaban pengecoh (distraktor). Jawaban mahasiswa terhadap soal akan dievaluasi oleh software Digital Mark Reader. Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban mahasiswa secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal. Tingkat kesukaran soal : P = B/Jx P = indeks kesukaran, B = banyaknya siswa yang menjawab soal dengan benar, Jx = jumlah seluruh siswa peserta tes. 10

17 Hasil: P Klasifikasi Soal 0,00 0,30 Soal sukar 0,31 0,70 Soal sedang 0,71 1,00 Soal Mudah. Berdasar keseluruhan jawaban mahasiswa terhadap suatu soal akan diketahui daya pembeda soal. Daya pembeda soal adalah kemampuan suatu soal untuk membedakan siswa yang berkemampuan tinggi dengan siswa yang berkemampuan rendah. Daya pembeda soal: DB = (Ba/Ja )- (Bb/Jb) DB = Daya Pembeda B a = banyaknya peserta tes kelompok atas yang menjawab soal dengan benar Ja = banyaknya peserta tes kelompok atas B b = banyaknya peserta tes kelompok bawah yang menjawab soal dengan benar Jb = banyaknya peserta tes kelompok bawah Kisaran angka untuk daya pembeda mulai dari -1,00 sampai 1,00, dengan perincian sebagai berikut: a. Nilai minus (-) : daya pembeda sangat jelek, mahasiswa yang kurang secara akademik dapat menjawab benar, sementara mahasiswa yang pintar menjawab salah b. 0,00 0,20 : daya pembeda jelek c. 0,21 0,40 : daya pembeda cukup d. 0,41 0,70 : daya pembeda baik e. 0,71 1,00 : daya pembeda sangat baik Dari kedua penilaian tersebut di atas, maka soal dapat dikategorikan menjadi baik, cukup dan kurang (dapat dilihat pada kolom keterangan di hasil analisis soal yang kami sertakan). Terimakasih Tim Evaluasi OSPE 11

18 Selanjutnya, tugas Bapak Ibu adalah sebagai berikut: Evaluasi Departemen... pada blok... UTS/UAS (Coret yg tidak perlu) 1. Evaluasi terhadap soal secara keseluruhan. Adakah soal yang tidak merupakan learning objektif pembelajaran pada blok yang diujikan. Bila ada, soal no berapa sajakah? Evaluasi terhadap soal secara satu persatu. Adakah jawaban salah yang dominan? Jika ada, no berapa? Apakah ada kekeliruan kunci? No soal Kunci Pilihan jawaban yang dominan Ada kekeliruan kunci/ tidak Ada / Tidak Ada / Tidak Ada / Tidak Jika pada jawaban dominan tidak ditemukan kekeliruan kunci, berarti diperlukan tindak lanjut klarifikasi konsep, misalnya dengan kuliah panel. 3. Evaluasi terhadap soal secara satu persatu. Adakah kriteria soal sudah sesuai dengan penilaian Bapak Ibu? Adakah kriteria soal sukar yang menurut Bapak Ibu tidak sukar? Bila ada soal yang dinilai sukar tetapi menurut bapak Ibu tidak sukar, tindak lanjut apa yang tepat menurut Bapak Ibu, misalnya klarifikasi di lab Act? Kuliah Panel? (Lihat kolom isian di halaman selanjutnya) 4. Evaluasi terhadap soal secara satu persatu. Adakah kriteria soal kurang pada soal yang digunakan pada OSPE? Bila ada, apa tanggapan Bapak Ibu? Misal: 1) Perlu revisi option pilihan jawaban 2) Sulit membuat distraktor (pengecoh) (Lihat kolom isian di halaman selanjutnya) 12

19 LAMPIRAN 2 CONTOH HASIL ANALISA DMR 13

20 LAMPIRAN 3 Contoh Rekapan analisa DMR dan Dosen 14

21 LAMPIRAN 4 PRESENTASI 15

22 16

23 17

24 18

25 19

26 20