Analisis kualitas soal pada ujian fisiologi kedokteran

Transkripsi

1 Rosaria & Razi, Analisis kualitas soal Analisis kualitas soal pada ujian fisiologi kedokteran Rosaria Indah & Razi S. Siregar Abstrak. Ada banyak format soal yang digunakan dalam ujian tertulis: soal essei tertutup, essei terbuka, benarsalah, benar salah ganda, menjodohkan, soal kasus dan soal pilihan ganda. Setiap penguji harus menyadari kelebihan dan kekurangan tiap bentuk soal. Soal pilihan ganda yang baik memiliki beberapa kualitas seperti adanya ambiguitas ekstrinsik, menghindari sisipan dan lain-lain. Kualitas sebuah soal dapat diukur dengan menggunakan 2 indikator: tingkat kesulitan (p) dan tingkat diskriminasi (D). Tulisan ini membahas tentang 23 soal terkait pembelajaran fisiologi pada ujian dengan 100 soal di blok "The Cells" yang dilaksanakan pada Maret Setelah memeriksa kualitas soal kami merekomendasikan untuk mengganti 4 soal yang memiliki tingkat diskiminasi rendah, mengganti I kunci jarvaban untuk I soal, memperbaiki 8 soal dan tetap menggunakan 10 soal yang memiliki tingkat diskriminasi tinggl (JKS 2008; I:13-17) Kata kunci : analisis soal, ujian, fisiologi Abstract: There are many question format used these days in written examination: Short-Awwer open- ended questio4 essqt question, simple true-false questions,multiple true-false question, extended matching queslion (EMq, key-feature approach question and most popular format is multiple-choice question (MCQ). Every examiners have to be aware on benefits and weaknesses of exam questions format. Good MCQ questions have certain qualities such as extrinsic ambiguity, avoiding fillers, etc. The quality of a question can be measured by examining 2 indicators: difficulties level(p) and discrimination level(d). This paper examines 23 questions related with physiology in 100-questions examination on "The Cell's" block, conducted on March After examining we recommend to substitute 4 questions which had low discriminations level, change a key answer to I question, improve 8 questions and reuse other l0 questions which have high discrimination level. (IKS 2008; 1: Ii-l 7) Keyword : item analysis, final, physiologt t : i Pendahuluan Ujian tertulis adalah format ujian yang paling sering digunakan untuk menilai sejauh mana pencapaian pembelajaran mahasiswa. Kelebihannya adalah lebih mudah disusun dan relatif lebih murah jika dibandingkan dengan ujian keterampilan (skiq. Namun sudah dipahami bersama bahwa untuk menguji kompetensi kedokteran diperlukan kedua fomat ini (verbal/tertulis dan non verbal). Harus disadari pula bahwa keputusan lulus/tidak lulus seharusnya tidak hanya bersandar pada skor multiple-choice question(mcq) semata.r Ada berbagai bentuk soal tertulis, antara lain essei tertutup (Short-Answer open-ended question), essei terbuka (essay question), saal benar-salah sederhana (simple true-false questions), soal benar salah ganda (multiple truefalse question), soal menjodohkan berulang Rosaria Indah adalah anggota Medical Education Unit Fakultas Kedokteran Uniyersitas Syiah Kuala & Ra:i S. Siregar Dosen Bagian Fisiologi Fakultas Kedokteran Universitas Syiah Kual a. extended matching question (EMQ), soal kasus (eey-feature approach question) dan terakhir adalah MCQ atau pilihan ganda yakni format yang paling populer di antaru format yang lain.tentu saja tiap format memiliki kelebihan dan kekurangan. Yang terpenting penyusun soal benar-benar menyadari kelebihan dan kekurangan bentuk soal, indikasi dan kontraindikasinya, juga kaidah-kaidah penyusunan soal yang benar. Misalkan MCQ punya kelebihan yakni murah, mudah dijawab, mudah diperiksa dan reliabilitasnya relatif sangat baik. Kekurangannya relatif lebih sulit disusun (dengan mempertimbangkan syarat-syarat pertanyaan yang baik), lebih cocok jika bahan belajarnya sangat banyak dan jumlah peserta uji juga tidak sedikit.' MCQ juga tidak dapat digunakan untuk mengukur pedormance skill mahasiswa. Objective Structured Clinical Examination (OSCE) dalam hal ini jauh lebih sesuai dari pada ujian tertulis. 13

2 JURNAL KEDOKTERAN SylAll KUALA Volume 8 Nomor I April2008 i l Kaidah penyusunan MCQ Kaidah-kaidah menyusun MCQ yang baik antara lain: 1. Memiliki ambiguitas ekstrinsik, bukan ambiguitas intrinsik. Soal harus mampu membedakan antara mahasiswa yang benarbenar memaharni konsep dan mahasiswa yang cuma memahami sebagian dari konsep (ambiguitas ekstrinsik). Soal tidak boleh "menjebak" (triclry) misalkan dengan katakata yang salah sebagian hurufnya, juga tidak mengundang interpretpsi yang berbeda-beda (ambiguitas intrinsik).' 2. Memiliki hanya satu jawaban yang paling benar. Pilihan jawaban yang lain haruslah menjadi pengalih perhatian yang juga sederajat (equat) dan masuk akal (plausible), bukan sama sekali berbeda, terlalu panjang atau terlalu pendek jika dibandingkan jawaban yang benar.a 3. Menghindari pemakaian sisipan (fillers) misalkan ABC benar, bukan salah satu di atas (BSSD) dan lain-lain. 4. Menghindari kerumitan tambahan yang tidak perlu, misalkan tidak menggunakan bentuk l, 2, 3 benar. Mahasiswa sering terjebak saat memilih kombinasi jawaban, dan juga tidak ada hubungan dengan kompetensi dokter. Kadang bentuk ini memberi "petunjuk jawaban" misalkan jika I benar maka 3 sudah pasti benar. Soal menjadi tidak mampu membedakan antata mahasiswa yang memahami konsep dan -mahasiswa yang pandai memanfaatkan trik. 5 Tingkat kesulitan dan tingkat diskriminasi soal Kualitas soal dapat dinilai dari tingkat kesulitannya (p) dan kemampuan soal dalam membedakan/mendiskrim inasi antara mahasi swa yang benar-benar memahami pelajaran dengan mahasiswa yang memahami secara belum sempurna (faulty grasp) yang disebut dengan tingkat diskriminasi (D). Penentuan tingkat kesulitan dan tingkat diskriminasi ini dilakukan dalam Item Analysls soal. Item Analysis sebaiknya dilakukan secara berkesinambungan. Saat ini Fakultas Kedokteran Universitas Syiah Kuala (FK Unsyiah) memiliki Medical Education Unit yang bekerja sama t4 dengan Tim Assessment dan Tim Quality Assurance dalam menjaga kualitas penilaian terhadap mahasiswa. Metode Item soal diambil pada blok 4 The Cell pada kurikulum FK Unsyiah angkatan 2006 pada tahun akademik yang diujikan pada bulan Maret 2008 sebagai sampel. Ada 23 soal yang sangat terkait dengan fisiologi kedokteran di antara 100 soal. Langkah-langkah item analysis: I. Hitung lembar jawaban seluruh mahasiswa jumlahnya 254 (N:254). 2. Urutkan skor total tiap mahasiswa dari nilai tertinggi hingga terendah. Jika ada skor yang sama urutkan sesuai abjad dari nama mahasisrva. 3. Hitung jumlah mahasiswa dengan nilai tinggi dengan mengalikan N dengan 0.27: N x 0.27:68.8 dibulatkan menjadi Ambil dari urutan skor 69 lembar jawaban dengan nilaitertinggi: ini adalah kelompok mahasiswa dengan nilai tinggi (high scorer). 5. Ambil dari urutan skor 69 atau 68 lembar jawaban dengan nilai terendah: ini adalah kelompok mahasiswa dengan nilai rendah (ow scorer). 6. Hitung jawaban yang benar dari masingmasing kelompok. 7. Untuk mengetahui tingkat kesulitan (p) soal pertama-tama dicari jumlah jawaban benar untuk tiap soal bagi tiap kelompok. ph = jumlah jawaban benar 69 untuk kelompok high score pl : jumlah jawaban benar 68 untuk kelompok low score 8. Kemudian dicari rata-ratanya (p) dengan menj umlahkan (ph+pl)/2. 9. Tingkat kemampuan soal mendiskriminasi/ membedakan antara mahasiswa "pandai" dan "kurang pandai" didapat dari nilai D= (ph-pl). Bentuk soal yang digunakan dalam menguji pemahaman tentang fisiologi sel :

3 Rosaria & Razi, Analisis kulaitas soal. 16 dari 23 soal berbentuk EMQ. 3 dari 23 soal berbentuk benar-salah (menjodohkan dengan pilihan yang boleh sedemaha (simple true-false question). digunakan berulang). ' 4 dari 23 soal berbentuk MCQ. Tabel 1. Itent Analysls Soal Fisiologi Kedokteran Blok 4 The Cells TA No Soal Jenis Soal Topik ph pl D p Interpretasi Rekomendasi 1 EN,lQ SS I Mudah, diskriminasi rendah Ganti soal lain 2 EMQ SS I Mudah, diskriminasi sedang Perbaiki 3 EN4Q SS I Mudah, diskiminasi sedang Perbaiki 4 EMQ SS Mudah, diskriminasi rendah Ganti soal lain 5 EMQ SS Mudsh, diskiminasi sedang Perbaiki 6 TFQ SS Sedang, diskriminasi sedang Perbaiki 7 TFQ SS Mudah, diskiminasi tinggi Tetap digunakan 8 'TFQ SS Sedang, diskriminasi tinggi Tetap digunakan 9 EMQ SS Sedang, diskriminasi sangat tinggi Tetap digunakan 10 EMQ SS I Mudah, diskiminasi sedang Perbaiki 11 EMQ SS Mudah, diskiminasi tinggi Tetap digunakan 12 EMQ SS Sedang, diskiminasi sedang Perbaiki l3 EMQ SS Sedang, diskiminasi tinggi Tetap digunakan l4 EMQ SS Sedang, diskriminasi sangat tinggi Tetap digunakan 1s EMQ SS Sedang, diskriminasi rendah Ganti soal lain 61 MCQ KS Sedang, diskriminasi sedang Perbaiki 62 MCQ KS Sedang, diskriminasi sangat tinggi Tetap digunakan 63 MCQ KS Miskeyed atau kunci double/salah Ganti/ perbaiki kunci 64 MCQ KS Sulit, diskriminasi sedang Perbaiki 66 EMQ HH Mudah, diskiminasi sangat rendah Ganti soal lain 67 EMQ HH Sedang, diskriminasi tinggi Teiap digunakan 68 EMQ HH Mudah, diskriminasi tinggi Tetap digunakan 69 EMQ HH Sedang, diskriminasi tinggi Tetap digunakan Topik: SS:struktur sel, KS:komunikasi sel, HH:homeostasis dan hormon Ilasil DariZ3 soal sampel didapatkan beberapa tingkat kesulitan soal: Dipandang dari tingkat diskriminasi soal:. 4 soal memiliki tingkat D yang rendah (D<0.2) l0 soal relatif mudah (p>0.75). 8 soal memiliki tingkat D yang sedang I I soal relatif sedang (0.25<p<0.75) (0.2<D<0.35) I soal relatif sulit (p<0.25). 7 soal memiliki tingkat D yang tinggi. 1 soal miskeyed/salah memberipilihan.(p (0.35<p<0.5). mendekati 0). 3 soal memiliki tingkat D yang sangat tinggi (p>0.s1). l5

4 JURNAL KEDOKTEMN SYIAH KUALA Yolume 8 Nomor I April soal /salah member pilihan (miskeyed) (D< 0 atau minus). Dengan analysis item tersebut maka direkomendasikan untuk:. Mengganti 4 buah soal yang memiliki diskriminasi rendah.. Mengganti kunci/mengganti soal yang salah kunci/kunci ganda.. Memperbaiki 8 soal yang memiliki diskriminasi sedang agar menjadi lebih tinggi.. Tetap menggunakan 10 soal yang telah tinggi tingkat diskriminasinya. Perbaikan soal Contoh: Soal No I sampai dengan 5, bentuk EMQ. Jawablah soal No.1-5 di bawah ini dengan menjodohkannya dengan jawaban di sebelah kanan. Pilihan jawaban boleh digunakan lebih dari satu kali. Pilihan jawaban: A. Sel Eukariotik l B. Sel Prokariotik Tipe nukleus: Nucleoid region ( No real nucleus). Kunci B. Tidak mempunyai histon. Kunci B. Dijumpai pada organisme multiseluler. Kunci A Sel dengan ukuran l-10 pm. Kunci B. Nukleus dengan double membran. Kunci A. Soal nomor ldi atas hanya menguji pengetahuan sangat mendasar yang pada taksonomi Bloom berada pada tingkat 1 menghafal (memorizing) sehingga hampir semua mahasiswa (229 dari254 mahasiswa) mampu menjawab dengan benar. Soal ini perlu diganti dengan soal yang lebih menggali pada pemahaman atau aplikasi pengetahuan. Selain itu soal-soal tersebut hanya memiliki 2 pilihan jawaban, sehingga memberi menunjukkan jawaban (cutng fficts) yang cukup besar, sehingga sulit membedakan atfiara mahasiswa yang benar-benar paham dengan mahasiswa yang "menebak". Pembuat soal dapat menambahkan pilihan jawaban yang lebih banyak (2 atau 3 pilihan tambahan) untuk mengurangi "cuing effects" tersebut. Tenfu saja dengan juga mengubah pernyataan soal karena tidak mungkin menambah jenis sel selain eukariotik dan prokariotik yang niutlak cuma terdiri atas 2 jenis. Contoh : SoalNo. 63, bentuk MCQ D:-0.014, p: Zat yang masuk ke dalam sel dengan cara pinositosis adalah: a. Bakteri. b. Jaringan mati. c. Zatlarut yang tidak tampak di bawah mikroskop d. Leukosit. e. Bahan padat yang tampak di bawah mikroskop. Kunci E. Dari pilihan jawaban tidak ada yang paling tepat karena pinositosis adalah pengambilan secara terus menerus dan tidak spesifik cairan ekstrasel melalui vesikel-vesikel yang relatif kecil dan pada saat yang sama molekul-molekul besar maupun kecil yang terlarut ikut terhisap ke dalam sel (despapoulos halaman 12). Kesimpulan l. Penilaian mahasiswa memerlukan perhatian dan pengetahuan tentang prinsip-prinsip assessment untuk memperoleh metode penilaian yang berkualitas tinggi. 2. Salah satu usaha untuk memperbaiki kualitas soal dalam ujian tertulis adalah melakukan analysis item. Metoda ini relatif sangat mudah, murah dan tidak memakan banyak waktu. 3. Perlu ada tim khusus yang bertanggungjawab melakukan analysis item secara berkesinambungan dan memberi umpan balik (feedback) kepada pembuat soal demi perbaikan kualitas ujian. 4. Ada banyak bentuk soal selain MCQ yang mampu memberi objektivitas yang tinggi seperti EMQ dan multiple True-False question. Untuk topik-topik yang berada pada domain klinis lebih disarankan menggunakan key-feature approach question sehingga mampu menguji kemampuan diagnosis, tidak cuma pengetahuan faktual saja. 16

5 Rosaria & Razi, Analisis kulaitos soal Daftar pustaka 1. Schurvirth, L.W.T. and van der Vleuten, C.P.M. A Plea for New Psychometric models in Educational Assessment. Medical Teacher 20A6, 40; Van der Vieuten, C.P.M. The Assessment of Professional Competence: Development, Research and Practical Implications. Advances in Health Sciences Education 1996,1: Hopkins, K.D, Stanley, J.C, and Hopkins, B.R. Educational and Psy'chological Measurement and Evaluation. Massachusetts: Allyn and Bacon, Linn, R.L and Miller, M.D. Measurement and Assessment in Teaching. New Jersey: Pearson Education, Dent, John A", and Harden, Ronald M. A Practical Guide for Medical Teachers. Philadelphia: Elsevier Churchill Livingstone, t7