1

Importance of Item Analysis Item Analysis Arti & Pemanfaatannya Strength and weakness of question item Specification of question item Problem in question item Revision Sl Selection Dripa Sjabana Director of Information System Member of Educational Information Technology Development Commission (EITDeC) of MERSDU Lecturer at Department of Pharmacology Faculty of Medicine Airlangga University Question battery Evaluation Policy 2 Question bank Item Analysis Purpose: : determining question quality Character parameter (quantitative): Difficulty index Discriminant index Options functionality Specification parameter (qualitative): ti Content validity Accurateness of academic goal measurement as in the blue print. 3 Question Battery Analysis Purpose: determining question battery quality Parameter : validity reliability 4 dripa@fk.unair.ac.id 1

Lingkup Analisis Soal 1.Xxxxxxxx Analisis 2.Xxxxxxxx butir soal 3.Xxxxxxxx Karakter 4.Xxxxxxxx Spesifikasi 5.Xxxxxxxx Analisis perangkat soal 5 Validitas Reliabilitias Competence approach item analysis Competence vs. non-competence A to B = competence (=mastery) BC to E = non-competence D 0.1 (total sampling) D = p post p pre D = p competence p non-competence p 0.65 (B) p = correct answer : Number of students 6 Tingkat Kesukaran (p) % peserta ujian yang menjawab dengan betul. Rentang nilai 0 s.d. 1 difficulty index p = betul penjawab 0,25 0,75 0 p 1 Sukar Sedang Mudah Dapat mengungkap masalah terkait ujian dan bahkan terkait pengajarannya. 7 Tingkat Kesukaran (p) difficulty index Tingkat Distribusi butir dalam Nilai p Kesukaran PAN PAP Sukar 0,00 0,25 25% Sedang 0,26 0,75 50% Sesuaikan dengan Mudah 0,76 100 1,00 25% patokan PAN: diharapkan sekitar 0,50 atau 50% Mengukur perbedaan antar peserta ujian PAP: diharapkan sekitar patokan yang ditentukan Mengukur pencapaian setiap peserta ujian terhadap patokan. 8 dripa@fk.unair.ac.id 2

Daya Beda (D) Discrimination index D B a Bb = D = p p 0,5T a b D = daya beda B a = Σ kelompok atas yang menjawab betul B b = Σ kelompok bawah yang menjawab betul T = Σ peserta ujian (bila ganjil, maka T= Σ peserta ujian dikurangi satu). P a = tingkat kesukaran kelompok atas P b = tingkat kesukaran kelompok bawah p a p b Atas vs. Bawah 27% peserta skor tertinggi 27% peserta skor terendah PAN (Brennan 1972) Kompeten (nilai 65) nonkompeten PAP 9 10 D untuk PAP Daya Beda (D) discriminant index Diskriminan antara kompeten & nonkompeten (Brennan, 1972) DBrennan b = B = b + d betul a b butir salah c d a a + c a+c b+d nonkompeten kompeten patokan 11 Kelompok atas Kelompok atas menjawab salah atas = bawah menjawab betul -1 D=0 1 Kelompok bawah menjawab betul bawah = atas Kelompok bawah menjawab salah Efektivitas butir soal dalam memisahkan peserta ujian dengan nilai total ujian tinggi (atau kompeten) dari yang bernilai total ujian rendah (atau nonkompeten). 12 dripa@fk.unair.ac.id 3

D category for norm-referenced referenced test Items quality 0.40 Very good Recommendation 0.30 0.39 Reasonably good Possibly subject to improvement 0.20 0.29 marginal Need some revision 0.19 dripa@fk.unair.ac.id poor Memadai D 0.25 (Buku 1.15 hal.180) Need major revision or should be eliminated (Ebel & Frisbie 1986) Interpretasi D sekitar 0 Butir tidak diajarkan eliminasi Butir tidak dimengerti stem tidak jelas atau membingungkan revisi ada satu distraktor dipilih secara konsisten revisi Salah kunci Memadai D 0.10, jika total sampling (Dripa) 13 14 Interpretasi D negatif eliminasi Butir membingungkan peserta yang kompeten Kompeten memilih distraktor yang sama secara konsisten masalah ++ Salah kunci Interpretasi D positif rendah periksa p p sangat rendah (sangat sukar) atau sangat tinggi (sangat mudah) p memadai periksa pola jawaban Kompeten:nonkompt = berimbang memilih distraktor (stem stem) ) butir soal bermasalah, materi dianggap tidak penting oleh mahasiswa Konsisten memilih distraktor yang sama opsi bermasalah 15 16 dripa@fk.unair.ac.id 4

Contoh Analisis Distraktor Items character? Distraktor yang berfungsi benar memiliki D distraktor negatif Kompeten Nonkompeten Analisis dripa@fk.unair.ac.id A B* C D E dis. j 0 4 1 0 0 1 p 0,0 0,8 0,2 0,0 0,0 j 1 2 1 1 0 3 p 0,2 0,4 0,2 0,2 0,0 J 1 6 2 1 0 4 D -0,2 0,4 0,0-0,2 0 D 17 p=6/10 Items D p 1 0.00 0.40 2 0.00 0.70 3 0.25 0.30 4 0.25 0.80 5-0.40 0.20 6-0.80 0.70 18 Analisis Butir Soal Subjektif Sebagaimana soal objektif. Tidak ada analisis distraktor. 19 Analisis Butir Soal Pilihan Ganda Tidak Simpel Sebagaimana soal objektif. Analisis distraktor melalui pemetaan Pilihan ganda analisis hubungan (Sebab-akibat) akibat) Tabel Distraktor SAH-Dripa Pilihan ganda kompleks (1234) Tabel Distraktor 1234-Dripa. 20 dripa@fk.unair.ac.id 5

Naskah Sama Hasil Beda Naskah Sama Hasil Serupa Lulus 2003 Heterogenitas populasi setara Mutu pembelajaran setara 2005 2007 p =0.67 D =0.22 Sb Sub-populasi 21 Perbaikan p =0.85 D =0.09 p =0.65 D =0.24 p =0.62 D =0.22 22 p =0.67 D =0.20 Reliabilitas handal bila menyajikan informasi tentang peserta secara konsisten. Reliabilitas keputusan bahwa peserta kompeten atau tidak pada suatu ranah isi (a domain of content) Reliabilitas estimasi kinerja pada suatu ranah. Reliabilitas (konsistensi) keputusan kompeten 1 b + c p = o n (Hambleton & Novic, 1973) Kompeten a b non kompeten c Non kompeten kompeten 2 d 23 24 dripa@fk.unair.ac.id 6

Reliabilitas Estimasi Skor Ranah Standar error of measurement (Berk, 1980) pq Se = n 1 Se = Estimasi interval = p ± Se N n N 1 Se derajat kebenaran 65% 2 Se derajat kebenaran 95% pq n 1 Kuder-Richardson (20) Estimasi Konsistensi Internal Kurang sesusai untuk PAP Rentang 0 s.d. 1 Angka mendekati 1 menunjukkan kinerja konsisten seluruh butir perangkat ujian. Butir soal pada ujian dengan PAP diharapkan cukup homogen. Karenanya, kita harapkan pola yang konsisten akan sukses atau tidaknya butir dari ujian dengan PAP. 25 26 Reliabilitas sekali split-half KR-20 Kel.1 Kel.2 r n = pq 1 2 n 1 s 20 1 n = jumlah butir p = proporsi menjawab betul q= proporsi menjawab salah s 2 = varian dari skor total p 1 =0.64 D 1 =0.25 p=0.65 D=0.24 p 2 =0.66 D 2 =0.23 (Kuder & Richardson, 1937) 27 28 dripa@fk.unair.ac.id 7

Varian 2 2 ( X X ( ) X 2 s 2 2 = s = X N N Deviasi Standar S = SD = 29 2 s Karakter Kesempurnaan Item Analysis Struktur Soal (D, p, r) Pemanfaatan Hasil Analisis Butir Validitas Isi Spesifikasi Kesesuaian Blueprint/Kisi Evaluasi Mutu Pembelajaran + + + + + - -/+ -/+ -/+?/- + - - -? - + + + - (Dripa, 2008) Mutu pembelajaran meliputi a.l.: pengajaran, profil mahasiswa, lingkungan / fasilitas belajar, dan pengelolaan evaluasi. 30 Thanks dripa@fk.unair.ac.id Hope we all can be: a good educator a good inovator a good human being Referrences Wiersma W, Jurs SG Educational Measurement and Testing, 2 nd ed. Massachusetts: Allyn and Bacon, 1990, pp.209-286. Zainul A, Nasution N Penilaian Hasil Belajar. Jakarta: PAU-PPAI Universitas Terbuka, 2001, pp.169-190. Tim AA FK Unair Suplemen Program Applied Approach Fakultas Kedokteran. Surabaya: Fakultas Kedokteran Universitas Airlangga, 2004, pp.11-19, 63-88 31 32 dripa@fk.unair.ac.id 8