askapep13.wordpress.com Analisis Butir Soal Pilihan Ganda dengan Program ITEMAN Diambil dari Materi Kuliah Dr. Sumadi,M.Pd.

Transkripsi

1 Analisis Butir Soal Pilihan Ganda dengan Program ITEMAN Diambil dari Materi Kuliah Dr. Sumadi,M.Pd. Dilihat dari tujuannya, tes prestasi belajar adalah tes yang disusun untuk mengungkap keberhasilan seseorang dalam belajar (Azwar, 2013:8). Tes prestasi belajar meliputi tiga aspek pendidikan, yaitu kognitif, afektif, dan psikomotor. Untuk mengungkap aspek kognitif, biasanya prestasi belajar diukur dengan tes tertulis. Tipe tes yang dikembangkan di tingkat SMA biasanya berbentuk tes objektif (pilihan ganda) dan uraian. Tipe butir soal pilihan ganda adalah suatu tipe butir soal yang memiliki alternatif jawaban lebih dari dua pilihan. Konstruksi soal pilihan ganda terdiri dari dua bagian, yaitu stem dan option. Stem soal bisa berupa pernyataan atau pertanyaan, sedangkan option soal terdiri dari beberapa alternaif jawaban. Jumlah alternatif jawaban yang biasa digunakan di SMA adalah 5 (lima) pilihan. Salah satunya merupakan jawaban benar dari soal yang biasa disebut sebagai kunci jawaban, sedangkan empat option lainnya disebut sebagai pengecoh (distractors). Soal tes yang baik adalah soal yang dapat membedakan kemampuan setiap peserta. Untuk mengetahui kualitas butir soal, perlu dilakukan analisis butir soal. Salah satu program analisis butir soal yang biasa digunakan adalah program ITEMAN. ). ITEMAN merupakan program komputer yang digunakan untuk menganalisis butir soal secara klasik. Program ini termasuk satu paket program dalam MicroCAT yang dikembangkan oleh Assessment Systems Corporation mulai tahun 1982 dan mengalami revisi pada tahun 1984, 1986, 1988, dan 1993; mulai dari versi 2.00 sampai dengan versi Alamatnya adalah Assessment Systems Corporation, 2233 University Avenue, Suite 400, St Paul, Minesota 55114, United States of America. Program ini dapat digunakan untuk: (1) menganalisis data file (format ASCII) jawaban butir soal yang dihasilkan melalui manual entry data atau dari mesin scanner; (2) menskor dan menganalisis data soal pilihan ganda dan skala Likert untuk siswa dan 250 butir soal; (3) menganalisis sebuah tes yang terdiri dari 10 skala (subtes) dan memberikan informasi tentang validitas setiap butir (daya pembeda, tingkat kesukaran, proporsi jawaban pada setiap option), reliabilitas (KR-20/Alpha), standar error of measurement, mean, variance, standar deviasi, skew, kurtosis untuk jumlah skor pada jawaban benar, skor minimum dan maksimum, skor median, dan frekuensi distribusi skor. Page 1 of 14

2 Langkah langkah analisis butir soal dengan menggunakan Iteman 1. Membuat folder baru yang akan digunakan untuk mengkopi dan menginstal program ITEMAN, menyimpan data (input), dan untuk menyimpan hasil analisis (output). Misal folder diberi nama Tes Kimia 2. Mengkopi dan menginstal program ITEMAN pada folder tersebut. Yakinkan bahwa file ITEMAN.EXE sudah terinstal. 3. Mengetikkan data input pada Notepad (cara membuka Notepad adalah: klik Start- Programs-Accessories-Notepad). Data tersebut dapat berupa alphabetik atau numerik. Pengetikan data input terdiri dari 4 baris kontrol, kemudian baris kelima dan selanjutnya merupakan jawaban siswa. Agar lebih jelas, perhatikan contoh pengetikan hasil tes kimia dengan jumlah butir soal 40, dengan 5 alternatif pilhan jawaban, dan diujikan kepada 31 siswa. Contoh 40 o N 10 EACBDEACBADECBDECDBAEDCBABEACDEABCDABEDC Kunci Jawaban Pilihan Jawaban YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY Kode Analisis CACDDEDBACDABDACAAEEBBCCABBACBAABEDAECBA ACCDCCCCCBEBCEADBABDBEBBAECABDCAAEABCBAA CAECDEDCADDDCCCBAABBBBBBABBCCAAABABDACDE ACCBDAECCBDDEBABCAABDBCEABAACCAACECAEBAB ABBBDEEBCECDBDACADBADBCCCDEECBEAAECAECBC EBBDDEAEBCEABBDAADBCEBCDDBAECEAAACAABBAB ACCDDEEACBDDCDBBCDBADBCEABAACCAAABCAEEAB AEEBAEDABBEABCBBCABBDBBCBBBDCDADAEDBBBBB AECDDEDAECEBCBACADBDDBCCCBBDCBAABEACBDAA AECBDEDDACACABACCABBDBCACABECBACBCACBDAA DECDDDECABDCBAEECABBABDCBEAECDACAAACBDAC CAEBDECBEBDEBEAECDEABBCDBBBBCCADAEACDBBC ACCDDECBEBDEBECECDEBCBEDBCBECCADAEAEEAAC BCCBDEEADCDCBBDCCDBAEDCDABBCBCAADBDCBCDB AAEDDEEBACEEBDBDADAEDBCECBAECEACDEAAECAC BDCBDECBCDDACEACAAAEBBCDABBCCAEEAABEEAAD BECDDABDACCEBAACCBBDEDBCDDECECCABEDAADAB CCCBDEACABEABAECDBBDBCDBEAACBACBEABCADAB AECBDEDCCCDCBEAECBABDBCACABECBACBCACBBAA ADCBAAAEACCCBEDBBDEDADDAABCECCABDCCAECDA ABBCBCCEACECBDDCCDBDADCCABBACBAEBADABCBC ABBADEABDCBCBEDBBEBBABCCCBAECAABDEDBEBAB ACCDDEAACCEAEABBCABBEBCCBBBEEBEDACACBAAC ACCDDEACCCECBBDCEABBEDCCACAEBBEDACACBAAC BCCBEAEAABCABCAADDBBABDEABAECCEADEECCDEC ACCBDEEACCCAAEBBCABBEBACCBBACCAADADADBAC AECBDEAACBDAABACCABBBDEDADBCCDADBCBACCBA ACCBDEACBDCAAEDECABBADCDADBCCDADBCACECBC AEEBDACBACCCBCDECABBDBDAABCDCCAEBCAAECCC AECBDDACACEAABDECABBCDCAADBCCBEADEAAECBA Page 2 of 14

3 Baris ke 1 sampai baris ke 4 merupakan baris kontrol, sedangkan baris ke-5 dan seterusnya berisi identitas dan jawaban siswa. Baris pertama Kolom 1 3: diisi jumlah butir soal (maksimal 250), pada contoh ditulis 040 Kolom 4: kosong / spasi Kolom 5: untuk jawaban omit (kosong), ditulis o Kolom 6: kosong / spasi Kolom 7: :untuk soal yang belum sempat dikerjakan Kolom 8: kosong / spasi Kolom 9 : diisi jumlah karakter identitas siswa (maksimal 80), dalam contoh 10 Baris kedua berisi kunci jawaban Baris ketiga berisi jumlah pilihan jawaban )option), dalam contoh 5 Baris keempat Baris ke empat Berisi KODE / Skala Tes : Y = butir soal dianalisis dan N = butir soal yang tidak akan dianalisis (=dianulir). Dapat pula diisikan bilangan 0, 1, 2 dan seterusnya untuk tes berskala Baris ke lima dan seterusnya diisi identitas siswa, dilanjutkan jawaban siswa, dimulai dari kolom ke-11. Baris Jawaban Siswa Mulai dari kolom pertama diisi identitas peserta, dilanjutkan jawabannya. (jumlah karakter untuk identitas harus sesuai dengan yang ditentukan sebelumnya), dalam contoh dibuat 10 Setelah selesai, data disimpan dengan format txt. Dalam contoh disimpan sebagai Tes.TXT 4. Menjalankan program Buka program ITEMAN, akan muncul permintaan untuk diisikan nama file input Enter the name of the input file: _ ketikan nama file data (input) yang akan dianalisis. Pada contoh : Tes.TXT lalu tekan tombol ENTER, komputer akan meminta diisikan nama output file (file hasil analisis) Enter the name of the output file: Tes.TXT <ENTER> Enter the name of the output file: _ Page 3 of 14

4 ketikan nama output file (file hasil analisis). Pada contoh : HasilTes.TXT lalu tekan tombol ENTER, computer akan menanyakan apakah menginginkan file hasil skor, komputer meminta jawaban Y / N Enter the name of the output file: Tes.TXT <ENTER> Enter the name of the output file: HasilTes.TXT<ENTER> Do you want the scores written to a file? (Y/N) Ketikkan Y ( = yes) bila kita inginkan file hasil skor, atau N (=no) bila kita tidak menghendakinya. Bila kita ketik Y, komputer akan meminta untuk mengetikkan nama file skor Enter the name of the output file: Tes.TXT <ENTER> Enter the name of the output file: HasilTes.TXT<ENTER> Do you want the scores written to a file? (Y/N)Y Enter the name of the score file:skortes.txt <ENTER> Ketikkan nama file untuk hasil skor, misalnya SkorTes.TXT lalu tekan tombol ENTER. Dalam waktu beberapa detik, akan muncul tampilan : Ini menunjukkan bahwa proses analisis telah selesai. File hasil analisis (HasilTes.TXT) dan hasil skor (SkorTes.TXT) berada dalam hard disk MicroCAT (tm) Testing System Copyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation Item and Test Analysis Program -- ITEMAN (tm) Version 3.00 Item analysis for data from file HasilTes.TXT Page 1 Item Statistics Alternative Statistics Seq. Scale Prop. Point Prop. Point No. -Item Correct Biser. Biser. Alt. Endorsing Biser. Biser. Key A B C D E * A * B CHECK THE KEY C ? A was specified, C works better D E A B C * D E dst Page 4 of 14

5 MicroCAT (tm) Testing System Copyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation Item and Test Analysis Program -- ITEMAN (tm) Version 3.00 Item analysis for data from file Tes.TXT Page 8 There were 30 examinees in the data file. Scale Statistics Scale: N of Items 40 N of Examinees 30 Mean Variance Std. Dev Skew Kurtosis Minimum Maximum Median Alpha SEM Mean P Mean Item-Tot Mean Biserial Scores for examinees from file Tes.TXT Page 5 of 14

6 5. Membaca Hasil Untuk tes skala yang terdiri dari butir-butir soal yang bersifat dikotomi (misalnya, pilihan ganda), statistik berikut adalah output dari setiap butir soal yang dianalisis meliputi: 1) Seg. No adalah nomor urut butir soal dalam file data. 2) Scala-item adalah nomor urut butir soal dalam skala (tes/subtes) 3) Prop. Correct adalah proporsi siswa (peserta tes) yang menjawab benar butir soal. Nilai ekstrim (mendekati nol atau satu) menunjukan bahwa butir soal tersebut terlalu sukar atau terlalu mudah untuk peserta tes. Indeks ini disebut juga indeks tingkat kesukaran soal secara klasikal. 4) Biser adalah indeks daya pembeda soal dengan menggunakan koefisien korelasi biserial. Nilai positif menunjukan bahwa pesrta tes yang menjawab benar butir soal, mempunyai skor yang relatif tinggi dalam tes/skala tersebut. Sebaliknya, nilai negatif menunjukan bahwa peserta tes yang menjawab benar butir soal, memperoleh skor yang relatif rendah dalam tes/skala tersebut. Untuk statistik pilihan jawaban(alternative korelasi biserial negatif sangat tidak dikehendaki untuk kunci jawaban dan sangat dikehendaki untuk pilihan jawaban yang lain(pengecoh). 5) Point-biser juga nerupakan indeks daya, pembeda soal dan pilihan jawaban (alternatif) dengan menggunakan koefisienkorelasi poin biserial. Pembahasan Hasil Analisis Butir Soal Dengan Iteman Berikut ini adalah salah satu contoh hasil analisis dengan menggunakan program Iteman Microcat. Hasil analisis dari 40 butir soal (tidak ditunjukan semua disini) menunjukan bahwa tingkat kesukaran soal no 2 adalah 0,133, soal secara keseluruhan dapat dijawab peserta tes, angka tersebar rata ke seluruh alternative jawaban. Apabila kita lihat daya pembedanya r pbis -0,042 dan r bis = -0,027 ternyata keduanya bertanda negative. Hal ini menunjukan bahwa peserta tes yang pintar (yang skor totalnya tinggi) menjawab salah soal ini dan peserta tes yang kurang pintar (yang skor totalnya rendah) dapat menjawab benar soal ini. Hal yang menarik ditunjukan oleh soal nomor 2 ini adalah adanya indikasi yang menunjukan bahwa kunci jawabannya salah, ditunjukan adanya peringatan CHECK THE KEY,A was specified, C works better.hal ini berarti hasil analisis menunjukan bahwa kunci jawaban A kurang tepat. Hasil analisis menunjukan bahwa alternative jawaban C berfungsi lebih baik membedakan kemampuan peserta tes disbandingkan dengan kunci jawaban A. Ketraguan ini didukung oleh kenyataan bahwa Page 6 of 14

7 daya pembeda alternative jawaban C=0,112 lebih baik dibandingkan dengan daya pembeda kunci A=-0,027. Apabila penulis soal dihadapkan dengan kenyataan ini ada beberapa hal yang harus dilakukan. Pertama, periksa kembali kunci jawaban, diskusikan dengan beberapa ahli materi untuk memperoleh kesepakatan kebenaran kunci jawaban. Kedua, apabila kunci jawaban itu ternyata salah, lakukan kembali analisis soal. Ketiga apabila ternyata kunci jawaban itu benar, maka kesalahan boleh jadi karena peserta tes menguasai konsep yang salah. Hal yang perlu dilakukan tentunya adalah memperbaiki konsep yang salah tersebut melalui remidial atau program lainnya. Secara singkat hasil analisis butir soal dapat dilihat pada tabel berikut: Analisi Butir Soal Kimia Ujian Akhir Sekolah Siswa SMA Yogyakarta No. item Indeks kesukaran Distribusi jawaban alternatif Keputusan A B C D E * Kategori Sulit Kurang baik Baik Baik Revisi A * B C ? D E Kategori Sulit Tidak baik Baik Kurang Baik Revisi A B C * D E Kategori Sedang Tidak baik Tidak baik cukup baik Diganti A B * C ? D E Kategori Sedang Kurang baik Tidak baik Tidak baik Diganti A B C D * E Kategori Mudah Baik Baik Baik Diterima Page 7 of 14

8 No. item Indeks kesukaran Distribusi jawaban alternatif Keputusan A B C D E * Kategori Sedang Kurang baik Tidak baik Cukup baik Diganti A * B C D E Kategori Sedang Kurang baik Baik Baik Diterima A ? B C * D E Kategori Sedang Tidak baik Baik Kurang baik Direvisi A B C D E Other * Kategori Sulit Kurang baik Baik Cukup baik Diterima A * B C ? D E Kategori Sangat sulit Tidak baik Tidak baik Tidak baik Diganti A B C D * E Kategori Sedang Kurang baik Baik Baik Diterima A B C D ? E * Kategori Sulit Tidak baik Baik Kurang baik Direvsisi A ? B C * D E Kategori Sulit Tidak baik Baik Kurang baik Revisi Page 8 of 14

9 No. item Indeks kesukaran Distribusi jawaban alternatif Keputusan A B * C D E Kategori Sulit Baik Baik Baik Diterima A B C D E Other * Kategori Sedang Baik Baik Baik Diterima A B C D E * Kategori Sulit Kurang baik Baik Baik Direvisi A B C * D E Kategori Sedang Baik Baik Baik Diterima A B C D * E Kategori Baik Kurang baik Tidak baik Baik Diganti A B * C D E Kategori Mudah Kurang baik Tidak baik Kurang baik Diganti A * B C D E Kategori Sulit baik Baik Baik Diterima A B C D E * Kategori Sulit baik Baik baik Diterima Page 9 of 14

10 No. item Indeks kesukaran Distribusi jawaban A B C D E Other alternatif * Keputusan Kategori Sulit baik Tidak baik baik Direvisi A B C * D E Kategori Sedang baik Baik baik Diterima A B * C D ? E Kategori Sulit Kurang baik Baik baik direvisi A * B C D E Kategori Sedang Baik Baik Baik diterima A B * C D ? E Kategori Sedang Kurang baik Baik Kurang baik Direvisi A B ? C D E * Kategori Sulit Kurang baik Tidak baik Kurang baik Diganti A * B C ? D E Kategori Sulit Kurang baik Baik Kurang baik Direvisi A B C * D E Kategori Mudah Kurang baik Tidak baik Kurang baik Diganti Page 10 of 14

11 No. item Indeks kesukaran Distribusi jawaban A B C D E Other alternatif ? * Keputusan Kategori Sulit Kurang baik Baik Kurang baik Direvisi A ? B C D E * Kategori Sulit Kurang baik Tidak baik Kurang baik Diganti A * B C D E Kategori Sedang mendekati Baik Baik Diterima baik A B * C D E Kategori Sedang Kurang baik Baik Baik Diterima A B ? C * D E Kategori Sedang Baik Tidak baik Kurang baik Diganti A B C ? D * E Kategori Sulit Kurang baik Baik Kurang baik Direvisi A * B C D E Kategori Sedang baik Baik Baik Diterima A B * C D E Kategori Sedang Kurang baik Tidak baik Kurang baik Diganti Page 11 of 14

12 No. item Indeks kesukaran Distribusi jawaban alternatif Keputusan A B C ? D ? E * - Kategori Sulit Kurang baik Tidak baik Kurang baik Diganti A B ? C D * E Kategori Mudah Kurang baik Baik Baik Ditreima A B C * D E ? Kategori Sedang Tidak baik baik Baik Direvisi Untuk hasil analisis tes/skala, maka akan disajikan data sebagai berikut: 1. N of items adalah jumlah butir soal dalam tes/skala yang ikut dianalisis. Untuk tes/skala yang terdiri butir-butir soal dikotomi, hal ini merupakan jumlah total butir soal dalam tes/skala 2. N of Examines adalah jumlah peserta tes yang digunakan dalam analisis 3. Mean adalah skor/ rata-rata peserta tes 4. Variance adalah varian dari distribusi skor peserta tes yang memberikan gambaran tentang sebaranskor peserta tes. 5. Std. Dev adalah deviasi standar dari distribusi skor peserta tes. Deviasi standar merupakan akar dari variance 6. Skew adalah kemiringan distribusi skor peserta tes yang memberikan gambaran tenatng bentuk distribusi skor peserta tes. Kemiringan negatif menunjukan bahwa sebagian besar skor berada pada bagian atas (skor/tinggi) dari distribusi skor. Sebaliknya, kemiringan positif menunjuikan bahwa sebagian besar skor berada pada bagian bawah ( skor rendah) dari distribusi skor. Kemiringan nol menunjukan bahwa skor berdistribusi secara simetris di sekitar skor rata-rata (mean) 7. Kurtosis adalah puncak distribusi skor yang menggambarkan kelandaian distribusi skor dibanding dengan distribusi normal. Nilai positif menunjukan distribusi yang lebih lancip (memuncak) dan nilai negatif menunjukan distribusi yang lebih landai(merata). Kurtosis untuk distribusi normal adalah nol. 8. Minimum adalah skor terendah peserta tes dalam tes/skala tersebut. 9. Maximum adalah skor tertinggi peserta tes dalam tes/skala tersebut. Page 12 of 14

13 10. Median adalah skor tengah dimana 50% skor berada pada atau lebih rendah dari skor tersebut. 11. Alpha adalah koefisien reliabilitas alpha untuk tes/skala tersebut yang merupakan indeks homoginitas tes/skala. Koefisien alpha bergerak dari 0,0 sampai 1,0. Koefisien alpha hanya cocok digunakan pada tes bukan mengukur kecepatan dan hanya mengukur satu dimensi. 12. SEM adalah kesalahan pengukuran standar untuk setiap tes/skala 13. Mean P adalah rata-rata tingkat kesukaran semua butir soal dalam tes secara klasikal dihitung dengan cara mencari rata-rata proporsi peserta tes yang menjawab benar untuk semua butir soal dalam tes/skala. 14. Mean Item-Tot adalah Nilai rata-rata indeks daya beda dari semua soal dalam tes/skala yang diperoleh dengan menghitung nilai rata-rata point biserial dari semua butir soal dalam tes/skala. 15. Mean- Biserial adalah juga nilai rata-rata indeks daya beda yang diperoleh dengan menghitung nilai rata-rata korelasi biserial dari semua butir soal dalam tes/skala. 16. Scale intercorrelation adalah indeks korelasi antara antara skor-skor peserta tes yang diperoleh dari setiap subtes/subskala. File Skor Program Iteman juga memberikan hasil skor untuk setiap peserta tes yang menunjukan jumlah benar dari seluruh jawaban. Contoh : 10 1 Scores for examinees from file Tes.TXT Page 13 of 14

14 Daftar Pustaka Allen.MJ & Yen.W.M Introduction to Measurement Theory. California:Brooks/Cole Publishing Company. Croker,L. and Algina,J Introduction to Clasical and Modern Test Theory. New York: Holt.Rinehart and Winston Jahya Umar Item and Test Analisis. Jakarta : Depdikbud Masrun,1976.Analisis Item. Yogyakarta: Fakultas Psikhologi UGM Sumarna Supranata Analisis, Validitas, Realibilitasdan Interpretasi Hasil Tes Impementasi Kurikulum Bandung: Rosda Page 14 of 14