ANALISIS ITEM DENGAN PENDEKATAN IRT

Transkripsi

1 ANALISIS ITEM DENGAN PENDEKATAN IRT (DENGAN BANTUAN APLIKASI PROGRAM BILOG-MG) A. PENDAHULUAN Analisis butir soal secara modern menggunakan Item Response Theory (IRT) merupakan suatu teori yang menggunakan fungsi matematika untuk menghubungkan antara peluang menjawab benar suatu soal dengan kemampuan siswa. Hambleton & Swaminathan (1985: 9-10) menyatakan teori respons butir atau Item Respon Theory (IRT) merupakan salah satu cara untuk menilai kelayakan butir dengan membandingkan rerata penampilan butir terhadap tampilan bukti kemampuan kelompok yang diramalkan oleh model. Tujuan utama teori respons butir dikembangkan adalah untuk mengatasi kelemahan teori tes klasik yang tidak independent terhadap kelompok peserta yang mengerjakan tes maupun terhadap tes yang diujikan. Hambleton Swaminathan, & Rogers (1991: 5) mengungkapkan secara umum ciri-ciri respon butir diantaranya adalah; 1) karakteristik butir tidak tergantung peserta ujian, 2) skor yang digambarkan peserta ujian tidak tergantung pada tes, 3) model yang lebih menekankan pada tingkat butir daripada tes, 4) tidak mensyaratkan secara ketat tes paralel untuk menaksir reliabilitas, dan 5) menguraikan sebuah ukuran keputusan untuk tiap skor kemampuan yakni ada hubungan fungsional antara peserta tes dengan tingkat kemampuan yang dimiliki. Terdapat beberapa model pengukuran yang biasanya dipakai dalam melakukan analisis butir soal menurut IRT. Pemilihan model yang tepat akan mengungkap keadaan yang sebenarnya dari data tes sebagai hasil pengukuran. Salah satu model analisis butir dengan IRT adalah menggunakan tiga model logistik. Model pengukuran tersebut dibedakan berdasarkan jumlah parameter butir yang dimasukkan ke dalam model, yaitu model satu parameter logistik (1-PL), dua parameter logistik (2-PL), dan tiga parameter parameter logistik (3-PL). Pada model logistik satu parameter, probabilitas peserta tes untuk menjawab benar suatu butir soal ditentukan oleh satu karakteristik butir, yaitu indeks kesukaran Analisis Item dengan Pendekatan IRT Page 1

2 butir. Model logistik dua parameter, probabilitas peserta tes untuk menjawab benar suatu butir soal ditentukan oleh dua karakteristik butir, yaitu indeks kesukaran dan indeks daya beda. Sementara model logistik tiga parameter ditentukan oleh tiga karakteristik butir, yaitu indeks kesukaran butir soal, indeks daya pembeda, dan parameter tebakan semu. Analisis item menggunakan IRT haruslah memenuhi asumsi yang disyaratkan. Asumsi yang umum digunakan secara luas oleh model-model IRT ialah asumsi unidimensional, local independent dan invarian parameter. Dalam laporan ini, pengujian asumsi secara empiris hanya dilakukan untuk memenuhi asumsi unidimensi. Unidimensi artinya dimensi karaktersitik peserta yang diukur oleh tes itu tunggal. Tes yang telah diukur diharapkan hanya mengukur satu karakter atau kemampuan saja. Namun dalam kenyataanya sangat sulit untuk mengukur satu karakter saja mengingat adanya berbagai faktor yang mempengaruhi hasil pengukuran seperti faktor kognitif, kepribadian, kecemasan, motivasi, kemampuan bertindak cepat, dan tendensi menebak jawaban. Oleh karena itu untuk memenuhi asumsi faktor yang paling dominan mempengaruhi kinerja tes dibandingkan dengan tujuan disusunnya suatu tes. Apabila faktor dominan yang muncul sudah sesuai dengan tujuan disusunnya suatu tes maka asumsi unidimensi telah terpenuhi. Dalam tugas ini, kemampuan yang dianalisis adalah kemampuan siswa menguasai kompetensi pada mata pelajaran Matematika Sekolah Menengah Atas (SMA) yang sesuai dengan Standar Kompetensi Lulusan Ujian Nasional Matematika SMA tahun pelajaran 2009/2010 sebagaimana yang tertuang dalam Permendiknas nomor 75 tahun Data berasal dari tes Uji Coba Ujian Nasional Matematika 2009/2010 putaran 1 di SMAN 3 Yogyakarta. Soal pada tes tersebut dibuat oleh Tim MGMP Matematika provinsi Yogyakarta yang memuat 40 item soal berbentuk pilihan ganda dan tes ujicoba UN di SMAN 3 Yogyakarta diikuti oleh 217 testee/siswa. Analisis item ini bertujuan untuk mengetahui karakteristik/kualitas butir yang baik secara empiris. Uji asumsi yang digunakan juga dibatasi untuk uji asumsi unidimensi saja, sementara asumsi indepensi lokal dan invarians tidak diuji. Analisis Item dengan Pendekatan IRT Page 2

3 B. ANALISIS DATA 1. Pengujian Asumsi Unidimensi Pengujian unidimensi dilakukan untuk mengetahui apakah tes yang digunakan mengukur satu macam trait yaitu mengukur kemampuan siswa SMA pada mata pelajaran matematika. Uji asumsi unidimensi dilakukan melalui analisis faktor menggunakan program SPSS. Analisis faktor menghendaki bahwa matrik data harus memiliki korelasi yang cukup agar dapat dilakukan analisis faktor. Untuk menguji apakah terdapat korelasi antar dimensi digunakan uji Bartlett test of sphericity. Jika hasilnya signifikan berarti berarti matrik korelasi memiliki korelasi signifikan dengan sejumlah dimensi. Uji lain yang digunakan untuk melihat interkorelasi antar variabel dan dapat tidaknya analisis faktor dilakukan adalah dengan measure of sampling adequacy (MSA). Menurut Imam Ghozali (2006: 304) jika nilai MSA 0.05 maka analisis faktor dapat dilakukan. Hasil uji MSA dan uji Bartlett s ditampilkan dalam tabel berikut: Tabel 1. Hasil uji Bartlett test of sphericity dan KMO-MSA Kaiser-Meyer-Olkin Measure of Sampling Adequacy..634 Bartlett's Test of Sphericity Approx. Chi-Square 1.594E3 Df 780 Sig..000 Tabel di atas memberi informasi uji Bartlett s hasilnya signifikan karena nilai signifikansinya adalah 0,000 yang berarti bahwa terdapat korelasi antar dimensi. Disamping itu, nilai MSA dari data yang dianalisis 0.05 sehingga analisis faktor dapat diteruskan. Untuk mendapatkan item-item yang mengukur dimensi yang sama, dilakukan proses ekstraksi sehingga dihasilkan beberapa faktor. Banyak faktor Analisis Item dengan Pendekatan IRT Page 3

4 yang terbentuk ditunjukkan oleh komponen yang mempunyai eigenvalue >1 yang terlihat dalam tabel berikut: Tabel 2. Hasil Ekstraksi Analisis Faktor Hasil analisis faktor menunjukkan bahwa terdapat 15 faktor yang nilai eigennya lebih dari 1, sehingga dapat dikatakan bahwa 40 item yang dianalisis mengelompok ke dalam 15 faktor. Kelima belas faktor tersebut menjelaskan sekitar 62, 909% dari total varians. Hasil ini menunjukkan bahwa faktor pertama dapat menjelaskan 12,227% dari total varians. Eigenvalue faktor pertama nilainya lebih dari dua kali eigenvalue faktor kedua, sehingga dapat dikatakan bahwa faktor-faktor tersebut telah membentuk faktor yang dominan. Sebagaimana yang dinyatakan oleh Naga (1992: 297) kalau eigenvalue faktor pertama nilai beberapa kali nilai eigenvalue faktor kedua, sedangkan eigenvalue faktor kedua dan seterusnya adalah hampir sama maka dapat dikatakan bahwa syarat unidimensi sudah terpenuhi. Apabila dilihat dari component matrix maka jumlah item yang berkumpul pada faktor pertama sudah dominan yaitu sebanyak 25 item dari 40 item yang dianalisis (62,5%). Gambaran yang lebih jelas dari uji unidimensi ini dapat dilihat pada gambar berikut: Analisis Item dengan Pendekatan IRT Page 4

5 Gambar 1. Scree Plot Analisis Faktor Berdasarkan hasil analisis faktor dan diperjelas dengan scree plot di atas, maka dapat disimpulkan bahwa asumsi unidimensi telah dapat terpenuhi padatugas ini, meskipun dengan standar yang tidak terlalu ketat. Karena pada dasarnya sangat sulit memenuhi syarat unidimensi secara ketat, sebagaimana yang dinyatakan oleh Hambleton & Swaminathan (1985: 17) pada praktiknya asumsi unidimensi sulit untuk dipenuhi secara ketat karena adanya faktor lain seperti faktor kognitif, personality, faktor administrasi dalam tes, seperti kecemasan, dan motivasi. 2. Uji Kecocokan Model a. Pemeriksaan tahap awal Sebelum menentukan item yang cocok dengan model, maka perlu dilaksanakan pemeriksaan tahap awal terlebih dahulu. Pemeriksaan tahap awal dilakukan dengan analisis butir secara klasik. Salah satu cara analisis butir secara klasik adalah dengan analisis korelasi biserial. Biasanya butir yang tidak memadai pada analisis butir secara klasik, akan tidak memadai juga pada model IRT (Naga, 1992:296). Dengan demikian sejak awal kita sudah mengambil sikap terhadap semua butir yang tidak memadai tersebut. Jika butir tersebut ditolak, maka mereka tidak usah kita teruskan ke pencocokan model selanjutnya. Analisis Item dengan Pendekatan IRT Page 5

6 Untuk melakukan pemeriksaan tahap awal dapat dianalisis menggunakan program BILOG-MG. Hasil analisis secara klasik dapat diperoleh informasinya dari output BILOG fase 1 yang menginformasikan tentang banyaknya peserta tes yang menjawab benar, proporsi peluang menjawab benar dibagi peluang menjawab salah serta koefisien korelasi biserial. Nilai correlation biserial merupakan representasi dari daya pembeda item (item discriminan). Menurut Ebel & Fresbie (1986: 234) correlation biserial menggambarkan hubungan antara skor pada item tes dan skor pada total tes untuk setiap testee. Biserial yang bernilai positif tinggi menggambarkan kecendrungan testee yang berskor tinggi untuk menjawab benar dan testee yang berskor salah memberikan jawaban. Nilai biserial yang negatif menggambarkan hubungan yang berlawanan, dimana testee yang memiliki skor tinggi salah menjawab item tersebut, sedangkan testee dengan skor rendah benar menjawab item yang bersangkutan. Dalam melakukan analisis item untuk memilih item yang baik, maka item dengan biserial yang negatif sebaiknya dikeluarkan dari model. Bahkan Ebel & Fresbie (1986: 234) menyatakan bahwa item yang memiliki daya pembeda kecil dari 0,2 merupakan item yang tidak bagus. Pendapat yang sama juga diungkapkan oleh Fernandes (1984: 10) yang mengatakan butir yang memiliki daya pembeda lebih besar dari 0,2 dikatakan baik. Merujuk kepada pendapat Ebel & Fresbie dan Fernandes di atas, maka dalam analisis item ini, item dengan korelasi biserial dibawah 0,2 tidak ikut di analisis karena akan mengganggu proses analisis (program BILOG tidak dapat melanjutkan hasil analisis karena adanya hasil yang tidak signifikan). Apabila item yang dikeluarkan hanya item yang memiliki biserial negatif saja, maka berdasarkan analisis yang telah dilaksanakan pada analisis 3-PL datanya tidak komplit di-run sehingga tidak dapat diperoleh informasi yang dibutuhkan. Hasil analisis fase 1 pada program BILOG memberi informasi bahwa terdapat 7 item yang nilai biserialnya dibawah 0.2, termasuk di dalamnya 2 item yang memiliki nilai biserial negatif. Ketujuh item ini tidak diikutkan untuk analisis Analisis Item dengan Pendekatan IRT Page 6

7 agar tidak menganggu tahap selanjutnya baik pada model 1-PL, 2-PL maupun 3-PL. Item tersebut adalah item nomor 1, 18, 24, 26, 27, 29, 37. Setelah tujuh item tersebut dikeluarkan, maka program BILOG dijalankan kembali dengan hanya menganalisis 33 item yang tersisa. Berdasarkan hasil analisis fase 1 yang baru diperoleh informasi bahwa tidak ada lagi item yang memiliki korelasi biserial negatif, sehingga langkah berikutnya dapat dilakukan uji kecocokan model berdasarkan output fase 2. b. Analisis Kecocokan Model Uji kecocokan model dimaksudkan untuk melihat apakah item-item yang dianalisis sesuai dengan model 1-PL, 2-PL atau 3-PL. Satu cara untuk melihat item yang cocok dengan model adalah menggunakan pengujian statistik chi-square. Pengujian kecocokan model ini dapat dianalisis menggunakan program BILOG. Setelah analisis data dengan program BILOG dilakukan maka pada output fase 2 dihasilkan statistik kecocokan suatu butir dengan model atau goodness of fit statistic. Program BILOG menggunakan statistik uji likelihood ratio chi-square untuk menguji kecocokan model. Item yang cocok adalah item dengan nilai probabilitas chi-square yang signifikan, yaitu item yang memiliki probabilitas chisquare 0.05 (karena kriteria yang digunakan dalam kasus ini adalah 0.05). Berdasarkan nilai probabilitas chi-square pada output fase 2, maka dapat disimpulkan jumlah item yang cocok pada masing-masing model adalah sebagai berikut: Tabel 3. Hasil Analisis Kecocokan Model No. Model Logistik Jumlah item fit % Nomor item 1. 1-PL 27 82% 2,3,4,6,7,8,9,11,12,13,14,15,17,19,20,21,25,28,30, 32,33,34,35,36,38,39, PL 32 97% 2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,19,20, 21,22,23,25,28,30,32,33,34,35,36,38,39, PL % 2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,19,20, 21,22,23,25,28,30,31,32,33,34,35,36,38,39,40 Analisis Item dengan Pendekatan IRT Page 7

8 Berdasarkan analisis item yang telah dilakukan, maka dapat dilihat bahwa model 3 parameter logistik lebih banyak menghasilkan item yang fit dibanding model 1-PL atau 2-PL. Keseluruhan item yang dianalisis fit dengan dengan model 3 parameter logistik. Sehingga dapat dikatakan untuk melakukan estimasi parameter item uji coba ujian nasional matematika putaran 1 SMAN 3 Yogyakarta lebih cocok di analisis menggunakan IRT dengan model 3 parameter logistik. C. HASIL ANALISIS ESTIMASI PARAMETER ITEM Teori respon butir memuat dua parameter, yaitu parameter butir dan parameter peserta. Parameter ciri peserta menyatakan ciri peserta dengan kemampuan, sedangkan parameter butir dinyatakan melalui model logistik yang cocok. Dalam kasus ini karena model yang cocok adalah model 3 paramater, maka estimasi parameter butir dinyatakan dalam bentuk daya beda (a i ), indeks kesukaran item (b i ), serta tebakan /pseudo guessing (c i ). Hasil estimasi parameter tersebut dapat dilihat pada output program BILOG fase Indeks Kesukaran Item (b i ) Tingkat kesukaran butir merupakan fungsi dari kemampuan seseorang (Djemari Mardapi, 1991: 11). Seseorang yang memiliki kemampuan tinggi akan merasa mudah mengerjakan butir soal, sebaliknya mereka yang memiliki kemampuan rendah akan merasa sulit menjawab butir soal. Tingkat kesukaran butir bergerak dari skala b pada teori respon butir. Tapi pada prakteknya butir yang dinyatakan baik adalah butir yang memiliki tingkat kesukaran (b i ) berkisar diantara -2 b +2. Butir yang memiliki tingkat kesukaran dekat atau di bawah skala -2 menunjukkan butir soal tersebut termasuk kategori mudah. Sedangkan butir yang memiliki tingkat kesukaran (b) dekat atau terletak di atas skala +2,00 menunjukkan butir soal tersebut termasuk kategori sukar (Hambleton, Swaminathan,& Rogers, 1991: 13). Tingkat kesukaran item dari ouput BILOG-MG dapat dilihat pada nilai Threshold di output fase2. Berdasarkan hasil analisis data diperoleh informasi Analisis Item dengan Pendekatan IRT Page 8

9 tingkat kesukaran seluruh item bergerak dari nilai -1,7280 sampai dengan Klasifikasi tingkat kesukaran item disajikan sebagai berikut: Tabel 4. Hasil Analisis Parameter Indeks Kesukaran Item No Indeks kesukaran (b i ) Kategori 1 b i > 2.0 Kurang baik b i 2.0 Baik 29 3 b i < -2.0 Kurang baik Total item 33 Jumlah Nomor item item 4 19,23,25,32 2,3,4,5,6,7,8,9,10,11,12,13,14,15, 16,17,20,21,22,28,30,31,33,34, 35,36,38,39, Berdasarkan tabel di atas diperoleh informasi bahwa sekitar 88% dari keseluruhan item memiliki tingkat kesukaran yang baik. Informasi ini membuktikan bahwa sekitar 88% dari kesuluruhan butir tes telah mampu menggambarkan fungsi dari kemampuan seseorang. Dimana testee yang memiliki kemampuan tinggi akan merasa mudah mengerjakan butir soal, sebaliknya mereka yang memiliki kemampuan rendah akan merasa sulit menjawab butir soal. Sedangkan 12% lagi memiliki termasuk butir yang sulit karena memiliki indeks kesukaran lebih dari 2.0. Jika tes cenderung sulit artinya sebagian tingkat kemampuan peserta didik cenderung rendah. 2. Parameter Indeks Daya Beda (a i ) Parameter indeks daya beda (a i ) adalah kemiringan kurva karakteristik butir di titik b i pada skala k emampuan tertentu. Karena merupakan kemiringan, berarti semakin besar kemiringannya maka semakin besar indeks daya beda butir tersebut. Secara teoritis daya beda butir terletak pada skala a. Namun dalam prakteknya nilai a i terletak antara 0 sampai 2 (Hambleton, Swaminathan & Rogers, 1991: 15). Analisis Item dengan Pendekatan IRT Page 9

10 Indeks daya beda item dari ouput BILOG-MG dapat dilihat pada nilai slope yang terdapat di output fase2. Berdasarkan hasil analisis data diperoleh informasi indeks daya beda seluruh item berada pada kisaran nilai sampai dengan Klasifikasi indek daya beda item dapat dilihat pada tabel berikut: Tabel 5. Hasil Analisis Indeks Daya Beda Item No Indeks daya beda (a i ) Kategori 1 a i > 2.0 Kurang baik a i 2.0 Baik Total item 33 Jumlah Nomor item item 3 22,31, ,3,4,5,6,7,8,9,10,11,12,13,14,15, 16,17,19,20,21,23,25,28,30,32, 33,34,36,38,39,40 Berdasarkan tabel di atas diperoleh informasi bahwa sekitar 91% item soal memiliki daya pembeda item yang baik. Hal ini membuktikan bahwa sekitar 91% dari keseluruhan item-item tes matematika memiliki kemampuan untuk mempertegas perbedaan di antara peserta yang dapat menjawab dengan benar dan menjawab dengan salah. 3. Parameter Tebakan semu (c i ) Parameter c i adalah ciri butir yang berkaitan dengan faktor kebetulan peserta menjawab butir itu dengan benar. Model ini berlaku untuk butir dengan respon yang bersifat dikotomi yaitu butir yang skornya benar dan salah. Parameter ini menggambarkan probabilitas peserta dengan kemampuan rendah menjawab dengan benar suatu butir yang mempunyai indeks kesukaran yang tidak sesuai dengan kemampuan peserta tersebut. Nilai c i berkisar antara 0 sampai 1. Suatu butir dikatakan baik jika nilai c i tidak lebih dari 1/k, dengan k banyaknya pilihan jawaban. Dalam tes matematikan ini karena pilihan jawaban ada 5, maka nilai nilai c i untuk setiap butir hendaknya tidak lebih dari 1/5 atau tidak melebihi 0.2. Analisis Item dengan Pendekatan IRT Page 10

11 Parameter tebakan item dari ouput BILOG-MG dapat dilihat pada nilai asymptote yang terdapat di output fase2. Berdasarkan hasil analisis data diperoleh informasi indeks tebakan seluruh item berada pada kisaran nilai 0,1040 sampai dengan 0,2580. Klasifikasi pseudo guessing item dapat dilihat pada tabel berikut: Tabel 6. Hasil Analisis Tebakan Semu Item No Indeks tebakan Kategori Jumlah Nomor item (c i ) item 1 a i > 0.20 Kurang 9 2,4,6,13,20,23,28,36,39 baik 2 a i 0.20 Baik 26 3,5,7,8,9,10,11,12,14,15,16,17,19, 21,22,25,30,31,32,33,34,35,38,40 Data dari tabel di atas menginformasikan bahwa sekitar 27% dari keseluruhan item di atas dijawab benar disebabkan karena adanya unsur kebetulan. D. IDENTIFIKASI KUALITAS ITEM Berdasarkan analisis fit model dan estimasi parameter di atas, maka dapat ditentukan berapa banyak item yang baik yang memenuhi kriteria IRT. Untuk mengetahui kualitas item secara empiris dapat digunakan ketentuan dari Hulin, Drasgow dan Parsons (1983: 16-25) dengan kriteria baik, kurang baik, dan tidak baik. Kriteria masing-masing parameter sebagai berikut: a. Item tergolong baik apabila item cocok dengan model, memiliki indeks kesukaran sampai 2.0, indeks daya pembeda butir 0.0 sampai 2.0, dan peluang tebakan tidak lebih dari 0.2 b. Item tergolong kurang baik apabila item cocok dengan model, memiliki indeks kesukaran kurang dari -2.0 atau lebih dari 2.0, indeks daya pembeda butir lebih dari 2.0, dan peluang tebakan lebih dari 0.2 c. Item tergolong tidak baik, jika tidak cocok dengan model. Berikut ditampilkan nilai estimasi parameter keseluruhan butir tes uji coba ujian nasional Matematika yang berjumlah 40 butir. Analisis Item dengan Pendekatan IRT Page 11

12 Tabel 7. Nilai Estimasi Parameter Setiap Butir ITEM Daya beda Indeks kesukaran Tebakan fit model kategori ITEM01 *-* tidak baik ITEM02 0,750-0,553 0,232 cocok kurang baik ITEM03 1,636-0,525 0,199 cocok baik ITEM04 1,289 0,207 0,203 cocok kurang baik ITEM05 1,664-1,728 0,190 cocok baik ITEM06 0,865-1,226 0,201 cocok kurang baik ITEM07 1,470 0,415 0,177 cocok baik ITEM08 1,177-1,704 0,194 cocok baik ITEM09 1,350-0,561 0,165 cocok baik ITEM10 1,502 0,093 0,170 cocok baik ITEM11 1,141-1,354 0,186 cocok baik ITEM12 0,921-1,608 0,189 cocok baik ITEM13 0,978-1,566 0,210 cocok kurang baik ITEM14 0,852-1,348 0,192 cocok baik ITEM15 1,279-0,745 0,174 cocok baik ITEM16 1,610-0,826 0,163 cocok baik ITEM17 1,037 1,190 0,140 cocok baik ITEM18 *-* tidak baik ITEM19 0,943 2,095 0,175 cocok kurang baik ITEM20 1,012 0,637 0,224 cocok kurang baik ITEM21 1,277-1,270 0,197 cocok baik ITEM22 2,605 1,046 0,136 cocok kurang baik ITEM23 0,690 2,806 0,204 cocok kurang baik ITEM24 *-* tidak baik ITEM25 0,931 2,227 0,145 cocok kurang baik ITEM26 *-* tidak baik ITEM27 *-* tidak baik ITEM28 0,931 1,414 0,258 cocok kurang baik ITEM29 *-* tidak baik ITEM30 1,165 1,161 0,186 cocok baik ITEM31 3,259 1,183 0,179 cocok kurang baik ITEM32 1,249 2,850 0,104 cocok kurang baik ITEM33 1,555 1,319 0,186 cocok baik ITEM34 1,089-0,147 0,199 cocok baik ITEM35 2,119 1,134 0,193 cocok kurang baik ITEM36 0,978 1,067 0,206 cocok kurang baik ITEM37 *-* tidak baik ITEM38 1,427 0,784 0,162 cocok baik ITEM39 1,037 1,016 0,223 cocok kurang baik ITEM40 0,638 1,687 0,183 cocok baik Keterangan: *-* tidak dianalisis karena memiliki korelasi biserial yang rendah Analisis Item dengan Pendekatan IRT Page 12

13 Berdasarkan 40 total butir soal tes ujicoba ujian nasional di SMAN 3 Yogyakarta, maka ada terdapat 7 item atau sekitar 17.5% item yang tidak ikut dianalisis karena memiliki korelasi biserial yang kurang baik. Ketujuh item tersebut tidak ikut dianalisis sehingga tidak ada informasi parameter yang diperoleh. Karena tidak memenuhi persyaratan analisis IRT, maka ketujuh item tersebut tergolong item yang tidak baik. Kualitas butir keseluruhan butir tes dapat diklasifikasikan sebagai berikut: Tabel 8. Klasifikasi Kualitas Item No Kategori Jumlah % Nomor item item 1 Baik 18 45% 3,5,7,8,9,10,11,12,14,15,16,17,21,30,3 3,34,38,40 2 Kurang baik % 2,4,6,13,19,20,22,23,25,28,31,32,35,36,39 3 Tidak baik % 1, 18, 24, 26, 27, 29, 37 Jumlah 40 Dari keseluruhan item tes ujicoba ujian nasional matematika, terdapat 45% item yang memiliki karakteristik/kualitas yang baik, dimana item tersebut fit dengan model dan memenuhi estimasi parameter daya pembeda, tingkat kesukaran dan tebakan semu yang baik. Sekitar 15% item tergolong kurang baik karena ada salah satu atau beberapa kriteria estimasi paremeter item yang tidak memenuhi kriteria item yang baik, baik itu parameter daya pembeda, tingkat kesukaran atau tebakan semu. Analisis Item dengan Pendekatan IRT Page 13

14 Frequency Friyatmi/ E. HASIL ANALISIS ESTIMASI PARAMETER PESERTA Parameter ciri peserta menyatakan ciri peserta dengan kemampuan. Estimasi kemampuan peserta dapat dilihat pada output BILOG fase 3. Berdasarkan output 3 program BILOG diperoleh informasi bahwa rerata kemampuan siswa adalah sebesar dengan empirical reliability sebesar Rerata kemampuan yang bernilai minus menunjukkan bahwa sebagaian besar siswa cenderung memiliki kemampuan yang rendah. Sebagaimana yang terlihat dalam grafik ability berikut: Gaussian Fit to Ability Scores for Group: Ability Gambar 2. Grafik Estimasi Kemampuan Siswa Berdasarkan grafik tersebut terlihat bahwa kecendrungan proporsi siswa yang memiliki kemampuan rendah lebih besar dibandingkan yang memiliki kemampuan tinggi. Berdasarkan data tersebut dapat disimpulkan bahwa wajar saja tidak ada soal yang mudah bagi siswa karena kemampuan mereka sendiri relatif rendah. Analisis Item dengan Pendekatan IRT Page 14

15 Probability Friyatmi/ F. KURVA KARAKTERISTIK BUTIR Kurva karakteristik butir atau Item Characteristic Curve (ICC) menggambarkan hubungan performansi subyek pada suatu butir dan perangkat laten yang mendasarinya. Menurut (Djemari Mardapi, 1991: 6) kurva karaktersitik butir merupakan fungsi matematika yang menyatakan hubungan antara peluang sukses menjawab suatu butir dengan kemampuan yang diukur oleh butir. Hubungan ini merupakan fungsi regresi nonlinier skor butir terhadap trait atau kemampuan yang diukur oleh tes. Bentuk kurva ini pada prinsipnya merupakan kurva ogive, yaitu kurva frekuensi kumulatif. Pada kurva karakteristik butir diperoleh gambaran tentang hubungan kemampuan siswa pada suatu butir dan parameter pada butir tersebut, yaitu tingkat kesukaran, daya beda dan parameter tebakan. Salah satu contoh hubungan tersebut dapat dilihat pada kurva karakteristik butir 2 berikut: 1.0 Item Characteristic Curv e: ITEM02 a = b = c = c 0.2 b Ability Gambar 3. Kurva Karakteristik Butir Soal nomor 2 Kurva diatas memperlihatkan hubungan kemampuan subjek dan estimasi parameter butir 2 dengan tingkat kesulitan butir , indeks daya menunjukkan kecuraman kurva dan pseudo guessing Analisis Item dengan Pendekatan IRT Page 15

16 Gabungan kurva karakteristik butir seluruh item yang fit dengan model 3 parameter logistik dapat dilihat pada gambar berikut: Matrix Plot of Item Characteristic Curv es Gambar 4. Kurva Karakteristik Butir Seluruh Item Gambar 4 di atas menggambarkan karakteristik 33 butir soal yang fit dengan model 3 parameter logistik. Secara berurutan kurva tersebut adalah ICC untuk butir 2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,19,20,21,22,23,25,28,30,31,32,33,34,35,36,38, 39,40. Setiap butir memiliki karakteristik dan bentuk yang berbeda-beda tergantung kepada besarnya tingkat kesukaran, indeks daya pembeda soal dan parameter tebakan masing-masing butir. Semakin besar nilai pseudo guessing suatu item, maka akan semakin ke atas gambar kurva karakteristik butir. Kecuraman kurva masingmasing item juga berbeda-beda tergantung kepada besarnya slope atau indeks daya pembeda butir. Kurva yang landai menunjukkan butir tersebut memiliki daya pembeda yang rendah. Analisis Item dengan Pendekatan IRT Page 16

17 Information Standard Error Friyatmi/ G. INFORMASI TES Nilai informasi menunjukkan keandalan dan keakuratan suatu pengukuran tes. Besarnya nilai fungsi informasi dari suatu tes tidak langsung muncul pada output program BILOG tetapi harus dihitung secara manual. Tetapi secara kasat mata dapat kita lihat pada grafik berikut: Subtest: TES Scale Score 0 Gambar 5. Kurva Informasi Tes Berdasarkan gambar 5 di atas maka dapat diprediksi nilai fungsi informasi tes maksimal tercapai pada kemampuan siswa sebesar 1,2. Sedangkan garis merah menunjukkan kesalahan pengukuran. Semakin besarnya nilai fungsi informasi maka akan semakin kecil kesalahan pengukuran. Analisis Item dengan Pendekatan IRT Page 17

18 DAFTAR BACAAN Djemari Mardapi. (2008). Teknik penyusunan instrumen tes dan nontes. Yogyakarta: Mitra Cendikia.. (1991). Konsep dasar teori respon butir. Perkembangan dalam bidang Pengukuran Pendidikan. Yogyakarta. Cakrawala pendidikan Nomor 3 th X. Ebel, R.L. & Frisbie, D.A. (1986). Essentials of Educational Measurement. New Jersey: Prentice-Hall, Inc. Fernandes, HJX. (1984). Evaluation of Educational Programs. Jakarta: National Planning Evaluation and Curriculum Development. Naga, D.S. (1992). Pengantar Teori Sekor Pada Pengukuran Pendidikan. Jakarta: Penerbit Gunadharma. Hambleton, R.K & Swaminathan, Hariharan. (1985). Item Response Theory: Principles and Applications. Boston: Kluwer-Nijhoff Publishing. Hambleton, R.K & Swaminathan, Hariharan & Rogers. (1991). Fundamental of Item Response Theory. Newbury Park: Sage Publication Inc. Hulin, C.L. et all. (1983). Item Response Theory Application to Psychological Measurement. Homewood: Dow Jones-Irwin. Imam Ghozali (2006). Aplikasi Analisis Multivariat dengan Program SPSS. Semarang: Badan Penerbit Universitas Diponegoro. Analisis Item dengan Pendekatan IRT Page 18