MENDESAIN TEST DENGAN CALIBRATION ITEM BANKING I. PENDAHULUAN.

Transkripsi

1 Juair MENDESAIN TEST DENGAN CALIBRATION ITEM BANKING I. PENDAHULUAN. Test merupakan sehimpunan pertanyaan-pertanyaan atau pernyataan yang harus dijawab atau dipilih atau tugas-tugas yang harus dilakukan oleh peserta test dengan tujuan untuk mengukur perilaku atau suatu apek tertentu dari peserta test (Depdiknas, 2003). Secara umum teknik pengukuran yang digunakan adalah tes berbentuk tes tertulis. Dalam tes tertulis, tes diberikan dalam bentuk bahan tulisan. Respon yang diberikan dapat berbagai bentuk. Bisa berupa kalimat, gambar, diagram atau yang lainnya. Dalam dunia pendidikan, penilaian terhadap proses belajar mengajar sangat diperlukan. Test (Depdiknas, 2003) sebagai bagian dari penilian mempunyai tujuan: Mendiagnosa kemampuan dan kelemahan siswa Menilai kemampuan yan berupa keterampilan, pengetahuan maupun pemahaman siswa; Menyeleksi Monitoring standar pendidikan. Achievement test atau test prestasi belajar adalah test dilakukan untuk mengetahui tingkat capaian siswa dalam menyerap materi (Stanley dan Kenneth, 1978). Test bisa dilakukan ditengah berlangsungnya kegiatan belajar mengajar (formatif) maupun di akhir kegiatan (sumatif). Dengan test prestasi, guru dapat melihat tingkat kemajuan siswa dalam mennyerap materi. Sehingga diketahui kelemahan siswa, apakah siswa sudah menguasai atau harus dilakukan remidi. Test yang baik adalah test yang telah terstandarisasi. Sehingga masingmasing item soal telah diketahui karakteristiknya. Untuk mengetahui mutu dari tiap item soal diperlukan analisisi test. Tujuan dari analisisi ini adalah agar dapat memberikan informasi tentang karakteristik internal baik buruknya soal berdasarkan analisis kuantitatif (Depdikbud, 1998). Analisis secara kuantitatif dilakukan dengan dua cara yakni secara Classical Theory Test, analisis soal berdasarkan sistem klasik maupun Item Respon Theory, analisis butir soal berdasarkan teori modern. Analisis secara klasik dilakukan dinataranya dengan bantuan shoftware Iteman, sedangan IRT dengan Bigstep. Penggunaan konsep IRT dalam mendesain lebih utama dibandingkan dengan konsep CTT. Dalam IRT pengkuruan dilakukan telah memperhitungkan karakter butir soal. Selain itu statistik soal telah dimasukkan dalam skala yang sama dengan tingkat kemampuan siswa (Hambleton, et. all, 1991). II. TUJUAN DESAIN TEST. Tujuan dari kegiatan desain test adalah: Melakukan perakitan butir soal sesuai dengan indikator sebagai manifestasi dari kompetensi dasar maupun standar kompetensi; Melakukan analisis butir soal secara klasik mapun modern; Melakukan kalibrasi terhadap item soal dengan model Rasch

2 Juair Membangun item bank soal berdasarkan konsep modern sesuai dengan kompetensi dasar. III. TEKNIK ANALISIS SOAL. Test yang didesain dalam penugasan ini adalah Test Matematika Kelas III MTs berbentuk. Sebelum dilakukan analisis kuantitatif, terlebih dahulu dilakukan analisis kualitatif. Butir soal ditelaah terlebih dahulu agar sesuai dengan standar kompetensi atau dasar kompetensi dan indikatornya. Tahap analisis soal dilakukan dengan tahapan 1. Analisis Kualitatif. Dalam pembuatan butir soal harus memenuhi kaidah penulisan (Depdiknas, 2003) sebagai berikut: 1.1. Aspek Materi. Soal harus sesuai dengan indikator, yakni menanyakan materi yang sesuai dengan tuntutan indikator. Pilihan jawaban bersifat homogen dan logis. Yaitu semua piliha jawaban berasal dari materi yang sama dengan pokok soal, setara penulisannya dan semua jawaban berfungsi dengan baik Mempunyai 1 jawaban yang benar atau paling benar dalam tiap butir soal 1.2. Aspek Konstruksi. Pokok soal harus jelas dan tegas, tidak menimbulkan pengertian atau penafsiran yang berbeda. Rumusan soal dan pilihan jawaban berupa pernyataan yang diperlukan saja Pokok soal jangan memberikan petunjuka ke arah jawaban yang benar. Pokok soal tidak mengandung jawaban yang negatif. Panjang rumusan pilihan jawaban relatif sama. Pilihan jawaban yang berbentuk angka disusun berurutan dari kecil besar atau sebaliknya. Soal dalam bentuk grafik, gambar, tabel atau diagram dapat berfungsi dengan jelas. Butir jawaban soal tidak tergantung pada jawaban soal sebelumnya Aspek Bahasa. Bahasa yang digunakan dalam tiap butir soal sesuai dengan kaidah bahasa Indonesia Tidak menggunakan bahasa yang hanya berlaku di lokal melainkan bersifat umum Pilihan jawaban merupakan satu kesatuan pengertian dengan butir soal. 2. Analisis Kuantitatif. Langkah selanjutnya adalah dengan mengujicobakan soal. Uji coba ini dilakukan untuk mengetahui gambaran karakteristik butir soal yang telah dibuat secara empiris. Sehingga dengan demikian akan diteketua respon siswa terhadap soal yang telah dibuat. Hasil jawaban dari siswa ini selanjutnya dianalisa secara kuantitatif.

3 Juair Analisis Klasik. `Dalam menganalisa butir soal secara klasik, respon jawaban siswa diolah dengan menggunakan Iteman. Karakteristik tiap butir soal dilihat berdasarkan tingkat kesulitan dan daya beda soal. Tingkat Kesulitan (proportion correct), yakni proporsi banyaknya jawaban benar siswa dengan banyaknya jawaban yang salah Daya Beda (poin biserial), kemampuan butir soal dalam membedakan peserta tes yang berkemampuan tinggi dan rendah. Distructor power, kemampuan pilihan jawaban sebagai pengecoh. Dalam iteman, makin kecil indeks tingkat kesulitan, maka makin sulit butir soal tersebut. Di dalam IRT sebaliknya, makin besar indeks tingkat kesulitan, artinya makin sulit butir soal tersebut Analisa IRT. Dalam IRT pembuatan item banking dengan sistem Rasch Model, dilakukan dengan menggunakan satu parameter logistic (1 PL). Dengan metode IRT, telah dilakukan penyempurnaan terhadap metode klassik dalam mengestimasi kemampuan siswa. Rasch Model mengestimasi respon testee terhadap butir soal berdasarkan tingkat kesulitan dan kemampuan (ability) yang dimiliki. Item yang sulit akan makin sedikit yang merespon jawaban dengan benar demikian pula sebaliknya (Hula, et all. 2006) Estimasi parameter b (tingkat kesulitan) relatif paling stabil dari pengaruh banyak item (n) soal maupun jumlah examine (N). Hal ini seperti yang diungkapkan oleh Dodeen (2004) bahwa parameter b pada model 1 PL maupun 3PL adalah hampir sama. Analisa ini dilakukan dengan bantuan software Bigstep. Sehingga butir soal akan lebih tepat dalam mengestimasi ability siswa sesuai dengan kemampuannya. Tingkat kesulitan soal tidak tergantung pada kelompok yang mengerjakan, melainkan dimanapun akan sama sesuai dengan kemampuan siswa. Model logistik dengan 1 parameter (1 PL) e (θ-bi) Pi(θ) = e (θ-bi) i = 1,2,3,...,n Dimana: Pi(θ) = probabilitas seorang subjek yang memiliki abilitas θ untuk menjawab item i dengan benar θ = tingkat kemampuan (abilitas) bi = parameter tingkat kesukaran item i n = banyaknya item dalam tes e = angka trasendental yang bernilai 2,718

4 Juair Parameter bi adalah titik skala kemampuan probabilitas menjawab benar sebesar 0,5. Jadi semaki besar bi maka semakin besar pula dibutuhkan kemampuan subyek makin besar untuk menjawab dengan benar. Karena hanya satu paremeter maka item yang mempengaruhi subyek, maka dalam model ini semua item dalam test memiliki daya beda yang sama (Azwar, 1999). IV. PEMBUATAN ITEM BANKING Uji coba pembuatan item banking ini dilakukan pada mata pelajaran kelas Matematika untuk Kelas III MTs. Oleh pihak sekolah diijinkan dilakukan pada kelas III sekaligus sebagai latihan UN. Langkah-langkah dalam pembuatan bank soal dengan konsep IRT, dilakukan pentahapan sebagai berikut: Gambar 1 SK / KD Indikator Kisi-kisi Soal Menulis soal Mereview Uji Coba Analisa Soal (Iteman) Kalibrasi Soal (Bistep) Kalibrasi Item (Bank) Design Test

5 Juair Pembuatan Kisi-kisi soal Berdasarkan Standar Kompetensi dan Kompetensi Dasar dibuat indikator dan kisi-sisi butir soal (dalam lampiran) 2. Penulisan Item Soal Menulis item soal yang sesuai dengan indikator dari kompetensi dasar yang telah ditentukan sebanyak 40 butir soal. 3. Review Soal Mereview item soal yang telah dibuat dengan guru matematika (kawan mahasiwa) dan pihak madrasah 4. Uji Coba Soal Uji coba soal dilakukan pada Tahap I: tanggal 23 Maret 2007 dengan soal paket I Tahap II: tanggal 2 April 2007 dengan soal paket II Tahap III: tanggal 9 April 2007 dengan soal paket III Setelah melakukan ujicoba I dipilihlah anchor item sebanyak 5 butir yang mewakili isi materi untuk dimasukkan ke dalam paket II dan III. Sebagai anchor item ditetap butir soal nomor 27, 33, 36, 37 dan Analisa Iteman Iteman digunakan untuk seleksi awal guna mengetahui item soal yang baik. Dengan kriteria tingkat kesulitan bahwa item soal yang diterima adalah item soal yang mempunyai TK > 0,15 yang dinyatakan lolos (pengarahan dan kesepakatan dosen dan mahasiswa dikelas). 6. Kalibrasi soal dengan Bigstep. Hasil analisa iteman yang dinyatakan lolos diolah dengan Bigstep. 7. Kalibrasi Item (Bank) Hasil measure pada pengolahan bigstep dikalibrasi dengan measure anchor item yang telah di tentukan dari bank soal. Maksudnya agar ketiga paket soal tersebut berada dalam skala yang sama. 8. Perakitan (Desain) Soal Merakit soal sesuai dengan hasil bank soal yang telah dikalibrasi sesuai dengan indikator pada Standar komptensi yang telah ditentukan. V. PREMINALARY ITEM BANKING. 1. Analisa Iteman Soal diujicobakan pada kelas III sekaligus sebagai try out. Uji coba dilakukan di MTsN Mranggen Demak Jawa Tengah. Peserta uji coba adalah 41 siswa. Hasil LJK selanjutnya diolah secara klasik dengan iteman Hasil analisa iteman yang dinyatakan lolos untuk proses selanjutnya seperti yang telah disampaikan diatas adalah yang mempunyai tingkat kesulitan di atas 0,15, sebagai berikut : Tabel 1. Tingkat Kesulitan berdasarkan Iteman No Item Soal Tingkat Kesulitan Paket Soal I Paket Soal II Paket Soal III 1 0,585 0,659 0, ,683 0,683 0, ,683 0,732 0, ,659 0,659 0, ,585 0,512 0, ,488 0,683 0, ,683 0,927 0, ,659 0,512 0,683

6 Juair ,683 0,390 0, ,537 0,317 0, ,683 0,659 0,976*) 12 0,439 0,683 0, ,488 0,317 0, ,683 0,341 0, ,659 0,585 0, ,488 0,610 0, ,659 0,659 0, ,683 0,634 0, ,829 0,683 0, ,878 0,683 0, ,317 0,610 0, ,780 0,634 0, ,683* 0.683*) 0, ,634 0,317 0, ,634 0,415 0, ,634 0,854*) 0,146*) 27 0,561 0,610 0, ,390 0,293*) 0, ,610 0,659 0, ,512 0,878 0, ,707 0,659 0,146*) 32 0,585 0,659 0, ,537 0,659 0, ,659 0,512 0, ,854 0,763 0, ,512 0,585 0, ,561 0,683 0, ,585 0,683 0, ,512 0,659 0, ,659 0,683 0,683 Keterangan: *) didrop karena TK < 0,15 atau chek the key 2. Analisa Bigstep. Dalam menjalankan Bigstep (Hari Setiadi), 4 tahap yang harus dilalui masing-masing paket soal adalah sebagai berikut: Gambar 2: Tahapan Analisa Bigstep Pra Bigstep Hasil Iteman Bigstep Run I Drop Orang Run II Drop Item

7 Juair Run III Selipkan Anchor Item Run IV Masukkan dalam Bank Soal 2.1. Tahap I (Run I) Pada tahap I, dilakukan untuk mengestimasi kemampuan peserta test sesuai dengan tingkat kesulitan test. Berdasarkan hasil analisan iteman dilakukan dropping item soal pada paket soal sebagai berikut : Tabel 2. Item Soal yang didrop No Urut Nomo Item Soal Didrop Paket I Paket II Paket III 1 23, chek the key Selanjutnya dimasukkan dalam control file sebagai IDFILE (Item Delete File) Kemudian dilakukan Run I program Bigstep 2.2. Tahap II (Run II) Pada tahap II, dilakukan seleksi person yang tidak fit dengan model. Pada tabel measure person yang tidak memenuhi kriteria didrop untuk selanjutnya dilakukan run pada tahap III. Ketentuan yang dirop: outfit yang > + 2. dan nilai point bierial (negatif) Berdasarkan hasil ouput pada tahap I, data person yang didrop dimasukkan dalam control file PDFILE (Person Delete File). pada tahap II yang data person yang didelete adalah sebagai berikut: Tabel 3. Person yang Didrop No Urut Nomor Person/Peserta Didrop Paket I Paket II Paket III

8 Juair Tahap III (Run III) Pada tahap III, dilakukan untuk menyeleksi item soal yang tidak sesuai dengan model. Yakni yang mempunyai nilai out fit : outfit yang > + 2. dan nilai point bierial (negatif) didrop dari paket soal. Item soal yang didrop dimasukkan dalam control file ID Tabel 4. Item Soal yang didrop No Urut Nomo Item Soal Didrop Paket I Paket II Paket III 1 Selesai belum ada anchor Tahap IV (Run IV) Pada tahap IV, dilakukan analisis anchor item. Sehingga soal-soal yang baru berada pada skala yang sama di bank soal. Item yang telah ditetapkan sebagai bank soal adalah item nomor 27, 33, 36, 37 dan 39. Masure hasi item tersebut diperoleh berdasarkan hasil run pada Bigstep soal Paket I Item Measure 27 0, , , , ,82 Sehingga hasil akhirnya mengalami pergerseran menyesuaikan skala pada anchor item. Rekap selengkapnya dari 50 item soal per paket, item yang lolos hasil kalibrasi sebagai berikut: Tabel 5. Jumlah Item Soal hasil Kalibrasi Paket Soal Peserta Jml Soal terpakai Jml Soal didrop I II III Jumlah Hasil Out Put Measure Item Bigstetp Kalibrasi item soal dengan Bigstep akan memperoleh informasi yang berkaitan dengan skor yang diperoleh, berupa estimasi tingkat kesulitan dan kalibrasi soal, indeks standar error, kecocokan data dengan model, daya beda. Berdasarkan kalibarasi pada Bigstep, dengan memasukkan anchor item pada paket II dan III, diperoleh hasil sebagai berikut.

9 Juair Paket Soal I (A) Gambar 3. Map Person dan Item MAP OF PERSONS AND ITEMS MEASURE MEASURE PERSONS-+- ITEMS X XX X X 2.0 X + X 2.0 X XXXXXX X X 1.0 XXX + X 1.0 XXX XXXXXXX XX X XX X.0 XXXX + XX.0 X XXXXXXX XX XXXX XX XXXX X X -1.0 X X X XX X -2.0 X + XX PERSONS-+- ITEMS Dari gambar tersebut, secara umum menunjukkan adanya match antara measure person orang (sebelah kiri) dengan measure dari item soal (sebelah kanan). Tabel 6 Summary Measure Person dan Item TABLE 3.1 UJI COBA SOAL TRY OUT MATEMATIKA PAKET-A BIGSTEPS" RASCH ANALYSIS VER May 15 19: INPUT: 41 PERSONS 40 ITEMS ANALYZED: 35 PERSONS 38 ITEMS 2 CATEGORIES SUMMARY OF 35 MEASURED (NON-EXTREME) PERSONS SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT MEAN S.D RMSE.46 ADJ.S.D PERSON SEP 2.93 PERSON SEP REL SUMMARY OF 38 MEASURED (NON-EXTREME) ITEMS SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT MEAN S.D RMSE.42 ADJ.S.D..78 ITEM SEP 1.83 ITEM SEP REL

10 Juair Dari tabel tersebut, terdapat 41 orang peserta uji coba, dengan 40 item soal. Adapun yang dianalisa terdapat 35 orang dan 2 item didrop karena tidak macth dengan model pada tahap 1-3. Pada tabel summary person, menunjukkan bahwa rata-rata skor mentah adalah 22,7 dari 38 item soal. Rata-rata kemampuan peserta adalah 0,63 logit, dengan mean error 0,44. Pada tabel summary item, menunjukkan bahwa koefisian reliabilitasnya 0,77 sehingga test tersebut termasuk baik, dengan kesalahan pengukuran rata-rata 0,42. standar error ini lebih kecil dibandingkan dengan standar error pada person. Tabel 7 : ITEMS STATISTICS: ENTRY ORDER NUM SCORE COUNT MEASURE ERRORMNSQ INFITMNSQ OUTFTPTBIS NAME MATEMATIKA bilangan bulat MATEMATIKA bilangan pecahan MATEMATIKA perbandingan ope MATEMATIKA aritmatika sosia MATEMATIKA aljabar MATEMATIKA himpunan bagian MATEMATIKA irisan 2 himpuna MATEMATIKA gabungan 2 himpu MATEMATIKA diagram ven MATEMATIKA persamaan linier MATEMATIKA pemetaan MATEMATIKA nilai fungsi MATEMATIKA grafik fungsi li MATEMATIKA persamaan linier MATEMATIKA gradien dan pers MATEMATIKA sifat bangun dat MATEMATIKA luas, keliling b MATEMATIKA garis singgung l MATEMATIKA teorema pithagor MATEMATIKA sifat sudut MATEMATIKA besar sudut MATEMATIKA unsur bagun ruan 23 DELETED 23-MATEMATIKA jaring-jaring 24 DELETED 24-MATEMATIKA luas dan volume MATEMATIKA kesebangunan MATEMATIKA kongruensi MATEMATIKA rentang data MATEMATIKA ukuran tendensi MATEMATIKA tafsiran data MATEMATIKA suku ke-n MATEMATIKA operasi aljabar MATEMATIKA persamaan linier MATEMATIKA suku ke-n MATEMATIKA ukuran tendensi MATEMATIKA suku ke-n MATEMATIKA operasi aljabar MATEMATIKA perbandingan ope MATEMATIKA suku ke-n MATEMATIKA garis singgung l MATEMATIKA ukuran tendensi Dari tabel tersebut, diketahui bahwa item soal yang didelete 2 item yakni item 23 dan 24. Selanjutnya item yang ditetapkan sebagai anchor item yakni nomor 27, 33, 36, 37 dan 39. Jadi pada paket soal I, item soal yang dapat dimasukkan ke dalam item banking sebanyak 38 item. Item tersebut disajikan pada tabel berikut (sesuai dengan urutan tingkat soalnya):

11 Juair Tabel 8. Item Banking dari Paket I (A) No Urut PAKET NO ITEM TK MATERI 1 I (A) sifat garis sejajar dan sudut 2 I (A) suku ke-n deret geometri 3 I (A) teorema phytagoras 4 I (A) unsur bangun ruang 5 I (A) irisan dua himpunan 6 I (A) aturan pemetaan 7 I (A) persamaan linier 2 variabel 8 I (A) luas dan keliling bangun datar 9 I (A) opr aljabar 10 I (A) diagram venn 11 I (A) garis singgung lingkaran 12 I (A) ukuran tendensi (mean, median, modus) 13 I (A) perbandingan bil bulat & pecahan 14 I (A) opr hitung bil pecahan 15 I (A) aritmatika sosial 16 I (A) opr aljabar 17 I (A) gabungan dua himpunan 18 I (A) gradien 19 I (A) kongruensi 20 I (A) ukuran tendensi (mean, median, modus) 21 I (A) bangun datar 22 I (A) persamaan linier 2 variabel 23 I (A) menyajikan dan menafsirkan tabel 24 I (A) perbandingan bil bulat & pecahan 25 I (A) opr hitung bil bulat 26 I (A) ukuran tendensi (mean, median, modus) 27 I (A) anchor item - rentang data 28 I (A) anchor item - suku ke-n deret aritmatika 29 I (A) persamaan linier 1 variabel 30 I (A) sifat bangun datar 31 I (A) anchor item - opr aljabar 32 I (A) grafik fungsi linier 33 I (A) suku ke-n deret aritmatika 34 I (A) anchor item - garis singgung lingkaran 35 I (A) himpunan bagian 36 I (A) nilai fungsi 37 I (A) ukuran tendensi (mean, median, modus) 38 I (A) besar dan jenis sudut

12 TK ITEM Juair GRAFIK TK ITEM BANK DARI PAKET I (A) NO ITEM TK ITEM Item soal yang paling mudah adalah item nomor 20 dengan Tingkat Kesulitan (TK) 2,04 (paling kiri) dan item paling sulit adalah item nomor 21 dengan TK 2, Paket Soal II (B) Pada gambar map person berikut ini, secara umum menunjukkan adanya match antara measure person orang (sebelah kiri) dengan measure dari item soal (sebelah kanan).

13 Juair Gambar 4: Map Person dan Item Soal pada Paket B (II) TABLE 1.1 UJI COBA SOAL TRY OUT MATEMATIKA PAKET-B BIGSTEPS RASCH ANALYSIS VER May 15 17: INPUT: 41 PERSONS 40 ITEMS ANALYZED: 37 PERSONS 34 ITEMS 2 CATEGORIES MAP OF PERSONS AND ITEMS MEASURE MEASURE PERSONS-+- ITEMS X XX X XX XX XX 2.0 XXXXX + X 2.0 XX XXXXXXX X XXX 1.0 X XXX XXXX XXXXXX XXXXXXXX XX XXXXXXXX.0 XX + X.0 XX X -1.0 X X XX X PERSONS-+- ITEMS Tabel 9 Summary Person dan Item May 15 17: INPUT: 41 PERSONS 40 ITEMS ANALYZED: 37 PERSONS 34 ITEMS 2 CATEGORIES SUMMARY OF 37 MEASURED (NON-EXTREME) PERSONS SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT MEAN S.D RMSE.46 ADJ.S.D PERSON SEP 2.66 PERSON SEP REL MAXIMUM EXTREME SCORE: 1 PERSONS

14 Juair SUMMARY OF 34 MEASURED (NON-EXTREME) ITEMS SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT MEAN S.D RMSE.42 ADJ.S.D..77 ITEM SEP 1.82 ITEM SEP REL Dari tabel tersebut, terdapat 41 orang peserta uji coba, dengan 40 item soal. Adapun yang dianalisa terdapat 37 orang dan 6 item didrop karena tidak macth dengan model pada tahap 1-4. Pada tabel summary person, menunjukkan bahwa rata-rata skor mentah adalah 21,2 dari 37 item soal. Rata-rata kemampuan peserta adalah 1,22 logit, dengan mean error 0,45. Pada tabel summary item, menunjukkan bahwa koefisian reliabilitasnya 0,77 sehingga test tersebut termasuk baik, dengan kesalahan pengukuran rata-rata 0,42. standar error ini lebih kecil dibandingkan dengan standar error pada person. Tabel 10 : ITEMS STATISTICS: ENTRY ORDER NUM SCORE COUNT MEASURE ERRORMNSQ INFITMNSQ OUTFTPTBIS NAME MATEMATIKA bilangan bulat MATEMATIKA bilangan pecahan MATEMATIKA perbandingan ope MATEMATIKA aritmatika sosia MATEMATIKA aljabar MATEMATIKA himpunan bagian MATEMATIKA irisan 2 himpuna MATEMATIKA gabungan 2 himpu 9 DELETED 09-MATEMATIKA diagram ven MATEMATIKA persamaan linier MATEMATIKA pemetaan MATEMATIKA nilai fungsi 13 DELETED 13-MATEMATIKA grafik fungsi li 14 DELETED 14-MATEMATIKA persamaan linier MATEMATIKA gradien dan pers MATEMATIKA sifat bangun dat MATEMATIKA luas, keliling b MATEMATIKA garis singgung l MATEMATIKA teorema pithagor MATEMATIKA sifat sudut MATEMATIKA besar sudut MATEMATIKA unsur bagun ruan 23 DELETED 23-MATEMATIKA jaring-jaring MATEMATIKA luas dan volume MATEMATIKA kesebangunan 26 DELETED 26-MATEMATIKA kongruensi A anchor item DELETED 28-MATEMATIKA ukuran tendensi MATEMATIKA tafsiran data MATEMATIKA suku ke-n MATEMATIKA operasi aljabar MATEMATIKA persamaan linier A ANCHOR ITEM MATEMATIKA ukuran tendensi MATEMATIKA suku ke-n A anchor item A anchor item MATEMATIKA suku ke-n A anchor item MATEMATIKA ukuran tendensi Dari tabel tersebut, diketahui bahwa item soal yang didelete 6 item yakni item. Selanjutnya item yang ditetapkan sebagai anchor item yakni nomor 27, 33, 36, 37 dan 39 berfungsi dengan baik. Sehingga displace tidak terlalu mencolok.

15 Juair Item soal pada Paket II, yang dapat dimasukkan ke dalam item banking sebanyak 34 item. Item tersebut disajikan pada tabel berikut (sesuai dengan urutan tingkat soalnya): Tabel 11. Item Banking dari Paket II (B) No Urut PAKET NO ITEM TK MATERI 1 II (B) irisan dua himpunan 2 II (B) opr aljabar 3 II (B) perbandingan bil bulat & pecahan 4 II (B) himpunan bagian 5 II (B) teorema phytagoras 6 II (B) sifat garis sejajar dan sudut 7 II (B) ukuran tendensi (mean, median, modus) 8 II (B) nilai fungsi 9 II (B) luas dan keliling bangun datar 10 II (B) suku ke-n deret aritmatika 11 II (B) ukuran tendensi (mean, median, modus) 12 II (B) perbandingan bil bulat & pecahan 13 II (B) opr hitung bil bulat 14 II (B) opr hitung bil pecahan 15 II (B) aritmatika sosial 16 II (B) aturan pemetaan 17 II (B) menyajikan dan menafsirkan tabel 18 II (B) persamaan linier 2 variabel 19 II (B) ukuran tendensi (mean, median, modus) 20 II (B) anchor item - rentang data 21 II (B) anchor item - suku ke-n deret aritmatika 22 II (B) garis singgung lingkaran 23 II (B) besar dan jenis sudut 24 II (B) unsur bangun ruang 25 II (B) anchor item - opr aljabar 26 II (B) gradien 27 II (B) sifat bangun datar 28 II (B) anchor item - garis singgung lingkaran 29 II (B) opr aljabar 30 II (B) gabungan dua himpunan 31 II (B) suku ke-n deret geometri 32 II (B) bangun datar 33 II (B) persamaan linier 1 variabel 34 II (B) luas permukaan dan volume bangun datar

16 TK Juair TK ITEM BANK DARI PAKET II (B) TK ITEM NO ITEM Item soal yang paling mudah adalah item nomor 7 dengan Tingkat Kesulitan (TK) 2,40 (paling kiri) dan item paling sulit adalah item nomor 24 dengan TK 2, Paket Soal III (C) Dari gambar map person dan item berikut, secara umum menunjukkan adanya match antara measure person orang (sebelah kiri) dengan measure dari item soal (sebelah kanan). Gambar 5: MAP OF PERSONS AND ITEMS MEASURE MEASURE PERSONS-+- ITEMS X X X 4.0 X XX 3.0 XXXX XX X X XXX 2.0 XXXXXX XX XX X XXX XXX 1.0 XXX + XXXXX 1.0 XXXX XXXXXXXXXXX X XXXXXXXXX X X XXX X X X PERSONS-+- ITEMS

17 Juair Tabel 12: Summary Person dan Iten TABLE 3.1 UJI COBA SOAL TRY OUT MATEMATIKA PAKET-C "BIGSTEPS" RASCH ANALYSIS VER May 17 8: INPUT: 41 PERSONS 40 ITEMS ANALYZED: 38 PERSONS 36 ITEMS 2 CATEGORIES SUMMARY OF 38 MEASURED (NON-EXTREME) PERSONS SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT MEAN S.D RMSE.48 ADJ.S.D PERSON SEP 2.83 PERSON SEP REL SUMMARY OF 36 MEASURED (NON-EXTREME) ITEMS SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT MEAN S.D RMSE.44 ADJ.S.D..93 ITEM SEP 2.13 ITEM SEP REL MINIMUM EXTREME SCORE: 1 ITEMS Dari tabel tersebut, terdapat 41 orang peserta uji coba, dengan 40 item soal. Adapun yang dianalisa terdapat 38 orang dan 3 item didrop karena tidak macth dengan model pada tahap 1-4 dan 1 item sangat mudah (esktrem). Pada tabel summary person, menunjukkan bahwa rata-rata skor mentah adalah 22,6 dari 36 item soal. Rata-rata kemampuan peserta adalah 1,72 logit, dengan mean error 0,46. Pada tabel summary item, menunjukkan bahwa koefisian reliabilitasnya 0,82 sehingga test tersebut termasuk baik, dengan kesalahan pengukuran rata-rata 0,42. standar error ini lebih kecil dibandingkan dengan standar error pada person. Tabel 13: ITEMS STATISTICS: ENTRY ORDER NUM SCORE COUNT MEASURE ERRORMNSQ INFITMNSQ OUTFTPTBIS NAME MATEMATIKA bilangan bulat MATEMATIKA bilangan pecahan MATEMATIKA perbandingan ope MATEMATIKA aritmatika sosia MATEMATIKA aljabar MATEMATIKA himpunan bagian MATEMATIKA irisan 2 himpuna MATEMATIKA gabungan 2 himpu MATEMATIKA diagram ven MATEMATIKA persamaan linier 11 DELETED 11-MATEMATIKA pemetaan MATEMATIKA nilai fungsi 13 DELETED 13-MATEMATIKA grafik fungsi li 14 DELETED 14-MATEMATIKA persamaan linier MATEMATIKA gradien dan pers MATEMATIKA sifat bangun dat MATEMATIKA luas, keliling b MATEMATIKA garis singgung l MATEMATIKA teorema pithagor MINIMUM ESTIMATED MEASURE 20-MATEMATIKA sifat sudut MATEMATIKA besar sudut MATEMATIKA unsur bagun ruan MATEMATIKA jaring-jaring MATEMATIKA luas dan volume MATEMATIKA kesebangunan MATEMATIKA kongruensi

18 Juair A anchor item MATEMATIKA ukuran tendensi MATEMATIKA tafsiran data MATEMATIKA suku ke-n MATEMATIKA operasi aljabar MATEMATIKA persamaan linier A ANCHOR ITEM MATEMATIKA ukuran tendensi MATEMATIKA suku ke-n A anchor item A anchor item MATEMATIKA suku ke-n A anchor item MATEMATIKA ukuran tendensi Item soal pada Paket III, yang dapat dimasukkan ke dalam item banking sebanyak 36item. Item tersebut disajikan pada tabel berikut (sesuai dengan urutan tingkat soalnya): Tabel 14 Item Banking dari Paket III (C) No Urut PAKET NO ITEM TK MATERI 1 III (C) sifat garis sejajar dan sudut 2 III (C) model kerangka dan jaring-jaring' 3 III (C) perbandingan bil bulat & pecahan 4 III (C) gabungan dua himpunan 5 III (C) persamaan linier 1 variabel 6 III (C) garis singgung lingkaran 7 III (C) ukuran tendensi (mean, median, modus) 8 III (C) persamaan linier 2 variabel 9 III (C) suku ke-n deret geometri 10 III (C) ukuran tendensi (mean, median, modus) 11 III (C) anchor item - rentang data 12 III (C) anchor item - suku ke-n deret aritmatika 13 III (C) opr hitung bil bulat 14 III (C) opr hitung bil pecahan 15 III (C) perbandingan bil bulat & pecahan 16 III (C) nilai fungsi 17 III (C) luas dan keliling bangun datar 18 III (C) luas permukaan dan volume bangun datar 19 III (C) ukuran tendensi (mean, median, modus) 20 III (C) anchor item - opr aljabar 21 III (C) anchor item - garis singgung lingkaran 22 III (C) unsur bangun ruang 23 III (C) menyajikan dan menafsirkan tabel 24 III (C) himpunan bagian 25 III (C) diagram venn 26 III (C) bangun datar 27 III (C) opr aljabar 28 III (C) ukuran tendensi (mean, median, modus) 29 III (C) gradien 30 III (C) besar dan jenis sudut 31 III (C) teorema phytagoras 32 III (C) suku ke-n deret aritmatika 33 III (C) aritmatika sosial 34 III (C) opr aljabar 35 III (C) irisan dua himpunan 36 III (C) sifat bangun datar

19 TK Juair TK ITEM BANK DARI PAKET III (C) TK ITEM NO ITEM Item soal yang paling mudah adalah item nomor 20 (paling kiri) dan item paling sulit adalah item nomor Item Banking Dari ketiga paket soal tersebut, setelah dikalibrasi dengan Bigstep maka item-item yang fit dijadikan sebagai item bank. Item yang fit adalah 109 item dari 120 item soal pada paket I, II dan II. Adapun item bank tersebut rekap hasilnya disajikan pada tabel berikut : Tabel 15: Jumlah Item Terklaibrasi Paket Soal Jml Item Terkalibrasi Keterangan I (A) 38 II (B) 34 III (C) 36 Jumlah 109 Tabel 16.Rekap soal dalam Bank Soal dengan Tingkat Kesukaran berdasarkan urutan tingkat Kesukaran No Urut PAKET NO ITEM TK MATERI 1 C sifat garis sejajar dan sudut 2 C model kerangka dan jaring-jaring' 3 B irisan dua himpunan

20 Juair A sifat garis sejajar dan sudut 5 A suku ke-n deret geometri 6 B opr aljabar 7 A teorema phytagoras 8 A unsur bangun ruang 9 A irisan dua himpunan 10 A aturan pemetaan 11 A persamaan linier 2 variabel 12 A luas dan keliling bangun datar 13 A opr aljabar 14 A diagram venn 15 A garis singgung lingkaran 16 A ukuran tendensi (mean, median, modus) 17 A perbandingan bil bulat & pecahan 18 A opr hitung bil pecahan 19 A aritmatika sosial 20 A opr aljabar 21 A gabungan dua himpunan 22 A gradien 23 A kongruensi 24 A ukuran tendensi (mean, median, modus) 25 B perbandingan bil bulat & pecahan 26 A bangun datar 27 A persamaan linier 2 variabel 28 B himpunan bagian 29 B teorema phytagoras 30 B sifat garis sejajar dan sudut 31 B ukuran tendensi (mean, median, modus) 32 A menyajikan dan menafsirkan tabel 33 B nilai fungsi 34 B luas dan keliling bangun datar 35 B suku ke-n deret aritmatika 36 B ukuran tendensi (mean, median, modus) 37 B opr hitung bil bulat 38 B opr hitung bil pecahan 39 B aritmatika sosial 40 B aturan pemetaan 41 B menyajikan dan menafsirkan tabel 42 B persamaan linier 2 variabel 43 B ukuran tendensi (mean, median, modus) 44 A opr hitung bil bulat 45 C gabungan dua himpunan 46 C persamaan linier 1 variabel 47 C garis singgung lingkaran 48 C ukuran tendensi (mean, median, modus) 49 C persamaan linier 2 variabel 50 C suku ke-n deret geometri

21 Juair A ukuran tendensi (mean, median, modus) 52 C ukuran tendensi (mean, median, modus) 53 B garis singgung lingkaran 54 B besar dan jenis sudut 55 B unsur bangun ruang 56 A persamaan linier 1 variabel 57 A sifat bangun datar 58 C opr hitung bil bulat 59 C opr hitung bil pecahan 60 C perbandingan bil bulat & pecahan 61 C nilai fungsi 62 C luas dan keliling bangun datar 63 C luas permukaan dan volume bangun datar 64 C ukuran tendensi (mean, median, modus) 65 B gradien 66 B sifat bangun datar 67 A grafik fungsi linier 68 A suku ke-n deret aritmatika 69 C unsur bangun ruang 70 C menyajikan dan menafsirkan tabel 71 A himpunan bagian 72 C himpunan bagian 73 C diagram venn 74 C bangun datar 75 C opr aljabar 76 C ukuran tendensi (mean, median, modus) 77 C gradien 78 C besar dan jenis sudut 79 C teorema phytagoras 80 A nilai fungsi 81 B opr aljabar 82 B gabungan dua himpunan 83 B suku ke-n deret geometri 84 C suku ke-n deret aritmatika 85 A ukuran tendensi (mean, median, modus) 86 B bangun datar 87 A besar dan jenis sudut 88 B persamaan linier 1 variabel 89 B luas permukaan dan volume bangun datar 90 C aritmatika sosial 91 C opr aljabar 92 C irisan dua himpunan 93 C sifat bangun datar 94 C kongruensi 95 B A perbandingan bil bulat & pecahan 96 C A perbandingan bil bulat & pecahan 97 A A perbandingan bil bulat & pecahan

22 TK Kesulitan Juair A A anchor item - rentang data 99 B A anchor item - rentang data 100 C A anchor item - rentang data 101 A A anchor item - suku ke-n deret aritmatika 102 B A anchor item - suku ke-n deret aritmatika 103 C A anchor item - suku ke-n deret aritmatika 104 A A anchor item - opr aljabar 105 B A anchor item - opr aljabar 106 C A anchor item - opr aljabar 107 A A anchor item - garis singgung lingkaran 108 B A anchor item - garis singgung lingkaran 109 C A anchor item - garis singgung lingkaran Rekap tingkat kesulitan Item Banking di atas, disajikan dalam bentul grafik sebagai berikut: GRAFIK TK (ITEM BANK) 5,00 4,00 3,00 2,00 1,00 0,00 TK (Item Bank) -1,00-2,00-3,00-4, NO URUT ITEM BANK Dari tabel dan grafik bahwa distribusi tingkat kesulitan pada bank soal adalah mulai dari -3,56 (paling mudah) sampai dengan 3,96 (paling sulit). Adapun jumlah item soal bank soal adalah 109 item. Item yang semakin ke kanan, maka makin tinggi pula kemampuan orang untuk dapat menjawab dengan benar. VI. DESAIN TEST. Sebelum mendesain test, sebaiknya diperoleh terlebih dahulu informasi tentang kelompok peserta test. Spesifikasi target digunakan 3 variabel yakni: 1) titik tengah target, 2) dispers targt dan 3) distribusi target, dimana M = perkiraan terbaik tentang titik tengah target S = perkiraan terbaik tentang dispersi target

23 Juair D = perkiraan terbaik tentang distribusi skor. Atau dengan ringkas dinyatakan dengan fungsi target G(M,S,D). Karakteristik target tersebut dipenuhi dengan karakteristik desain tes T(H,W,L) dimana H merupakan tinggi tes yang diestimasi oleh h; W merupakan lebar tes atau range tingkat kesukaran soal yang diestimasi oleh w; dan L panjang tes atau banyaknya soal dalam tes ini. Berdasarkan target yang diberikan M, S dan D tersebut di atas, akan dibuat desain tes berdasarkan uniform distribusi parameter soal. Untuk estimasi terhadap karakteristik tes tersebut digunakan t(h,w,l). Untuk keperluan desain tes berdasarkan soal-soal dari ketiga paket yang telah disamakan skalanya sesuai dengan langkah tersebut di atas, diperoleh soalsoal yang siap untuk di desain menjadi tes yang cocok untuk peserta tes. Prosedur desain soal dengan item bank yang ada, penulis akan membuat paket soal dengan kriteria sebagai berikut: Titik tengah target M = 0,2 Rata Tingkat Kesulitan Targen (TK) H = M = 0,2 Sebaran skor S target = 1,5 Nilai optimum TK W = 4 S = 4 x 1.5 = 6 SEM = 0.5 L atau panjang soal = C/SEM 2, dimana C = 6 S atau 6 x 1.5 = 9 Maka L = 9 / 0.25 = 36 maka panjang soal 36 item dibulatkan menjadi 35 Dengan ketentuan tersebut maka, Tingkat Kesukaran item soal yang tersusun dalam paket soal adalah : Tabel 17: Desain Soal Test H=0,2 W=6 L=35 Delta-i (δi) = H - (W/2)[ (L-2.i+1)/L ] i= no item soal Item soal H=0.2 W/2 = 3 (L-2i+1)/L δi

24 Juair Rata-rata TK 0,20 W rentang TK 6 Dalam mendesain test disamping susunan tingkat kesulitan, harus diperhatikan pula cakupan isi materi yang harus diujikan. Sehingga aspek mutu test baik secara kuantitatif maupun kualuitatif terpenuhi. Akhirnya, dengan memperhatikan sebaran tingkat kesulitan pada item bank dan indikator soal yang harus dipenuhi, paket soal yang terbentuk adalah : Tabel 18. Paket Soal Hasil Desain Berdasarkan Item Banking No Urut Paket No Item TK MATERI 1 III (C) model kerangka dan jaring-jaring' 2 II (B) irisan dua himpunan 3 II (B) irisan dua himpunan 4 I (A) sifat garis sejajar dan sudut 5 I (A) suku ke-n deret geometri 6 II (B) opr aljabar 7 I (A) teorema phytagoras 8 I (A) unsur bangun ruang 9 I (A) aturan pemetaan 10 I (A) luas dan keliling bangun datar 11 I (A) diagram venn 12 I (A) perbandingan bil bulat & pecahan 13 I (A) kongruensi 14 I (A) ukuran tendensi (mean, median, modus) 15 II (B) sifat garis sejajar dan sudut 16 II (B) perbandingan bil bulat & pecahan 17 II (B) persamaan linier 2 variabel 18 III (C) persamaan linier 2 variabel 19 I (A) anchor item - rentang data 20 I (A) anchor item - suku ke-n deret aritmatika 21 II (B) besar dan jenis sudut 22 III (C) opr hitung bil bulat 23 III (C) opr hitung bil pecahan 24 I (A) anchor item - opr aljabar 25 I (A) anchor item - garis singgung lingkaran

25 Tk Kesulitan Juair I (A) himpunan bagian 27 III (C) teorema phytagoras 28 I (A) nilai fungsi 29 III (C) suku ke-n deret aritmatika 30 I (A) ukuran tendensi (mean, median, modus) 31 II (B) bangun datar 32 II (B) persamaan linier 1 variabel 33 II (B) luas permukaan dan volume bangun datar 34 III (C) aritmatika sosial 35 III (C) sifat bangun datar Rata-Rata TK 0,198 (mendekati 0,2) Rentang TK 5,80 (mendekati 6) Rata-rata Tingkat Kesulitan pada paket soal yang terbentuk 0,198 mendekati estimasi Tingkat Kesulitan Target (0,2) dan rentang tingkat kesulitan 5,8 mendekati kondisi ideal. Demikian pula distribusi Tingkat Kesulitan item soal mendekati dengan kriteria dari Item Banking yang terbentuk. Mulai dari yang paling mudah pada item 1 sampai dengan item paling sulit pada item 35 terakhir. Materi soal pada paket soal yang terbentuk juga memperhatikan seluruh aspek materi yang sesuai dengan Kompetensi Dasar. Sebaran tingkat kesulitan juga mendekati dengan target yang ditentukan yakni 5,80 dari target 6. Distibusi tingkat soal item soal, tidak jauh berbeda dari kondisi ideal Item Bank. (lihat grafik dibawah) Grafik TK Item Soal Ideal dan Soal Rakitan TK Ideal TK Soal Rakitan Nomor Item VII. KESIMPULAN. Penggunaan Soal Test yang telah terkalibrasi akan sangat baik dalam mengukur kemampuan (prestasi) siswa.

26 Juair Soal test telah terstandardisasi, sehingga akan sesuai tingkat kemampuan atau karakteristik siswa. Soal yang terdesain telah diketahui karakteristik itemnya, dan dapat digunakan sesuai dengan tujuan test. Dalam penyusunan atau mendesain test harus memperhatikan pula estimasi karakteristik tingkat kesulitan pada masing-masing item test. Disamping itu harus pula diperhatikan konten atau isi item test yang sesuai dengan kompetensi dasar materi yang hendak diujikan Test yang telah terdesain akan mendekati kondisi idial, urutan tingkat kesulitan, estimasi tingkat kesulitan per item, rata-rata tingkat kesulitan, sebaran tingkat kesulitan. Sehingga akan terbentuk paket soal (test) yang baik sesuai dengan tujuan.

27 Juair DAFTAR PUSTAKA Azwar, Saefuddin Dasar-dasar Psikomterik. Yogyakarta: Pustaka Pelajar. Depdiknas, Balitbang Manual Item and Test Analisis (Iteman) Pedoman Penggunaan Iteman. Jakarta Depdiknas Sistem Penilaian Kelas SD, SMP, SMA dan SMK. Jakarta: Ditjen Dikdasmen. Dodeen, Hamzah The Relation Between Item Parameter and Item Fit. Journal of Education Measurement. Proquest Psychology Journals. Vol. 41, No. 3. pp Hambelton, et all Fundamentals of Item Response Theory. Newpubry Park: Sage Publitcaion. Hula, William; Patrick J Doyle; Malcolm R McNeil; Joseph M Mikolic Rasch Modeling of Revised Token Test Performance: Validity and Sensitivity to Change Journal of Speech, Language, and Hearing Research; Academic Research Library pg. 27 Setiadi, Hari dan Bahrul Hayat, Mendesain Perangkat Test dengan Model Rasch. Jakarta: Depdiknas. Setiadi, Hari Penggunaan Program Bigstep untuk Pengembangan Bank Soal. Jakarta. Setiadi, Hari dan Hambleton, Ronald K. Item Selection Using IRT Models. University of Massachusetts at Amherst.