Analisis Dan Simulasi Dengan Program Win-Gen (Strategi Dalam Mengkonstruk Instrumen Soal)

Transkripsi

1 Analisis Dan Simulasi Dengan Program Win-Gen (Strategi Dalam Mengkonstruk Instrumen Soal) Risky Setiawan FIP IKIP Veteran Semarang [email protected] ABSTRAK Tujuan dari penelitian ini adalah 1) Mengetahui pengaruh N (jumlah peserta) terhadap kestabilan parameter estimate, 2) mengetahui pengaruh model terhadap kestabilan item dan parameter estimasi fix N n respons, 3) Pengaruh N (jumlah peserta) dan n (jumlah butir soal) terhadap kestabilan item parameter dan examinee estimate, dan 4) mengetahui pengaruh N (jumlah peserta), n (jumlah butir) dan model (1PL, 2PL, 3PL) terhadap kestabilan item parameter (b). Metode penelitian yang digunakan adalah permodelan dengan menggunakan teknik simulasi data guna menghasilkan replikasi menurut kriteria yang diinginkan. Pemilihan item tes dalam prosedur pengembangan tes menggunakan CTT didasarkan pada: (a) nilai kesukaran item, dan (b) korelasi skor item dan skor total atau disingkat korelasi item-total. Item yang memiliki korelasi item-total paling tinggi dipakai sebagai elemen suatu tes untuk membentuk suatu skala dengan konsistensi internal tinggi guna memperkecil sumbangan error acak skor-skor tes. Program yang digunakan adalah Win-Gen (Han Software) yang berfungsi untuk melakukan simulasi data dengan menyusun spesifikasi N, n, tingkat kemampuan, dan model parameter pengukuran dengan membuat replikasi yang akan kita inginkan. Hasil penelitian menyimpulkan bahwa untuk memaksimalkan nilai estimasi theta (θ) yang tinggi maka perlu melihat dari besar N (peserta), n (butir) dan model yang digunakan (1PL, 2PL atau 3PL) sehingga dapat menjadi sebuah instrumen yang baik dan teruji secara empiris. Kata Kunci : peserta, butir, examinee estimate, parameter test PENDAHULUAN Analisis item dapat dilakukan dengan pendekatan teori tes klasik (Clasical Test Theory atau CTT) dan teori tes modern yang dikenal dengan teori respons item (Item Respons Theory atau IRT). Pemilihan item tes dalam prosedur pengembangan tes menggunakan CTT didasarkan pada: (a) nilai kesukaran item, dan (b) korelasi skor item dan skor total atau disingkat korelasi item-total. Item yang memiliki korelasi item-total paling tinggi dipakai sebagai elemen suatu tes untuk membentuk suatu skala dengan konsistensi internal tinggi guna memperkecil sumbangan error acak skor-skor tes. Distribusi skor-skor tes total yang diperoleh dari lapangan dibandingkan dengan distribusi yang diinginkan oleh pengembang tes. Sejumlah item mungkin perlu diganti untuk memperoleh sedekat/semirip mungkin antara distribusi skor total yang diinginkan dan distribusi skor total yang diperoleh dari lapangan. Format-format paralel pada umumnya diciptakan untuk memperoleh distribusidistribusi skor MAJALAH ILMIAH PAWIYATAN 54

2 tes yang identik. Kesamaan dari nilai rata-rata, varians, dan error skor ditafsirkan sebagai bukti bahwa format tes-tes bersifat paralel (Stark et. al., 2001). Langkah pertama sebelum penulisan item mulai, pengembang tes harus mempunyai suatu pemahaman yang baik tentang konstrak variabel (kemampuan) yang akan diukur. Menurut Stark et. al. dengan mengacu pendapat Nunnally et. al., berdasarkan rule of thumb lazimnya disepakati bahwa banyaknya item tes yang harus dibuat sedikitnya dua kali dari banyaknya item tes final yang diperlukan. Sejumlah besar item pilihan ganda diperlukan, jika format-format ganda harus dikembangkan. Item-item tersebut harus diteskan terlebih dahulu menggunakan suatu sampel yang serupa dengan populasi pelamar. Sampel ini, yang diacu selanjutnya sebagai suatu sampel yang dijadikan pedoman saat kalibrasi, harus besar, agar cukup untuk menyediakan statistika item CTT yang stabil. Item-item dengan korelasi item-total tinggi harus tercakup di dalam tes karena item-item tersebut meningkatkan konsistensi skala internal (reliabilitas), dan hal seperti itu akan mereduksi standard error pengukuran. Kesukaran item (nilai p) juga harus dipertimbangkan untuk membuat suatu tes dengan distribusi skor total yang diinginkan (Stark et. al., 2001). Untuk memperoleh distribusi skor skala yang diinginkan dilakukan penggantian item. Agar skalanya meningkat maka maka item dengan nilai p yang rendah harus digantikan dengan nilai p yang tinggi. Untuk memperkecil dampak penggantian item terhadap reliabilitas skala, yakni dengan mencoba menggantikan item-item yang memiliki korelasi item-total yang rendah sebelum menghapus item-item yang memiliki daya pembeda yang lebih tinggi. Dapat pula dalam praktik, beberapa penyeimbangan konten/isi juga diperlukan. Setelah dilakukan penggantian kemudian dianalisis lagi. Ada keterbatasan penggunaan pendekatan CTT (Stark et. al., 2001). Pertama, statistika CTT bergantung kepada subpopulasi penempuh tes. Berbeda grup penempuh tes berbeda pula nilai rata-rata skor dari atribut variabel yang diukur. Dengan demikian, para pengembang tes harus hati-hati ketika memilih sampel untuk kalibrasi item. Jika sampelsampel kalibrasi berbeda karakteristik/sifat dengan sampel operasional (sampel populasi yang sesungguhnya sebagai target), properti-properti psikometri hasil pengukuran akan berubah secara dramatis. Kedua, di dalam CTT, ketepatan pengukuran suatu tes (galat baku atau standard error pengukuran) secara implisit dirata-ratakan ke semua level kemampuan yang diukur. Dengan demikian, ketepatan pengukuran pada level-level skor yang tertentu tidak dikenal/tidak diketahui. Oleh karena itu, dikembangkan analisis item menggunakan teori respons item atau item response theory (IRT). Kegiatan mengkonstruksi tes menggunakan pendekatan IRT, seperti halnya pada penggunaan pendekatan CTT, penulis harus membuat dua sampai tiga kali banyaknya item seperti yang diinginkan di dalam format final. Dalam IRT diperlukan sampel kalibrasi MAJALAH ILMIAH PAWIYATAN 55

3 heterogen yang besar. Model IRT yang lebih kompleks, seperti model IRT untuk skala politomus, memerlukan sampel lebih besar untuk mengestimasi parameter. Sebelum mengestimasi parameter item, perlu untuk melakukan suatu analisis item menurut teori tes klasik untuk menghapuskan item-item yang mempunyai skor mendekati nihil (tidak atau sedikit sekali yang dapat mengerjakan), tentu saja item yang demikian akan memiliki korelasi-korelasi item-total negatif. Item ini akan menyebabkan permasalahan konvergensi/pemusatan (Stark et. al. (2001). Demikian pula item yang mempunyai skor prefect, dimana untuk tes pilihan ganda skor prefect adalah 1 untuk setiap testi atau person/case. Program analisis atau disebut program kalibrasi menggunakan IRT adalah mendasarkan pda distribusi logistik, yakni distribusi yang menyerupai distribusi normal dengan nilai logistik D sebesar 1,7. Analisis item menggunakan IRT ada yang melakukan kalibrasi berdasar berdasar satu parameter yakni hanya didasaran pada tingkat kesukaran (diberi simbol βatau b) sehingga disebut model satu paramemeter logistik tau model 1-PL atau disebut Model Rasch (Rasch Model). Ada yang mendasarkan pada dua parameter, yakni daya beda (diberi simbol a) dan tingkat kesukaran (b) sehingga disebut model 2-PL. Ada pula yang mendasarkan pada tiga parmeter, yakni daya pembeda, tngkat kesukaran, dan guessing (diberi simbol c), sehingga disebut Model 3-PL. Berdasarkan skala yang digunakan ada yang hanya dibuat skala dikotomus, yakni hanya dibedakan menjadi dua kategori yakni kategori 1 untuk skor 0 dan kategori 2 untuk skor 1, seperti skor tes pilihan yang pada akhirnya hanya ditetapkan benar atau salah. Ada pula yang dapat dibuat dalam bentuk skala politomus, yakni hanya dibedakan lebih dari dua kategori. Misalnya, testi iminta mengemukakan dua faktor yang menjadi penyebab terjadinya suatu peristiwa. Dengan demikian, jawaban testi ada tiga kategori, yakni kategori 1 untuk skor 0 (testi tidak menjawab), kategori 2 untuk skor 1 (testi hanya mengemukakan dengan benar satu faktor penyebab), dan kategori 3 untuk skor 2 (testi dapat mengnyebutkan dengan benar dua faktor penyebab yang dimaksudkan). PEMBAHASAN A. Ukuran sampel Semakin bertambah banyak parameter di dalam model politomus sebagai lawan model dikotomus, akan semakin bertambah pula informasi di dalam data. Namun, diperlukan estimasi yang stabil di dalam ukuran sampel yang sama. Ukuran sampel untuk data politomus menggunakan Graded Model (GM) yang merupakan model 2-PL sekitar 250 dapat diterima untuk aplikasi dalam penelitian, sedangkan 500 sampai 1000 untuk penggunaan operasional (Muraki & Bock, 1998: 35). Ahli lain ada yang MAJALAH ILMIAH PAWIYATAN 56

4 menyatakan bahwa untuk keperluan kalibrasi dalam IRT ukuran sampel antara 200 sampai 1000 tergantung model yang dipilih. Penelitian disertasi dapat menggunakan sampel yang kecil (Crocker & Algina, 1986: 322). Sebagian ahli menyatakan bahwa ukuran sampel khusus untuk model 1-PL berupa Rasch Model (RM) antara 30 sampai 300 dengan batas INFIT t sebesar -2 sampai +2 (Bond & Fox, 2007: 43). Jadi dalam hal ini menggunakan batas kesalahan 5%, sehingga besarnya nilai INFIT t ±1,96 atau dibulatkan menjadi ±2,0. Dengan demikian, suatu item menjadi tidak fit menurut Model Rasch bila memiliki nilai <-2,0 atau > +2,0 ( probability atau peluang <0,05) B. Simulasi Program Wingen dengan 5 Kali Replikasi 1. Pengaruh N terhadap kestabilan item parameter estimate (software WinGen dan Bilog MG yang di fix model 1 parameter). Jumlah item (n)=30, N=100, 500, 1000, replikasi 5, kriteria: korelasi dan MSD. a. Dengan mengganti jumlah dari peserta tes maka akan dapat diketahui bahwa N sangat mempengaruhi dari nilai b (tingkat kesukaran) pada model satu parameter (1PL). Hasil korelasi pada Interpretasi output generate WinGen dan BILOG-MG dibuat rekapitulasi yang selanjutnya b dari 5 kali replikasi kemudian dikorelasikan dengan parameter b sehingga didapatkan hasil rekapitulasi seperti dibawah ini : PESERTA b N= N= N= N=100 N=500 N=1000 Gambar 1. Grafik hasil korelasi dari nilai b MAJALAH ILMIAH PAWIYATAN 57

5 Dari grafik diatas dapat disimpulkan bahwa parameter tingkat kesukaran (b) akan terpengaruh ketika kita meningkatkan jumlah peserta tes, yakni semakin banyak peserta tes maka hasil korelasi parameter b akan makin meningkat pula. b. Hasil korelasi dan perhitungan MSD (Mean Square Deviation) menunjukan hal yang berkebalikan yaitu semakin besar N (jumlah peserta) maka MSDnya akan semakin mengecil. Hal ini dekarenakan Hasil dari RMSD adalah sama dengan MSE (mean square error) dimana semakin tinggi nilai E (error) maka akan semakin tinggi pula nilai b (tingkat kesukaran). Berdasarkan rumus diatas maka dapat dilihat, ketika nilai θ dikurangi θ kemudian dikuadratkan dikalikan dengan Error maka hasil dari nilai RMSDnya akan semakin kecil. Peserta MSD N= N= N= N=100 N=500 N=1000 Gambar 2. Grafik hasil korelasi RMSD Kesimpulan : Pada poin pertama dapat disimpulkan bahwa : a. Semakin besar N (jumlah peserta) maka nilai korelasi b akan semakin tinggi b. Semakin besar N (jumlah peserta) maka nilai RMSD nya akan semakin kecil (menurun) MAJALAH ILMIAH PAWIYATAN 58

6 2. Pengaruh n (jumlah item) terhadap examinee parameter estimate, n=20, 60, 100 dengan model fix 1 parameter, N=5000 Melihat pengaruh n (banyak butir soal) terhadap examinee parameter estimate (estimasi kemampuan peserta tes) dengan 5000 peserta tes, model 1PL dan dengan mengubah jumlah dari masing-masing n (butir soal) dengan 5 kali replikasi. Dari output WinGen dan BILOG-MG didapatkan hasil rekapitulasi korelasi seperti dibawah ini SOAL Ѳ True n= n= n= n=20 n=60 n=100 Gambar 3. Grafik hasil korelasi Theta peserta Dari data di atas dapat disimpulkan bahwa jumlah soal dengan peserta tes yang sama akan berpengaruh terhadap nilai θ true, dimana semakin besar jumlah soal maka estimasi kemampuan peserta tes (θ) akan semakin tinggi pula. 3. Pengaruh model terhadap kestabilan item dan parameter estimasi fix N n respons Dengan simulasi yang dilakukan dengan program WinGen dengan 5 kali replikasi dengan masing-masing peserta tes berjumalh 500 dan butir soal 40 butir dengan generate data WinGen dengan masing-masing 3 model (1PL, 2PL dan 3PL) maka didapatkan hasil korelasi pada setiap model parameter estimatee dibawah : Parameter b IPL PL PL MAJALAH ILMIAH PAWIYATAN 59

7 IPL 2PL 3PL Gambar 4. Grafik hasil korelasi b dengan model Dari rekapitulasi diatas dapat dilihat pada tiap model terdapat perbedaan yang signifikan yaitu semakin kompleks model maka nilai parameter b akan semakin meningkat. Parameter MSD IPL PL PL IPL 2PL 3PL Gambar 5. Grafik hasil korelasi RMSD dengan model Dari hasil rekapitulasi diatas dapat dilihat nilai RMSD akan berkebalikan dengan parameter (b) yaitu tingkat kesukaran soal jadi hasil yang didapatkan nilai RMSD pada model parameter akan semakin tinggi apabila semakin banyak pula model yang digunakan (paling tinggi 3PL model). MAJALAH ILMIAH PAWIYATAN 60

8 4. Pengaruh N dan n terhadap kestabilan item parameter dan examinee estimate. Dengan melakukan simulasi yang bervariatif yaitu dengan mengubah jumlah N (peserta) dan n (butir soal) N dan n b N=1000 n= N=5000 n= N=5000 n= N=1000 n=50 N=5000 n=20 N=5000 n=100 Gambar 6. Grafik pengaruh N dan n terhadap korelasi parameter b Dari rekapitulasi diatas maka dapat dilihat bahwa N (jumlah peserta) yang besar akan menambah estimasi parameter b (tingkat kesulitan), sedangkan butir yang banyak memiliki pengaruh tetapi tidak besar terhadap estimasi item parameter b. 5. Pengaruh N (jumlah peserta), n (jumlah butir) dan model (1PL, 2PL, 3PL) terhadap kestabilan item parameter (b) a. Pengaruh N, n dan model terhadap nilai parameter b Untuk melihat bagaimana pengaruh dari banyaknya N dan n serta pemilihan model yang paling tepat untuk mendapatkan nilai b yang tinggi dilakukan simulasi berdasarkan tiga aspek tersebut. Berikut ini adalah hasil kalibrasi dari output WinGen dan BILOG-MG setelah dilakukan replikasi sebanyak lima kali pada tiap model. Tabel 1. Hasil rekapitulasi kalibrasi data simulasi (nilai b) b 1PL 2PL 3PL N=100 n= N=5000 n= N=5000 n= MAJALAH ILMIAH PAWIYATAN 61

9 b Score N=100 n=60 N=5000 n=20 N=5000 n= PL 2PL 3PL Gambar 7. Grafik hasil rekapitulasi data kalibrasi (parameter b) Dari grafik diatas terlihat bahwa pada model pengukuran 1PL tidak begitu terlihat pengaruh dari jumlah N dan n terhadap nilai b. Pada model pengukuran 2PL terlihat bahwa korelasi paling tinggi adalah jumlah peserta (N) dan jumlah soal (n) paling besar maka akan menghasilkan korelasi paling besar. Tetapi pada model pengukuran 3PL menunjukkan hal yang berkebalikan yaitu jumlah N yang rendah dan n tinggi akan cocok dengan model pengukuran ini. Sedangkan N tinggi dengan n rendah akan mendapatkan nilai b yang rendah. b. Pengaruh N, n dan model terhadap nilai estimasi kemampuan peserta (θ true) Untuk melihat bagaimana pengaruh dari banyaknya N dan n serta pemilihan model yang paling tepat untuk mendapatkan nilai estimasi kemampuan θ yang tinggi dilakukan simulasi berdasarkan tiga aspek tersebut. Berikut ini adalah hasil kalibrasi dari output WinGen dan BILOG-MG setelah dilakukan replikasi sebanyak lima kali pada tiap model. Tabel 2. Hasil rekapitulasi kalibrasi data simulasi (nilai θ) θ 1PL 2PL 3PL N=100 n= N=5000 n= N=5000 n= MAJALAH ILMIAH PAWIYATAN 62

10 Theta Score N=100 n=60 N=5000 n=20 N=5000 n= PL 2PL 3PL Gambar 8. Grafik hasil rekapitulasi data kalibrasi (Theta Score) Dari grafik diatas terlihat bahwa estimasi nilai θ yang baik adalah dengan jumlah peserta banyak, butir soal banyak serta model parameter yang paling simpel (1PL). Dengan demikian dapat disimpulkan bahwa jumlah peserta, jumlah butir soal dan model estimasi parameter keseluruhan mempengaruhi estimasi kemampuan peserta (θ). Langkah yang dapat digunakan untuk memilih model pengukuran serta besarnya peserta serta banyaknya butir menjadi sebuah pengaruh tersendiri. Maka dari keseluruhan dapat dibuat rekapitulasi hasil output WinGen dan BILOG-MG yang sudah dikalibrasi dengan menggunakan program Ecxel pada tabel dibawah ini. Tabel 3. Rekapitulasi Kecocokan Model No N n Model b θ 1 Tinggi Tinggi 1PL Tinggi 2PL Tinggi 3PL Tinggi 2 Tinggi Rendah 1PL Tinggi 2PL Rendah 3PL Rendah 3 Rendah Tinggi 1PL Tinggi 2PL 3PL Tinggi Rendah MAJALAH ILMIAH PAWIYATAN 63

11 KESIMPULAN Jadi untuk memaksimalkan nilai estimasi theta (θ) yang tinggi maka perlu melihat dari besar N (peserta), n (butir) dan model yang digunakan (1PL, 2PL atau 3PL) sehingga dapat menjadi sebuah instrumen yang baik dan teruji secara empiris. DAFTAR PUSTAKA Bond, T.G. & Fox, Ch.M. (2007). Applying the rasch model: Fundamental measurement in the human sciences. 2 -nd ed. Mahwah, New Jersey: Lawrence Erlbaum Associates, Publishers. Hambleton, R.K., Swaminathan, H., & Rogers, H.J. (1991). Foundamentals of item responses theory. Newbury Park: Sage Publications. Han, Kyung T. & Hambleton, R.K. (2007). User s manual for WinGen2: Windows software that generates IRT model parameters and item response. (Media elektronik]. Massachusetts: Center for Educational Assessment. Keeves, J.P. & Masters, G.N. (1999). Introduction. In: Masters, G.N. & Keeves, J.P. (1999). Advances in measurement in educational research and assessment. Amasterdam: Pergamon, An imprint of Elsevier Science. Messick, S. (1988). The one and future issues of validity: Assessing the meanng and consequences of measurement. In: Waine, H. & Braun, H.I. (1988). Test validity. Hillsdale, New Jersey: Lawrence Erlbaum Associates, Publishers. Stark, S., Chernyshenko, S., Chuah, D.,Wayne Lee, & Wilington, P. (2001). IRT modeling lab: Test Development Using Classical Test Theory [Versi elektronik]. Urbana: University of Illinois. MAJALAH ILMIAH PAWIYATAN 64