VALUE. Jurnal Evaluasi & Asesmen Pendidikan. Volume II/No.01/Juni/2013. Diterbitkan oleh:

Transkripsi

1

2 VALUE Jurnal Evaluasi & Asesmen Pendidikan Volume II/No.01/Juni/2013 Diterbitkan oleh: Pusat Penilaian Pendidikan Badan Penelitian dan Pengembangan Kementerian Pendidikan dan Kebudayaan i

3 VALUE Jurnal Evaluasi & Asesmen Pendidikan Terbit 2 edisi per tahun (Juni dan Desember) ISSN: Hak Cipta dilindungi undang-undang. Dilarang memperbanyak sebagian atau keseluruhan dalam berbagai bentuk medium baik cetakan, elektronik, atau pun mekanik tanpa izin tertulis dari penerbit. ii

4 VALUE, akronim dari evaluasi dan asesmen, merupakan Jurnal di bidang Ilmiah Evaluasi dan Asesmen/Penilaian Pendidikan yang dikelola oleh Pusat Penilaian Pendidikan (PUSPENDIK), Badan Penelitian dan Pengembangan, Kementerian Pendidikan dan Kebudayaan, untuk menerbitkan hasil karya penelitian (original research), karya pengembangan, tinjauan kembali (review), dan ulasan topik khusus dalam bidang Evaluasi dan Asesmen Pendidikan. Kesempatan menulis terbuka untuk umum meliputi para peneliti dan perekayasa lembaga riset, pengajar perguruan tinggi maupun pekarya-tesis sarjana semua strata. Karya tulis harus ditulis sesuai pedoman penulisan yang tercantum dalam setiap edisi. Dewan Pengurus Penangung Jawab Dewan Redaksi Mitra Bestari Pemimpin Redaksi Tata Usaha Sekretaris Redaksi : Hari Setiadi, Ph.D. : Dr. Mahdiansyah, MA, Drs. Giri Sarana Hamiseno, Dra. Arniati, M.Psi, Drs. Safari, MA, APU, Drs. Witjaksono, MA, Drs. Rogers Pakpahan, M.Si, Dra. A. Hendriastuti, MA, Dra. Rahmah Zulaiha, MA. : Dr. Burhanuddin Tola, Jahja Umar, Ph.D, Bastari, Ph.D. : Bagus Hary Prakoso, SE, MA : Susi Mahyudin, M.Pd, Sidik Pranyoto, S.Kom : Drs. Didi Pujohadi, Wuri Rohayati, S.S. Alamat Redaksi Pusat Penilaian Pendidikan (PUSPENDIK), Badan Penelitian dan Pengembangan, Kementerian Pendidikan dan Kebudayaan (KEMDIKBUD), Jl. Gunung Sahari Raya no. 4, Jakarta Pusat, Tel , , Fax , jurnalvalue@gmail.com iii

5 Pedoman Penulisan Artikel 1. Redaksi menerima naskah berupa hasil penelitian, opini, wawasan, pandangan, kajian pustaka, berita, dan resensi buku dari peneliti, praktisi dan pemerhati di bidang evaluasi dan asesmen pendidikan. 2. Naskah dalam bentuk hard copy di kirim ke redaksi dan naskah soft copy dikirim melalui dan disertai dengan biodata lengkap penulis. 3. Ketentuan penulisan secara umum. a. Naskah ditulis dalam bentuk esai dan belum pernah diterbitkan di media lain. b. Naskah diketik dengan memperhatikan aturan penggunaan tanda baca dan ejaan, yang dimuat dalam pedoman ejaan bahasa Indonesia yang disempurnakan (EYD). c. Naskah diketik dengan format MS-Word, Font Calibri ukuran 11, spasi 1 jumlah halaman minimum 7 dan maksimum 20, ukuran kertas A4. 4. Artikel hasil penelitian memuat judul, nama penulis, abstrak, kata kunci, dan isi. Isi artikel mempunyai struktur dan sistematika serta persentase jumlah halaman sebagai berikut : a. Penulis harus mencantumkan nama, instansi, dan di bawah judul artikel. b. Artikel dalam bahasa Indonesia dan bahasa Inggris harus menuliskan abstrak dalam bahasa Indonesia dan bahasa Inggris. c. Pendahuluan meliputi latar belakang, perumusan masalah, dan tujuan penelitian (10%). d. Kajian Literatur mencakup kajian teori dan hasil penelitian terdahulu yang relevan (15%). e. Metode Penelitian yang berisi rancangan/model, sampel dan data, tempat dan waktu, teknik pengumpulan data, dan teknik analisis data (10%). f. Hasil dan Bahasan (50%). g. Simpulan dan Saran (15%) h. Daftar Pustaka. (Sistematika/struktur ini hanya sebagai pedoman umum, penulis dapat mengembangkannya sendiri asalkan sepadan dengan pedoman ini). iv

6 Artikel pemikiran dan atau reviu teori memuat judul, nama penulis, abstrak, kata kunci, dan isi. Isi artikel mempunyai struktur dan sistematika serta persentasinya dari jumlah halaman sebagai berikut : a. Pendahuluan meliputi latar belakang, perumusan masalah dan tujuan penulisan (10%). b. Kajian Literatur mencakup kajian teori dan hasil penelitian terdahulu yang relevan (75%). c. Simpulan dan Saran (20%) d. Daftar Pustaka (Sistematika/struktur ini hanya sebagai pedoman umum, penulis dapat mengembangkannya sendiri asalkan sepadan dengan pedoman ini). Artikel resensi buku selain menginformasikan bagian-bagian penting dan buku yang diresensi juga menunjukkan bahasan secara mendalam kelebihan dan kelemahan buku tersebut serta membandingkan teori/konsep yang ada dalam buku tersebut dengan teori/konsep dari sumber- sumber lain. 5. Daftar Pustaka disajikan mengikuti tata cara seperti contoh berikut dan diurutkan secara alfabetis dan kronologis. Aiken, Lewis R. (1994). Psychological Testing and Assessment, (Eighth Edition). Boston: Allyn and Bacon. Harding, J and Meldon-Smith, L. (2000). How to make observations & assessments (second edition). London: Hodder & Stoughton. v

7 DAFTAR ISI VALUE, Jurnal Evaluasi & Asesmen Pendidikan Volume II/No.01/Juni/2013 Dewan Pengurus dan Alamat Redaksi... Pedoman Penulisan Artikel... Daftar Isi... Halaman Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta... 1 Rahmawati Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/ Deni Hadiana Penyetaraan (Equating) Skor Biologi SMA Berdasarkan Hasil Ujian Nasional Tahun 2010/ Rumondang Purwati Computerized Adaptive Testing (CAT) Salah Satu Alternatif Pengganti Paper Based Test (PBT) Handaru Catu Bagus Implementasi New Public Management Pada Lembaga Pengembangan Tes Bagus Hary Prakoso Pembelajaran Kooperatif NHT upaya Meningkatkan Hasil Belajar IPA Siswa kelas VIII-I SMPN 228 Jakarta Tri Suyani Kemampuan Siswa Smp Dan Mts Dalam Menghitung Hasil Operasi Tambah, Kurang, Kali, Dan Bagi Pada Bilangan Bulat Berdasarkan Hasil Ujian Nasional 2010/ Safari iii iv vi vi

8 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta Rahmawati ABSTRACT Items of National examination for primary schools consist of 25 percent national linking items and the remaining 75 percent provincial items. Those provincial items were not derived from calibrated item bank resulted on extremely difficult items after putting on the same scale with national linking items. A simulation study then conducted to investigate impact of outliers of difficulty item parameters on accuracy of ability estimation. Three conditions were manipulated: ability distribution, numbers of outliers item, distribution of outliers. The results show that outliers item affected the accuracy of ability estimation specially in skew ability distribution and assymmetrical distribution of those outlier items. The simulation overviewed that in operational test when items were constructed too easy or too difficult relative to national linking items, then the ability estimate might not be accurate. It is suggested to prepare provincial item bank so that the items for national examination will have been calibrated before operational used. Keywords: outliers, item difficulty, national examination items, provincial item bank VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 1

9 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta ABSTRAK Soal-soal UN SD terdiri atas 75 persen soal-soal yang disusun di daerah. Soal-soal tersebut tidak berasal dari bank soal yang terkalibrasi. Pemetaan item parameter butir soal berdasar data operational test menunjukkan adanya soal-soal dengan tingkat kesukaran ekstrim. Studi simulasi dilakukan untuk mengetahui pengaruh soal dengan tingkat kesukaran ekstrim terhadap estimasi kemampuan peserta ujian. Tiga kondisi dimanipulasi: distribusi kemampuan peserta, jumlah soal dengan tingkat kesukaran ekstrim, serta sebaran soal-soal ekstrim. Hasil simulasi menunjukkan estimasi kemampuan peserta berpotensi bias jika diukur menggunakan soal-soal dengan tingkat kesukaran ekstrim terutama pada kondisi kemampuan peserta berdistribusi skew serta soal-soal yang tingkat kesukarannya ekstrim tersebar secara asimetris. Hasil simulasi memberi gambaran bahwa soal-soal yang disusun jauh lebih mudah ataupun lebih sukar relatif terhadap soal anchor nasional mempengaruhi akurasi hasil estimasi kemampuan peserta. Disarankan agar dibuat bank soal daerah yang terkalibrasi untuk memasok kebutuhan tes di tingkat daerah. Kata Kunci: pencilan, tingkat kesukaran, soal UN SD, dan bank soal daerah VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 2

10 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta LATAR BELAKANG Latar Belakang Desain tes UN SD/MI memiliki kekhasan dibandingkan dengan UN di jenjang yang lain. Meskipun berdasarkan pada kisikisi dan indikator soal yang sama, 75% soal tes UN SD/MI adalah soal yang disusun di tingkat provinsi (BSNP, 2008). Soal-soal provinsi ini akan berbeda antara satu provinsi dengan provinsi lainnya. Sehingga dapat disimpulkan bahwa setiap provinsi menggunakan paket tes yang berbeda. Soalsoal provinsi disusun oleh tim penulis soal tingkat provinsi yang merupakan guru dari kabupaten/kota. Sebelum menyusun soal, tim penulis diwajibkan mengikuti pelatihan penulisan soal dari Pusat Penilaian Pendidikan (Puspendik). Sebagai pengontrol kualitas, soal-soal yang telah ditulis akan direview dari segi konten oleh tim pakar yang berasal dari perguruan tinggi dan direview dari segi konstruksi oleh tim Puspendik. Sampai saat penelitian ini disusun, tidak ada mekanisme ujicoba paket tes (field test) sebelum main test. Akibat tidak adanya proses ujicoba paket tes, maka tidak diketahui karakter statistik butir soal yang disusun di tingkat provinsi. Karakter statistik yang dimaksud adalah tingkat kesukaran serta daya beda soal. Hal ini berpotensi menimbulkan pencilan soal-soal setiap provinsi setelah tingkat kesulitannya dikalibrasi terhadap tingkat kesulitan soalsoal anchor nasional, karena tendensi penulis di daerah untuk membuat soal yang mudah. Liu dan Zumbo (2007) menemukan bahwa soal-soal pencilan yang tersebar secara asimetris berdampak negatif terhadap reliabillitas skor tes. Jika soal-soal yang disusun di provinsi secara konsisten jauh lebih mudah atau jauh lebih sukar, maka berdasar hasil penelitian Liu dan Zumbo akan berpengaruh secara linear dengan standard error of measurement: semakin banyak soal pencilan, semakin besar kesalahan pengukuran. Jika pencilan tersebar secara simetris; sebagian lebih mudah dan sebagian lebih sukar; maka ketidaksimetrisan mengeliminir efek pencilan terhadap kesalahan estimasi. Oleh karena itu perlu dipetakan hasil kalibrasi soal soal yang VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 3

11 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta disusun di provinsi: seberapa banyak yang tingkat kesukarannya ekstrim dan bagaimanakah sebaran soal-soal yang bersifat ekstrim tersebut. Hasil pemetaan ini tidak mampu menggambarkan akurasi hasil pengukuran, namun dapat menjadi overview kemampuan penulisan soal masing-masing provinsi. Oleh karena itu studi simulasi yang meneliti pengaruh soal pencilan terhadap akurasi estimasi kemampuan peserta perlu dilakukan untuk mengetahui seberapa bias hasil pengukuran jika digunakan alat ukur yang bersifat pencilan tingkat kesukarannya. Rumusan Masalah Berdasarkan latar belakang di atas, terdapat permasalahan sebagai berikut: a) Soal-soal UN SD/MI yang disusun di provinsi tidak melalui proses kalibrasi sebelum pelaksanaan tes. Oleh karena itu perlu dikaji karakter psikometris dari butirbutir soal provinsi relatif terhadap butir soal nasional. b) Studi data empiris tidak mampu memberikan gambaran mengenai akurasi hasil estimasi. Oleh karena itu studi simulasi perlu dilakukan untuk mengetahui sejauh mana pencilan tingkat kesukaran soal berpengaruh terhadap akurasi estimasi kemampuan peserta ujian. Tujuan a) Mengetahui karakter psikometris butir soal UN SD/MI yang di susun di provinsi setelah dikalibrasi dengan butir soal nasional b) Mengetahui pengaruh pencilan tingkat kesukaran soal terhadap akurasi estimasi kemampuan peserta ujian berdasar hasil simulasi Manfaat Penelitian 1) Penelitian ini diharapkan mampu memberi masukan kepada tim penulis soal di daerah untuk penulisan soal yang lebih baik dari perspektif psikometris 2) Penelitian ini diharapkan dapat memberikan rekomendasi kepada penanggung jawab pelaksanaan UN SD/MI mengenai mekanisme penyusunan tes yang lebih baik di masa mendatang. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 4

12 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta KAJIAN LITERATUR Akurasi estimasi kemampuan seorang yang menempuh tes sangat tergantung kepada kualitas tes sebagai alat ukur itu sendiri. Hambleton dan Rogers (1993) meneliti dampak dari buruknya kualitas psikometris butir soal pada konstruksi tes. Xing dan Hambleton (2004) menemukan bahwa buruknya kualitas butir soal menurunkan tingkat akurasi keputusan (decision accuracy) dan konsistensi keputusan (decision consistency) sebesar 4%. Artinya jika dikaitkan dengan konteks ujian nasional SMP dengan peserta, maka terdapat sekitar siswa SMP yang salah dalam kategorisasi kelulusan. Tidak hanya butir soal yang harus berkualitas baik, bahkan cara pengolahan data respon juga memengaruhi akurasi estimasi kemampuan peserta. Wasis (2009) meneliti kualitas penskoran butir-butir soal di ujian seleksi masuk perguruan tinggi. Hasil penelitian menunjukkan bahwa model penskoran secara partial credit (soal politomus) lebih baik dibandingkan dengan model yang digunakan saat ini berupa penskoran dikomotus. Lebih khusus lagi model penskoran partial credit yang menggunakan pembobotan berdasarkan kompleksitas penyelesaian soal, menunjukkan estimasi yang paling baik dibandingkan model penskoran politomus lainnya. Sejumlah literature memberi kriteria soal yang baik. Berdasarkan teori tes klasik beberapa kriteria sebagai berikut: proportion correct antara 0,20 sampai 0,80; korelasi butir dengan skor total positif dan nilainya lebih atau sama dengan 0,30; jika soal berupa pilihan ganda setiap pilihan jawaban dipilih oleh minimal 20% responden; dan soal tidak dikosongkan oleh lebih dari 5% responden (Emslie dan Emslie, 2005). Berdasarkan teori respon butir terdapat beberapa kriteria soal yang baik sebagai berikut: data response bersifat unidimensi dan local independence; data response cocok/fit terhadap model teoritis; paramater tingkat kesukaran berada pada rentang -3 sampai +3, parameter daya beda soal bernilai positif dengan nilai lebih besar VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 5

13 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta atau sama dengan 0,40; untuk soal jenis pilihan ganda parameter guessing antara 0 sampai 1/banyaknya jumlah pilihan jawaban; fungsi maksimum informasi tes minimal 7. Namun kendala terbesar dalam studi yang membuktikan akurasi adalah tidak diketahuinya nilai true (nilai sebenarnya dari kemampuan seseorang). Sehingga dalam pembuktian studi akurasi perlu dilakukan pengandaian; jika nilai true kemampuan seseorang diketahui. Studi dengan pengandaian ini yang dikenal sebagai studi simulasi. Salah satu cara yang dapat dijadikan solusi untuk melakukan studi akurasi berdasarkan IRT adalah dengan teknik Monte Carlo study (Harwell, Stone, Chi Hsu, Kirisci, 1996). Monte carlo study tepat dilakukan ketika kita ingin mengetahui akurasi hasil estimasi terhadap nilai true. Sudah umum terjadi bahwa kita tidak mengetahui atau memiliki informasi mengenai nilai true. Oleh karena itu Monte Carlo study menawarkan solusi untuk melakukan penelitian yang membangkitkan data dengan nilai true tertentu sesuai kondisi yang menajdi interest peneliti. Namun karena data bangkitan tersebut bersifat probabilistic, maka perlu dilakukan replikasi data untuk setiap kondisi penelitian. Masalah yang sering dihadapi dalam pembangkitan data adalah seberapa mirip data yang dibangkitkan dengan harapan kita. Dalam konteks IRT, apakah data yang dibangkitkan memenuhi asumsi unidimensi, apakah hasil estimasinya dekat dengan nilai yang ditetapkan sebelumnya, serta bagaimanakah stabilitas data bangkitan lintas replikasi. Han (2007) menjawab permasalahan bangkitan data ini dengan membuat aplikasi WinGen. WinGen memiliki kelebihan dimana interface aplikasi berbasis Windows yang lebih user friendly. Selain itu WinGen dapat membangkitkan data dari berbagai model IRT, berbagai jenis distribusi baik distrbusi butir soal maupun peserta, serta memiliki feature yang sangat mendukung Monte Carlo study seperti bangkitan file syntax yang compatible dengan software IRT. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 6

14 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta METODE PENELITIAN 1. Data Data yang digunakan dalam studi ini terdiri atas data empirik dan juga data simulasi. Data empirik adalah data UN SD/MI tahun 2010 dengan melakukan random sampling terhadap data simulasi. Setiap provinsi digunakan data dari paket tes utama dengan jumlah sampel minimal setiap provinsi. Pada provinsi tertentu yang jumlah peserta UN SD/MI tidak jauh lebih besar dari peserta, digunakan data populasi peserta paket utama provinsi tersebut. Simulasi pengaruh soal pencilan dilakukan menggunakan model IRT 2 parameter logistik dengan bentuk soal dikotomus. Pada simulasi dibangkitkan data response 3000 peserta tes terhadap 40 butir soal. Nilai parameter a butir soal terdistribusi uniform dengan rentang nilai ini merupakan nilai parameter a yang umum dijumpai pada data empirik UN SD/MI. Beberapa variabel yang dimanipulasi dalam studi simulasi ini adalah: a) Distribusi kemampuan peserta: Normal dan Skew negatif b) Jumlah soal pencilan tingkat kesukaran: 0%, 10%, 20%, dan 30% c) Sebaran soal pencilan: simetris dan asimetris Secara total terdapat 14 kondisi. Di setiap kondisi dilakukan replikasi 25 kali. Terdapat tiga kriteria yang digunakan untuk menentukan kondisi yang memberikan hasil estimasi kemampuan paling akurat: a) Root mean square error adalah akar pangkat dua dari nilai rerata beda hasil estimasi dan nilai true yang telah dikuadratkan. Dirumuskan dengan: Semakin kecil nilai RMSE, maka hasil estimasi akurat. b) Bias, rerata selisih antara hasil estimasi dengan nilai true memiliki interpretasi makna yang sama dengan RMSE. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 7

15 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta c) Korelasi antara hasil estimasi dengan nilai true. Korelasi tinggi menunjukkan bahwa hasil estimasi semakin akurat. Studi simulasi menggunakan perangkat lunak WinGEN (Han, 2007). 2. Teknik Analisis Analasis data empirik menggunakan model IRT 2 parameter logistik dengan software Parscale. Butir soal anchor diestimasi dahulu tingkat kesukarannya untuk semua provinsi secara concurrent. Sedangkan butir soal non anchor dikalibrasi dengan metode fixed item parameter calibration untuk masing-masing provinsi dan butir soal anchor parameternya dianggap fixed. HASIL PENELITIAN DAN PEMBAHASAN 1) Hasil data empirik Analisis data empirik memetakan soalsoal non anchor yang nilai tingkat kesukarannya lebih besar dari 3 atau kurang dari -3 setelah dikalibrasi terhadap butir soal anchor nasional. Item parameter butir soal anchor nasional diperoleh dengan cara concurrent calibration database nasional. Sedangkan item parameter butir soal non anchor diperoleh dengan cara fixed item parameter calibration database setiap provinsi. Hasil pemetaan jumlah soal non anchor pencilan disajikan pada tabel 1. Sedangkan analisis data simulasi menggunakan software BILOG MG dengan model dua parameter logistik. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 8

16 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta Tabel 1. Pemetaan jumlah butir soal non anchor bersifat pencilan Pencilan Positif Negatif Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Prov Pencilan Positif Negatif Prov Prov Prov Prov Prov Prov Prov Prov Terlihat dari tabel 1, sebelas dari 33 provinsi butir soal non anchor tidak terdeteksi memiliki pencilan tingkat kesukaran. Namun ada satu provinsi yang jumlah butir soal non anchor dengan pencilan berjumlah 11 soal, 10 diantaranya cenderung di sisi ekstrim sukar. Dua provinsi terdeteksi jumlah soal non anchor ekstrim 5 soal dengan karakter ekstrim mudah. Artinya sebagian besar dari 22 provinsi yang terdeteksi soal non anchornya bersifat pencilan, penyebaran soal non anchor pencilan tersebut tidak simetris. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/2013 9

17 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta Hasil studi simulasi Tabel 2. Rerata Korelasi, RMSE, MAD, dan BIAS setiap kondisi DIST_CODE outlier_code symmetric_code Corr. RMSE MAD BIAS normal 10% outlier asymmetric symmetric % outlier asymmetric symmetric % outlier asymmetric symmetric negative skew 10% outlier asymmetric symmetric % outlier asymmetric symmetric % outlier asymmetric symmetric Terlihat dari tabel 2 bahwa bias estimasi kemampuan terjadi terutama pada kondisi distribusi kemampuan peserta negatively skewed, penyebaran soal pencilan yang asimetris dan persentase jumlah pencilan yang besar. Gambar 1. Plot Mean Korelasi antara Kondisi Bentuk Distribusi dan Jumlah Pencilan VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

18 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta Gambar 2. Plot Mean Bias antara Sebaran dan Jumlah Pencilan Gambar 1, 2, dan 3 mengilustrasikan hasil pada tabel 1. Semakin besar persentase jumlah soal non anchor yang bersifat pencilan, maka bias semakin besar pula. Faktor utama bias menjadi besar terutama adalah bentuk distribusi yang tidak normal atau dalam hal ini negatively skewed. Namun pada gambar 4 yang menyajikan plot khusus kondisi distribusi normal saja, ternyata penyebaran soal non anchor yang tidak simetris disertai jumlah soal non anchor bermasalah yang besar potensi menimbulkan bias yang semakin besar pula. Gambar 3. Plot Mean RMSE antara Bentuk Distribusi dan Jumlah Pencilan Gambar 4. Plot Mean RMSE antara Sebaran dan Jumlah Pencilan Pada Distribusi Normal VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

19 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta SIMPULAN 1. Hasil studi data empirik menunjukkan bahwa terdapat butir soal non anchor yang tingkat kesukarannya bersifat pencilan pada 22 dari 33 provinsi. Satu provinsi sangat ekstrim dengan jumlah soal non anchor terdeteksi 11 soal. Dan sebagian besar provinsi penyebaran butir soal non anchor bermasalah tidak simetris. 2. Hasil studi simulasi menunjukkan bahwa soal dengan pencilan tingkat kesukaran akan menimbulkan bias dalam mengestimasi kemampuan peserta ujian, terutama jika kemampuan peserta ujian terdistribusi secara negatively skewed. Semakin banyak jumlah soal yang tingkat kesukarannya bersifat pencilan maka akurasi semakin rendah. Kesalahan estimasi kemampuan ini semakin besar teruatama jika soal-soal yang tingkat kesukarannya ekstrim berada di satu arah (asimetris): yaitu semua soal lebih mudah ataupun semua soal lebih sukar, dibandingkan jika sebaran soal-soal tersebut simetris dan pangaruhnya saling menghilangkan. DAFTAR PUSTAKA BSNP, Kemdiknas (2008). Prosedur Operasional Standar UASBN 2008/2009. Emsley, J.R. dan Emsley, G.R. (2005). Improving Classroom Multiple -Choice Tests: A Worked Example Using Statistical Criteria. Paper Department Psychology, Ryerson University Toronto. Diunduh dari cs/resources/trs/guide_to_results/wor ked_example_for_trs.pdf Han, K. (2007). WINGEN: Windows software that generates IRT parameter and item responses. Applied Psychological Measurement, 31, Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage. Harwell, M., Stone, C.A., Hsu, T.C., & Kirisci, L. (1996). Monte Carlo studies in item response theory. Applied Psychological Measurement, volume 20. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

20 Menilik Kualitas Penulisan Soal UN SD di Daerah: Studi Simulasi Pengaruh Pencilan Item Parameter Tingkat Kesukaran terhadap Estimasi Kemampuan Peserta Holland, P.W., & Dorans,N.J.(2006) Linking and Equating. Pada R.Brennan, Educational Measurement, 4 th edition (hal ). Wesport, CT: Praeger Publisher. Kang & Petersen (2009). Linking Item Parameters to a base scale. ACT Research Report Series. ACT Incorporation, 2009 Kemdiknas (2008). Peraturan Menteri no 82 tahun 2008 tentang UASBN SD/MI/ SDLB Liu,Y. & Zumbo, B.(2007) The Impact of Outliers on Cronbach's Coefficient Alpha Estimate of Reliability. Educational and Psychological Measurement. Volume 67 Number 4. Wasis (2009) Model Penskoran Partial Credit Pada Penskoran Item Multiple False Bidang Fisika. Disertasi Universitas Negeri Yogyakarta. Universitas Negeri Yogyakarta, VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

21 KARAKTERISTIK SOAL UN KIMIA SMA TAHUN PELAJARAN 2008/2009 Deni Hadiana Peneliti Muda pada Pusat Penilaian Pendidikan ... ABSTRACT This study aimed to analyze characteristics of National Examination, Chemistry Subject Matter in High School, Academic Year 2008/2009. Analysis of the characteristics of items was done qualitatively by dissecting the three documents namely the Minister of National Education Annex No. 22 of 2006 on the Content Standards for Elementary and Secondary Education Unit-Competence Standard and Basic Competence high school Chemistry, Table of spesification of Chemistry test, test and proportion correct results Chemistry. Proportion correct data in this study is a secondary data obtained from the reports of the UN school year 2008/2009, published by the Center for Educational Assessment, Research and Development, Ministry of Education and Culture. The three documents are analyzed to find the relationship between the standard and basic competencies with table of spesification and Chemistry items. The result showed that the dissemination of information matters UN Chemistry is consistent or compatible with the pattern of the spread of basic competence in terms of topics and cognitive domains. Topics that are on the topic of chemistry consist of analytical chemistry, physical chemistry, inorganic chemistry, organic chemistry, theoretical chemistry, and biochemistry. Cognitive domains of chemistry include cognitive levels of understanding, application, and analysis. The material grade 12 is the most tested than material grade XI and X. Keywords: UN, chemistry tests, basic competency. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

22 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 ABSTRAK Penelitian ini bertujuan untuk menganalisis Karakteristik Soal Ujian Nasional (UN) Kimia SMA Tahun Pelajaran 2008/2009. Analisis karakteristik butir soal dilakukan secara kualitatif dengan membedah tiga dokumen yakni Lampiran Peraturan Menteri Pendidikan Nasional Nomor 22 Tahun 2006 tentang Standar Isi untuk Satuan Pendidikan Dasar dan Menengah - Standar Kompetensi dan Kompetensi Dasar Kimia SMA, kisi-kisi UN Kimia, Naskah dan Daya Serap hasil UN Kimia. Data daya serap pada penelitian ini merupakan data sekunder yang diperoleh dari laporan hasil UN SMA tahun 2008/2009 yang diterbitkan oleh Pusat Penilaian Pendidikan, Badan Penelitian dan Pengembangan, Kementerian Pendidikan dan Kebudayaan. Ketiga dokumen tersebut dianalisis sampai ditemukan hubungan antara standar kompetensi dan kompetensi dasar dengan kisi-kisi UN dan naskah UN Kimia. Dari hasil penelitian diperoleh informasi bahwa penyebaran soal-soal UN Kimia sudah konsisten atau sesuai dengan pola penyebaran kompetensi dasar dari segi topik dan tingkatan kognitif. Topik yang terdapat pada soal kimia teridiri dari topik kimia analitik, kimia fisika, kimia anorganik, kimia organik, kimia teori, dan biokimia. Tingkatan kognitif soal kimia mencakup tingkatan kognitif pemahaman, aplikasi, dan analisis. Materi kelas XII merupkan materi yang paling banyak diujikan pada soal UN kimia diikuti oleh materi kelas XI dan X. Kata kunci: UN, Soal UN kimia, dan Kompetensi Dasar. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

23 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 PENDAHULUAN Ujian Nasional adalah penilaian terhadap hasil belajar peserta didik untuk mengakhiri masa studinya pada satuan pendidikan dasar dan menengah, yang dilaksanakan secara nasional baik menyangkut penyelenggara, waktu pelaksanaan, materi soal, maupun kriteria kelulusannya. Sebelum tahun 2008 mata pelajaran yang di UN kan untuk tingkat SMA/MA adalah Bahasa Indonesia, Bahasa Ingris dan Matematika, sejak tahun 2008, mata pelajaran yang diujikan ditambah dengan mata pelajaran yang menjadi ciri khas masing-masing program studi bagi SMA/MA. Pada Program IPA ditambah dengan mata pelajaran biologi, fisika, dan kimia, pada Program IPS ditambah matematika, geografi, dan sosiologi, dan pada Program Bahasa ditambah matematika, sastra Indonesia, dan antropologi. Hasil UN dapat menggambarkan pencapaian kompetensi peserta didik dalam menguasai materi pembelajaran baik pada tingkat satuan pendidikan, kabupaten/kota, provinsi, dan nasional. Deskripsi kemampuan peserta didik dalam UN sangat penting untuk menentukan berbagai kebijakan peningkatan mutu pembelajaran. Adanya penambahan mata pelajaran yang diujikan dalam UN khususnya mata pelajaran kimia, mata penulis menganggap perlu melakukan studi analisis karateristik soal Kimia UN yang meliputi: standar kompetensi, kompetensi dasar, kisi-kisi dan soal yang diujikan secara nasional tahun pelajaran 2008/2009 dimana untuk pertama kalinya mata pelajaran tersebut diujikan. Berdasarkan uraian di atas, pokok permasalahannya adalah: 1) Apakah soal yang diujikan dalam UN SMA tahun pelajaran 2008/2009 pada mata pelajaran kimia sudah sesuai dengan standar kompetensi dan kompetensi dasar yang ada terdapat pada standar UN. 2) Bagaimana penyebaran soal UN SMA tahun pelajaran 2008/2009 pada mata pelajaran kimia dari aspek topik, tingkatan kognitif, dan jenjang kelas? Penelitian ini bertujuan untuk: 1) menganalisis soal UN SMA tahun pelajaran 2008/2009 pada mata pelajaran kimia VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

24 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 berdasarkan standar kompetensi dan kompetensi dasar Kimia; 2) mengidentifikasi penyebaran soal UN SMA tahun pelajaran 2008/2009 pada mata pelajaran kimia dari aspek kompetensi dasar, level kognitif, dan jenjang kelas. KAJIAN LITERATUR Menurut Furqon (2004), suatu kegiatan biasanya ditujukan untuk memenuhi fungsi dan mencapai tujuan tertentu. Fungsi utama yang diemban dapat berbeda antara kegiatan ujian yang satu dari kegiatan ujian lainnya, bergantung kepada tujuan ujian itu. Secara umum, fungsi-fungsi kegiatan ujian dalam dunia pendidikan dapat dikategorikan sebagai berikut. a. Akuntabilitas publik (public accountability), yaitu bahwa ujian dalam pendidikan diharapkan mampu menyediakan dan memberikan informasi kepada masyarakat mengenai kemajuan dan prestasi yang dicapai sehubungan dengan manfaat dari setiap rupiah yang dibelanjakan dalam kegiatan pendidikan. b. Pengendalian mutu (quality control) pendidikan. Sebagai pengendali mutu pendidikan, ujian diharapkan dapat menjadi instrumen untuk mengendalikan dan menjamin bahwa setiap keluaran (lulusan) pendidikan telah memenuhi kualifikasi, kompetensi, atau standar tertentu yang ditetapkan. c. Motivator (pressure to achieve), yaitu bahwa evaluasi diharapkan menjadi instrumen untuk mendorong dan memaksa pengelola dan penyelenggara serta pelaksana (guru dan peserta didik) pendidikan untuk berusaha lebih keras dan sungguh-sungguh dalam mencapai hasil yang diharapkan. d. Seleksi dan penempatan, yaitu bahwa hasil evaluasi pendidikan dapat dijadikan salah satu bahan pertimbangan untuk menerima atau menolak seorang pelamar, khususnya jika tempat yang tersedia lebih sedikit dari jumlah yang melamar. Selain itu, hasil evaluasi juga dapat dijadikan bahan pertimbangan dalam menentukan ke mana seorang dianjurkan untuk VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

25 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 melanjutkan pendidikannya atau terjun ke dunia kerja. e. Diagnostik, yaitu bahwa evaluasi dapat memberikan umpan balik (feedback) kepada sistem tentang kekuatan dan kelemahannya, sehingga dapat ditentukan kegiatan tindak lanjut yang diperlukan. Fungsi ini sering juga dikaitkan dengan fungsi peningkatan mutu (quality improvement) karena balikan yang tepat dapat mendorong kegiatan dan program pendidikan untuk senantiasa melakukan peningkatan mutu layanan pendidikan dan keluaran yang dihasilkannya. Kegiatan evaluasi seperti ini dapat diselenggarakan dalam satuan kelas, satuan sekolah, satuan daerah, sampai satuan nasional. Sementara Ki Supriyoko (2004) menyampaikan bahwa UN sebagai salah satu bentuk dari evaluasi sumatif yang diselenggarakan oleh Pemerintah untuk mengetahui pencapaian standar nasional pendidikan perlu memerhatikan beberapa prinsip penilaian yaitu harus dilaksanakan secara objektif, adil dan berlaku sama bagi semua peserta (equity), serta memberikan insentif belajar bagi peserta didik yang dikenai ujian (teaching-learning incentive). Di samping itu, UN harus benar-benar mampu mengukur prestasi belajar peserta didik (student achievement effectiveness), artinya peserta didik yang prestasi belajarnya baik mendapat nilai yang baik dan peserta didik yang prestasi belajarnya buruk mendapat nilai yang buruk. UN sebagai salah satu kegiatan pengukuran memerlukan soal yang bermutu baik, karena baik-buruknya soal akan menentukan mutu data yang dihasilkan. Mutu data ini akan menentukan mutu rumusan hasil penilaian, dan selanjutnya akan menentukan mutu berbagai keputusan dan kebijakan kependidikan yang ditetapkan berdasarkan hasil penilaian itu. Sesuai dengan Peraturan Menteri Pendidikan Nasional No. 77 Tahun 2008 tentang UN SMA Tahun Pelajaran 2008/2009 pada Pasal 6, dinyatakan bahwa mata pelajaran yang diujikan pada UN SMA Program IPA meliputi bahasa Indonesia, bahasa Inggris, matematika, fisika, kimia, dan biologi. Soal-soal UN disusun dan dirakit VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

26 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 berdasarkan kisi-kisi soal UN tahun pelajaran 2008/2009. Kisi-kisi soal UN disusun berdasarkan standar kompetensi lulusan (SKL) yang merupakan irisan (interseksi) dari pokok bahasan/sub pokok bahasan Kurikulum 1994, Standar Kompetensi dan Kompetensi Dasar (SKKD) pada Kurikulum 2004 dan Standar Isi. Soal-soal UN dikembangkan dan dikelola oleh Pusat Penilaian Pendidikan (Puspendik) Balitbang Depdiknas di bawah koordinasi Badan Standar Nasional Pendidikan (BSNP). Butir-butir soal UN merupakan soal yang terstandar yang diambil dari Bank Soal nasional sesuai dengan kisi-kisi UN tahun pelajaran 2008/2009. Butir-butir soal tersebut dirakit manjadi paket-paket tes dengan memerhatikan kesetaraan tingkat kesukaran soal, antar paket. Dari paket tes tersebut, kemudian soal-soal dirakit kembali menjadi Paket A dan Paket B. Dengan demikian, soal-soal yang diujikan dalam UN telah benar-benar dipersiapkan dengan matang dan tentunya soal-soal tersebut bermutu baik. Pada UN SMA Program IPA, jumlah soal yang diujikan pada mata pelajaran bahasa Indonesia dan bahasa Inggris adalah 50 butir, sedangkan untuk mata pelajaran matematika, fisika, kimia, dan biologi masing-masing 40 butir. Masingmasing paket tes tersebut harus diselesaikan dalam waktu 120 menit. Kisi-kisi UN tahun pelajaran 2008/2009 untuk mata pelajaran Kimia dapat dilihat pada tabel 1 berikut. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

27 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 Tabel 1. Kisi-kisi UN Tahun Pelajajaran 2008/2009 untuk Mata Pelajaran Kimia SKL 1. Menganalisis struktur atom, sistem periodik unsure dan ikatan kimia untuk menentukan sifat-sifat unsure dan senyawa. 2. Menerapkan hukum-hukum dasar kimia untuk memecahkan masalah dalam perhitungan kimia. 3. Menjelaskan sifat-sifat larutan, metode pengukuran dan terapannya Kemampuan yang Diuji 1. Mendeskripsikan notasi unsur dan kaitannya dengan konfigurasi elektron serta jenis ikatan kimia yang dapat dihasilkannya 2. Memprediksi letak unsur dalam tabel periodic 3. Memprediksi jenis ikatan kimia/jenis interaksi molekuler 4. Menyelesaikan perhitungan kimia yang berkaitan dengan hukum dasar kimia 5. Menganalisis persamaan reaksi kimia 6. Menganalisis data daya hantar listrik beberapa larutan 7. Mendeskripsikan konsep ph larutan 8. Menghitung konsentrasi asam/basa pada proses titrasi asam basa 9. Menganalisis sifat larutan penyangga 10. Menghitung ph larutan garam yang terhidrolisis 11. Menyimpulkan terbentuknya endapan/larutan dari data Ksp 12. Menyimpulkan sifat koligatif larutan berdasarkan data 13. Menganalisis diagram PT yang berkaitan dengan sifat koligatif larutan 14. Menyimpulkan penerapan sifat koloid di dalam kehidupan sehari-hari 15. Menyimpulkan penerapan konsep minyak bumi yang berkaitan dengan efisiensi BBM VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

28 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 SKL 4. Memahami senyawa organik, gugus fungsi dan reaksinya, benzena dan turunannya, makromolekul serta lemak. 5. Menentukan perubahan energi dalam reaksi kimia, cara pengukuran dan perhitungan nya. 6. Memahami kinetika reaksi, kesetimbangan kimia, dan faktorfaktor yang memengaruhi nya, serta penerapannya dalam kehidupan sehari-hari dan industri. 7. Memahami reaksi oksidasi-reduksi dan sel elektrokimia serta penerapannya dalam teknologi dan kehidupan sehari-hari. 8. Memahami karakteristik unsur-unsur penting, terdapatnya di alam, pembuatan dan kegunaanya. Kemampuan yang Diuji 16. Mendeskripsikan senyawa turunan alkana 17. Mengidentifikasi senyawa benzena dan turunannya 18. Menganalisa data yang berhubungan dengan polimer 19. Mendeskripsikan makromolekul 20. Menyimpulkan peristiwa eksoterm/endoterm pada peristiwa termokimia 21. Menentukan kalor reaksi 22. Menghitung laju reaksi berdasarkan data eksperimen 23. Mendeskripsikan faktor-faktor yang mempengaruhi laju reaksi 24. Menganalisis pergeseran kesetimbangan 25. Menghitung harga Kc/Kp 26. Mendeskripsikan persamaan reaksi redoks 27. Mendeskripsikan diagram sel volta 28. Menerapkan hukum Faraday 29. Mendeskripsikan fenomena korosi 30. Mendeskripsikan mineral suatu unsur 31. Mendeskripsikan sifat unsur golongan tertentu 32. Mendeskripsikan cara memperoleh unsur dan kegunaannya (Sumber: Lampiran Permendiknas No. 77 Tahun 2008) VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

29 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 Pada tabel 1, tampak terdapat 8 SKL yang dikembangkan menjadi 32 kemampuan yang diuji berdasarkan kisi-kisi tersebut disusunlah 40 soal. Soal-soal UN Kimia dikembangkan berdasarkan interseksi kurikulum 1994, kurikulum 2004, dan standar isi. Dengan demikian soal UN harus mampu mewakili kurikulum yang dijadikan acuan dalam pembelajaran. Selain itu, soal-soal UN yang cenderung mengukur aspek kognitif harus mampu mencerminkan seluruh domain kognitif. Menurut Badrun dkk (2009) tingkatan domain kognitif untuk kelompok mata pelajaran matematika dan ilmu pengetahuan alam termasuk kimia dibagi menjadi lima tingkatan (level) yaitu: memorize, perform procedure, communicate understanding, conjecture/generalize/prove, dan solve-non routine problems/make connection. Memorize merupakan level kognitif tingkat pertama yang mencakup level mengingat, diantaranya menyebutkan faktafakta, menyebutkan definisi-definsi, dan menyebutkan rumus-rumus. Pada tingkatan yang kedua, perform procedure sudah meliputi kemampuan perhitungan, pengurutan angka, menampilkan grafik dari data yang ada. Pada tingkatan ketiga, communicate understanding peserta didik dituntut untuk menggunakan ide-ide dalam pemecahan masalah. Pada tingkatan keekpat, conjecture/generalize/prove peserta didik dituntut untuk dapat menentukan kebenaran dari suatu pola dan menganalisis data. Pada tingkatan kelima, solve-non routine problems/ make connection, peserta didik dituntut untuk bisa mengaplikasikan dan mengadaptasi permasalahan dan pemecahannya. Nilai hasil UN merupakan konversi skor mentah hasil UN ke dalam skala nilai Nilai UN menunjukkan seberapa besar nilai perolehan peserta didik untuk tiap mata pelajaran yang diujikan. Nilai UN juga mencerminkan daya serap peserta didik pada setiap mata pelajaran yang diujikan. Daya serap dapat didefinisikan sebagai seberapa besar/banyak persentase peserta didik yang dapat menjawab pertanyaan dalam tes, satu pertanyaan dicerminkan dalam satu indikator. Daya serap ini merupakan hasil VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

30 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 perhitungan dari jawaban siswa dari setiap kemampuan yang diujikan di setiap jenjang pendidikan. Daya serap dalam tulisan ini berarti kemampuan peserta dalam menjawab setiap butir soal yang dinyatakan dalam persentase. Badan Penelitian dan Pengembangan, Kementerian Pendidikan dan Kebudayaan. Ketiga dokumen tersebut dianalisis sampai ditemukan hubungan antara standar kompetensi dan kompetensi dasar dengan kisi-kisi UN dan naskah UN Kimia. METODE PENELITIAN Penelitian ini menggunakan tiga dokumen meliputi Lampiran Peraturan Menteri Pendidikan Nasional Nomor Nomor 22 Tahun 2006 tentang Standar Isi untuk Satuan Pendidikan Dasar dan Menengah yaitu Standar Kompetisi Lulusan (SKL) mata pelajaran Kimia SMA, kisi-kisi UN Kimia, naskah dan Daya Serap hasil UN Kimia. Data daya serap pada penelitian ini merupakan data sekunder yang diperoleh dari laporan hasil UN SMA tahun 2008/2009 yang diterbitkan oleh Pusat Penilaian Pendidikan, HASIL DAN PEMBAHASAN SKL, Kemampuan yang diuji, dan Indikator Berdasarkan hasil analisis SKL (standar kompetensi dan kompetensi dasar), kemampuan yang diuji dan soal UN Kimia dapat drumuskan indikator-indikator untuk setiap soalnya. Tabel 2 menggambarkan SKL, kemampuan yang diuji dan indikator soal yang diujikan dalan UN. Indikator soal mecerminkan kemampuan yang diukur dalam setiap butir soal berdasarkan soal yang diujikan, satu indikator soal menggambarkan satu butir soal. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

31 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 Tabel 2. SKL, Kemampuan yang Diuji, dan Indikator SKL Kemampuan yang Diuji Indikator Soal Menganalisis struktur atom, sistem periodik unsure dan ikatan kimia untuk menentukan sifat-sifat unsure dan senyawa. Menerapkan hukumhukum dasar kimia untuk memecahkan masalah dalam perhitungan kimia. Menjelaskan sifat-sifat larutan, metode pengukuran dan terapannya Mendeskripsikan notasi unsur dan kaitannya dengan konfigurasi elektron serta jenis ikatan kimia yang dapat dihasilkannya Memprediksi jenis ikatan kimia/jenis interaksi molekuler Memprediksi letak unsur dalam tabel periodic Menganalisis persamaan reaksi kimia Menyelesaikan perhitungan kimia yang berkaitan dengan hukum dasar kimia Menganalisis data daya hantar listrik beberapa larutan Mendeskripsikan konsep ph larutan Menghitung konsentrasi asam/basa pada proses titrasi asam basa 1) Menentukan konfigurasi elektron unsur 2) Menentukan gambar konfigurasi elektron unsur 3) Menentukan rumus senyawa dan jenis ikatan 4) Memprediksi jenis ikatan berdasarkan sifat fisik 5) Memprediksi letak unsur dalam sistem periodik berdasarkan notasi unsur 6) Menentukan nama senyawa berdasarkan persamaan reaksi 7) Menentukan perbandingan vol zat-zat berdasarkan persamaan reaksi 8) Menghitung massa/volume zat hasil reaksi 9) Menentukan sifat elektrolit/ nonelektrolit berdasarkan data 10) Memperkirakan harga ph berdasarkan data indikator 11) Menghitung konsentrasi variabel dalam titrasi No Soal VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

32 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 SKL Kemampuan yang Diuji Indikator Soal Memahami senyawa organik, gugus fungsi dan reaksinya, benzena dan turunannya, makromolekul serta lemak. Menganalisis sifat larutan penyangga Menghitung ph larutan garam yang terhidrolisis Menyimpulkan terbentuknya endapan/larutan dari data Ksp Menyimpulkan sifat koligatif larutan berdasarkan data Menganalisis diagram PT yang berkaitan dengan sifat koligatif larutan Menyimpulkan penerapan sifat koloid di dalam kehidupan sehari-hari Menyimpulkan penerapan konsep minyak bumi yang berkaitan dengan efisiensi BBM Mendeskripsikan senyawa turunan alkana 12) Memilih larutan penyangga berdasarkan data sifat larutan 13) Menghitung ph garam yang terhidrolisis berdasarkan data 14) Memprediksi campuran yang menghasilkan endapan atau larutan berdasarkan data reaksi dan Ksp 15) Manganalisis tekanan osmotik larutan berdasarkan data 16) Menganalisis variabel sifat koligatif larutan berdasarkan diagram PT 17) Memilih contoh penerapan sifat koloid 18) Menentukan bilangan oktan suatu bahan bakar 19) Menentukan rumus struktur/ gugus fungsi senyawa alkana/ turunan alkana 20) Menentukan jenis reaksi pada senyawa alkana/turunan alkana 21) Memilih nama/rumus struktur yang berisomer dengan salah satu senyawa No Soal VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

33 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 SKL Kemampuan yang Diuji Indikator Soal Menentukan perubahan energi dalam reaksi kimia, cara pengukuran dan perhitungannya. Memahami kinetika reaksi, kesetimbangan kimia, dan faktorfaktor yang memengaruhinya, serta penerapannya dalam kehidupan sehari-hari dan industri. Mengidentifikasi senyawa benzena dan turunannya Menganalisa data yang berhubungan dengan polimer Mendeskripsikan makromolekul Menyimpulkan peristiwa eksoterm/endoterm pada peristiwa termokimia Menentukan kalor reaksi Menghitung laju reaksi berdasarkan data eksperimen Mendeskripsikan faktor-faktor yang mempengaruhi laju reaksi Menganalisis pergeseran kesetimbangan 22) Memilih kegunaan benzene/ turunan benzene berdasarkan nama/rumus struktur 23) Menganalisis hubungan data tentang polimer, monomer, dan jenisnya 24) Menentukan sifat-sifat polimer berdasarkan data 25) Menganalisis kandungan zat berdasarkan uji makromolekul 26) Menganalisis data yang terkait dengan reaksi eksoterm/ endoterm 27) Menghitung variabel kalor reaksi berdasarkan ilustrasi proses 28) Menghitung kalor reaksi berdasarkan persamaan reaksi dan energi ikat 29) Menghitung laju reaksi berdasarkan data dan persamaan reaksi 30) Menganalisis gambar yang berhubungan dengan faktor penentu laju reaksi 31) Menganalisis gambar yang berhubungan degan pergeseran kesetimbangan sesaat No Soal VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

34 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 SKL Kemampuan yang Diuji Indikator Soal Memahami reaksi oksidasi-reduksi dan sel elektrokimia serta penerapannya dalam teknologi dan kehidupan sehari-hari. Memahami karakteristik unsurunsur penting, terdapatnya di alam, pembuatan dan kegunaanya. Menghitung harga Kc/Kp Mendeskripsikan persamaan reaksi redoks Mendeskripsikan diagram sel volta Menerapkan hukum Faraday Mendeskripsikan fenomena korosi Mendeskripsikan mineral suatu unsur Mendeskripsikan sifat unsur golongan tertentu Mendeskripsikan cara memperoleh unsur dan kegunaannya 32) Menghitung harga Kc/Kp dari reaksi 33) Menyetarakan persamaan reaksi redoks 34) Menentukan diagram sel berdasarkan gambar sel volta 35) Menerapkan hukum faraday berdasarkan data 36) Memilih metode pencegahan korosi 37) Menentukan pasangan data berhubungan dengan unsur dan mineral 38) Menentukan sifat-safat unsur golongan tertentu 39) Menentukan nama proses pembuatan unsur 40) Menentukan kegunaan unsur/senyawa tertentu No Soal Tabel di atas memperlihatkan bahwa materi yang tergambar dalam soal UN Kimia telah mencerminkan ruang lingkup mata pelajaran kimia yang tertuang dalam standar kompetensi dan kompetensi dasar (SKKD) yang bersumber Lampiran Peraturan Menteri Pendidikan Nasional Nomor 22 Tahun 2006 tentang Standar Isi. Hubungan antara SKL UN dan Standar Kompetensi dalam Standar Isi Kimia SMA dapat dilihat pada Tabel 3. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

35 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 Tabel 3. SKL dan Standar Kompetensi Kimia SKL UN Menganalisis struktur atom, sistem periodik unsure dan ikatan kimia untuk menentukan sifat-sifat unsure dan senyawa. Menerapkan hukum-hukum dasar kimia untuk memecahkan masalah dalam perhitungan kimia. Menjelaskan sifat-sifat larutan, metode pengukuran dan terapannya Memahami senyawa organik, gugus fungsi dan reaksinya, benzena dan turunannya, makromolekul serta lemak. Menentukan perubahan energi dalam reaksi kimia,cara pengukuran dan perhitungannya. Standar Kompetensi Memahami struktur atom, sifat-sifat periodik unsur, dan ikatan kimia Memahami struktur atom untuk meramalkan sifat-sifat periodik unsur, struktur molekul, dan sifat sifat senyawa Memahami hukum-hukum dasar kimia dan penerapannya dalam perhitungan kimia (stoikiometri) Memahami sifat-sifat larutan non-elektrolit dan elektrolit, serta reaksi oksidasi-redukasi Memahami sifat-sifat larutan asam-basa, metode pengukuran, dan terapannya Menjelaskan sistem dan sifat koloid serta penerapannya dalam kehidupan sehari-hari Menjelaskan sifat- sifat koligatif larutan nonelektrolit dan elektrolit Memahami sifat-sifat senyawa organik atas dasar gugus fungsi dan senyawa makromolekul Memahami senyawa organik dan reaksinya, benzena dan turunannya, dan makromolekul Memahami perubahan energi dalam reaksi kimia dan cara pengukurannya Kelas/ Semester X/1 XI/1 X/1 X/2 XI/2 XI/2 XII/1 X/2 XII/2 XI/1 VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

36 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 SKL UN Memahami kinetika reaksi, kesetimbangan kimia, dan faktorfaktor yang memengaruhi nya, serta penerapannya dalam kehidupan sehari-hari dan industri. Memahami reaksi oksidasi-reduksi dan sel elektrokimia serta penerapannya dalam teknologi dan kehidupan sehari-hari. Memahami karakteristik unsurunsur penting, terdapatnya di alam, pembuatan dan kegunaanya. Standar Kompetensi Memahami kinetika reaksi, kesetimbangan kimia, dan faktor-faktor yang mempengaruhinya, serta penerapannya dalam kehidupan sehari-hari dan industri Menerapkan konsep reaksi oksidasi-reduksi dan elektrokimia dalam teknologi dan kehidupan sehari-hari Memahami karakteristik unsur-unsur penting, kegunaan dan bahayanya, serta terdapatnya di alam Kelas/ Semester XI/1 XII/1 XII/1 Topik Kompetensi Dasar Kimia Dalam lampiran standar isi, dari 13 standar kompetensi dikembangkang menjadi 41 kompetensi dasar yang tersebar dari kelas X semester 1 sampai dengan kelas XII semester 2. Menurut Badrun dkk (2009), 41 kompetensi dasar dikelompokkan menjadi 14 kompetensi dasar kimia analitik; 2 kompetensi dasar biokimia; 3 kompetensi dasar kimia anorganik/unsur; 4 kompetensi dasar kimia organik; 4 kompetensi dasar kimia fisik; 13 kompetensi dasar kimia teori; dan 1 kompetensi dasar kimia nuklir. Hasil analisis kompetensi dasar kimia berdasarkan stsndar isi dapat digambarkan dalam grafik berikut ini (gambar 1) Gambar 1. Persentase Topik Kompetensi Dasar Kimia SMA VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

37 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 Kompentensi dasar yang berkaitan dengan topik kimia analitik paling banyak yakni 34,15%, diikuti kimia teori 31,71%, kimia organik 9,76% dan kimia fisika 9,76%, kimia anorganik 7,32%, biokimia 4,88%, dan kimia nuklir 2,44%. Adapun distribusi ke tujuh topik Kimia tersebut dalam naskah UN dapat dilihat pada gambar 2 berikut ini. Gambar 2. Topik Kimia pada Soal UN 2009 Pada gambar di atas menunjukkan bahwa soal kimia pada UN tahun 2009 hanya terdapat enam topik sedangkan pada komptensi dasar terdapat tujuh topik. Topik yang tidak terdapat dalam soal UN kimia yaitu topik kimia nuklir, topik ini tidak diujikan karena soal UN kimia tahun 2009 disusun berdasarkan interseksi kurikulum 1994, kurikulum 2004, dan standar isi. Dengan demikian soal UN hanya berisi topiktopik yang diajarkan pada ketiga kurikulum, dimana pada kurikulum 2004, kimia nuklir tidak diajarkan. Dari keenam topik yang diujikan, topik kimia teori menjadi topik yang terbesar yakni 25,00% diikuti topik kimia analitik dan kimia fisika, kimia organik, kimia anorganik, dan biokimia. Urutan persentase topik pada soal UN hampir sama dengan urutan persentase pada kompetensi dasar mata pelajaran kimia dalam standar isi. Dengan demikian dari segi topik, soal-soal UN kimia tahun 2009 telah mencerminkan dan sesuai dengan tuntutan SKKD dalam kurikulum tingkat satuan pendidikan. Distribusi Soal Berdasarkan Tingkatan Kognitif dan Jenjang Kelas Menurut Badrun dkk (2009), dari ketujuh topik dalam kompetensi dasar hanya mencakup empat tingkatan kognitif yaitu pengetahuan, pemahaman, aplikasi, dan VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

38 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 analisis. Sedangkan tingkatan kognitif sintesis dan penilaian tidak tercakup dalam kompetensi dasar kimia. Badrun dkk (2009) mengklasifikasikan tingkat kognitif tersebut berdasarkan kata-kata kunci yang ditungkan dalam kompetensi dasar. Berikut tabel pemetaan topik kompetensi dasar kimia berdasarkan tingkatan kognitif. Tingkatan Kognitif Tabel 4. Tingkatan Kognitif dalam Kompetensi Dasar Kimia Kimia Analitik Kimia Teori Kimia Anorganik Kompetensi Dasar Kimia Organik Kimia Fisika Kimia Nuklir Pengetahuan Biokimia Pemahaman Aplikasi - - Analisis Sintesis Penilaian Sumber: Badrun dkk (2009) Tingkatan kognitif pengetahuan terdapat pada topik kimia analitik dan kimia anorganik, tingkatan kognitif pemahaman terdapat pada semua topik kimia, tingkatan kognitif aplikasi terdapat pada topik kimia analitik, kimia teori, kimia anorganik, kimia organik, dan kimia fisika. Tingkatan kognitif analisis terdapat pada topik kimia analitik, kimia teori, kimia anorganik, dan kimia fisika. Sedangkan tingkatan kognitif sintesis dan penilaian tidak terdapat pada topik kimia SMA. Setali tiga uang dengan tingkatan kognitif pada kompetensi dasar, naskah kimia UN 2009 juga tidak mengujikan soal yang menguji tingkatan kognitif sintesis dan penilaian, soal-soal kimia hanya mengujikan tingkatan kognitif pemahaman, analisis, dan aplikasi seperti disajikan pada gambar 3 berikut ini. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

39 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 Gambar 3. Distribusi Soal Berdasarkan Tingkatan Kognitif Berbeda dengan kompetensi dasar yang memuat empat tingkatan kognitif yakni tingkatan kognitif pengetahuan, pemahaman, aplikasi, dan analisis, soal-soal UN kimia hanya teridiri dari tiga tingkatan kognitif yakni pemahaman, aplikasi, dan analisis. Ketiga tingkatan kognitif ini tersebar kedalam enam topik kimia. Satu butir soal biokimia mengukur tingkatan kognitif analisis, empat soal kimia anorganik mengukur pemahaman, dari tujuh soal kimia organik, dua butir soal merupakan soal aplikasi dan lima butir soal mengukur aspek pemahaman. Model soal pemahaman pada topik kimia fisika dan kimia teori masing-masing sebanyak enam soal dan pada kimia analitik sebanyak tiga butir soal. Soal aplikasi masing-masing berjumlah satu butir untuk topik kimia analitik dan kimia teori, sedangkan untuk kimia fisika sebanyak dua butir soal. Soal yang mengukur tingkatan kognitif analisis berjumlah satu butir untuk kimia fisika, lima butir untuk kimia analitik, dan tiga butir untuk kimia teori. Sebaran tingkatan kognitif ini telah mencerminkan sebaran tingkat kognitif dalam kurikulum karena sifat UN sebagai tes prestasi artinya VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

40 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 menguji apa yang diajarkan dan dituntut kurikulum. Distribusi kompetensi dasar berdasarkan jenjang kelas dapat dilihat pada Gambar 4. Dari 41 kompetensi dasar mata pelajaran kimia SMA yang terdapat pada standar isi, persentase kompetensi dasar kimia tertinggi di kelas XI yakni 44% diikuti kelas XII yakni 32%, dan kelas X 24%. Gambar 5. Distribusi Soal Berdasarkan Jenjang Kelas Gambar 4. Distribusi Kompetensi Dasar Berdasarkan Jenjang Kelas Hal ini karena pemilihan soal UN Kimia didasarkan pada kisi-kisi UN 2009 yang telah mempertimbangkan urgensi, kontinuitas, relevansi, dan kontekstual materi yang tercermin pada SKL dan kemampuan yang diuji. Untuk soal UN kimia, 43% soal kimia disusun berdasarkan kompetensi dasar kelas XII, 40% kelas XI, dan sisanya 17% berdasarkan kompetensi dasar kelas X. Distribusi ini agak berbeda dengan distribusi kompetensi dasar. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

41 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 SIMPULAN DAN SARAN Simpulan Berdasarkan informasi yang diperoleh dari diskusi dan pembahasan, ada beberapa kesimpulan sebagai berikut. Materi yang tergambar dalam soal UN Kimia telah mencerminkan atau mewakili ruang lingkup mata pelajaran kimia yang tertuang dalam standar kompetensi dan kompetensi dasar yang bersumber Lampiran Peraturan Menteri Pendidikan Nasional Nomor 22 Tahun 2006 tentang Standar Isi untuk Satuan Pendidikan Dasar dan Menengah. Soal UN kimia tahun 2009 hanya terdapat enam topik yakni kimia analitik, kimia teori, kimia fisika, kimia organik, kimia anorganik, dan biokimia. Sedangkan pada komptensi dasar terdapat tujuh topik, topik yang tidak terdapat dalam soal UN kimia yaitu topik kimia nuklir, topik ini tidak muncul karena soal UN kimia tahun 2009 disusun berdasarkan interseksi kurikulum 1994, kurikulum 2004, dan kurikulum tingkat satuan pendidikan. Dengan demikian soal UN hanya berisi topik-topik yang diajarkan pada ketiga kurikulum, dimana pada kurikulum 2004, kimia nuklir tidak diajarkan. Urutan persentase penyebaran topik pada soal UN hampir sama dengan urutan persentase penyebaran topik pada kompetensi dasar mata pelajaran kimia dalam standar isi. Dari aspek tingkatan kognitif, soal-soal UN kimia hanya teridiri dari tiga tingkatan kognitif yakni pemahaman, aplikasi, dan analisis. Ketiga tingkatan kognitif ini tersebar kedalam enam topik kimia. Sebaran tingkatan kognitif ini telah mencerminkan sebaran tingkat kognitif dalam kurikulum karena sifat UN sebagai tes prestasi artinya menguji apa yang diajarkan dan dituntut kurikulum. Dari segi jenjang kelas, materi kelas XII merupakan materi yang paling banyak diujikan dalam soal kimia diikuti kelas XI dan kelas X. Saran Standar kompetensi dan kompetensi dasar dalam standar isi perlu disempurnakan dengan memperkaya kompetensi dasar yang menuntut kemampuan tingkat kognitif sintesis dan evaluasi, dengan demikian soal VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

42 Karakteristik Soal UN Kimia SMA Tahun Pelajaran 2008/2009 UN Kimia juga dapat mengukur tingkat kognitif sintesis dan evaluasi. PUSTAKA ACUAN Depdiknas, (2008). Peraturan Menteri Pendidikan Nasional No. 77 Tahun 2008 tentang UN SMA Tahun Pelajaran 2008/2009. Jakarta. Depdiknas, (2006): Peraturan Menteri Pendidikan Nasional No. 22 Tahun 2006 tentang Standar Isi untuk Satuan Pendidikan Dasar dan Menengah. Jakarta. Furqon. (2004). Peranan evaluasi dalam meningkatkan mutu pendidikan. Makalah disampaikan dalam diskusi panel tanggal 31 Mei 2004 di UPI, Bandung. Pusat Penilaian Pendidikan, Balitbang, Depdiknas, (2009): Hasil Ujian Nasional Tahun Pelajaran 2008/2009. Jakarta. Supriyoko, Ki, (2004): Studi Aspirasi Masyarakat tentang Penyelenggaraan Ujian Nasional. Jogjakarta, LSPI. Badrun dkk. (2009): Analisis ujian nasional SMA tahun pelajaran 2008/2009. LPMP-Yogyakarta VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

43 PENYETARAAN (EQUATING) SKOR BIOLOGI SMA BERDASARKAN HASIL UJIAN NASIONAL TAHUN 2010/2011 Rumondang Purwati Peneliti di Pusat Penilaian Pendidikan, Kemdikbud ABSTRACT National Exam (UN) 2011 is arranged in some parallel packages that assessed on three time zones (Western, Middle, and Eastern). To compare the scores obtained on different test packages, a process of equating scores is needed, using anchor (linking) item. The difficulty level of linking items is used to determine the difficulty level of test packages to arrange the conversion table. The conversion scores are used to compare the student ability. The aims of this study are to identify the characteristics of items linking, to compare the difficulty of tests packages, to make the conversion table, and to compare the scores before and after the equating process. Equating process is using data from all students responses on national exam (UN) 2011 of Biology in SMA.The data analysis is using Winstep program to determine the characteristics of item linking and the equating process is using fixed item parameter calibration. The lowest item linking difficulty level is on Eastern zone and the highest is on Western zone. For the nonlinking items, the lowest item difficulty is on the Western zone and the highest is on the Eastern zone. After the scores conversion, the SMA Biology scores on Westerns zone is higher than the scores on Middle zone to obtain the same scores from 0 to 3.89 and above In the Middle zone for scores , Middle scores is higher than Westerns scores. In all scores, Western scores is higher than Eastern scores. The average scores in all of provinces has increased after equating process. The lowest average score after equating is achieved by Nusa Tenggara Timur (6.39) and the highest is Bali (8.90). VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

44 Keywords: equating, difficulty level, linking, conversion, and national exam ABSTRAK Ujian Nasional (UN) 2011 disusun dalam beberapa paket tes yang paralel yang diujikan pada tiga zona waktu (Barat, Tengah, dan Timur). Agar skor antarpaket dapat dibandingkan, perlu dilakukan equating, yaitu proses penyetaraan paket tes dengan menggunakan soal-soal anchor (linking). Tingkat kesukaran soal-soal linking digunakan untuk menentukan tingkat kesukaran paket tes untuk membuat tabel konversi. Skor konversi dapat digunakan untuk membandingkan kemampuan siswa. Studi penyetaraan paket tes Biologi SMA pada UN 2011 bertujuan untuk mengidentifikasi karakteristik butir soal-soal linking antarpaket, membandingkan tingkat kesukaran paket-paket tes, membuat konversi skor, dan membandingkan rata-rata skor sebelum dan sesudah equating. Proses equating menggunakan data yang berasal dari semua jawaban siswa pada UN 2011 terhadap mata pelajaran Biologi SMA. Data tersebut dianalisis dengan menggunakan program winstep untuk mengetahui karakteristik soal lingking dan nonlinking dan selanjutnya dilakukan proses equating dengan menggunakan fixed item parameter calibration. Rata-rata tingkat kesukaran soal-soal linking Biologi terendah di zona Timur dan tertinggi di zona Barat. Soal-soal nonlinking Biologi memiliki tingkat kesukaran rata-rata terendah di zona Barat dan tertinggi di zona Timur. Setelah dikonversi, skor Biologi SMA zona Barat lebih tinggi daripada di zona Tengah untuk memperoleh nilai yang sama dari 0 hingga 3.89 dan di atas Pada skor zona Tengah , skor zona Tengah lebih tinggi daripada skor Barat. Pada semua skor, skor Barat lebih tinggi daripada skor Timur. Di semua provinsi, skor rata-rata ujian nasional Biologi murni mengalami kenaikan setelah dikonversikan. Skor rata-rata setelah equating yang terendah dicapai oleh Nusa Tenggara Timur (6.39) dan yang tertinggi Bali (8.90). Kata kunci: penyetaraan, tingkat kesukaran, linking, konversi, dan ujian nasional VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

45 PENDAHULUAN Undang Undang Republik Indonesia nomor 20 tahun 2003 tentang Sistem Pendidikan Nasional bab XVI pasal 57 sampai dengan 59 tentang evaluasi menyatakan bahwa dalam rangka pengendalian mutu pendidikan secara nasional dilakukan evaluasi sebagai bentuk akuntabilitas penyelenggara pendidikan kepada pihak-pihak yang berkepentingan. Evaluasi pendidikan dilaksanakan oleh guru, sekolah, dan pemerintah. Evaluasi yang dilakukan pemerintah disebut Ujian Nasional (UN) yang berfungsi untuk mengukur sejauh mana program pendidikan telah tercapai sesuai dengan tuntutan kurikulum yang berlaku. Soal-soal ujian nasional pada tahun 2011 disusun dalam beberapa paket yang berbeda yang diujikan di tiga zona waktu (Barat, Tengah, dan Timur. Semua paket tes UN ini disusun berdasarkan kisi-kisi yang sama untuk memperoleh paket-paket tes yang paralel dengan asumsi semua paket tes akan mengukur kompetensi yang sama. Dengan demikian, setiap siswa yang memiliki kemampuan yang sama akan memperoleh skor atau nilai yang sama, walaupun menempuh paket tes yang berbeda. Pada kenyataannya, selalu ditemukan perbedaan tingkat kesukaran pada beberapa paket tes yang dianggap paralel. Dengan adanya perbedaan tingkat kesukaran ini, akan dihasilkan skor yang berbeda dari dua orang siswa yang kemampuannya sama. Tes yang seperti ini tidak adil karena siswa yang menempuh tes yang lebih mudah akan diuntungkan, sedangkan siswa yang menempuh tes yang lebih sulit akan dirugikan. Untuk mengatasi hal tersebut, perlu dilakukan penyetaraan hasil tes dari beberapa paket tes yang paralel. Dalam proses penyetaraan ini, hasil tes (skor) dari semua paket tes diskalakan ke dalam satu skala yang sama. Selain itu, skor dari suatu paket tes harus ditransformasi atau diubah ke dalam skala skor paket tes yang lain yang dijadikan paket tes referensi (acuan). Proses VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

46 Penyetaraan (Equating) Skor Biologi SMA Berdasarkan Hasil Ujian Nasional Tahun 2010/2011 transformasi skor ini disebut sebagai equating (penyetaraan). Salah satu cara yang dapat dilakukan pada proses penyetaraan paket tes ini adalah dengan menggunakan soal-soal yang sama persis yang diletakkan di semua paket tes. Soal-soal yang sama persis ini disebut sebagai soal anchor (linking). Diharapkan siswa-siswa yang memiliki kemampuan sama akan memperoleh skor yang sama ketika menjawab soal-soal linking ini. Perbedaan kemampuan siswa yang mengerjakan paket tes yang berbeda tercermin dari perbedaan kemampuan siswa-siswa tersebut dalam menjawab soal-soal anchor (linking). Perbedaan tingkat kesukaran paket tes akan diperkirakan berdasarkan perbedaan tingkat kesukaran soal-soal linking. Setelah itu, akan dihasilkan konversi skor untuk semua paket tes. Dengan menggunakan tabel konversi skor, skor siswa yang mengerjakan paket tes paralel tertentu kemudian dikonversikan terhadap skor pada paket tes referensi. Skor hasil konversi inilah yang dapat digunakan untuk membandingkan kemampuan siswa antarpaket tes. Masalah yang ditemukan dari latar belakang di atas adalah (1) bagaimanakah karakteristik soal-soal anchor (linking) yang digunakan pada mata pelajaran Biologi SMA dalam UN 2011, (2) bagaimanakah perbandingan tingkat kesukaran paket-paket tes Biologi SMA dalam UN 2011, (3) bagaimanakah konversi skor menjawab benar (skor mentah) suatu paket tes Biologi SMA relatif terhadap skor mentah paket tes referensi, dan (4) bagaimanakah rata-rata nilai Biologi SMA di suatu wilayah setelah dilakukan konversi nilai? Studi penyetaraan paket tes Biologi SMA pada UN 2011 bertujuan untuk: (1) mengidentifikasi karakteristik butir soal-soal anchor (linking) antarpaket, (2) membandingkan tingkat kesukaran paketpaket tes, (3) membuat konversi skor satu paket tes paralel terhadap skor paket tes referensi, (4) membandingkan rat-rata nilai di suatu wilayah sebelum dan sesudah dilakukan proses equating. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

47 Penyetaraan (Equating) Skor Biologi SMA Berdasarkan Hasil Ujian Nasional Tahun 2010/2011 KAJIAN LITERATUR Desain Tes dengan Soal Anchor (Linking) Pada desain tes dengan soal anchor (linking), paket tes yang berbeda (misalnya, paket tes A dan paket tes B) diberikan kepada kelompok peserta yang berbeda, katakanlah kelompok 1 dan kelompok 2. Untuk menyetarakan skor dari beberapa paket tes yang berbeda ini, digunakan soal yang sama persis. Soal-soal yang sama di beberapa paket tes yang berbeda disebut common items (soal anchor-linking). Soal-soal linking mempresentasikan spesifikasi tes secara keseluruhan. Hambleton, Swaminathan, dan Rogers (1991) menyatakan bahwa pada desain tes dengan soal anchor (linking) peserta tes tidak perlu mengerjakan semua paket tes yang dapat menyebabkan waktu terlalu panjang dan timbulnya efek lelah. Dengan desain ini, tidak perlu membentuk kelompok peserta tes yang ekivalen karena di dalam praktiknya sangat sulit. Desain tes dengan menggunakan soal linking memungkinkan pengendalian jumlah serta frekuensi penggunaan butir soal. Kalibrasi Butir Soal dengan Model Rasch Model Rasch merupakan teori analisis modern yang membentuk pemodelan dari peluang seseorang menjawab benar suatu soal. Dalam model Rasch dikenal beberapa parameter, di antaranya tingkat kesukaran soal, daya pembeda soal, dan faktor menebak soal. Model Rasch dengan satu parameter hanya memperhitungkan tingkat kesukaran soal sebagai parameter pembeda fungsi probabilitas butir soal. Peluang seseorang dapat menjawab benar suatu soal bergantung kepada tingkat kesukaran soal dan kemampuan orang tersebut. Hasil analisis dengan model Rasch berupa tabel konversi skor mentah ke kemampuan atau skor benar (true score) dalam skala -4 sampai +4. Dalam model Rasch semua peserta yang mendapatkan skor mentah sama maka estimasi skor benar (true score) akan sama. Artinya, jika jumlah soal yang dijawab benar sama, meskipun berasal dari nomor soal yang berbeda-beda, dianggap memiliki kemampuan (skor benar) sama. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

48 Penyetaraan (Equating) Skor Biologi SMA Berdasarkan Hasil Ujian Nasional Tahun 2010/2011 Gambar 1 menunjukkan model Rasch tiga butir soal yang berbeda tingkat kesukarannya. Gambar 1. Kurva karakteristik tiga butir soal yang berbeda tingkat kesukaran dengan model Rasch. 1 probability correctly answer theta scale Saat melakukan kalibrasi dengan model Rasch akan dihasilkan karakteristik soal dalam bentuk klasik seperti proportion correct, item tes correlation (item discrimination), serta statistik pilihan jawaban. Namun, hasil utama dari model Rasch adalah measure butir soal atau disebut sebagai tingkat kesukaran soal dalam skala -4 sampai +4. Pada model Rasch juga dihasilkan statistik item fit yang menunjukkan tingkat kecocokan data respon dengan model yang telah ditentukan. Statistik item fit dapat membantu kita menelaah kembali soal atau mendeteksi kesalahan dalam proses kalibrasi. VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

49 Penyetaraan (Equating) Skor Biologi SMA Berdasarkan Hasil Ujian Nasional Tahun 2010/2011 Kalibrasi dengan Parameter Butir Soal Ditentukan Salah satu metode penyetaraan adalah mengkalibrasi suatu paket tes dengan menentukan nilai parameter butir soal anchor sama dengan nilai parameter butir soal anchor di paket tes referensi. Diasumsikan bahwa parameter butir soal-soal anchor adalah konstan untuk semua paket tes. Diagram Test Characteristic Curve (TCC) untuk menentukan konversi skor Jika parameter butir soal telah diskalakan dalam skala yang sama melalui kalibrasi dengan parameter butir soal anchor ditentukan (fixed anchor item parameter calibration), selanjutnya dapat dilakukan proses equating. Jika equating yang digunakan adalah true score equating, prosedurnya akan sama tanpa memedulikan metode scaling yang digunakan. Langkah true score equating ini dilakukan hanya jika nilai theta tidak digunakan sebagai skor peserta tes. Beberapa alasan nilai theta tidak digunakan sebagai skor siswa adalah 1) dengan menggunakan scoring pola, jumlah jawaban benar yang sama dapat menghasilkan nilai theta yang berbeda tergantung dari pola jawaban benarnya, hal ini sulit diterapkan pada tes yang bertujuan untuk penempatan, dan 2) untuk skor ekstrim (misal, skor yang sangat tinggi ataupun sangat rendah), kesalahan pengukuran seringkali menjadi lebih tinggi dibandingkan skor rentang tengah. Oleh karena itu, seringkali diperlukan tahapan equating true score. Equating true score meliputi tiga proses: 1) TCC dari paket tes A diplot sehingga terbentuk kurva yang menghubungkan estimasi theta dengan jumlah skor benar, 2) TCC untuk paket tes B juga diplot pada skala yang sama dengan paket tes A, kemudian dibuat tabel konversi yang menggunakan nilai estimasi theta sebagai anchor antara paket tes A dan paket tes B, 3) untuk setiap skor pada paket tes B, dihitung skor paket tes A dengan mencocokkan nilai thetanya. Proses ini VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/

50 Penyetaraan (Equating) Skor Biologi SMA Berdasarkan Hasil Ujian Nasional Tahun 2010/2011 terlihat mudah untuk dijelaskan, namun sulit untuk dilakukan dan memerlukan proses iterasi. Proses ini dijelaskan secara mendetail dalam Kolen dan Brennan (2004). Gambar 2 menyajikan TCC (kurva karakteristik tes) untuk paket tes A dan B. Sementara itu, tabel 1 menyajikan tabel konversi true score (dan juga scaled score) yang dijelaskan oleh Kolen dan Brennan (2004). Tabel 1. Tabel Konversi True Score dan Scaled Score Paket A Theta Paket B (skala skor Paket A yang dikonversikan) Skala Skor Gambar 2. Kurva Karakteristik Tes untuk Paket A dan Paket B Pada prakteknya true score tidaklah benar-benar digunakan untuk mengubah skor, teori equating true score diaplikasikan untuk skor terobservasi. Namun demikian, Wingersky dan Lord (1984) melalui studi simulasi menemukan bahwa pada desain VALUE, Jurnal Evaluasi & Asesmen Pendidikan, Vol.II/No.01/Juni/