Real power does not hit hard, but straight to the point

Transkripsi

1 BAB IV TEKNIK ANALISIS BUTIR SOAL Real power does not hit hard, but straight to the point Pendahuluan 1. Memahami perbedaan validitas dan reliabilitas, baik dari segi definisi, bentuk, dan penggunaannya 2. Menganalisis butir soal secara manual 3. Menganalisis butir soal dengan menggunakan software microcat-iteman 4. Menganalisis butir soal dengan menggunakan software anatest A. Validitas dan Reliabilitas 1. Definisi Validitas adalah suatu konsep yang berkaitan dengan sejauhmana tes telah mengukur apa yang seharusnya diukur. Nunnaly dalam Surapranata menyatakan bahwa pengertian validitas dikaitkan dengan penelitian empiris dan pembuktianpembuktiannya bergantung kepada macam validitas yang digunakan. Reliabilitas adalah suatu konsep yang berkaitan dengan ketetapan atau keajegan suatu skor. Reliabilitas ini sangat penting dalam menentukan apakah tes telah menyajikan pengukuran yang baik, dan selanjutnya keajegan ini sangat penting pula dalam pengambilan keputusan tentang peserta didik yang mengikuti tes. 2. Bentuk Validitas Pada tahun 1954, The American Psychological Association (APA) melalui Technical Recommendation for Psychological Tests and Diagnostic Techniques mengusulkan 4 pendekatan yang sering dinamakan empat muka validitas (four faces of validity) yang digunakan untuk menentukan validitas, yaitu: 65

2 66 1. validitas isi (content validity) Sering pula dinamakan validitas kurikulum yang mengandung arti bahwa suatu alat ukur dipandang valid apabila sesuai dengan isi kurikulum yang hendak diukur. Salah satu cara yang digunakan untuk menentukan validitas adalah dengan mengkaji isi tes itu. Validitas isi sangat bergantung pada 2 hal, yaitu: tes itu sendiri dan proses yang mempengaruhi dalam merespons tes. Sebagian ahli tes berpendapat bahwa tidak ada satupun pendekatan statistik yang dapat digunakan untuk menentukan validitas isi suatu tes. Menurut Guion dalam Surapranata, validitas isi hanya dapat ditentukan berdasarkan judgement para ahli. Prosedur yang dapat digunakan antara lain: mendefinisikan domain yang hendak diukur, menentukan domain yang akan diukur oleh masing-masing soal, dan membandingkan masing-masing soal dengan domain yang udah ditetapkan. Kesulitan utama dalam prosedur ini adalah mendefinsikan domain yang hendak diukur. Dalam buku tentang pedoman penulisan tes tertulis, domain ini sama halnya dengan kisi-kisi. 2. validitas konstruk (construct validity) Konstruk adalah sesuatu yang berkaitan dengan fenomena dan objek yang abstrak, tetapi gejalanya dapat diamati dan diukur. Validitas konstruk mengandung arti bahwa suatu alat ukur dikatakan valid apabila telah cocok dengan konstruksi teoritik dimana tes itu dibuat. Dengan kata lain, tes dikatakan validitas konstruksi apabila soal-soalnya mengukur setiap aspek berpikir, seperti yang diuraikan dalam standar kompetensi, kompetensi dasar, maupun indikator yang terdapat dalam kurikulum. 3. validitas prediktif (predictive validity) Menunjukkan kepada hubungan antara tes skor yang diperoleh peserta tes dengan keadaan yang akan terjadi diwaktu yang akan dating. Sebuah tes dikatakan

3 67 memiliki validitas prediksi apabila mempunyai kemampuan untuk mmprediksikan apa yang akan terjadi di masa yang akan datang. 4. validitas konkuren (concurrent validity) Menunjuk pada hubungan antara tes skor dengan yang dicapai dengan keadaan sekarang. Validitas ini dikenal sebagai validitas empiris. Sebuah tes dikatakan memiliki validitas konkuren apabila hasilnya sesuai dengan pengalaman. 3. Bentuk Reliabilitas Tabel 5.1. Metode untuk Menetukan Relaibilitas Bentuk Reliabilitas Test retest methods (stabilitas) Product moment dan korelasi intrakelas Paralel (ekuivalen) Product moment dan korelasi intrakelas Split-half methods (belah dua) Persamaan split-half dan spearman Brown Internal consistency Koefisien alpha Kuder Richardson(KR-20) Kuder Richardson(KR-1) Prosedur untuk Memperoleh Sajikan tes yang sama sebanyak dua kali kepasa peserta tes yang sama dalam waktu yang berbeda dan tentukan korelasi Sajikan dua tes yang sama kepada peserta tes yang sama dalam waktu yang relatif tidak lama (misalnya 2 minggu). Korelasikan kedua skor tersebut untuk mencari reliabilitas Sajikan satu kali tes lalu dibelah dua, gunakan persamaan untuk mengkorelasikan kedua belahan Berikan sekali tes, gunakan persamaan Berikan sekali tes, gunakan persamaan Berikan sekali tes, gunakan persamaan B. Analisis Butir Soal Secara Manual Analisis soal dilakukan untuk mengetahui berfungsi tidaknya sebuah soal. Analisis pada umunya dilakukan melalui 2 cara, yaitu analisis kualitatif (qualitative control) dan analisis kuantitatif (quantitative control). Analisis kualitatif sering pula dinamakan sebagai validitas logis (logical validity) yang dilakukan sebelum soal digunakan untuk melihat berfungsi tidaknya sebuah soal. Analisis soal secara

4 68 kuantitatif sering pula dinamakan sebagai validitas sempiris (empirical validity) yang dilakukan untuk melihat lebih berfungsi tidaknya sebuah soal, setelah soal itu diujicobakan kepada sampel yang representatif. Tujuan dilakukannya analisis butir soal adalah untuk meningkatkan kualitas soal, yaitu pakah suatu soal: dapat diterima karena telah didukung data statistik yang memadai, diperbaiki karena terbukti terdapat beberapa kelemahan, atau bahkan tidak digunakan sama sekali arena terbukti secara empiris tidak berfungsi sama sekali. 1. Analisis Kualitatif Menelaah atau menganalisis soal ditinjau dari segi teknis (berkaitan dengan prinsip-prinsip pengukuran dan format penulisan soal), isi (berkaitan dengan kelayakan pengetahuan yang ditanyakan), dan editorial (berkaitan dengan keseluruhan format dan keajegan editorial dari soal yang satu ke soal yang lainnya). Analisis kualitatif lainnya dapat juga dikategorikan dari segi materi (berkaitan dengan substansi keilmuan yang ditanyakan dalam soal serta tingkat kemampuan yang sesuai dengan soal), konstruksi (berkaitan dengan teknik penulisan soal), dan bahasa (berkaitan dengan penggunaan Bahasa Indonesia yang baik dan benar menurut EYD). 2. Analisis Kuantitatif Analisis dimaksudkan untuk mengetahui sejauh mana soal dapat membedakan antara peserta tes yang kemampuannya tinggi dalam hal yang didefinisikan oleh kriteria dengan peserta tes yang kemampuannya rendah. Informasi lainnya adalaah bagaimana soal dapat membdeakan antara individu maupun antarkelompok. Analisis soal secara kuantitatif menekankan pada analisis karakteristik soal secara kuantitatif menekankan pada analisis karakteristik internal tes melalui data yang diperoleh secara empiris. Karakteristik internal secara kuantitatif dimaksudkan meliputi parameter soal tingkat kesukaran, daya pembeda, dan reliabilitas. Khusus soal-soal pilihan ganda, dua tambahan parameter, yaitu dilihat dari peluang menebak

5 69 atau menjawab soal benar dan berfungsi tidaknya pilihan jawaban, yaitu penyebaran semua alternative jawaban dari subyek-subyek yang dites. a. Tingkat Kesukaran Bermutu atau tidaknya butir-butir soal tes hasil belajar pertama-tama dapat diketahui dari derajat kesukaran atau taraf kesulitan yang dimiliki oleh masingmasing butir soal tersebut. Butir-buti soal tes hasil belajar dapat dinyatakan baik, apabila butir-butir soal tersenut tidak terlalu sukar dan tidak pula terlalu mudah dengan kata lain derajat kesukaran item itu adalah sedang atau cukup. Rumusnya adalah sebagai berikut: Keterangan rumus: p = proporsi menjawab benar atau tingkat kesukaran x = banyaknya peserta tes yang menjawab benar Sm= Skor maksimum N = jumlah peserta tes Hasil dari penghitungan yang telah dilakukan, maka dihubungkan dengan kategori tingkat kesukaran Robert L. Thorndike dan Elizabeth Hagen sebagai berikut: Tabel 5.2. Kategori Tingkat Kesukaran Nilai p Kategori < 0.30 Terlalu sukar Cukup (sedang) > 0.70 Terlalu mudah Pengambilan keputusan setelah diketahui taraf kesukaran butir soal adalah: 1) butir yang masuk ke dalam kategori sedang, seyogyanya butir soal tersebut segera dicatat dalam bank soal. Selanjutnya dapat dikeluarkan kembali dalam tes-tes hasil belajar pada waktu yang akan datang.

6 70 2) butir yang termasuk dalam kategori sulit, ada 3 kemungkinan tindak lanjut, yaitu: dibuang atau didrop dan tidak akan dikeluarkan lagi dalam tes hasil belajar yang akan datang, diteliti ulang, dilacak, dan ditelusuri sehingga dapat diketahui faktor yang menyebabkan butir soal itu dirasakan sulit bagi peserta didik, dan digunakan untuk tes seleksi masuk yang bersifat ketat. 3) butir yang termasuk dalam kategori mudah, ada 3 kemungkinan tindak lanjutnya, yaitu: dibuang atau didrop dan tidak akan dikeluarkan lagi dalam tes hasil belajar yang akan datang, diteliti ulang, dilacak, dan ditelusuri sehingga dapat diketahui faktor yang menyebabkan butir soal itu dirasakan mudah bagi peserta didik, dan digunakan untuk tes seleksi masuk yang bersifat longgar. Agar anda lebih memahami konsep taraf kesukaran butir soal ini, maka silahkan pelajarilah contoh di bawah ini. Contoh: Kategorikanlah tingkat kesukaran butir soal berikut ini: Tabel 5.3. Responsi Butir Soal No. Item Kunci C A A A D B D D C C 1 C A A A A B D D C A 2 C A A A A B D D C A 3 C A A A A B B D C A 4 C A A A A B B D C A 5 C A A A B B B D C A 6 C A A A A B D D C A 7 B D A A B B D D C A 8 C A A A A B D D C A 9 C A A A A B D D C A 10 C A A A A B D D C A 11 C D A A A B D D C A 12 C A A A A B D D C A 13 C A A A A B D D C A 14 C D A A A B D D B A 15 C D A A A B D D C A 16 B A A A A B D D C A

7 71 No. Item Kunci C A A A D B D D C C 17 B A A A A B D D C A 18 B A A A A B D B C A 19 C D A A A B D D C A 20 C A A A A B D D C A Jawab: Tabel 5.4. Responsi Butir Soal Stelah Skoring No. Item Skor Kunci C A A A D B D D C C Total Σx Skor Max N P Kategori M M M M Sk M Sk M M Sk

8 72 Dari hasil analisa terhadap taraf kesukaran butir, maka soal nomor 1, 2, 3, 4, 6, 7, dan 8 termasuk ke dalam kategori soal mudah dan sisanya soal nomor 5, 8, dan 10 termasuk ke dalam kategori soal sukar. b. Daya Pembeda Tujuannya adalah untuk menentukan dapat tidaknya suatu soal membedakan kelompok dalam spek yang diukur sesuai dengan perbedaan yang ada dalam kelompok itu. Indeks daya pembeda ini didapat dari selisih proporsi yang menjawab dari masing-masing kelompok. Indeks ini menunjukkan kesesuaian antara fungsi soal dengan fungsi tes secara kesuluruhan. Dengan demikian, validitas soal ini sama dengan daya pembeda soal, yaitu daya dalam membedakan antara peserta tes yang berkemampuan tinggi dengan peserta tes yang berkemampuan rendah. Angka yang menunjukkan besarnya daya pembeda berkisar antara -1 sampai dengan +1. Tanda negatif menandakan bahwa peserta tes yang kemampuannya rendah dapat menjawab benar, sedangkan peserta tes yang kemampuannya tinggi menjawab salah. Dengan demikian, soal yang indeks daya pembedanya negatif menunjukkan terbaliknya kualitas peserta tes. Kriteria yang digunakan untuk menganalisa soal adalah sebagai berikut: Tabel 5.5. Kategori Indeks Daya Pembeda Nilai D Klasifikasi Interpretasi > 0.20 Poor Daya pembeda lemah sekali (jelek), dianggap tidak memiliki daya pembeda yang baik Satisfactory Memiliki daya pembeda yang cukup (sedang) Good Memiliki daya pembeda yang baik Excellent Memiliki daya pembeda yang baik sekali Bertanda negatif - Daya pembedanya negative (jelek sekali)

9 73 Akhirnya sebagai tindak lanjut atas hasil penganalisaan mengenai daya pembeda butir hasil belajar tersebut adalah: 1) Butir soal yang telah memiliki daya pembeda item yang baik (satisfactory, good, dan excellent) hendaknya dimasukkan dalam bank soal dan bisa digunakan kembali pada tes yang akan datang. 2) Butir soal yang daya pembedanya masih rendah (poor) ada 2, yaitu: diperbaiki atau didrop. 3) Khusus butir soal yang angka indeksnya bertanda negative, sebaiknya pada tes hasil belajar yang akan datang tidak dikeluarkan kembali. Untuk memahami konsep daya pembeda ini, maka anda bisa mempelajarinya dari contoh berikut ini. Masih menggunakan data pada tabel 5.3, carilah daya pembedanya. Kelompok Atas Tabel 5.5 Daya Pembeda Kelompok Atas No. Item Skor Kunci C A A A D B D D C C Total Σx Skor Max N P

10 74 Kelompok Bawah Tabel 5.6 Daya Pembeda Kelompok Bawah No. Item Skor Kunci C A A A D B D D C C Total Σx Skor Max N P Soal P A P B D Kategori Satisfactory Good Poor Poor Poor Poor Poor Poor Poor Poor Tabel 5.7 Hasil Daya Pembeda Sebagai catatan: untuk mendapatkan kelompok kelas atas dan bawah, sebelumnya anda harus mengurutkan hasil tes siswa dari yang tinggi sampai ke yang rendah. Setelah itu jika jumlah peserta didik 100, maka jumlah peserta di bagi atas 2 atau 50

11 75 %, sedangkan jika jumlah peserta 100, maka jumlah peserta dibagi 27% atas dan 27% bawah (kelompok yang diantaranya tidak digunakan) c. Fungsi Distraktor Dari sekian banyak opsi jawaban hanya terdapat satu yang benar yang dinamakan kunci jawaban, sedangkan kemungkinan jawaban yang tidak benar dinamakan distraktor atau pengecoh. Sudah kita sadari sangat sulit membuat soal, khususnya soal pilihan ganda dengan pengecoh yang baik. Rendahnya daya pembeda seringkali muncul karena pengecoh yang kurang berfungsi. Adanya satu atau dua pengecoh yang tidak berfungsi akan mengakibatkan rendahnya tingkat kesukaran. Suatu pengecoh dapat dikatakan berfungsi baik jika paling sedikit dipilih oleh 5% (> 0.05) peserta tes. Apabila pengecoh dipilih secara merata, maka termasuk pengecoh yang sangat baik. Apabila pengecoh lebih banyak dipilih oleh peserta tes dari kelompok atas dibandingkan dengan kelompok bawah, maka termasuk pengecoh yang menyesatkan. Salah satu tujuan analisis soal adalah untuk mengetahui tentang distribusi jawaban subyek dalam alternative jawaban yang tersedia. melalui distribusi jawaban penyebaran jawaban ini dapat diketahui: banyaknya peserta tes yang jawabannya benar, pengecoh yang bagi peserta tes terlalu menyolok kesalahannya sehingga tidak memilih, pengecoh yang menyesatkan, dan pengecoh yang mempunyai daya tarik bagi peserta tes yang kurang pandai. Contoh: masih dengan menggunakan data dari tabel 5.3, namun fungsi distraktor yang dianalisa hanya pada soal nomor 1.

12 76 No Peserta Respon Tabel 5.8 Hasil Fungsi Distraktor Alternatif Jawaban Soal Nomor 1 A B C D 1 C C C C C C C C C C C C C C B B B C B C Σ alternatif jawaban Σp alternatif jawaban Dengan melihat hasil perhitungan di atas, maka tidak ada distraktor yang berfungsi hanya opsi B, karena telah mencapai hasil > Sedangkan yang 0.8 tidak dihitung karena itu merupakan kunci jawabannya. C. Analisis Butir Soal dengan Menggunakan Software Microcat Iteman Penghitungan dengan menggunakan elektronik sangat membantu pada saat jumlah butir dan peserta tesnya banyak. Untuk itulah maka di sini anda akan

13 77 mempelajari bagaimana menganalisa butir soal dengan menggunakan software Microcat Iteman. Iteman merupakan program computer yang dipergunakn untuk menganalisis soal secara klasik. Program ini termasuk satu paket program dalam Micro CAT TM yang dikembangkan oleh Assessment Systems Corporation mulai tahun 1982 dan mengalami revisi pada tahun 1984, 1986, 1988, dan 1993; mulai dari versi 2.00 sampai dengan versi Program ini dapat dipergunakan untuk: 1) menganalisis data file (format ASCII) jawaban butir soal yang dihasilkan melalui manual entri data atau dari mesin scanner, 2) menskor dan menganalisis data soal pilihan ganda dan skala likert untuk siswa dan 250 butir soal, 3) menganalisis sebuah tes yang terdiri dari 10 skala (subtes) dan memberikan informasi tentang validitas tiap butir?(daya pembeda, tingkat kesukaran, proporsi jawaban pada setiap opsi), reliabilitas (KR-20/alpha), standard error of measurement, mean, varians, standar deviasi, skew, kurtosis untuk jumlah skor pada jawaban benar, skor minimum dan maksimum. skor median, dan frekuensi distribusi skor. Berikut cara-cara penggunaannya: 1. Aktifkan jendela notepad. Start => all programs => accessories => notepad 2. Isilah 4 baris control atau control line dengan syarat sebagai berikut: baris 1: Jumlah soal (diisi dengan 3 digit), spasi, kode omit (diisikan dengan angka 9 atau 0), spasi, antisipasi bila ada soal yang belum dikerjakan (tulis n), spasi, jumlah identitas siswa (maksimal 80 karakter)

14 78 baris 2: berisi kunci jawaban baris 3: berisi jumlah pilihan jawaban baris 4: kode jawaban, Y untuk soal yang ingin dianalisis dan N untuk soal yang tidak ingin dianalisis baris 5 dan seterusnya: berisi jawaban responden 3. Bila semua data sudah tertulis kemudian simpan. File => Save as => tulis nama file dengan ekstensi *.dat (nama file.dat). Perlu diperhatikan software iteman harus satu folder dengan data notepad yang akan dianalisis. 4. Aktifkan software microcat iteman dengan mendouble klik iconnya, sehingga tampil seperti ini 5. Isilah data yang ada dengan mengenternya. catatan: ekstensi untuk hasil adalah namafile.out (contoh: lussy.out) untuk skor, namafile.sco (contoh:lussy.sco)

15 79 6. Enter, hingga keluar tampilan seperti berikut: 7. Bila keluar tampilan seperti ini, berarti proses berhasil

16 80 8. Setelah tinggal buka folder tempat anda menyimpan hasil analisa tadi. Hasil analisa data 9. Selanjutnya hasil yang dikeluarkan, dianalisa kembali dengan menggunakan kriteria yang telah dijabarkan sebelumnya saat menghitung manual. D. Analisis Butir Soal dengan Menggunakan Software Anatest Anatest kegunaannya sama dengan iteman, namun secara pengoperasian lebih mudah. Selain itu, hasil sudah langsung dianalisa oleh program. jadi, anda tidak perlu lagi bersusah payah menganalisanya kembali dengan kriteria yang ada. Berikut langkah-langkah kerjanya: 1. Aktifkan program anatest dengan mengklik dua kali pada icon, hingga keluar tampilan seperti ini

17 81 2. Klik buat file baru, lalu isikan informasi tentang tes yang akan dianalisa 3. Bila sudah terisi, klik Ok, maka selanjutnya akan keluar tampilan seperti ini 4. Bila data sudah terisi semua, maka selanjutnya untuk melihat hasilnya. Klik kembali ke menu utama. Setelahnya pada kolom penyekoran pilihlah apa yang ingin anda analisa. Namun untuk lebih mudahnya, pilih saja olah semua otomatis. Bila langkah-langkah yang anda jalankan benar, maka akan muncul tampilan seperti ini

18 82 5. Jika ingin langsung dicetak pilih cetak ke printer dan kalau mau disimpan terlebih dahulu di computer pilih cetak ke file Latihan Analisalah tiap butir tes hasil belajar mata kuliah evaluasi pendidikan dasar di bawah ini dengan menggunakan cara: 1. manual 2. microcat iteman 3. anatest No. Item Kunci D D A C B B D D C A 1 C A A A A B D D C A 2 C A A A A B D D C A 3 C A A A A B B D C A 4 C A A A A B B D C A 5 C A A A B B B D C A 6 C A A A A B D D C A 7 B D A A B B D D C A 8 C A A A A B D D C A 9 C A A A A B D D C A 10 C A A A A B D D C A 11 C D A A A B D D C A 12 C A A A A B D D C A 13 C A A A A B D D C A 14 C D A A A B D D B A 15 C D A A A B D D C A 16 B A A A A B D D C A 17 B A A A A B D D C A 18 B A A A A B D B C A 19 C D A A A B D D C A 20 C A A A A B D D C A

19 83 Rangkuman Untuk membantu pemahaman anda tentang Kegiatan Belajar 1, berikut ini kami sajikan rangkuman materinya. 1. Validitas adalah suatu konsep yang berkaitan dengan sejauhmana tes telah mengukur apa yang seharusnya diukur. Reliabilitas adalah suatu konsep yang berkaitan dengan ketetapan atau keajegan suatu skor. 2. Bentuk validitas ada 4, yaitu: validitas isi, konstruk, predikitif, dan konkuren. Sedangkan bentuk reliabiltas, yaitu: test retest methods, parallel, split-half methods, dan internal consistency. Umpan Balik dan Tindak Lanjut Cocokkanlah jawaban anda dengan kunci jawaban tes formatif yang terdapat pada bagian akhir bab ini. Hitunglah jawaban yang benar, kemudian gunakan rumus berikut untuk mengetahui tingkat penguasaan anda terhadap materi pada bab ini. 100% Arti tingkat penguasaan: % = baik sekali % = baik % = cukup < 70 % = kurang Apabila mencapai tingkat penguasaan 80 % atau lebih, anda dapat meneruskan ke bab selanjutnya. Jika masih di bawah 80 %, maka anda harus mengulangi materi pada bab ini, terutama bagian yang belum anda kuasai.

20 84 Daftar Pustaka Arikunto, Suharsimi. (2003). Dasar-dasar Evaluasi Pendidikan. Jakarta: Bumi Aksara. Purwanto, M. Ngalim. (2002). Prinsip-Prinisp dan Teknik Evaluasi Pengajaran. Bandung: Remaja Rosdakarya. Safari. (2005). Teknik Analisis Butir Soal, Instrumen Tes, dan Nontes dengan Manual, Kalkulator, dan Komputer. Jakarta: Asosiasi Pengawas Sekolah Departemen Pendidikan Sekolah. Sugiyono. (2002). Statistika untuk Pendidikan. Bandung: Alfabeta. Surapranata, Sumarna. (2005). Analisis, Validitas, Reliabilitas, dan Interpretasi Hasil Tes: Implementasi Kurikulum Bandung: Remaja Rosdakarya.