Simulasi Try Out dengan perhitungan Item Response Theory

Transkripsi

1 Simulasi Try Out dengan perhitungan Item Response Theory Wisnu Subekti April 22, 2018 Contents 1 Latar Belakang 1 2 Metode Simulasi Software yang dipakai Cara mengambil data Berbagai Skenario Simulasi Basic Skenario Skenario Skenario Skenario 4 dan Skenario 6 dan Skenario 8 dan Rangkuman 7 5 Kesimpulan 8 1 Latar Belakang Pada SBMPTN 2018, ada perubahan dari cara menghitung nilai peserta ujian. Biasanya, setiap soal bernilai 4 kalau dijawab benar, -1 kalau salah, dan 0 kalau kosong. Kali ini, sistem penilaiannya tidak seperti itu, namun menggunakan metode Item Response Theory, yang akan kita singkat menjadi IRT. 1

2 Dengan metode IRT, setiap soal memiliki bobot yang berbeda. Yang sulit, bobotnya tinggi. Yang mudah, bobotnya rendah. Tetapi bobot ini tidak ditentukan dari awal. Melainkan, dihitung dari seluruh jawaban peserta ujian. Contoh, jika banyak peserta ujian yang tidak bisa menjawab soal tersebut dengan benar, maka soal tersebut termasuk soal yang sulit. Sebaliknya, jika banyak peserta ujian yang bisa menjawab, maka dianggap sebagai soal yang mudah. Namun, perhitungan IRT ini sendiri lumayan kompleks. Metode ini lumayan fair karena setiap soal punya bobot yang berbeda, dan bisa mengurangi faktor hoki. Selain itu, dengan IRT, panitia juga jadi bisa melakukan evaluasi terhadap soal mereka buat. Karena panitia SBMPTN juga akan mendapatkan laporan bagaimana kualitas masing-masing soal dalam menguji kemampuan peserta ujian. Terlepas dari itu semua, buat peserta ujian, tentu ada satu pertanyaan yang perlu banget dijawab: Dengan metode IRT ini, bahaya ga sih kalau nembak? Pada metode yang lama, kalau salah kan minus. Jadi, harus hati-hati. Tapi pada metode IRT yang baru ini gimana? Katanya tidak ada nilai minus. Kalau gitu boleh nembak dong? Nah, itulah sebabnya gue melakukan berbagai simulasi Try Out dengan menggunakan metode IRT ini. Pada simulasi ini, akan dilakukan beberapa skenario; kalau ga nembak sama sekali, kalau nembak sisanya, kalau nembak sebagian, dan sebagainya. Tujuan simulasi ini adalah untuk menunjukkan ke elu, bagaimana dampak menembak pada soal yang dihitung dengan menggunakan IRT. 2 Metode Simulasi 2.1 Software yang dipakai Gue pakai software Xcalibre 4.2. Software ini bisa diunduh di website resminya di sini: Berhubung gue masih pakai yang free version, maksimum peserta ujian yang bisa dimasukkin cuma 50. Jumlah soal yang bisa dimasukkin juga maksimum 50 soal. Tapi segitu udah cukup sih untuk keperluan simulasi kita. 2

3 2.2 Cara mengambil data Datanya gue ambil dari Try Out beneran yang kita adakan dengan anakanak Zenius Club. Tinggal ambil seluruh jawaban dari 50 peserta try out tersebut terhadap 50 soal yang ada. Datanya seperti ini: dst sampai student-50 Di situ lu bisa lihat bahwa mereka jawab A, B, C, D, atau E. Kalau O, itu artinya kosong atau ga menjawab. Data siswa ini beserta kunci jawabannya gue masukin ke software Xcalibre barusan. 3 Berbagai Skenario Simulasi 3.1 Basic Pertama, yang basic dulu. Ada 50 peserta ujian masing-masing menjawab 50 soal. Data jawaban mereka diambil dari actual try out yang biasa kia lakuin di Zenius Club. Dengan meng-input data ini ke Xcalibre kita mendapatkan informasi terhadap soal yang mana aja yang mudah dan yang mana aja yang sulit. Informasi ini terdapat di Parameter b di IRT. Ternyata kita mendapatkan: soal kita kategorikan sebagai soal yang mudah (b < 0) soal sisanya kita kategorikan sebagai soal yang sulit. 3.2 Skenario 1 Pada skenario 1, dilakukan hal berikut ini. 1. Student-01 pada basic diganti menjadi wilona-tes (ceritanya Kak Wilo mengambil tes ini) 2. Wilo cuma menjawab soal yang mudah aja (b < 0) 3

4 3. Soal-soal yang sulit (b 0), tidak dijawab (tidak ditembak). 1. Wilo mendapatkan score pada tes ini. 2. Wilo mendapatkan peringkat 20 pada tes ini (persentil ke 60). Not bad lah ya. Cuma jawab soal yang mudah dan nge-skip soal yang sulit, membuat Wilo duduk di peringkat 20 dan 50 peserta ujian. 3.3 Skenario 2 Pada skenario 2, dilakukan hal berikut ini. 2. Wilo nembak 1 soal dan salah 1. Wilo mendapatkan score pada tes ini. 2. Wilo mendapatkan peringkat 21 pada tes ini (persentil ke 58). Nah, jelas kan bahwa menjawab salah itu mengurangi nilai. Meskipun panitia SBMPTN bilang, tidak ada nilai minus, bukan berarti lu bisa nembak seenaknya. Nilai yang berkurang ini membuat peringkat Wilo berkurang juga. Pengurangan nilai ini akan bisa membuat lu ga diterima di SBMPTN idaman. 3.4 Skenario 3 Pada skenario 3, dilakukan hal berikut ini. 2. Wilo nembak 5 soal dan salah semua 1. Wilo mendapatkan score pada tes ini. 4

5 2. Wilo mendapatkan peringkat 21 pada tes ini (persentil ke 58). Ini hanya untuk menekankan aja bahwa makin banyak menjawab soal dengan salah, maka nilainya pun berkurang makin banyak. Sekarang scorenya menjadi Pada simulasi ini, peringkatnya ga berubah. Mungkin karena pesertanya cuma 50 orang. Kalau persertanya orang kayak SBMPTN, gue jamin peringkatnya juga berubah sih kalau score-nya turun sesignifikan itu (dari menjadi ). Okay, sampai sini kita tahu ya bahwa jawab salah itu juga mengurangi nilai. Tapi apakah ga boleh nembak sama sekali nih? Lanjut ke skenario berikutnya. 3.5 Skenario 4 dan 5 Pada skenario 4 dan 5, dilakukan hal berikut ini. 2. Wilo nembak 5 soal ˆ 1 soal bener ˆ 4 soal salah Pada skenario 4, soal yang dijawab bener adalah soal yang bobotnya tinggi. Pada skenario 5, soal yang dijawab bener adalah soal yang bobotnya rendah. 1. Wilo mendapatkan score pada skenario 4 dan pada skenario Wilo mendapatkan peringkat 20 pada skenario 4 dan 18 pada skenario 5. Kalau lu nembak suatu soal yang pilihannya ABCDE, berapa peluang lu menjawab soal itu dengan benar? Pakai teori peluang, lu dapet 1:5, iya ga? Berarti 20% ya peluang lu menjawab soal dengan benar. Nah, sekarang, kalau lu menjawab 5 soal, frekuensi harapannya gimana? Berapa soal yang lu jawab bener? Yup frekuensi harapan = peluang banyak kejadian 5

6 Berhubung ceritanya lu menembak 5 soal, berarti banyaknya kejadian adalah 5. frekuensi harapan = = 1 Itulah sebabnya pada simulasi di atas, gue ambil sampel di mana Wilo menjawab 1 bener dan 4 salah. Karena frekuensi harapannya adalah segitu. Kebetulan pada simulasi kali ini, score-nya Wilo naik. Peringkatnya juga naik. Kalau begitu, nembak itu ga sepenuhnya useless sih. Wah, kalau gitu, ga apa-apa dong gue tembak semua yang gue ga tahu jawabannya? Eh, tunggu dulu. Kita lanjut ke skenario berikutnya. 3.6 Skenario 6 dan 7 Pada skenario 6 dan 7, dilakukan hal berikut ini. 2. Wilo nembak 21 soal sisanya asal-asalan Pada skenario 6, gue nembak asal-asalan. Tapi kayaknya gue lagi hoki sehingga 7 dari tembakan gue itu bener. Tujuh dari 21 itu hoki karena frekuensi harapannya kan cuma 4,2. Oleh karena itu gue membuat skenario 7, ketika jawaban benernya lebih deket dengan frekuensi harapannya, yaitu Wilo mendapatkan score pada skenario 6 dan pada skenario Wilo mendapatkan peringkat 11 pada skenario 6 dan 29 pada skenario 7. Terus terang gue akan mengabaikan skenario 6 dalam simulasi ini (karena terlalu hoki). Skenario 7 menurut gue lebih masuk akal karena lebih dekat dengan frekuensi harapannya. Skenario 7 ini menunjukkan bahayanya nembak asal-asalan. Meskipun ga jauh dari frekuensi harapan (jawab 4 bener dari 21 soal), ternyata pengurangan poinnya signifikan banget. Lu turun dari peringkat 21 jadi peringkat 29. Okay, nembak asal-asalan itu bahaya. Jadi ga boleh nembak sama sekali nih? Nah, kita jawab di skenario terakhir. 6

7 3.7 Skenario 8 dan 9 Pada skenario 8 dan 9, dilakukan hal berikut ini. 2. Wilo nembak 4 soal ˆ 2 bener ˆ 2 salah Skenario 8 dan 9 sebenernya sama aja. Tapi, ketika gue pertama kali melakukan ini di skenario 8, gue kaget karena hasilnya jauh di luar dugaan. Peringkat Wilo turun jauh sampai ke peringkat 39. Score-nya pun turun sampai jadi minus. Gue udah cek berkali-kali apakah ada kesalahan input data. Akhirnya nyerah dan gue memutuskan untuk mengulang simulasinya dari awal. Gue memutuskan untuk menghapus skenario 8 dari laporan akhir karena akan gue anggap sebagai data pencilan aja (outlier). (Masih ingat definisi pencilan di statistika? Kalau lupa, tonton lagi materi statistika di zenius.net ya). So, kita bahas yang skenario 9 aja ya. 1. Wilo mendapatkan score pada tes ini. 2. Wilo mendapatkan peringkat 18 pada tes ini (persentil ke 64). Nembak asal-asalan tentu berbahaya. Tapi kan sering juga kita dihadapkan sama soal yang kayaknya kita tahu jawabannya apa, tapi ragu-ragu menjawabnya. Atau misalkan dari 5 pilihan jawaban, kita bisa mengeliminasi 3 sehingga ragu-ragunya cuma antara 2 pilihan aja, 50:50. Nah, skenario 9 ini dibuat untuk mensimulasikan kondisi tersebut. Dari 4 soal yang dijawab dengan kondisi tersebut, ceritanya ada 2 soal yang dijawab dengan benar. Ternyata hasilnya menurut gue not bad lah. Score naik. Peringkat juga naik. So, kalau lu berada di kondisi seperti itu, gue menyarankan lu untuk tetap menjawab soal tersebut. 4 Rangkuman Rangkuman dari seluruh skenario di atas gue buat dalam tabel berikut ini. 7

8 5 Kesimpulan Jadi, boleh nembak ga? Kalau nembaknya asal-asalan, menurut gue sih jangan, karena berpotensi mengurangi nilai. Tapi kalau lu lumayan ngerti soalnya, tapi ragu-ragunya cuma antara dua pilihan jawaban, menurut gue sih ga apa-apa untuk ditembak. 8