Ida Mariati Hutabarat Jurusan Matematika FMIPA Universitas Cenderawasih. Abstrak

Transkripsi

1 Analss Butr Soal dengan Teor Tes Klask... (Ida Marat Hutabarat) ANALISIS BUTIR SOAL DENGAN TEORI TES KLASIK (CLASSICAL TEST THEORY) DAN TEORI RESPONS BUTIR (ITEM RESPONSE THEORY) (Stud Kasus: Soal Ujan Olmpade Sans Provns Bdang Informatka 009) Ida Marat Hutabarat Jurusan Matematka FMIPA Unverstas Cenderawash Abstrak Olmpade Sans Provns (OSP) sangat pentng untuk menumbuhkan suasana kompettf d kalangan pelajar agar bersang secara sehat dalam penguasaan lmu pengetahuan dan teknolog. Perangkat tes OSP harus vald, relabel, dan terbebas dar bas. Peneltan n bertujuan untuk membandngkan model IRT (Item Response Theory) dengan ndkator pada teor uj klask (Classcal Test Theory) dan memlh model IRT yang sesua untuk menggambarkan karakterstk butr soal dan kemampuan peserta ujan. Data yang dgunakan adalah data dar Olmpade Sans Provns bdang Informatka Tahun 009, sebanyak 60 tem plhan ganda dengan mengambl sampel sebanyak 500 peserta. Tahapan yang dlakukan adalah pendugaan karakterstk butr soal dan kemampuan peserta, serta pemerksaan kesesuaan model. Proses analss dlakukan dengan menggunakan software TAP dan Blog-MG. Berdasarkan hasl analss, terdapat perbedaan parameter daya pembeda dan tngkat kesukaran pada metode teor uj klask dan teor respons butr. Daya pembeda dan tngkat kesukaran pada teor uj klask dpengaruh oleh kemampuan kelompok sedangkan pada teor respons butr dpengaruh oleh kemampuan ndvdu. Berdasarkan teor uj klask, tngkat kesukaran dar soal OSP yang dujkan tergolong sedang, dengan relabltas skor tes sebesar 0,910 yang menunjukkan tngkat ketepatan dan kekonsstenan peserta dalam menjawab soal sudah sangat bak. Model yang palng sesua untuk menggambarkan butr-butr soal pada soal OSP adalah model teor respons butr tga parameter logstk (IRT 3PL), yatu 85% butr soal sudah sesua atau dapat dgambarkan oleh model. Kata kunc : Teor Respons Butr, Teor Uj Klask, Olmpade Sans Provns (OSP) PENDAHULUAN Olmpade Sans Provns (OSP) sangat pentng untuk menumbuhkan suasana kompettf d kalangan pelajar agar bersang secara sehat dalam penguasaan lmu pengetahuan dan teknolog. Pelaksanaan olmpade secara berkelanjutan akan berdampak postf pada pelaksanaan proses pembelajaran sehngga menjad lebh kreatf dan novatf. 1

2 Vol. 5, No., Desember 009: 1-13 Pada glrannya, sswa akan memlk kesempatan mengembangkan seluruh aspek keprbadan dan kemampuannya melalu pembelajaran yang aktf, kreatf, efektf dan menyenangkan (PAKEM). OSP merupakan langkah awal bag sswa-ssw yang berbakat yang nantnya dharapkan terus mengkut olmpade d jenjang yang lebh tngg. Secara umum OSP bertujuan menngkatkan mutu penddkan secara komprehensf melalu penumbuhkembangan budaya belajar, kreatvtas dan motvas merah prestas terbak melalu kompets yang sehat serta menjunjung nla-nla sportvtas. Melalu olmpade n dharapkan akan terjad upaya penngkatan kompetens yang tentu saja dbareng dengan upaya penngkatan mutu pembelajaran d sekolah. Pengukuran kemampuan anak dperlukan perangkat tes yang berkualtas sehngga kemampuan kogntf sswa dapat dungkapkan. Kualtas sebuah perangkat tes dapat dlhat dengan melakukan analss kualtatf dan kuanttatf. Analss kualtatf merupakan analss yang dlakukan sebelum tes dberkan kepada peserta tes dengan melhat kesesuaannya dengan aspek mater, konstruks dan bahasa, sedangkan analss kuanttatf dapat dlakukan dengan mengunakan dua pendekatan yatu teknk teor uj klask (classcal test theory) dan teor respons butr (tem response theory). Analss butr soal dengan teor uj klask merupakan yang termudah meskpun memlk beberapa keterbatasan. Beberapa aspek yang dperhatkan dalam teor uj klask yatu tngkat kesukaran butr, daya pembeda butr, penyebaran plhan jawaban, dan relabltas skor tes (Safar, 000). Teor respons butr merupakan teor pengukuran modern yang basanya dgunakan dalam analss butr soal. Dalam teor n dgunakan model matemats untuk menghubungkan karakterstk butr soal dengan kemampuan responsden. Hubungan tersebut dgambarkan melalu kurva karakterstk butr. Oleh karena tu, penuls menelaah apakah tem-tem soal OSP bdang Informatka tahun 009 tersebut benar-benar dapat mengukur apa yang seharusnya dukur memlk tngkat kesultan yang kurang lebh sepadan dengan kemampuan peserta tes, ndeks daya beda yang tngg, serta faktor tebakan (guessng) yang semnmal mungkn sehngga dapat memberkan nformas pengukuran yang akurat.

3 Analss Butr Soal dengan Teor Tes Klask... (Ida Marat Hutabarat) Tujuan Peneltan Tujuan dalam peneltan n adalah : 1. Membandngkan model IRT (Item Response Theory) dengan ndkator pada teor uj klask (Classcal Test Theory). Mencar model yang sesua untuk menggambarkan butr-butr soal pada soal OSP bdang Informatka. Manfaat Peneltan Bla tujuan peneltan d atas tercapa, manfaat yang dperoleh antara lan: 1. Sebaga masukan dalam penyusunan soal olmpade, khususnya olmpade bdang Informatka.. Sebaga sumbangan teoretk dalam ranah pengujan alat ukur, khususnya model IRT dan CTT. DATA DAN METODE Data Data yang dgunakan adalah hasl jawaban OSP bdang Informatka. Ukuran sampel yang dambl sebanyak 500 sswa. Jumlah butr soal sebanyak 60 butr soal plhan ganda, dmana setap soal memlk lma plhan jawaban yatu A, B, C, D, dan E. Soal terdr dar dua bagan utama, yatu nomor 1-30 adalah soal analtk, dan nomor adalah soal algortmka, yatu pengetahuan pemrograman berbass bahasa Pascal. Jka drnc lebh lanjut berdasarkan ks-ks OSP bdang Informatka, soal terdr dar tga mater uj, yatu artmatka, logka, dan aspek tekns (Tabel 1). Tabel 1. Mater butr soal No. Aspek Kogntf Item Soal 1. Artmatka 1,,3,4,5,6,7,8,9,14,16,17,18,3. Logka 10,11,1,13,15,19,0,1,,4,5,6,7, 8,9,30,35,36,41,4,44,45 3. Tekns prakts 37,38,39,40,43,46,47,48,49,50,51,5,53, 54,55,56,57,58,59,60 3

4 Vol. 5, No., Desember 009: 1-13 Metode Tahapan-tahapan yang dlakukan pada peneltan n adalah : 1. Teor Uj Klask a) Menghtung ndeks kesukaran Rumus untuk menentukan besarnya ndeks kesukaran secara matemats drumuskan oleh Safuddn (003) sebaga berkut: n1 P N dengan P adalah ndeks kesukaran butr, n 1 = jumlah peserta tes yang menjawab benar, dan N = banyaknya sswa yang menjawab butr soal tersebut. Menurut Allen & Yen (1979) tngkat kesukaran dkategorkan sebaga berkut : p < 0,3 Tabel. Kategor butr soal Nla p Sukar 0,3 p 0,7 Sedang p > 0,7 Mudah Kategor b) Menghtung daya pembeda Teknk untuk menentukan nla daya beda dengan menggunakan teknk korelas ph. sebaga berkut: dengan p H p L pq = angka ndeks dskrmnas ph yang danggap sebaga angka ndeks dskrmnas butr p H = propors orang yang menjawab benar kelompok atas p L = propors orang yang menjawab benar kelompok bawah p = propors seluruh peserta tes yang menjawab benar dan q = 1 - p 4

5 Analss Butr Soal dengan Teor Tes Klask... (Ida Marat Hutabarat) Menurut Ebel & Frsbe (1986) memberkan patokan ndeks daya beda sebaga berkut: Tabel 3. Indeks daya beda Indeks daya Evaluas butr 0,4 ke atas Butr yang sangat bak 0,3 0,39 Sedkt atau tdak memerlukan revs 0, 0,9 Butr memerlukan revs < 0,19 Butr harus delmnas c) Menghtung relabltas soal Tujuan utama menghtung relabltas skor tes adalah untuk mengetahu tngkat ketepatan (precson) dan kekonsstenan skor tes. Indeks relabltas berksar antara 0-1. Semakn tngg koefsen relabltas suatu tes (mendekat 1), makn tngg pula ketepatannya. Relabltas dapat dhtung dengan koefsen alfa, dalam Crocker dan Algna (1986) ddefenskan sebaga berkut : dengan n n n 1 n 1 1 x = jumlah butr soal x = ragam skor total = ragam skor per butr soal Relabltas tes soal bentuk plhan ganda dapat juga dgunakan rumus Kuder Rchadson 0 (KR-0) sebaga berkut n : dengan k k KR 0 1 k 1 = jumlah butr soal n 1 p 1 p x 5

6 Vol. 5, No., Desember 009: 1-13 x = ragam skor total p = propors jawaban benar terhadap semua jawaban peserta tes d) Penyebaran Plhan Jawaban Penyebaran plhanjawaban djadkan dasar dalam penelaahan soal. Hal n dmaksudkan untuk mengetahu berfungs tdaknya jawaban yang terseda. Safar (000) menyatakan bahwa suatu plhan jawaban (pengecoh) dapat dkatakan berfungs apabla palng tdak dplh oleh 5% peserta ujan dan lebh banyak dplh oleh kelompok sswa yang belum paham mater.. Teor Respons Butr (IRT) a) Menghtung parameter kemampuan setap model. Ada tga model logstk yang serng dgunakan saat n (Hambleton et al., 1991) yatu 1. Model logstk satu parameter (model rasch) atau tem response theory 1-parameter logstc (IRT 1PL) yatu untuk menganalss data yang hanya mentkberatkan pada parameter tngkat kesukaran. Kurva karakterstk butr soal untuk model satu parameter dberkan oleh persamaan : P e 1 e b b. Model logstk dua parameter (model rasch) atau tem response theory -parameter logstc (IRT PL) yatu untuk menganalss data yang hanya mentkberatkan pada parameter tngkat kesukaran dan daya pembeda soal. Kurva karakterstk butr soal untuk model dua parameter dberkan oleh persamaan : P e 1 e Da Da b b 3. Model logstk tga parameter (model rasch) atau tem response theory 3-parameter logstc (IRT 3PL) yatu untuk menganalss data yang hanya mentkberatkan pada parameter tngkat kesukaran, daya pembeda soal dan peluang menebak (guessng). Kurva karakterstk butr soal untuk model tga parameter dberkan oleh persamaan : 6

7 Analss Butr Soal dengan Teor Tes Klask... (Ida Marat Hutabarat) P c 1 c e Da 1 e Da b b dengan P () = peluang bahwa peserta tes dengan kemampuan menjawab butr soal ke- dengan benar a b c Q D = parameter daya pembeda soal butr ke- = parameter tngkat kesukaran, yatu satu ttk pada skala ablty d mana kemungknan untuk menjawab benar sebesar 0,5 = peluang tebakan benar butr ke- = parameter kemampuan peserta tes = faktor penskalaan yang dkutkan untuk menjadkan fungs logstk serupa mungkn dengan fungs ogve normal (D =1,70) b) Menghtung parameter karakterstk butr soal untuk setap model. c) Mencar model yang palng sesua untuk menggambarkan setap soal Proses analss dlakukan dengan menggunakan software TAP dan Blog-MG. Program TAP dgunakan untuk analss teor tes klask dan Program Blog-MG dgunakan untuk menganalss model IRT 1PL, IRT PL, dan IRT 3PL. HASIL DAN PEMBAHASAN Nla statstk skor sswa dalam Tes OSP bdang Informatka tahun 009 dapat dlhat pada Tabel 4 d bawah n : Tabel 4. Kategor butr soal Statstk Skor Nla Sswa Rataan skor 3,6 Standar Devas 10,648 Skor Mnmum Skor Maksmum 55 Medan 3 7

8 Vol. 5, No., Desember 009: 1-13 Teor Uj Klask Berdasarkan klasfkas tngkat kesukaran soal menurut Allen & Yen (1979), persentase dan penyebaran soal tergolong sukar, sedang dan mudah dapat dlhat pada Tabel 5 d bawah n Tabel 5. Tngkat kesukaran soal Kategor Nomor Soal Total Persentase Sukar 9,10,1,15,19,,7,9,30,31,35,36, 45,47,48,49,55,58,59, Sedang 1,,3,4,5,6,7,8,11,17,18,1,3,5,6,8,3,34,37, 38,39,40,41,4,43,44,46,50,51,5,53,54,56, Mudah 13,14,16,0,4, Total Dar tabel d atas dketahu persentase soal tergolong sukar 33%, sedang 57 % dan susah 10%. Jad soal tes yang dujkan masuk dalam kategor sedang, Daya pembeda soal dapat dhtung dengan nla korelas pon bseral atau daya pembeda dengan mengambl data 5% dar atas dan 5% dar bawah. Persentase soal yang tergololong bak, cukup bak, perlu drevs, dan soal yang belum bsa membedakan (harus delmnas) masng-masng sebesar 47%, 18%, %, dan 13%. Penyebaran evaluas butr dapat dlhat pada Tabel 6 d bawah n. Tabel 6. Daya Pembeda Soal Evaluas butr Nomor Soal Total Persentase Butr yang sangat bak Sedkt atau tdak memerlukan revs Butr memerlukan revs Butr harus delmnas 4,6,18,,3,33,34,37,38,39,40,41, 4,43,44,45,46,47,49,50,51,5,53, 54,55,56,57, ,3,5,8,9,10,11,16,17,31, ,7,13,14,19,0,3,4,6,8,36,48, ,15,1,5,7,9,30, Total

9 Analss Butr Soal dengan Teor Tes Klask... (Ida Marat Hutabarat) Berdasarkan analss dar sebaran plhan jawaban, setap plhan jawaban dplh oleh peserta ujan sehngga dapat dsmpulkan bahwa plhan jawaban berfungs sebaga pengecoh. Namun ada beberapa soal yang propors setap plhan jawaban hampr merata yatu soal nomor : 6, 9, 10, 16, 19,, 30, 31, 35, 45, 48, 49, 59, 60. Relabltas skor tes dlhat menggunakan koefsen alfa. Nla koefsen alfa yang dperoleh dar hasl program TAP sebesar 0,910 yang menunjukkan tngkat ketepatan dan kekonsstenan peserta dalam menjawab soal sudah sangat bak. Model Teor Respons Butr Satu parameter Logstk (IRT 1PL) Hasl pendugaan parameter butr setap soal ujan OSP menggunakan model IRT 1PL mempunya nla b (tngkat kesukaran) yang cukup beragam, yatu berksar antara - 1,794 sampa 3,504. Pada model 1PL nla a untuk setap soalnya danggap sama yatu 0,58. Melalu nla estmas tngkat kesukaran butr ada 15% butr soal yang tdak bak yatu nomor 1, 15, 7, 9, 30, 35, 48, 59, 60, karena danggap terlalu sukar oleh peserta tes. Matrx Plot of Item Characterstc Curves Gambar 1. Kurva karakterstk butr soal 1-60 OSP untuk Model IRT 1PL 9

10 Vol. 5, No., Desember 009: 1-13 Berdasarkan uj kesesuaan model dan kurva karakterstk butr pada Gambar 1. menunjukkan sebesar 58,3% butr soal belum sesua atau belum dapat dgambarkan oleh model. Soal-soal yang belum dapat dgambarkan adalah soal nomor 1,, 7, 1, 13, 15, 1, 3, 4, 5, 6, 7, 8, 9, 30, 33, 34, 36, 37, 38, 39, 40, 41, 43, 44, 46, 47, 50, 51, 5, 53, 54, 56, 57, 58, 60. Berdasarkan hasl analss d atas, lebh dar 50% butr soal yang belum sesua (tdak dapat dgambarkan oleh model) sehngga model IRT 1PL belum dapat menggambarkan butr-butr soal OSP. Satu parameter Logstk (IRT PL) Hasl pendugaan parameter butr soal untuk model IRT PL dperoleh nla a (daya beda) berksar dar nla 0,03 sampa dengan 1,881. Nla b (tngkat kesukaran) berksar dar nla -,669 sampa dengan 6,88. Matrx Plot of Item Characterstc Curves Gambar. Kurva karakterstk butr soal 1-60 OSP untuk Model IRT PL 10

11 Analss Butr Soal dengan Teor Tes Klask... (Ida Marat Hutabarat) Berdasarkan uj kesesuaan model dan kurva karakterstk butr pada Gambar. menunjukkan sebesar 3,3% butr soal belum sesua atau belum dapat dgambarkan oleh model. Soal-soal yang belum dapat dgambarkan adalah soal nomor 1, 13, 14, 15, 19, 0, 3, 4, 7, 9, 30, 35, 36, 48. Berdasarkan hasl analss d atas, persentase soal yang sesua lebh banyak darpada soal yang tdak sesua. Hal n menunjukkan parameter daya pembeda berpengaruh dalam model, sehngga dsmpulkan model IRT PL sudah cukup bak untuk menggambarkan butr-butr soal OSP. Tga parameter Logstk (IRT 3PL) Hasl pendugaan parameter butr soal untuk model IRT 3PL dperoleh nla a (daya beda) berksar dar nla 0,09 sampa dengan 0,441. Nla b (tngkat kesukaran) berksar dar nla -,5 sampa dengan 3,604, dan nla c (peluang menebak) berksar dar nla 0,00 sampa dengan 0,106. Pada karakterstk peluang tebakan benar dperoleh 100% memlk estmas parameter yang bak dengan nla estmas kurang dar 0,. Hal n berart butr soal tdak memberkan peluang kepada peserta yang berkemampuan rendah untuk menjawab benar dengan cara menebak. Matrx Plot of Item Characterstc Curves Gambar 3. Kurva karakterstk butr soal 1-60 OSP untuk Model IRT 3PL 11

12 Vol. 5, No., Desember 009: 1-13 Berdasarkan uj kesesuaan model dan kurva karakterstk butr pada Gambar 3. menunjukkan sebesar 85% butr soal sesua atau dapat dgambarkan oleh model dan 15% belum dapat dgambarkan dengan model. Soal-soal yang belum dapat dgambarkan adalah soal nomor 13, 14, 19, 0, 3, 4, 9, 36, 48. Berdasarkan hasl analss d atas, persentase soal yang sesua lebh banyak darpada soal yang tdak sesua. Hal n menunjukkan parameter daya pembeda dan peluang menebak berpengaruh dalam model, sehngga dsmpulkan model IRT 3PL sudah cukup bak untuk menggambarkan butrbutr soal OSP. KESIMPULAN Berdasarkan data peneltan serta pembahasan yang telah durakan tad maka penuls menark kesmpulan: 1. Terdapat perbedaan parameter daya pembeda dan tngkat kesukaran pada metode teor uj klask dan teor respons butr. Daya pembeda dan tngkat kesukaran pada teor uj klask dpengaruh oleh kemampuan kelompok sedangkan pada teor respons butr dpengaruh oleh kemampuan ndvdu.. Model yang palng sesua untuk menggambarkan butr-butr soal pada soal OSP adalah model teor respons butr tga parameter logstk (IRT 3PL), yatu 85% butr soal sudah sesua atau dapat dgambarkan oleh model. Butr soal yang bak adalah soal nomor. DAFTAR PUSTAKA Aken, L.R Assesment of Intelectual functonng. Massachussetts: Allyn and Bacon Allen, M.J., & Yen, W.M Introducton to measurement theory. Calforna: Brookd/Cole Publshng Company. Crocker, L. & Algna, J Introducton to Classcal and Modern Tes Theory. New York: Rnehart and Wnston. Ebel, R.L., & Frsbe, D.A Essentals of educatonal measurement. New Jersey: Prentce Hall. 1

13 Analss Butr Soal dengan Teor Tes Klask... (Ida Marat Hutabarat) Hambleton, R. K., Swamnathan, H. & H. J. Rogers Fundamentals of Item Response Theory. Calforna: Sage Publcatons. Ntko, A.J Educatonal Assesment of Students, Second Edton. Oho: Prentce Hall. Safuddn Azwar Tes Prestas: Fungs dan Pengembangan Pengukuran Prestas Belajar. Yogyakarta: Pustaka Pelajar. Safar Panduan Analss Butr Soal. [1 Oktober 009] 13