Oleh: Oe : Yasfin Fajri

Transkripsi

1 Pengembangan Computer Adaptive Testing Untuk Mengukur Kecepatan Dan Ketepatan Pemahaman Teks Berbahasa Inggris Oleh: Oe : Yasfin Fajri

2 Latar Belakang Masalah Manfaat Memahami Bacaan Dengan Cepat dan Akurat Efisiensi waktu Melatih konsentrasi Pentingnya Pengukuran Mengetahui kemampuan Optimalisasi proses belajar

3 Dasar Teori Speed Reading CAT CRT SPRT

4 Speed Reading Berbeda dengan Skipping Berbeda dengan Skimming Metode / Teknik Kebiasaan Latihan

5 CAT Computer Based Adaptive Karakteristik: Calibrated Item Pool Calibrated Item Pool Starting Poin Item Selection Algorithm Scoring Procedure Termination Criterion

6 CRT Klasikal Test Result Criterion Statement Karakteristik Cut Score Cut Score Item Facility B-Index

7 SPRT Klasifikasi Probability Ratio

8 Perancangan Sistem Gambaran Umum Bank Soal Modul Uji Seleksi Set Soal (Item Selection) Proses Evaluasi (Scoring Procedure) Stopping Condition (Termination Criterion) Modul Manajemen

9 Perancangan MODUL UJI Digunakan oleh Pembelajar Melakukan uji menggunakan data yang ada dalam Bank Soal Data Uji disimpan MODUL MANAJEMEN SOAL Digunakan oleh Instruktur/Pengembang Soal Entri/Edit Bank soal Mendapatkan Feedback dari data uji

10 Bank Soal Teks Item Soal Pilihan Ganda Mencocokkan Kata Mencocokkan Kata Memilih Ide Pendukung

11 Modul Uji

12 Seleksi Set Soal Adaptive Menyesuaikan dengan tingkat kemampuan pengguna

13 Seleksi Set Soal cont. List A List B List C Set 1 Set 2 Set3 Set 2 Set5 Set4 Set 3 Set 1 - St4 Set St7 Set - - Set Set 15 - List A Daftar set soal di dalam bank soal dengan tingkat kesulitan tertentu List B Daftar set soal yang pernah dikerjakan oleh pembelajar List C Daftar set soal yang dapat ditampilkan ke pengguna

14 Evaluasi I Mengukur Mengukur komprehensi CRT / SPRT

15 Evaluasi I cont. No Item Respon 1 True 2 False 3 True 4 True 5 True 6 True 7 False 8 True 9 False 10 True 11 True 12 True CRT: 13 True 14 True 15 True 16 True Result > Upper Bound Mastery Result < Lower Bound Non Mastery SPRT:

16 Evaluasi II Reading Speed Komprehensi Mastery Level

17 Evaluasi II cont. Reading Speed Comprehension Mastery? Next Level Slow Poor No Down ( < 90 wpm) Average No Down Good Undecided Same Average Poor No Down ( wpm) Average Undecided Same Good Yes Up Good Poor No Down ( > 200 wpm) Average Yes Up Good Yes Up

18 Stopping Condition Kapan sebuah sesi uji dihentikan Hasil Sesi ditampilkan Hasil Sesi disimpan Digunakan untuk uji Digunakan untuk uji berikutnya

19 Stopping Condition cont. No Level Reading Speed Score Mastery No Undecided Undecided Sesi Berakhir LEVEL = 2 Reading Speed = wpm (Average) Komprehensi = (Fairly Good) Group = Fairly Good Average Speed Reader

20 Group Pembelajar Kecepatan Baca Komprehensi Katagori Lambat Kurang Poor slow reader ( < 90 wpm) Cukup Fairly good slow reader Baik Good slow reader Cukup Kurang Poor average speed reader ( wpm) Cukup Fairly good average speed reader Baik ( > 200 wpm) Baik Good average speed reader Kurang Cukup Baik Poor fast reader Fairly good fast reader Good fast reader

21 Modul Manajemen

22 Item Facility No Result Pass? Proporsi peserta tes yang (Score > 60) berhasil mengerjakan suatu item 1 90 Yes MemberiM b i gambaran tentang 2 80 Yes tingkat kesulitan soal 3 80 Yes 4 70 Yes 5 70 Yes 6 60 Yes 7 60 Yes 8 55 No 9 50 No No

23 Cut Score Method 1: expert judgments Method 2: test performance Overlapping Distribution ib ti Percentage of Acceptable Performance Cut Score peserta

24 Cut Score cont. No Result Digunakan dl dalam CRT

25 P M, P NM, B-Index P M = Probability of mastery with correct response P NM = Probability of non-mastery with correct response se Digunakan dalam SPRT B-Index = P M P NM Seberapa baik sebuah item membedakan grup

26 P M, P NM, B-Index cont. No Result User s Mastery? Pass? Level (Level >=3) (Score > 60) Yes Yes Yes Yes Yes Yes Yes Yes Yes No No Yes No No No No No No

27 Implementasi JAVA Desktop Based Multi Plattform SQLite Serverless Free

28 Kesimpulan Penggunaan framework CAT sebagai alat uji menggantikan metode pen and paper dapat mempersingkat waktu pelaksanaan tes, karena dengan CAT, estimasi terhadap kemampuan seseorang mungkin dilakukan tanpa orang yang bersangkutan harus menyelesaikan jumlah maksimum set soal yang telah di-setting. Penyelenggaraan tes menggunakan aplikasi CAT dapat lebih mudah dilakukan, karena administrasi soal, pencatatan waktu, dan penilaian dapat dilakukan secara otomatis. Dalam CAT, hasil yang didapatkan oleh seorang pembelajar disimpan dan digunakan kembali sebagai parameter yang menentukan bagaimana pelaksanaan tes kali berikutnya. CAT dapat digunakan untuk mengukur secara akurat kemampuan pengguna dalam berbagai level dengan mudah. Pengembangan Bank Soal dapat dilakukan dengan lebih mudah, karena adanya sistem feedback yang dapat memberikan masukan pada pengembang tentang karakteristik set soal yang telah dibuat.

29 Saran Diperlukan suatu uji coba untuk mengetahui dengan tepat seberapa baik aplikasi dapat memperkirakan kemampuan seseorang dibanding dengan metode pen and paper yang konvensional. Diperlukan penelitian lebih lanjut tentang kemungkinan penggunaan model CAT lain, seperti IRT (Item Response Theory), CAST (Computer p Adaptive Sequential Test), ) dan MST (Multi Stage Test). Dapat ditambahkan sistem agar aplikasi dapat langsung memberikan evaluasi dan masukan kepada pembelajar terkait hasil yang ia dapat dalam pelaksanaan ujian. Diperlukan perbaikan pada Content and Exposure Control Procedure e dengan penerapan e algoritma-algoritma ago aago t ayang lebih baik pada proses seleksi set soal semisal Item Exposure Control Procedure dan Sympson-Hetter Procedure.

30 Terima Kasih

31 Skenario I (Min Level) No Level Reading Speed Score Mastery No No No Sesi Berakhir No Level Reading Speed PR Mastery Undecided No No No Sesi Berakhir

32 Skenario II (Max Level) No Level Reading Speed Score Mastery Yes Yes Yes Sesi Berakhir No Level Reading Speed PR Mastery Yes Yes Yes Sesi Berakhir

33 Skenario III (Undecided) No Level Reading Speed Score Mastery No Undecided d Undecided Sesi Berakhir No Level Reading Speed PR Mastery Undecided Undecided Sesi Berakhir