Desain dan Implementasi Computerized Adaptive Test Berbasis Item Response Theory Pada LMS Moodle

Transkripsi

1 Desain dan Implementasi Computerized Adaptive Test Berbasis Item Response Theory Pada LMS Moodle Dosen Pembimbing : Prof. Ir. Abdullah Alkaff, M.Sc., PhD. Yusuf Bilfaqih, S.T., M.T. Dipresentasikan Pada Seminar dan Sidang Tugas Akhir Juli 2011 Musthofa Fahmi

2 LATAR BELAKANG 1 Secara ide, adaptif tes lebih efektif, efisien, dan optimal Dikembangkannya CAT oleh Puspendik Kemendiknas, tapi tidak di share Penelitian oleh Koyama dan Akiyama yang menyimpulkan CAT berbasis IRT lebih efektif dibandingkan tes konvensional

3 PERMASALAHAN 1 Aplikasi Web Based Untuk Penyelenggaraan CAT Berbasis IRT 3 Parameter Integrasi Dengan LMS Moodle

4 TUJUAN 1 Modul CAT di LMS Moodle

5 METODOLOGI 1 Menggunakan metode Waterfall

6 MANFAAT 1 perangkat lunak penyelenggaraan CAT alat pembelajaran IRT untuk bidang psikometri alternatif metode evaluasi suatu mata kuliah pembuatan fitur CAT pada LMS Moodle perangkat lunak pelengkap Share - ITS

7 PRINSIP KERJA CAT 2

8 KALIBRASI SOAL [1] 2 Soal 1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampu an Siswa Si A Si B Si C Si D Si E Tingkat kesulitan soal

9 KALIBRASI SOAL [2] 2 Soal 1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampu an Siswa Si A Si B Si C Si D Si E Tingkat kesulita n soal Si F

10 ITEM CHARACTERISTIC CURVE 2 P ( ) c (1 c) a( b) 1 1 e

11 ABILITY ESTIMATION 2 s1 s N i1 N i1 a a i i i u i s P ( ) P ( ) Q ( 2 i i s s ) Dimana : Ѳ s adalah kemampuan terestimasi dari kandidat pada iterasi ke s a i adalah parameter discrimination dari item i, i = 1, 2, N u i adalah jawaban yang didapatkan dari kandidat dengan ketentuan : u i = 1 ; untuk jawaban benar u i = 0 ; untuk jawaban salah P i (ѳs) adalah probabilitas kandidat menjawab benar item ke i Q i ѳ s = [1- P i (ѳ s )] adalah probabilitas kandidat menjawab salah item ke - i

12 2 STANDARD ERROR & IIF N i i Q P a SE 1 2 ) ( ) ( 1/ ) ( ) ) ( ( ) ( ) ( ) ( c c P P Q a I i i i i

13 KRITERIA PEMBERHENTIAN 2 Variable length (standard error) Fixed length (jumlah soal) Time Limit Gabungan

14 DIAGRAM ALIR 2 Mulai dengan memberikan nilai inisial kemampuan kandidat Memilih dan menampilkan soal pertama (diinisialisasi) Mendapatkan respon dari kandidat Evaluasi Respon, kemampuan kandidat dan standar error Memilih dan menampilkan soal selanjutnya tidak Stopping rule terpenuhi?? ya Tes berhenti dan menampilkan hasil

15 GAMBARAN UMUM MODUL CAT DI MOODLE 3 CAT Lesson Team Builder Matakuliah SP 1 Moodle Block Report Matakuliah PIS

16 FUNGSI PRODUK 3 membuat tes adaptif mengikuti tes adaptif melihat hasil tes adaptif mengolah respon dari siswa dengan algoritma IRT

17 DATA CONTEXT DIAGRAM 3 SISWA* JAWABAN HASIL TES, SOLUSI, DAN REKOMENDASI HISTOTY NILAI DAN NILAI KELAS SISWA* GURU* SOAL, SOLUSI, DAN REKOMENDASI PARAMETER IRT STOPPING RULE CAT HISTORY TES NILAI KELAS GURU* ADMIN* KONTROL TERHADAP APLIKASI TAMPILAN KASTEMISASI APLIKASI ADMIN*

18 PROSEDURAL [1] 3 Kondisi Tes Adaptif [QUIZ DIBUAT] [QUIZ DIBUAT] BELUM DIBUKA [TANGGAL QUIZ DIMULAI] DIBUKA [TANGGAL QUIZ DITUTUP] DITUTUP

19 PROSEDURAL [2] 3 Kondisi Attempt Attempt Dimulai ATTEMPT SEDANG BERJALAN Kumpulkan Jawaban Dan Selesai SEGERA SETELAH ATTEMPT 2 Menit Setelah Selesai ATTEMPT DIAKHRI

20 PROSEDURAL [3] 3 Kondisi Pertanyaan ATTEMPT STARTED ADAPTIF MODE SHOW QUESTION RESPON SAVED EVALUATED END?? NON - ADAPTIF MODE CLOSED Y MANUALLY GRADED

21 ANTARMUKA 3 Latar Belakang Permasalahan Tujuan Metodologi Manfaat Prinsip Kerja Kalibrasi Soal IRT Kriteria Pemberhentian Diagram Alir Gambaran Umum Fungsi Produk Antarmuka Eksternal Desain Prosedural Modul CAT Options CAT Parameter IRT Edit CAT KLIK ME Desain Antarmuka Proses CAT Hasil CAT

22 Link menuju quiz dari bagian lain di Moodle View.php Menunjukkan informasi umum tentang quiz Index.php Mendaftar semua quiz yang ada pada suatu course BACK Startattempt.php Menangani memulai suatu attempt atau melanjutkan sesi yang sebelumnya Attempt.php Menampilkan satu halaman pada siswa untuk memasukkan jawaban Processattempt.php Menangani respon dari siswa atau menutup attempt Summary.php Menampilkan overview dari attempt yang saat ini Review.php Menampilkan hasil quiz yang baru saja diikuti siswa Report.php Menampilkan hasil quiz Comment.php Memungkinkan guru memberikan manual grading Reviewquestion.php Menampilkan hasil penilaian siswa pada suatu pertanyaan Edit.php Guru dapat mengedit pertanyaan pada suatu quiz Link normal, semua pengguna dapat mengakses Link submit/ pengumpulan Link otomatis setelah proses dilakukan Link yang hanya bisa diakses guru dan admin

23 MODUL CAT DI MOODLE 4

24 TAMPILAN OPTIONS CAT 4

25 TAMPILAN PARAMETER CAT 4

26 TAMPILAN EDIT CAT 4

27 TAMPILAN PROSES CAT 4 Tampilan menjawab soal

28 TAMPILAN HASIL CAT 4 Tampilan report

29 KESIMPULAN Aplikasi CAT dapat menjadi antarmuka penyelenggaraan tes adaptif kriteria pemberhentian tes mengkombinasikan variabel length, fixed length, dan time limit Nilai standar error dapat diatur Bank soal yang dibuat dapat di backup / restore ataupun di export / import baik ke matakuliah yang lain maupun sistem epembelajaran yang lain