Penilaian Kualitas Sistem Elearning dengan menggunakan ISO 19796-1 Andharini Dwi Cahyani 5107 201 005
Latar Belakang Pesatnya penggunaan sistem elearning Pentingnya standarisasi sistem elearning Pentingnya pengukuran kualitas sistem elearning
Berbagai tipe standar LET (Learning, Education and Training) dan tujuannya
Keterangan Gambar RFDQ (ISO/IEC 19796-1) : unique quality standards worldwide MLR (ISO/IEC 19788) : Metadata for learning resources Access4All (ISO/IEC 24751) : Generic accessibility framework, part 1, 2 and 3 SCORM (from ADL to SC36) : Combination of several specification for LMS and objects CP (from IMS to SC36) : Content packaging, aggregation of learning objects
Penelitian terkini [1] Tahun 2004, Chua,B.B 3) mengajukan framework pada ISO 9126 untuk menilai kualitas produk e-learning yaitu Blackboard system. Hasilnya : ISO 9126 mampu diadaptasi untuk menilai sistem e-learning Kekurangan : Belum mencakup aspek pengajaran, hanya menilai sistem e-learning dari sisi software engineering
Penelitian terkini [2a] Tahun 2005, pada bulan Oktober ISO melalui tim SC 36 mengeluarkan ISO 19796-1 tentang Learning, Education and Training Standarisasi bersifat lebih spesifik, tetapi masih memerlukan usaha untuk mengadaptasikannya sesuai dengan organisasi masing - masing
Penelitian terkini [2b] Kategori dan Proses pada ISO 19796-1
Penelitian terkini [3a] Tahun 2009, Pinghong Zhou, dkk mengimplementasikan RFDQ yang terdapat dalam ISO 19796-1 pada Huazhong Normal University. Kategori 1 Need Analysis Kategori 2 Framework Analysis Implementasi detail desain fungsional pada platform
Penelitian terkini [3b] Hasil penelitian P Zhou 8) : penggunaan kategori Need Analysis dan Framework Analysis untuk mendesain platform Kekurangan : Baru menggunakan 2 kategori, yaitu Need Analysis dan Framework Analysis
Tujuan Penelitian Membuat CASE Tool yang mampu mengukur kualitas sistem elearning dari sudut pandang pengguna menggunakan ISO 19796-1.
Perumusan permasalahan Bagaimana mendefinisikan kriteria penilaian kualitas sistem e-learning berdasarkan ISO 19796-1 pada kategori Conception / Design (CD), dan Learning Process (LP). Bagaimana melakukan pembobotan menggunakan Analytical Hierarcycal Process (AHP) untuk memberikan rekomendasi perbaikan kualitas sistem e-learning. Bagaimana membuat CASE tool yang dapat menilai kualitas sistem e-learning dan memberikan rekomendasi untuk perbaikan kualitas sistem.
Kontribusi penelitian Mengajukan kriteria untuk mengukur kualitas sistem elearning menggunakan ISO 19796-1 pada kategori Conception / Design (CD), dan Learning Process (LP). Mengajukan pembobotan menggunakan Analytical Hierarcycal Process (AHP) untuk memberikan rekomendasi perbaikan kualitas sistem e-learning. Membuat CASE tool untuk melakukan penilaian kualitas terhadap sistem e-learning dan memberikan rekomendasi untuk perbaikan kualitas sistem.
Manfaat Penelitian Memberikan gambaran bagi stakeholder tentang peningkatan kualitas sistem e- learning secara komprehensif: mulai dari pengukuran kualitas sistem e- learning sampai dengan penyusunan rekomendasi / saran bagi perbaikan kualitas sistem.
Metodologi Penelitian
Identifikasi Sistem Elearning Acuan
Sistem Elearning Acuan [1a] Template deskripsi sebuah mata kuliah
Sistem Elearning Acuan [1b] Penyimpanan mekanisme pembelajaran dari periode sebelumnya
Penentuan kriteria untuk tiap proses pada kategori CD dan LP
Langkah Penentuan Kriteria Studi literatur (kriteria) Pemetaan kriteria sesuai ISO 19796-1 Adaptasi kriteria (pertanyaan kuantitatif)
Kriteria Penilaian [2a]
Perancangan CASE Tool
Perancangan Alur Proses
Perancangan Basis data
Langkah pengukuran kualitas sistem elearning Menentukan kriteria yang digunakan untuk mengukur suatu proses Menentukan bobot dari setiap kriteria Menentukan skala dari nilai kriteria Memberikan nilai pada tiap kriteria dengan mengumpulkan penilaian dari responden. Menghitung nilai total kualitas sistem dengan menggunakan rumus pengukuran NK = w 1 c 1 + w 2 c 2 + + w n c n
Output CASE Tool Nilai kualitas aplikasi sistem e-learning. Rekomendasi perbaikan aplikasi sistem e-learning.
Mekanisme Penilaian Kualitas 1. Sistem menghitung bobot penilaian untuk tiap kriteria. Bobot ini digunakan untuk mengetahui nilai kualitas kriteria. Penghitungan bobot penilaian untuk tiap kriteria dilakukan sebagai berikut : 1. Bobot_Nilai_Tiap_Kategori = 100 / Jumlah Kategori 2. Bobot_Nilai_Tiap_Proses = Nilai_Tiap_Kategori/ Jumlah Proses 3. Bobot_Nilai_Kriteria=Nilai_Tiap_Proses/Jumlah Kriteria 2. Melakukan penilaian kualitas sistem e-learning dari sudut pandang pengguna dengan cara menyebarkan kuesioner kepada pengguna. 3. Penilaian user kemudian dimasukkan kedalam sistem, sehingga kemudian sistem melakukan penghitungan nilai total kualitas dengan cara sebagai berikut: 1. Nilai_Kualitas_Kriteria = Nilai_Rata_Kriteria_dari_User * Bobot_Nilai_Kriteria 2. Nilai_Total_Kualitas = Nilai_Kualitas_Kriteria
Mekanisme penentuan prioritas rekomendasi 1. Urutkan nilai kualitas proses, mulai dari yang terendah sampai tertinggi. Ambil 5 proses dengan nilai kualitas proses terendah 2. Urutkan 5 proses terpilih tersebut sesuai dengan bobot absolut proses, mulai dari bobot absolut yang tertinggi sampai terendah. Urutan ini menunjukkan prioritas perbaikan proses yang harus dilakukan. 3. Cari kriteria dalam proses sesuai urutannya yang memiliki nilai tidak sempurna (< nilai sempurna untuk kriteria tersebut). 4. Pemberian rekomendasi berdasarkan kriteria yang memenuhi langkah 3, sedangkan urutannya sesuai dengan langkah 2.
Uji Coba Skenario 1 Admin memasukkan data master sebelum melakukan penilaian
Uji Coba Skenario 2 Responden A (ITS) Responden B (Unair) Sistem Elearning Monash University Responden C (Unijoyo)
Hasil Uji Coba Skenario 2
Uji Coba Skenario 3 Responden A (ITS) Responden B (Unair) Responden C (Unijoyo) Sistem Elearning ITS Sistem Elearning UNAIR Sistem Elearning UNIJOYO
Hasil Uji Coba Skenario 3
Uji Coba Skenario 4 Responden A (ITS) Responden B (Unair) Responden C (Unijoyo) Sistem Elearning ITS Sistem Elearning UNAIR Sistem Elearning UNIJOYO
Hasil Uji Coba Skenario 4
Kesimpulan CASE Tool yang dibuat pada penelitian ini mampu mengukur nilai kualitas sistem elearning, juga mampu memberikan rekomendasi bagi perbaikan kualitas sistem. Dari hasil studi literatur dan analisa, maka kriteria penilaian kualitas sistem e-learning berdasarkan ISO 19796-1 pada kategori Conception / Design (CD), dan Learning Process (LP) yang dapat didefinisikan pada penelitian ini sebanyak 31 kriteria yang bersifat kuantitatif. Metode pembobotan AHP dapat digunakan untuk memberikan tingkat kepentingan tiap kategori dan proses, sesuai dengan pertimbangan dan preferensi masing masing stakeholder.
Saran Pengembangan kriteria yang diajukan dalam tesis ini masih bisa diperbanyak dan dilengkapi lagi selama kriteria tersebut sesuai dengan deskripsi kategori dan proses pada ISO 19796-1. Untuk hasil penilaian yang lebih obyektif, maka bisa menggunakan teknik pengambilan sampling sesuai kaidah statistik.
Terima Kasih