Kata Kunci : Aplikasi E-Learning, ISO , Model Kualitas

Transkripsi

1 Penilaian Kualitas Sistem Elearning Dengan Menggunakan ISO Andharini Dwi Cahyani, Daniel Oranova Siahaan, Sarwosri Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember Gedung Teknik Informatika, Kampus ITS, Jl. Raya ITS, Sukolilo, Surabaya { rein, danielos, sri}@cs.its.ac.id ABSTRAK Seiring dengan pesatnya perkembangan penggunaan elearning, maka kebutuhan akan adanya pengukuran kualitas sistem e-learning menjadi sangat penting. Karena beragamnya konteks dan tujuan penggunaan sistem e-learning, maka ISO dibuat secara generik untuk mengakomodasi kebutuhan di bidang standarisasi kualitas e- learning secara luas. Oleh karenanya, untuk menerapkan ISO ini dibutuhkan usaha tersendiri untuk mengadaptasikannya sesuai dengan konteks dan tujuan masing masing organisasi. Pada penelitian ini, dibuat sistem/aplikasi yang mampu mengukur kualitas sistem e-learning. Aplikasi yang dibuat juga memberikan fasilitas bagi stakeholder untuk memberikan bobot prioritas tiap proses dalam penilaian kualitas sistem elearning. Bobot prioritas tersebut kemudian diolah dengan menggunakan metode AHP (Analytical Hierarchy Process). Hasil penelitian menunjukkan aplikasi yang dibuat mampu menilai kualitas sistem elearning sesuai dengan ISO Selain itu, aplikasi ini juga mampu memberikan rekomendasi bagi perbaikan sistem. Rekomendasi ini disusun berdasarkan bobot prioritas yang diberikan oleh stakeholder. Proses yang mendapatkan prioritas tinggi dari stakeholder sistem elearning namun mendapatkan penilaian yang rendah dari responden akan muncul sebagai rekomendasi perbaikan sistem. Kata Kunci : Aplikasi E-Learning, ISO , Model Kualitas 1

2 2

3 PENDAHULUAN Perkembangan sistem e-learning, utamanya di institusi pendidikan, semakin pesat karena kebutuhan baik mahasiswa maupun dosen akan sistem pembelajaran yang lebih fleksibel. Selain itu, tekanan ekonomi universitas atau institusi pendidikan juga meningkatkan penggunaan e-learning, karena teknologi e-learning menghemat biaya yang harus dikeluarkan. Karena itu diperlukan adanya standar dalam penggunaan elearning, baik standar peningkatan kualitas maupun standar yang bertujuan untuk interoperability. Banyaknya standarisasi e-learning memberikan banyak pilihan bagi stakeholder untuk menentukan standarisasi mana yang akan digunakan. Tidak mudah untuk menentukan standarisasi mana yang digunakan karena memerlukan pertimbangan yang matang. ISO sebagai organisasi standar tingkat internasional, yang relatif lebih luas penggunaanya, juga mengeluarkan standarisasi yang dapat digunakan dalam domain e-learning. Standarisasi yang dikeluarkan oleh ISO merupakan standarisasi yang generik, sehingga untuk menggunakannya harus diadaptasikan sesuai dengan keadaaan dan kebutuhan masing masing. ISO merupakan guideline untuk membangun sistem e-learning yang berkualitas. ISO ini dipublikasikan pada bulan Oktober 2005 melalui tim SC36 dan sifatnya lebih spesifik pada Learning, Education and Training, termasuk didalamnya mencakup e-learning. ISO ini menyediakan RFDQ (Reference Framework for Description of Quality) untuk peningkatan kualitas sistem elearning. Sebagai standar referensi, ISO ini menunjukkan skema deskripsi dan model proses yang bisa digunakan sebagai roadmap untuk membangun sistem e-learning yang komprehensif. Penelitian sebelumnya mengembangkan penilaian kualitas pada e-learning dan pendidikan berbasis ISO [1]. Berdasarkan definisi yang ada pada pada standar ISO, maka dibagi tahapan dalam proses adaptasi ISO kedalam 3 level konsep, yaitu : kepedulian terhadap kualitas (quality awareness) pada level individu, strategi untuk meningkatkan kualitas (quality strategy) pada level organisasi dan pengembangan kualitas (quality development) pada level integrasi dengan stakeholder. Peneliti juga menekankan perlunya adaptasi dengan kebutuhan stakeholder dalam mengimplementasikan ISO ini. 3

4 Pada tahun yang sama, terdapat penelitian lain yang mengajukan model yang berbeda untuk mengadaptasi ISO kedalam sistem e-learning yang telah ada [2]. Berikut gambar fase dalam quality adaptation model. Gambar 1 Quality Adaptation Model [2] Peneliti juga mengemukakan key success factor untuk setiap tahapan adaptasi yang diajukan. Model adaptasi tersebut seperti tergambar pada Gambar 1. Pada gambar tersebut, terdapat 4 tahapan dalam mengadaptasi ISO , yaitu : Context Setting, Model Adaptation, Implementation and Adoption dan Quality Development. Penelitian terkini lainnya adalah melakukan implementasi RFDQ yang terdapat dalam ISO pada Huazhong Normal University [3]. Riset ini dilakukan untuk melakukan eksplorasi terhadap quality assurance pada platform yang digunakan sistem e- learning. Analisa kebutuhan (need analysis) dan analisa kerangka kerja (framework analysis) tentang platform yang akan digunakan diperoleh dengan melakukan wawancara dan investigasi. Kemudian dilanjutkan dengan mengimplementasikan detail desain fungsional pada platform. Pada penelitian ini dilakukan pembuatan aplikasi yang mampu mengukur kualitas sistem elearning menggunakan ISO Dengan adanya aplikasi penilaian kualitas sistem elearning tersebut, diharapkan stakeholder sistem elearning mampu mengukur kualitas sistem elearning yang dimilikinya. Selain itu aplikasi yang dibuat juga menyediakan fitur pembobotan pada proses yang dinilai, sehingga stakeholder bisa menentukan prioritas penilaian. 4

5 ISO ISO terdiri dari beberapa publikasi. Hubungan dan keterkaitan masing masing publikasi ISO dapat dilihat pada Gambar 2. Gambar 2. Hubungan antar bagian standar ISO [3] Pada Gambar 2 disebutkan bahwa standarisasi ISO yang telah dipublikasikan adalah part yang diberikan tanda contreng, yaitu Part 1 (Oktober 2005) dan Part 3 (2009). Sedangkan bagian lain dari ISO masih dalam proses diskusi dan belum dirilis / dipublikasikan. ISO Part 3 merupakan aplikasi dari Reference Process Model yang ada pada ISO Part 1. Sedangkan ISO Part 4 merupakan adaptasi penggunaan ISO Part 1. ISO part 2 adalah integrasi dari ISO part 1, part 3 dan part 4. Dalam penelitian ini, digunakan standarisasi ISO Standar ISO bukan bertujuan untuk sertifikasi, tetapi lebih merupakan sebuah tools yang menyediakan keseragaman penilaian kualitas, format data agar penilaian kualitas menjadi interoperable/terstandarisasi, dan menjadi template untuk proses pembuatan, implementasi dan proses perbaikan kualitas e-learning dalam sebuah organisasi. Ada 7 kategori pada model proses ISO [4]. Ketujuh kategori tersebut adalah: NA (Need Analysis), FA (Framework Analysis), CD (Conception/design), DP 5

6 (Development/production), IM (Implementation), LP (Learning process), dan EO (Evaluation/optimization). MODEL PENILAIAN KUALITAS SISTEM E-LEARNING Model penilaian kualitas sistem elearning yang digunakan pada penelitian ini dapat dilihat pada Gambar 3. Pada tersebut, terdapat dua aktor yang terlibat dalam aplikasi penilaian kualitas sistem elearning, yaitu admin dan responden. Gambar 3. Model penilaian kualitas sistem elearning Aktivitas user admin adalah melakukan setting data master sebelum pengguna bisa mengisi kuesioner untuk melakukan penilaian. Setting data awal tersebut meliputi pengisian identitas elearning, identitas penilaian, dan pengisian bobot prioritas dari stakeholder untuk tiap proses yang digunakan dalam aplikasi ini. Kemudian aplikasi melakukan penghitungan bobot prioritas tersebut dengan menggunakan metode AHP (Analytical Hierarchy Process) hingga menjadi bobot akhir yang digunakan untuk menentukan urutan prioritas rekomendasi perbaikan sistem. Aktivitas user responden adalah melakukan penilaian kualitas sistem elearning, kemudian hasilnya dimasukkan ke dalam kuesioner. Setelah mengisi kuesioner, responden dapat melihat hasil penilaian yaitu berupa nilai kualitas sistem dan rekomendasi perbaikan sistem elearning. 6

7 Mekanisme perhitungan nilai kualitas sistem adalah mengacu pada model selfassessment Johnson [4] sebagai berikut : 1. Sistem menghitung bobot penilaian untuk tiap kriteria. Bobot ini digunakan untuk mengetahui nilai kualitas kriteria. Penghitungan bobot penilaian untuk tiap kriteria dilakukan secara proporsional / berimbang, sesuai dengan persamaan (1), (2) dan (3). (1)...Bobot_Nilai_Tiap_Kategori = 100 / Jumlah Kategori (2)...Bobot_Nilai_Tiap_Proses = Nilai_Tiap_Kategori/ Jumlah Proses (3)...Bobot_Nilai_Kriteria=Nilai_Tiap_Proses/Jumlah Kriteria Dengan demikian, skala penilaian nilai total kualitas adalah 0-100, dimana nilai kualitas yang semakin besar (kearah 100) menyatakan bahwa kualitas e-learning semakin bagus. Begitu juga sebaliknya. 2. Melakukan penilaian kualitas sistem e-learning dengan cara menyebarkan kuesioner kepada responden. Untuk setiap jawaban Ya mendapatkan nilai 1, dan jawaban Tidak mendapatkan nilai Penilaian user kemudian dimasukkan kedalam sistem, sehingga kemudian sistem melakukan penghitungan nilai total kualitas dengan melakukan persamaan (4) dan dilanjutkan dengan persamaan (5). (4).Nilai_Kualitas_Kriteria = Nilai_Rata_ Kriteria_dari_User * Bobot_Nilai_ Kriteria (5)... Nilai_Total_Kualitas = Nilai_Kualitas_ Kriteria Setelah proses penilaian telah dilakukan oleh sistem, maka langkah selanjutnya adalah sistem melakukan perhitungan rekomendasi untuk perbaikan sistem elearning. Berikut ini mekanisme untuk menentukan prioritas rekomendasi: 1. Urutkan nilai kualitas proses, mulai dari yang terendah sampai tertinggi. Ambil 5 proses dengan nilai kualitas proses terendah 2. Urutkan 5 proses terpilih tersebut sesuai dengan bobot prioritas absolut proses, mulai dari bobot prioritas absolut yang tertinggi sampai terendah. 7

8 3. Cari kriteria dalam proses sesuai urutannya yang memiliki nilai tidak sempurna. Untuk mencari nilai sempurna adalah sebagai berikut. Nilai yang diberikan oleh pengguna untuk tiap kriteria/pertanyaan adalah 0 atau 1. Nilai dari pengguna tersebut kemudian dirata rata, lalu dikalikan dengan nilai/bobot proporsi berimbang kriteria tersebut. Dengan demikan, nilai sempurna suatu kriteria sama dengan nilai maksimal dari pengguna (=1) dikalikan dengan nilai/bobot proporsi berimbang kriteria tersebut. 4. Pemberian rekomendasi berdasarkan kriteria yang memenuhi langkah 3, sedangkan urutannya sesuai dengan langkah 2. HASIL DAN PEMBAHASAN Dari aplikasi yang telah dibuat, maka dilakukan pengujian untuk mengetahui keberhasilan aplikasi yang dibuat. Skenario uji coba tersebut dilakukan pada kondisi pembobotan prioritas untuk semua kategori dan proses adalah sama penting (=1). Pengujian dilakukan dengan menggunakan 2 skenario sebagai berikut : 1. Skenario uji coba 1, dilakukan pengisian dengan kondisi terbaik (best case), yaitu semua kriteria diisi dengan nilai Skenario uji coba 2, dilakukan pengisian dengan kondisi terburuk (worst case), yaitu semua kriteria diisi dengan 0. Hasil pengujian skenario 1 seperti pada Gambar 4. Pada gambar tersebut menunjukkan bahwa nilai total kualitas sistem yang diperoleh pada kondisi terbaik adalah Gambar 4. Nilai Total Kualitas Sistem E-learning dengan kondisi terbaik 8

9 Adanya pembulatan angka desimal menjadikan nilai pada kondisi terbaik tidak bisa sempurna menjadi angka 100. Untuk rekomendasi perbaikan sistem dapat dilhat pada Gambar 5. Tidak ada kategori dan proses yang tampil menjadi rekomendasi perbaikan sistem elearning karena semua kriteria/pertanyaan memiliki nilai sempurna (=1). Gambar 5. Nilai Detail Kualitas dan Rekomendasi Perbaikan dengan kondisi terbaik Hasil pengujian skenario 2 seperti pada Gambar 6. Nilai total kualitas sistem pada kondisi terburuk adalah Dengan kondisi tersebut, maka proses yang seharusnya muncul sebagai rekomendasi perbaikan sistem adalah proses yang memiliki bobot proporsi yang lebih besar dibanding proses lainnya. Gambar 6. Nilai Total Kualitas Sistem E-learning dengan kondisi terburuk Secara berurutan bobot proporsional proses dalam tiap kategori mulai dari terbesar ke terkecil adalah sebagai berikut : 9

10 1. Kategori Learning Process (memiliki 3 proses) 2. Kategori Need Analysis (memiliki 4 proses) 3. Kategori Evaluation/Optimization (memiliki 4 proses) 4. Kategori Development/Production (memiliki 5 proses) 5. Kategori Implementation (memiliki 5 proses) 6. Kategori Framework Analysis (memiliki 6 proses) 7. Kategori Conception/Design (memiliki 11 proses) Gambar 7. Nilai Detail Kualitas dan Rekomendasi Perbaikan dengan kondisi terburuk Terdapat 5 proses teratas yang dijadikan rekomendasi perbaikan sistem, yaitu : 3 proses yang berasal dari kategori Learning Process dan 2 proses lainnya berasal dari kategori Need Analysis. Hal ini sama dengan hasil yang diperoleh dari perhitungan aplikasi, seperti pada Gambar 7. 10

11 Dari kedua skenario yang telah diuji coba terlihat bahwa aplikasi yang dibuat mampu melakukan perhitungan dengan baik. Hal ini dapat dilihat pada kondisi terbaik dan kondisi terburuk, aplikasi dapat melakukan perhitungan dengan benar. Selain itu, hasil penelitian juga mengimplikasikan bahwa semakin besar bobot proporsi suatu kriteria, maka semakin besar pengaruhnya terhadap nilai kualitas sistem elearning. Sehingga jika kriteria kriteria dengan bobot proporsi tinggi tersebut belum mencapai nilai sempurna, maka dapat menurunkan nilai kualitas sistem elearning secara keseluruhan. KESIMPULAN DAN SARAN Dari keseluruhan rangkaian penelitian penelitian ini, maka dapat ditarik kesimpulan : 1. Aplikasi yang dibuat mampu mengukur kualitas sistem elearning, dengan menggunakan penilaian dari responden. Untuk penilaian yang dilakukan oleh lebih dari satu responden, maka nilai kualitas yang ditampilkan adalah nilai rata ratanya. 2. Dengan menggunakan bobot prioritas dari stakeholder, maka aplikasi juga mampu memberikan rekomendasi bagi perbaikan kualitas sistem. Beberapa pengembangan yang dapat dilakukan dari hasil penelitian ini adalah sebagai berikut : 1. Pengembangan kriteria yang diajukan dalam penelitian ini masih bisa diperbanyak dan dilengkapi lagi selama kriteria tersebut sesuai dengan deskripsi kategori dan proses pada ISO Untuk hasil penilaian yang lebih obyektif, maka bisa menggunakan penilaian dari responden dengan teknik pengambilan sampling sesuai kaidah statistik. DAFTAR PUSTAKA [1] Stracke, C.M (2007): "Quality Development and Quality Standards in e-learning: Adoption, Implementation, and Adaptation", Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunication, AACE,

12 [2] Pawlowski, J. M., The Quality Adaptation Model: Adaptation and Adoption of the Quality Standard ISO/IEC for Learning, Education, and Training Educational Technology & Society, 10 (2), 3-16, 2007 [3] Zhou, P., Design of Distance Teaching Platform Based on Quality Assurance Standard, First International Workshop on Education Technology and Computer Science, 2009 [4] ISO/IEC JTC 1, ISO , Information technology Learning, education and training Quality management, assurance and metrics Part 1:General approach, Geneva,