Evaluasi dan Perancangan Ulang Interactive Digital Learning Environment (IDE) UNPAR Berdasarkan Usability Testing dan Eye Tracking Analysis Tarranova, Johanna Renny Octavia Hariandja Fakultas Teknologi Industri, Jurusan Teknik Industri, Universitas Katolik Parahyangan Jl. Ciumbuleuit 94, Bandung 40141 Email: tarranova12@gmail.com, johanna@unpar.ac.id Abstrak UNPAR merupakan salah satu universitas di Indonesia yang memiliki kualitas pendidikan yang didukung oleh sarana pembelajaran Salah satu sarana pembelajaran yang dimilliki UNPAR adalah Interactive Digital Learning Environment (IDE UNPAR). Sebagai salah satu sarana pembelajaran, pihak Pusat Inovasi Pembelajaran (PIP) sudah menghimbau para dosen, mengadakan pelatihan, dan membuat buku panduan penggunaan IDE UNPAR. Namun sejak diluncurkan pada Agustus 2015, tercatat hanya 64 dari 350 dosen UNPAR yang menggunakan IDE UNPAR. Berdasarkan wawancara awal yang dilakukan kepada 8 dosen dan 8 mahasiswa diketahui alasan dosen belum menggunakan IDE UNPAR adalah sulitnya mempelajari dan buruknya tampilan IDE UNPAR. Pada penelitian ini, evaluasi terhadap website IDE UNPAR dilakukan terhadap 8 dosen dan 8 mahasiswa, dimana 50% dari responden tersebut sudah pernah menggunakan IDE UNPAR dan sisanya merupakan responden yang belum pernah menggunakan IDE UNPAR. Berdasarkan evaluasi terhadap rancangan awal, diperoleh 24 usability problems untuk interface dosen dan 13 usability problems untuk interface mahasiswa. Usability problems tersebut diperoleh berdasarkan penggunaan metode usability testing dan eyetracking analysis menggunakan Tobii Eyetracker X2-30. Perancangan ulang untuk interface dosen dan mahasiswa dilakukan untuk mengurangi masalah dan meningkatkan kriteria effectiveness, efficiency, learnability, dan nilai SUS Questionnaire. Hasil evaluasi rancangan ulang IDE UNPAR menunjukkan kenaikan nilai kriteria usabilitas yang digunakan, khususnya terjadi kenaikan pada nilai SUS sebesar 36% menjadi 83,75 untuk dosen dan 52,5 menjadi 86,56 untuk mahasiswa. Nilai tersebut sudah melebihi batas minimal sebuah sistem dapat dikatakan usable. Kata kunci: Desain Interaksi, E-learning, Usability Testing, Eye Tracking Analysis, Prototype Pendahuluan Sejak Juni 2015, pemerintah Indonesia sudah menetapkan wajib belajar 12 tahun bagi anak-anak Indonesia. Artinya, setiap anak di Indonesia wajib mengikuti jenjang pendidikan mulai dari SD, SMP, dan SMA. Akan semakin banyak siswa baru yang masuk sekolah dan semakin banyak keluarga yang menyadari pentingnya pendidikan. Di luar wajib belajar tersebut, jumlah siswa lulusan SMA yang meneruskan pendidikan ke jenjang sarjana juga semakin meningkat. Banyak faktor yang menyebabkan peningkatan jumlah mahasiswa baru di Indonesia, salah satunya adalah banyaknya lowongan kerja yang mengharuskan pelamar telah menempuh minimal pendidikan sarjana untuk bidang yang dibutuhkan. Tidak hanya siswa SMA yang berlombalomba untuk memasuki perguruan tinggi yang berkualitas, perguruan tinggi juga terus berusaha untuk meningkatkan kualitas yang dimiliki. Fungsinya adalah untuk menghasilkan lulusan berkualitas yang sukses di dunia kerja dan menarik minat para siswa untuk memilih perguruan tinggi tersebut sebagai tempat untuk menempuh pendidikan lebih lanjut. Kualitas dari sebuah perguruan tinggi terdiri dari tata kelola, pengabdian pada masyarakat, kurikulum program studi, proses pembelajaran, sumber daya manusia, suasana akademik, penelitian dan publikasi, kemahasiswaan, keuangan, dan sarana dan prasarana (Singgih, 2015). Berdasarkan penjelasan tersebut, terdapat banyak ruang bagi perguruan tinggi untuk dapat meningkatkan kualitasnya. Peningkatan kualitas juga dapat
memanfaatkan teknologi yang dewasa ini berkembang pesat. Fasilitas e-learning dapat digunakan untuk meningkatkan kualitas dalam bidang sarana untuk melancarkan fungsi pembelajaran yang menggunakan teknologi. Universitas Katolik Parahyangan (UNPAR) merupakan salah satu perguruan tinggi di Indonesia yang sudah berdiri sejak tahun 1955. Sampai saat ini, UNPAR terus melakukan perubahan-perubahan untuk meningkatkan kualitas yang dimiliki. Salah satu cara yang dilakukan oleh UNPAR adalah memberikan fasilitas e-learning sebagai salah satu sarana pembelajaran bagi mahasiswa UNPAR. Saat ini, UNPAR memiliki Interactive Digital Learning Environment (IDE UNPAR) yang dapat diakses di ide.unpar.ac.id. IDE UNPAR merupakan bentuk baru dari e- learning yang dimiliki UNPAR sebelumnya dengan alamat elearning.unpar.ac.id. Saat ini, IDE UNPAR memiliki peran utama sebagai fasilitas e-learning untuk setiap fakultas dan program pascasarjana di UNPAR. Fasilitas e- learning dapat digunakan untuk menyebarkan bahan pembelajaran untuk setiap mata kuliah, kuis, pengumpulan tugas, penyebaran informasi, dan pembentukan forum diskusi untuk mata kuliah. Saat ini, PIP sudah menghimbau para dosen, mengadakan pelatihan, dan pembuatan buku panduan penggunaan IDE UNPAR, namun masih banyak dosen UNPAR yang belum memanfaatkan fasilitas IDE UNPAR sebagai sarana pendukung pembelajaran. Berdasarkan hasil survei yang telah dilakukan PIP, hanya 64 dari kurang lebih 350 dosen UNPAR yang menggunakan IDE UNPAR. Dari hasil wawancara yang telah dilakukan terhadap dosen dan mahasiswa UNPAR terdapat banyak kendala ketika menggunakan metode masing-masing dosen yang belum menggunakan IDE UNPAR. Kendala yang paling sering dialami oleh dosen yang belum menggunakan IDE UNPAR adalah banyaknya berkas tugas yang menumpuk di ruangan dosen. Dari sisi mahasiswa yang belum pernah menggunakan IDE UNPAR, metode yang dosen mereka gunakan sering kali memunculkan kendala seperti seringkali mahasiswa lain tidak mendapatkan informasi yang diberikan dosen karena perbedaan angkatan dan biaya yang dikeluarkan untuk mencetak tugas cukup besar. Tidak hanya itu, bagi para dosen dan mahasiswa yang sudah menggunakan IDE UNPAR, IDE UNPAR masih memiliki kekurangan dalam segi tampilan, ukuran file yang dapat di-upload, dan kurangnya panduan penggunaan pada IDE UNPAR yang membuat IDE UNPAR menjadi sulit dan tidak nyaman ketika digunakan sebagai fasilitas untuk menunjang kegiatan pembelajaran. Evaluasi perancangan ulang dilakukan dengan menggunakan metode usability testing untuk menilai interaksi yang terjadi antara user dengan sistem IDE UNPAR dan metode eye tracking analysis untuk menilai efektivitas user ketika menggunkana IDE UNPAR. Metode Penelitian Hasil akhir dari penelitian ini adalah sebuah perancangan ulang dari website IDE UNPAR yang telah memenuhi kriteria usabilitas. Terdapat beberapa kriteria usabilitas yang dapat digunakan. Menurut Rubin, J., & Chisnell, D. (2008), kriteria usabilitas yang dapat digunakan untuk sebuah sistem adalah usefullness, effectiveness, eficiency, learnablity, satisfaction, dan accesability. Penelitian ini hanya menggunakan 5 kriteria utama, yaitu usefullness, effectiveness, eficiency, learnablity, dan satisfaction. Kelima kriteria tersebut dapat diukur dengan menggunakan usability testing. Jika nilai kriteria sudah melebih nilai 70%, maka sebuah sistem dapat dikatakan telah memenuhi kriteria usabilitas tersebut. Menurut Brooke, J. (2013) usabilitas sebuah sistem juga dapat dinilai menggunakan System Usability Scalling (SUS). Jika nilai SUS sudah berada diatas 70, maka sebuah sistem dapat dikatakan usable. Eye tracking analysis dilakukan untuk melihat pergerakan mata responden dan untuk memperoleh permasalah pada sistem secara lebih dalam dan detail.
Perancangan ulang dilakukan berdasarkan hasil wawancara. Evaluasi kembali dilakukan untuk melihat nilai kriteria usabilitas yang digunakan. Evaluasi juga dilakukan untuk melihat apakah tampilan rancangan ulang memiliki tingkat efektivitas yang tinggi dari sisi eye tracking analysis. Hasil dan Pembahasan Berikut merupakan hasil dari evaluasi dan perancangan ulang untuk IDE UNPAR. Persiapan Eye Tracker Eye tracker yang digunakan dalam penelitian adalah Tobii Eye tracker tipe X2-30. Kegunaan eye tracker sendiri adalah untuk mengetahui perubahan yang terjadi pada penglihatan responden ketika menggunakan website IDE UNPAR. Agar dapat menggunakan Tobii Eye tracker, komputer atau laptop yang akan digunakan untuk pengumpulan data harus memiliki software Tobii Studio. Software ini berguna untuk merancang penelitian yang akan dilakukan dan melihat hasil rekaman yang dilakukan ketika pengambilan data berlangsung. Rekaman ini berupa gaze replay ataupun heat maps. Eye tracker perlu dipasang dalam posisi yang tepat agar eye tracker dapat merekam pergerakan mata dengan sempurna. Eye tracker dipasang tepat di tengah bagian bawah layar laptop yang digunakan. Layar laptop harus diatur dengan kemiringan 15 sampai 30 agar Eye tracker dapat melihat arah perubahan penglihatan. Hal selanjutnya yang perlu dilakukan setelah software Tobii Studio dan Tobii Eye tracker terpasang adalah menentukan media apa yang akan digunakan untuk perekaman. Karena evaluasi dilakukan terhadap website IDE UNPAR, maka media yang digunakan adalah web. Alamat IDE UNPAR (ide.unpar.ac.id) kemudian dimasukkan sebagai start URL agar ketika perekaman dimulai, browser Internet Explorer akan langsung membuka alamat tersebut dan perekamanpun dimulai. Untuk melakukan perekaman, diperlukan responden yang akan direkam kegiatannya. Responden tersebut diberi informasi bahwa selama proses perekaman untuk sebisa mungkin tidak menggerakkan kepala agar Tobii Eye tracker dapat dengan maksimal merekam. Setelah itu, setiap responden yang berbeda akan dikalibrasi. Setelah proses kalibrasi selesai, perekamanpun dapat dimulai. Penentuan Jumlah dan Kriteria Responden Evaluasi website IDE UNPAR akan dilihat untuk dua buah interaksi yang mungkin dilakukan menggunakan IDE UNPAR. Interaksi tersebut adalah interaksi antara dosen dengan website dan interaksi antara mahasiswa dengan website. Oleh karena itu, responden akan dibagi menjadi dua kelompok besar, yaitu dosen dan mahasiswa. Menurut Rubin dan Chisnell (2008), jika peneliti hanya memiliki waktu yang singkat untuk menemukan sebanyak mungkin usability problems, maka empat atau lima responden dapat digunakan. Namun, jika jumlah tersebut menimbulkan keraguan, angka delapan dapat dijadikan sebagai jumlah responden minimal. Untuk mendapatkan hasil yang valid ketika menggunakan tools gaze replay, jumlah responden minimal adalah lima orang. Oleh karena itu, jumlah delapan orang responden untuk masing-masing kelompok responden dipilih. Pengujian Website IDE UNPAR untuk Dosen Setiap dosen akan diberikan sebuah persona sebagai seorang dosen pengajar mata kuliah usability testing. Tabel 1 menunjukkan task list yang diberikan kepada dosen Tabel 1. Task List Dosen Nomor Task List 1 Mengganti judul topik 2 Meng-upload materi perkuliahan 3 Membuat slot Assignment 4 Membuat slot kuis 5 Membuat kuesioner 6 Memberi nilai tugas 7 Download nilai kuis 8 Melihat hasil kuesioner
Evaluasi untuk kriteria effectiveness dilakukan berdasarkan langkah standar yang telah ditentukan. Langkah standar tersebut diperoleh dari pengerjaan task yang dilakukan oleh seorang dosen standar. Selanjutnya, error akan terjadi ketika responden mengerjakan task dengan langkah yang berbeda dari langkah standar. Terdapat total 25 error yang dilakukan oleh responden ketika mengerjakan kedelapan buah task yang diberikan. Persentase effectiveness dapat dilihat pada Tabel 2 Tabel 2. Persentase Effectiveness Dosen Task Responden Tanpa Error Nilai Effectiveness 1 1 13% 2 2 25% 3 4 50% 4 0 0% 5 6 75% 6 5 63% 7 2 25% 8 7 88% Rata-Rata 42% Kriteria efficiency dinilai berdasarkan waktu penyelesaian task. Waktu penyelesaian task diperoleh dari waktu penyelesaian yang dibutuhkan oleh dosen standar dan dikalikan dengan penyesuaian untuk memperoleh waktu normal. Persentase waktu penyelesaian task akan dikalikan dengan bobot 50% dan ditambahkan persentase effectiveness yang juga dikalikan dengan bobot 50%. Hasil Persentase efficiency dapat dilihat pada Tabel 3 Tabel 3. Persentase Efficiency Dosen Task Kriteria error Kriteria Waktu Efficiency 1 13% 25% 19% 2 25% 50% 38% 3 50% 50% 50% 4 0% 0% 0% 5 75% 50% 63% 6 63% 13% 38% 7 25% 0% 13% 8 88% 63% 75% Rata-rata 37% yang telah disediakan. Hasil Persentase kriteria Learnability dapat dilihat pada Tabel 4. Tabel 4. Persentase Learnability Dosen Task Responden tidak membuka buku 1 5 63% 2 7 88% Learnabilit y 3 8 100% 4 2 25% 5 0 100% 6 2 25% 7 1 13% 8 0 100% Rata-rata 64% Setiap responden yang telah menyelesaikan task akan diberikan sebuah SUS kuesioner untuk diisi. Nilai SUS tersebut akan menentukan apakah sistem sudah usable atau belum. SUS score untuk interface dosen adalah 61,56. Nilai tersebut masih dibawah 70. Oleh karena itu, IDE UNPAR untuk interface dosen masih belum dapat dikatakan usable. Selain SUS, responden juga diwawancarai untuk memperoleh pendapat responde. Masih terdapat komentar-komentar negatif yang diberikan terhadap interface dari IDE UNPAR. Eye tracking analysis dilakukan untuk masing-masing responden untuk keseluruhan task. Hasil visualisasi dari tool gaze plot akan dibandingkan dengan hasil visualisasi dari dosen standar. Perbandingan hasil visualisasi dapat dilihat pada Gambar 1 (a) Dosen Standar Task 1 Icon Settings Kriteria Learnability untuk dosen diukur berdasarkan frekuensi melihat manual book
(b) Responden Dosen 3 (c) Responden Dosen 6 Gambar 1. Perbandingan Task 1 Dosen Icon Settings Berdasarkan error yang dilakukan, komentar, dan eye tracking analysis, diperoleh 22 usability problems beserta usulan perbaikannya. Pengujian Website IDE UNPAR untuk Mahasiswa Sama seperti bagian pengujian dosen, setiap mahasiswa akan diberikan sebuah persona sebagai seorang dosen pengajar mata. Persona yang digunakan untuk pengujian mahasiswa adalah sebagai seorang mahasiswa yang mengambil mata kuliah usability testing. Tabel 5 menunjukkan task list yang diberikan kepada dosen Tabel 5. Task List Mahasiswa Nomor Task List 1 Download materia perkuliahan 2 Mengumpulkan tugas 3 Mengerjakan kuis 4 Mengisi kuesioner 5 Melihat nilai tugas Evaluasi untuk kriteria effectiveness mahasiswa dilakukan dengan cara yang sama seperti pada pengujian dosen. Terdapat total 13 error yang dilakukan oleh responden mahasiswa ketika mengerjakan seluruh task yang diberikan. Persentase effectiveness dapat dilihat pada Tabel 6 Tabel 6. Persentase Effectiveness Mahasiswa Task Responden Tanpa Error 1 5 63% 2 5 63% 3 4 50% 4 0 0% 5 8 100% Nilai Effectiveness Rata-rata 55% Sama seperti pengujian yang dilakukan kepada dosen, untuk menilai efisiensi dari interface mahasiswa diperlukan waktu standar yang diperlukan oleh seorang mahasiswa standa. Persentase keberhasilan mengerjakan dibawah waktu standar akan ditambahkan dengan persentase effectiveness. Hasil Persentase efficiency dapat dilihat pada Tabel 7 Tabel 7. Persentase Efficiency Mahasiswa Task Kriteria error Kriteria Waktu Efficiency 1 63% 25% 19% 2 63% 13% 38% 3 50% 88% 50% 4 0% 38% 0% 5 100% 50% 63% Rata-rata 49% Setiap responden mahasiswa yang telah menyelesaikan task akan diberikan sebuah SUS kuesioner untuk diisi. Nilai SUS tersebut akan menentukan apakah sistem sudah usable atau belum. SUS score untuk interface mahasiswa adalah 52,81. Nilai tersebut masih dibawah 70. Oleh karena itu, IDE UNPAR untuk interface mahasiwa masih belum dapat dikatakan usable. Selain SUS, responden juga diwawancarai untuk memperoleh pendapat responden. Masih terdapat komentar-komentar negatif yang diberikan oleh responden mahasiswa
tentang buruknya tampilan mahasiswa IDE UNPAR. Eye tracking analysis dilakukan untuk masing-masing responden untuk keseluruhan task. Hasil visualisasi dari tool gaze plot akan dibandingkan dengan hasil visualisasi dari dosen standar. Perbandingan hasil visualisasi dapat dilihat pada Gambar 2 baik untuk interface dosen maupun mahasiswa adalah perubahan menu utama yang dapat dilihat pada Gambar 3. (a) Rancangan Awal Halaman Utama IDE UNPAR (a) Mahasiswa Standar (b) Responden Mahasiswa 2 (c) Responden Mahasiswa 5 Gambar 2. Perbandingan Mahasiswa Task 2 Rancangan Awal Rancangan Ulang Website IDE UNPAR Dosen Rancangan ulang dilakukan berdasarkan hasil usulan yang diberikan oleh kedua kelompok responden ketika sesi wawancara berlangsung. Selain itu, terdapat pertimbangan-pertimbangan yang dilakukan dengan menggunakan hasil eye tracking analysis. Salah satu perbaikan yang dilakukan (b) Rancangan Ulang Halaman Utama IDE UNPAR Gambar IV.2 Perbandingan Rancanan Halaman Utama Terdapat perbaikan-perbaikan lain yang juga dilakukan khusus untuk interface dosen. Salah satu perbaikan yang dilakukan untuk interface dosen adalah menu editing. Perbaikan yang dilakukan adalah menghilangkan tombol turn editing on dan mengganti metode penggantian judul topik. Pada rancangan ulang, terdapat icon edit disamping judul topik yang dapat digunakan untuk mengganti judul pada topik tersebut. Selain itu, dengan menghilangkan tombol turn editing on, dosen dapat langsung melakukan editing setelah masuk pada menu mata kuliah. Perbandingan rancangan awal dan rancangan ulang dapat dilihat pada Gambar 4. (a) Rancangan Awal menu Mata Kuliah IDE UNPAR
peningkatan juga terjadi pada visualisasi eye tracking analysis. Gambar 5. (b) Rancangan Ulang menu Mata Kuliah IDE UNPAR Gambar 4. Perbandingan Rancangan Menu Mata Kuliah Hasil perancangan ulang kemudian kembali dievaluasi untuk melihat nilai kriteria usabilitas yang dihasilkan. Evaluasi dilakukan dengan menggunakan responden, persona, dan task list yang sama. Selain itu, data kuantitatif dan cara pengolahan data untuk evaluasi rancangan ulang menggunakan metode yang sama seperti evaluasi rancangan awal pada bagian sebelumnya. Rekapitulasi hasil evaluasi rancangan ulang dapat dilihat pada Tabel 8. Tabel 8. Persentase Kriteria Usabilitas Rancangan Ulang Dosen Task Effectiveness Efficiency Learnability 1 100% 100% 100% 2 88% 81% 100% 3 63% 75% 100% 4 38% 56% 100% 5 88% 75% 100% 6 63% 81% 100% 7 75% 75% 100% 8 100% 94% 100% Rata-rata 77% 80% 100% Berdasarkan Tabel 8, dapar dilihat bahwa seluruh kriteria usabilitas mengalami kenaikan pada nilai rata-rata. Nilai rata-rata tersebut sudah berada diatas 70%, artinya sistem IDE UNPAR hasil rancangan ulang untuk interface dosen telah memenuhi kriteria usabilitas yang digunakan. Nilai SUS untuk rancangan ulang dosen juga mengalami kenaikan menjadi 83,75. Nilai tersebut telah berada diatas angka 70 yang artinya adalah sistem dapat dikatakan sudah usable. Hasil (a) Hasil Visualisasi Rancangan Awal Task 1 Responden Dosen 3 (b) Hasil Visualisasi Perancangan Ulang Task 1 Responden Dosen 3 Gambar 5. Perbandingan Hasil Visualisasi Dosen Task 1 Gambar 5 (a) menunjukkan gaze plot yang masih terbentuk pada bagian kanan layar. Artinya, responden dosen masih belum dapat menentukan dengan mudah tombol yang harus dipilih. Namun, pada Gambar 5 (b) hasil visualisasi menunjukkan gaze plot yang lebih terpusat pada bagian kiri layar yang juga merupakan pusat penggantian topik dilakukan. Hasil perbandingan visualisasi untuk task lainnya juga tidak menunjukkan kegiatan mencari yang berlebihan. Oleh karena itu, dapat disimpulkan bahwa hasil eye tracking analysis juga menunjukkan peningkatan pada perancangan ulang Rancangan Ulang Website IDE UNPAR Mahasiswa Rancangan ulang untuk mahasiswa dilakukan untuk berbagai fitur. Salah satunya adalah fitur pengumpulan tugas. Rancangan
awal untuk fitur pengumpulan tugas dapat dilihat pada Gambar 6 (a). Rancangan awal terdapat tiga buah tombol utama yaitu add files, download, dan files. Hasil visualisasi menunjukkan bahwa responden memerlukan waktu untuk menentukan tombol yang harus dipilih. Oleh karena itu, rancangan ulang hanya menggunakan satu tombol tunggal, yaitu attach file(s) yang digunakan untuk menggunggah tugas seperti pada Gambar 6 (b). Perbandingan rancangan awal dengan rancangan ulang untuk fitur pengumpulan tugas dapat dilihat pada Gambar 6. Nilai SUS untuk responden mahasiswa juga mengalami kenaikan menjadi 86,56. Nilai tersebut telah berada diatas angka 70. Artinya, hasil perancangan ulang untuk interface mahasiswa dapat dikatakan usable. Hasil visualiasi juga mengalami perbaikan. Pada Gambar 7 (a) terlihat masih ada gaze plot di daerah tombol add files dan download. Gaze plot tersebut menandakan bahwa responden masih memerlukan waktu untuk menentukan tombol yang harus dipilih. Namun, pada Gambar 7 (b) terlihat bahwa gaze plot lebih terpusat pada tombol attach file(s). Hasil perbandingan visualiasai dapat dilihat pada Gambar 7. (a) Tampilan Awal (b) Rancangan Ulang Gambar 6 Perbandingan Rancangan Menu Assignment Mahasiswa Hasil rekapitulasi evaluasi dari rancangan ulang dapat dilihat pada Tabel 9. Persentase juga mengalami kenaikan untuk kriteria usabilitas yang digunakan. Nilai tersebut juga sudah berada diatas 70% yang artinya bahwa sistem IDE UNPAR hasil perancangan ulang untuk interface mahasiswa berhasil mengalami kenaikan dan telah memenuhi kriteria usabilitas yang digunakan. Tabel 9. Persentase Kriteria Usabilitas Rancangan Ulang Mahasiswa Task Effectiveness Efficiency 1 63% 75% 2 88% 81% 3 100% 100% 4 100% 100% 5 88% 75% Rata-rata 88% 88% (a) Rancangan Awal Task 2 Responden Mahasiswa 2 (b) Rancangan Ulang Task 2 Responden Mahasiswa 2 Gambar 7 Perbandingan Hasil Visualisasi Mahasiswa Task 2 Berdasarkan hasil evaluasi rancangan ulang, dapat disimpulkan bahwa hasil perancangan ulang telah mengalami perbaikan dari segi persentase kriteria usabilitas, nilai SUS, dan hasil visualisasi eye tracking.
Kesimpulan Berdasarkan hasil pengolahan data yang telah dilakukan untuk interface dosen, nilai kriteria usabilitas seperti pada Tabel 2, Tabel 3, dan Tabel 4. Nilai SUS untuk interface dosen besarnya adalah 61,25. Evaluasi untuk interface dapat dilihat pada Tabel 6 dan Tabel 7. Nilai SUS untuk interface mahasiswa adalah 52,81. Perbaikan yang diberikan untuk website IDE UNPAR adalah mengganti tampilan halaman log in, mengganti tampilan halaman utama, menambahkan menu my grades, mengganti icon yang digunakan, dan mengganti warna tampilan secara keseluruhan IDE UNPAR. Untuk lebih spesifiknya, perbaikan untuk interface dosen dilakukan dengan mengganti tampilan pada menu penggantian judul topik, tampilan tombol save, metode penggantian tanggal, tampilan quick grading. Perbaikan untuk interface mahasiswa dilakukan dengan mengganti tampilan button secara keseluruhan dan memberikan informasi dalam bentuk tabel untuk menu kuis. Hasil evaluasi yang dilakukan untuk rancangan ulang interface dosen memiliki persentase kriteria usabilitas seperti pada Tabel 8 dan dengan nilai SUS untuk sebesar 83,75. Evaluasi untuk rancangan ulang interface mahasiswa dapat dilihat pada Tabel 9 dengan nilai SUS sebesar 86,56. Saran Saran yang dapat diberikan untuk penelitan selanjutnya adalah evaluasi sebaiknya dilakukan untuk fitur-fiitur lain pada IDE UNPAR. Karena pada penelitian ini hanya mengevaluasi fitur-fitur utama dari IDE UNPAR. Daftar Pustaka Andalia, Y. A. (2011). Usabilitas Menurut ISO 9241. Diunduh dari: http://yustinastriandalia.blogspot.co.id/2011/ 03/usabilitas-menurut-iso-9241.html Badan Pusat Statistik. (2015). Jumlah Perguruan Tinggi, Mahasiswa, dan Tenaga Edukatif (Negeri dan Swasta) di Bawah Kementrian Pendidikan dan Kebudayaan Menurut Provinsi 2013/2014. Diunduh dari: https://www.bps.go.id/linktabelstatis/view/i d/1839 Bodjko, A. (2006). Using Eye Tracking to Compare Web Page Designs: A Case Study. Journal of Usability Studies, 1, 112-120. Bodjko, A. & Stephenson, A. (2005). Supplementing Conventional Usability Measures with Eye Movement Data in Evaluating Visual Search Performance. Proceedings of the 11th International Conference on Human-Computer Interaction (HCI). Brooke, J. (2013). SUS: A Retrospective. Journal of Usability Studies, 8, 29-40. Kintamani, I. (2015). Perkembangan Pendidikan Tinggi Tahun 1999/2000-2013/2014. Diunduh dari: http://publikasi.data.kemdikbud.go.id/upload Dir/isi_888D196B-BA5D-4E76-A15C- 446A19C61CB7_.pdf Pernice, K., & Nielsen, J. (2009). How to Conduct Eyetracking Studies. San Fransisco: Nielsen Norman Group Preece, J., Rogers, Y., & Sharp, H. (2002). Beyond Human-Computer Interaction. United States: John Wiley & Sons, Inc. Rubin, J., & Chisnell, D. (2008). Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Test. 2rd ed. Canada: Wiley Publishing Inc. Satyadi, H. (2015). Evaluasi dan Perancangan Ulang Aplikasi E-learning Universitas Katolik Parahyangan dengan Memperhatikan Aspek Usability dan User Experience. Skripsi Bandung: Universitas Katolik Parahyangan. Singgih, M (2015). Faktor-Faktor yang Mempengaruhi Kualitas Pendidikan pada Perguruan Tinggi. Diunduh dari: https://www.researchgate.net/publication/26 4883592_FAKTOR- FAKTOR_YANG_MEMPENGARUHI_KUAL ITAS_PENDIDIKAN_PADA_PERGURUAN _TINGGI Syamsudin, A. (2013). Peraturan Menteri Pendidikan dan Kebudayaan Republik
Indonesia. Diunduh dari: http://repository.unand.ac.id/21158/1/perm EN%20NOMOR%20109%20TAHUN%2020 13.pdf Tirta, I. (2014). Hanya 30 Persen Pelajar Bisa Kuliah. Diunduh dari: https://m.tempo.co/read/news/2014/06/07/0 79583184/hanya-30-persen-pelajar-bisakuliah