ANALISIS PRIORITAS PERBAIKAN FAKTOR-FAKTOR USABILITAS PADA SISTEM INFORMASI BERBASIS WEB

ANALISIS PRIORITAS PERBAIKAN FAKTOR-FAKTOR USABILITAS PADA SISTEM INFORMASI BERBASIS WEB Niken Hendrakusma Wardani 1) dan Apol Pribadi Subriadi 2) 1) Program Studi Sistem Informasi, Institut Teknologi Sepuluh Nopember Jl. Raya ITS Sukolilo, Surabaya, 60111, Indonesia e-mail: niken.tif@gmail.com 2) Program Studi Sistem Informasi, Institut Teknologi Sepuluh Nopember ABSTRAK Pentingnya mempertimbangkan usabilitas website menentukan kesuksesan atau kegagalan penggunaan website. Tiga faktor yang mempengaruhi bagaimana suatu masalah usabilitas menjadi serius bagi pengguna yaitu frekuensi kemunculan masalah, dampaknya terhadap pengguna dan persistensi penyelesaian masalah oleh pengguna. Pendekatan konvensional hanya mempertimbangkan skor rata-rata penilaian usabilitas dimana skor ini merepresentasikan frekuensi kemunculan masalah. Dampak setiap faktor-faktor usabilitas terhadap peningkatan usabilitas website dapat diprediksi menggunakan metode Partial Least Square Structural Equation Modeling (PLS-SEM). Skor rata-rata penilaian usabilitas dikelompokkan ke dalam tiga kategori yaitu rendah, sedang dan tinggi berdasarkan three box method. Penilaian dampak dan frekuensi masalah setiap faktor-faktor usabilitas kemudian dipetakan pada kuadran dua dimensi untuk menentukan prioritas utama perbaikan usabilitas. Hasil penelitian ini memberikan alternatif metode yang lebih baik untuk menentukan prioritas perbaikan usabilitas pada sistem informasi berbasis web. Analisis perbandingan metode prediksi menunjukkan bahwa metode SEM-PLS algoritma nonlinear memiliki nilai goodness of fit (R 2 =0.62) yang lebih tinggi dibandingkan dengan SEM-PLS algoritma linear (R 2 =0.49) dan regresi linear berganda (R 2 =0.49). Hasil studi kasus juga menunjukkan bahwa desain metode yang diusulkan dapat digunakan untuk membuat prioritas perbaikan usabilitas website pada Sistem Informasi Akademik Mahasiswa (SIAM) di Universitas Brawijaya. Faktor-faktor usabilitas yang menjadi prioritas utama perbaikan website SIAM adalah respon sistem, jaminan sistem, dan kualitas informasi. Kata kunci: Evaluasi, Prioritas, Usabilitas, Website. PENDAHULUAN Usabilitas menunjukkan seberapa mudah informasi yang ditampilkan pada sistem berbasis web dapat ditemukan, dipahami, dan digunakan (Keevil, 1998). Usabilitas yang baik berdampak pada peningkatan kenyamanan pengguna, intensitas penggunaan dan mengoptimalkan tujuan pembuatan website tersebut terhadap organisasi atau perusahaan. Beberapa perusahaan mengalami kebangkrutan karena tidak mempertimbangkan masalah usabilitas pada aplikasi web yang dimilikinya (Becker & Mottay, 2001). Meskipun pembangunan aplikasi web telah mengikuti kaidah-kaidah yang mendukung kemudahan penggunanya melalui pertimbangan desain antarmuka, namun ketika aplikasi web tersebut dijalankan maka perlu dilakukan evaluasi usabilitas dari sisi pengguna. UWIS merupakan salah satu metode hybrid user-based heuristic untuk evaluasi usabilitas website yang mengintegrasikan dimensi kualitas (ServQual dan Web-based Service Quality) dan dimensi usabilitas ( Usability Heuristics dan ISO 9241-10). Hasil evaluasi C-30-1

usabilitas UWIS berupa skor penilaian masing-masing daftar item (checklist) yang telah diisi oleh responden, dimana responden mewakili pengguna akhir dari aplikasi web. Kemudian perbaikan usabilitas website dilakukan berdasarkan pertimbangan dari daftar item yang memiliki rata-rata skor penilaian terendah. Pendekatan konvensional pada metode evaluasi usabilitas seperti ini mengabaikan ada atau tidaknya efek dari perbaikan sebuah item usabilitas yang hanya berdasarkan skor rata-rata terendah terhadap persepsi usabilitas secara keseluruhan (overall usability) dari pengguna akhir (Oztekin, 2011). Asil Oztekin (2011) melakukan penelitian untuk mengungkap hubungan antara overall usability pada sistem informasi berbasis web dengan faktor-faktor usabilitas menggunakan metode machine learning ( Support Vector Machines, Neural Networks, dan Decision Tress) dan teknik statistik (Multiple Linear Regression). Pada tahun 2013, Asil Oztekin melakukan penelitian dengan metode yang sama namun dengan objek yang berbeda yaitu sistem e- learning berbasis web. Kedua penelitian Oztekin ini menunjukkan bahwa metode pembelajaran mesin yaitu Neural Network (NN) dan Support Vector Machines (SVM) memiliki performa yang lebih baik dibandingkan Decision Tress (DT) dan Multiple Linear Regression (MLR) dalam memprediksi hubungan dari faktor-faktor usabilitas yang berdampak signifikan terhadap overall usability. Namun penggunaan model machine learning dan MLR tidak dapat menunjukkan hubungan yang jelas antara variabel input faktor-faktor usabilitas yang bersifat berjenjang (terdapat 7 dimensi den gan 24 daftar item usabilitas) terhadap variabel output overall usability. Hubungan ini perlu dimodelkan secara struktural agar dampak dari setiap daftar item usabilitas dapat dikelompokkan sesuai dimensinya (reliability, assurance, responsiveness, integratioan of communication, navigation, controllability, dan quality of information) yang bersifat laten. Pemodelan struktural akan lebih memudahkan pengambil keputusan dalam memahami efek dari setiap dimensi usabilitas terhadap overall usability dan memutuskan lebih dalam tepatnya penyebab ketidakpuasan usabilitas berdasarkan daftar item dari dimensi tertentu. Partial Least Square (PLS) merupakan salah satu pemodelan persamaan struktural berbasis varian yang mampu menggambarkan pola hubungan antara variabel laten dengan variabel manifest (indikator) dan antar variabel latennya. Sebagaimana dalam analisis regresi, tujuan utama PLS adalah mengidentifikasi variabel dependen yang berguna untuk memprediksi hasil pengaruhnya terhadap variabel indenpenden (Yamin & Kurniawan, 2011). Meskipun pendekatan PLS memberikan cara yang baik pada masalah input berkorelasi dengan observasi terbatas, tetapi PLS memiliki keterbatasan utama yaitu hanya informasi linear yang dapat diekstraksi dari data (Liu, Zhou, & Chen, 2006). WrapPLS 4.0 merupakan salah satu aplikasi PLS yang dapat mengidentifikasi hubungan antar laten variabel yang bersifat nonlinear (kurva U dan kurva S). Jika terdapat hubungan nonlinear saat perhitungan PLS maka algoritma pada WarpPLS mampu merubah skor prediksi variabel laten sehingga dapat merefleksikan hubungan non linear dalam kurva sehingga nilai path coefficient semakin baik (Kock, 2012). Penilaian persepsi pengguna akan dikategorikan menjadi 3 kategori urgensi perbaikan yaitu sangat mendesak, mendesak dan kurang mendesak menggunakan metode three-box sehingga memudahkan dalam memberi batasan dimensi usabilitas yang perlu ditingkatkan terkait hasil penilaian persepsi pengguna. Three-box method merupakan salah satu metode pengolahan data kuesioner berskala ordinal yang kemudian dikelompokkan menjadi tiga kategori (Ferdinand, 2006). Pengaruh hubungan antar dimensi direpresentasikan dengan nilai path coefficient. Kedua pengukuran ini kemudian akan disajikan pada grafik dua dimensi untuk memberi gambaran yang jelas bagaimana dimensi-dimensi usabilitas dikelompokkan berdasarkan urutan yang paling kritis untuk perbaikan. Tujuan dari penelitian ini yaitu menemukan model prediksi yang lebih baik untuk pengukuran hubungan dimensi usabilitas terhadap overall usability sebagai salah satu faktor C-30-2

penentuan prioritas perbaikan usabilitas. Tujuan lainnya yang diharapkan adalah desain metode yang diusulkan yaitu kombinasi antara pengukuran persepsi pengguna menggunakan metode three box dan pengukuran hubungan dimensi usabilitas terhadap overall usability menggunakan metode PLS dapat digunakan pengambil keputusan dalam membuat rencara perbaikan usabilitas website. METODE Metode penelitian dirancang menjadi empat tahapan yaitu tahap pengambilan data melalui evaluasi usabilitas website, tahap pengolahan data dengan metode SEM-PLS, tahap pengolahan data dengan metode Three Box, dan tahap penyusunan prioritas perbaikan usabilitas. Gambar 1 menampilkan desain metode penentuan prioritas perbaikan usabilitas. Gambar 1. Desain Metode Penentuan Prioritas Perbaikan Usabilitas Tahap Pengambilan Data Melalui Evaluasi Usabilitas Website Evaluasi usabilitas dilakukan dengan menyebarkan kuesioner kepada responden yaitu 96 mahasiswa yang merepresentasikan pengguna akhir dari Sistem Informasi Akademik Mahasiswa (SIAM) Universitas Brawijaya. Daftar pertanyaan evaluasi usabilitas dibuat berdasarkan metode evaluasi UWIS dan disesuaikan dengan aplikasi SIAM sebagai studi kasus. Kuesioner disusun atas tiga bagian yaitu biodata responden, penilaian aktifitas penggunaan aplikasi dan penilaian dimensi usabilitas. Biodata responden meliputi nama, nim, semester, jurusan dan jenis kelamin. Penilaian aktifitas penggunaan aplikasi dinilai dari tiga tugas yang diberikan yaitu: Tugas 1. Tampilkan IPK (Indeks Prestasi Kumulatif) semester 2 kemudian unduh KHS (Kartu Hasil Studi) semester 2 tersebut. Tugas 2. Tampilkan dan unduh panduan penggunaan SIAM untuk mengetahui cara pengisian KRS (Kartu Rencana Studi). Tugas 3. Gunakan menu lupa password untuk mengubah password pada akun SIAM. Penilaian aktifitas penggunaan aplikasi digunakan untuk menilai efisiensi dan efektifitas aplikasi saat berinteraksi dengan pengguna. Efisiensi dinilai dari penggunaan sumber daya waktu (satuan detik) yang diperlukan untuk menyelesaikan sebuah tugas. Efisien dinilai dari persentase tugas yang dapat diselesaikan dan dianggap mudah oleh pengguna. Setelah semua pengguna menyelesaikan tugas dan menjawab pertanyaan pada bagian penilaian aktifitas penggunaan aplikasi kemudian dilanjutkan ke bagian penilaian dimensi usabilitas. Penilain dimensi usabilitas merupakan pertanyaan dengan jawaban berskala 1 hingga 5. Tabel 1 menjelaskan skala penilaian dimensi usabilitas yang digunakan. C-30-3

Tabel 1. Skala Penilaian Dimensi Usabilitas Skala Penilaian Deskripsi 1 Pengguna sangat tidak setuju terhadap pernyataan yang diberikan. 2 Pengguna tidak setuju terhadap pernyataan yang diberikan. 3 Pengguna kurang setuju terhadap pernyataan yang diberikan. 4 Pengguna setuju terhadap pernyataan yang diberikan. 5 Pengguna sangat setuju terhadap pernyataan yang diberikan. Tahap Pengolahan Data dengan Metode SEM-PLS Tahap pengolahan data dengan metode SEM-PLS bertujuan untuk mendapatkan nilai pengaruh hubungan antara faktor-faktor usabilitas dan penilaian keseluruhan usabilitas website. Nilai ini direpresentasikan dengan path coefficient. Path coefficient menunjukkan seberapa kuat pengaruh satu variabel terhadap variabel lainnya. Sehingga bobot path coefficient yang berbeda memungkinkan membuat peringkat kepentingan relatif secara statistik (Wong, 2013). Gambar 2 menampilkan pemodelan struktur dimensi usabilitas yang dirancang berdasarkan metode evaluasi usabilitas UWIS. Dimensi overall usability memiliki 3 indikator yaitu efisiensi, efektifitas dan kepuasan yang bersifat formatif. Ketiga indikator ini bersifat formatif karena tidak dapat saling dipertukarkan ( not interchangeable) dan menjadi penyebab tinggi atau rendahnya penilaian usabilitas secara keseluruhan. Ketujuh dimensi yang lain bersifat reflektif karena indikatornya bersifat mencerminkan variasi dalam variabel laten dan bersifat dapat saling dipertukarkan. Gambar 2. Pemodelan Struktur Dimensi Usabilitas Tahap Pengolahan Data dengan Metode Three Box Penilaian persepsi responden terhadap variabel pengukuran dimensi usabilitas dibagi menjadi 3 kategori yaitu baik, cukup dan kurang. Dimensi usabilitas yang dinilai kurang maka perlu menjadi prioritas utama dalam membuat prioritas perbaikan usabilitas. Pembagian dimensi ini akan membantu pemetaan kuadran dari prioritas perbaikan usabilitas. Data kueisoner yang bersifat ordinal dimasukkan ke dalam tabulasi distribusi data untuk dihitung angka indeksnya dan kemudian dikelompokkan ke dalam kategori yang sesuai rentang indeksnya. Metode ini disebut three box method yang dikembangkan oleh Ferdinand (2006) dan telah banyak digunakan pada penelitian bidang manajemen. Angka indeks digunakan sebagai salah satu teknik analisis deskriptif dalam penelitian ini untuk mengetahui persepsi umum responden tentang masing-masing variabel usabilitas. Angka indeks dihitung dari hasil tabulasi distribusi jawaban responden menggunakan persamaan 1. Setiap indikator akan menghasilkan angka indeks dan kemudian indikator- C-30-4

indikator dimensi dirata-rata untuk mendapatkan angka indeks dimensi. Setelah angka indeks masing-masing variabel atau dimensi ditentukan langkah selanjutnya adalah menentukan kategori dari variabel tersebut apakah termasuk baik, cukup atau kurang. Rentang kategori didapatkan dari persamaan 2. Kemudian rata-rata indeks dimensi usabilitas dikelompokkan sesuai rentang kategorinya. = (1) Dimana, Fi adalah frekuensi responden yang menjawab dengan jawaban i; n adalah banyaknya pilihan jawaban; i adalah merepresentasikan pilihan jawaban ke-i. = 3 (2) Dimana, Max Indeks: angka indeks maksimal yang dapat diperoleh jika responden menjawab semua pilihan jawaban dengan nilai tertinggi; Min Indeks: angka indeks minimal yang dapat diperoleh jika responden menjawab semua pilihan jawaban dengan nilai terendah. Tahap Penentuan Prioritas Perbaikan Usabilitas Website Pemetaan dimensi usabilitas dilakukan dengan sebuah grafik sederhana seperti pada teknik Importance Performance Analysis (Martilla & James, 1977). Sumbu x menentukan rentang angka indeks persepsi pengguna. Sedangkan sumbu y menentukan tingkat pengaruh hubungan faktor-faktor usabilitas terhadap peningkatan nilai usabilitas secara keseluruhan. Kemudian setiap faktor usabilitas dipetakan ke dalam kuadran yang menunjukkan tingkat kepentingan dan urgensi perbaikan faktor usabilitas tersebut. Kuadran I ( most critical for improvement) jika faktor usabilitas memiliki nilai path coefficient tinggi dan penilaian responden termasuk kategori kurang. Kuadran II ( critical for improvement) jika faktor usabilitas memiliki nilai path coefficient rendah dan penilaian responden termasuk kategori kurang atau jika faktor usabilitas memiliki nilai path coefficient tinggi dan penilaian responden termasuk kategori cukup. Kuadran III ( less critical for improvement) jika faktor usabilitas memiliki nilai path coefficient rendah dan penilaian responden termasuk kategori cukup. HASIL DAN PEMBAHASAN Hasil pengolahan data evaluasi usabilitas pada aplikasi SIAM menunjukkan bahwa desain metode penentuan prioritas perbaikan usabilitas yang diajukan memiliki goodness of fit yang lebih baik dibandingkan metode sebelumnya. Tabel 2 menunjukkan hasil perbandingan nilai R 2 dari tiga metode yang digunakan untuk mendapatkan nilai path coefficient. Tabel 2. Perbandingan Nilai R 2 Model Prediksi R 2 SEM-PLS Algoritma NonLinear 0.62 SEM-PLS Algoritma Linear 0.49 Regresi Linear Berganda 0.51 C-30-5

Analisis prioritas perbaikan usabilitas dilakukan berdasarkan pertimbangan penilaian responden dan dampak faktor-faktor evaluasi usabilitas. Penilaian responden dihitung menggunakan three box method untuk menentukan frekuensi tingkat keparahan masalah (severity problem) yang dialami responden selama penggunaan aplikasi SIAM. Sedangkan dampak dari perubahan faktor-faktor usabilitas dianalisis menggunakan metode SEM PLS yang ditentukan berdasarkan nilai path coefficient. Kedua pertimbangan ini kemudian disusun menggunakan teknik Importance Performance Analysis untuk membantu pengambil keputusan dalam menyusun prioritas perbaikan usabilitas pada aplikasi SIAM. Tabel 3 menampilkan data penilaian responden dan dampak faktor-faktor usabilitas. Tabel 3. Data Penentuan Prioritas Perbaikan Usabilitas Aplikasi SIAM Penilaian Responden Dampak Faktor-Faktor Usabilitas Keterangan 66.10 0.354 respon (p signifikan) 65.30 0.281 jaminan (p signifikan) 64.33 0.210 kualitas (p signifikan) 66.27 0.142 handal (p signifikan) 69.00 0.068 kontrol (p tidak signifikan) 65.33 0.061 navigasi (p tidak signifikan) 70.27 0.003 komunikasi (p tidak signifikan) Gambar 3 Grafik Penyusunan Prioritas Perbaikan Usabilitas Aplikasi SIAM yang dibuat berdasarkan Tabel 3 menunjukkan bahwa semakin tinggi dampak faktor usabilitas dan semakin rendah penilaian responden maka tingkat urgensi atau kepentingan untuk melakukan perbaikan terhadap faktor tersebut semakin tinggi. Pemetaan dimensi usabilitas dilakukan dengan sebuah grafik sederhana untuk membantu pengambil keputusan dalam menganalisa dan menentukan prioritas perbaikan faktor-faktor usabilitas berdasarkan persepsi pengguna yang menilai kurangnya sebuah usabilitas website sekaligus faktor tersebut memiliki pengaruh tinggi terhadap overall usability. Sumbu x menentukan rentang angka indeks persepsi pengguna. Sedangkan sumbu y menentukan tingkat pengaruh hubungan faktor-faktor usabilitas terhadap peningkatan nilai usabilitas secara keseluruhan. Terdapat tiga kolom pengelompokan penilaian responden berdasarkan metode three box yaitu kolom pertama untuk penilaian kinerja aplikasi yang dinilai rendah pada nilai indeks 19.20 hingga 44.80, kolom kedua untuk penilaian aplikasi sedang pada nilai indeks 44.81 hingga 70.40, dan kolom ketiga untuk penilaian aplikasi tinggi pada nilai indeks 70.41 hingga 96.00. Pengukuran dampak faktor usabilitas dari nilai path coefficient menghasilkan urutan dari yang tertinggi yaitu respon, jaminan, kualitas dan handal. Ketiga faktor usabilitas lainnya (kontrol, navigasi dan komunikasi) tidak dimasukkan pada urutan prioritas karena memiliki nilai path coefficient yang tidak signifikan terhadap perubahan overall usability. Batas pengelompokan dampak usabilitas sebagai pertimbangan pembuatan prioritas dapat bersifaf fleksibel sesuai analisis pengambil keputusan. Pada studi kasus penentuan prioritas perbaikan aplikasi SIAM ini diambil nilai tengah dari nilai path coefficient yaitu sekitar 0.18. Sehingga pada Gambar 3 dapat dikelompokkan menjadi tiga kuadran yaitu: I. Most Critical For Improvement: Setiap faktor-faktor usabilitas yang berada pada kuadran ini dinilai sangat penting untuk menjadi prioritas pertama perbaikan usabilitas pada aplikasi website. Gambar 3 menunjukkan bahwa pada evaluasi usabilitas aplikasi SIAM tidak ada penilaian responden yang menilai aplikasi SIAM sangat kurang sehingga tidak ada faktor usabilitas yang berada pada kondisi sangat mendesak untuk segera diperbaiki. C-30-6

II. Critical For Improvement: Setiap faktor-faktor usabilitas yang berada pada kuadran ini dinilai penting untuk menjadi prioritas perbaikan usabilitas selanjutnya setelah faktorfaktor usabilitas yang berada pada kuadran I diprioritaskan. Gambar 3 menunjukkan bahwa pada evaluasi usabilitas aplikasi SIAM terdapat tiga faktor usabilitas yang berada pada kuadran II yaitu respon, jaminan dan kualitas. Ketiga faktor ini kemudian menjadi faktor yang penting untuk segera dievaluasi dan dianalisis setiap indikator-indikatornya sebagai bahan perbaikan usabilitas website. III. Less Critical For Improvement: Setiap faktor-faktor usabilitas yang berada pada kuadran ini dinilai kurang penting untuk menjadi prioritas karena berdasarkan penilaian pengguna berada pada tingkat yang cukup dan berdasarkan dampaknya terhadap perubahan nilai usabiltity website tidak terlalu tinggi. Gambar 3 menunjukkan bahwa pada evaluasi usabilitas aplikasi SIAM terdapat satu faktor usabilitas yang berada pada kuadran III yaitu handal. I II II III Gambar 3. Grafik Penyusunan Prioritas Perbaikan Usabilitas Aplikasi SIAM KESIMPULAN DAN SARAN Kesimpulan dari hasil penelitian ini adalah sebagai berikut: 1. Penentuan prioritas perbaikan usabilitas dapat dilakukan berdasarkan tingkatan pengaruh hubungan antar variabel (dampak) yang direpresent asikan dengan path coeffiient menggunakan metode Structural Equation Modeling-Partial Least Square (SEM-PLS). 2. Pengelompokan persepsi responden menggunakan three box method dapat digunakan sebagai salah satu faktor penentuan prioritas perbaikan usabilitas yang terkait dengan frekuensi penilaian responden terhadap masalah usabilitas. 3. Hasil pengukuran dampak perubahan faktor-faktor usabilitas dan frekuensi penilaian responden disusun pada grafik Importance Performance Analysis sebagai bentuk rekomendasi penentuan prioritas perbaikan usabilitas. Saran untuk penelitian selanjutnya adalah: 1. Penelitian ini menggunakan kuesioner evaluasi usabilitas UWIS sehingga penelitian selanjutnya dapat menggunakan kuesioner evaluasi usabilitas yang berbeda seperti WAMMI sebagai perbandingan. 2. Perlunya menambahkan pertimbangan masalah persistensi (Nielsen & Loranger, 2006) setelah menemukan prioritas masalah usabilitas yang akan diperbaiki. C-30-7

DAFTAR PUSTAKA Becker, S. a., & Mottay, F. E. (2001). A global perspective on web site usability. IEEE Software, 18(February), 54 61. Ferdinand, A. (2006). Metode Penelitian Manajemen. Semarang: UNDIP PRESS. Keevil, B. (1998). Measuring the usability index of your web site. Proceedings of the 16th Annual International Conference on Computer Documentation, 271 277. Kock, N. (2012). Interdisciplinary Applications of Electronic Collaboration Approaches and Technologies (p. 299). IGI Global. Liu, Y. L., Zhou, C. Z., & Chen, Y. C. (2006). Measuring Customer Satisfaction based on Neural Networks Partial Least Squares Approach. IEEE International Conference on Service Operations and Logistics, and Informatics, 1-5.. Martilla, J. A., & James, J. C. (1977). Importance Performance Analysis. Marketing, 41(1), 77 79. Journal of Nielsen, J., & Loranger, H. (2006). Prioritizing Your Usability Problems. In Prioritizing Web Usability (pp. 123 134). Barkeley: New Riders. Oztekin, A. (2011). A decision support system for usability evaluation of web -based information systems. Expert Systems With Applications, 38(3). Oztekin, A., Delen, D., Turkyilmaz, A., & Zaim, S. (2013). A machine learning -based usability evaluation method for elearning systems. Decision Support Systems, 56. Wong, K. K. (2013). Partial Least Squares Structural Equation Modeling ( PLS -SEM ) Techniques Using SmartPLS. Yamin, S., & Kurniawan, H. (2011). Generasi Baru Mengolah Data Penelitian dengan Partial Least Square Path Modeling (p. 256). Salemba. C-30-8