Web Applikasi Dashboard Untuk Evaluasi Human Computer Interaction dan Usability Akhmad Qashlim S.Kom.,M.Kom Universitas Al Asyariah Mandar medqashlim@gmail.com Abstrak Penyajian informasi dengan cara visualisasi gambar menjadi kebutuhan yang harus terpenuhi tetapi untuk sebagian orang hal ini merupakan sesuatu yang rumit. Penyajian data dalam bentuk grafis akan menarik perhatian dan memberi kesan dinamis. Kemajuan teknologi berbasis web aplikasi untuk menyajikan informasi dan komunikasi memberikan solusi pada persoalan ini serta kemudahan menggunakan menjadi harapan orang untuk menyelesaikan proyek tersebut. Penelitian ini menyajikan web aplikasi dashboard yang mencoba untuk menjadi tools dalam penyajian data statistik berupa angka. Metodologi statistik digunakan untuk perhitungan dan analisis data didasarkan pada perhitungan nilai indeks dan nilai mean yang kemudian dirubah dalam bentuk dashboard. Implementasi sistem dilakukan pada data hasil pengukuran evaluasi human computer interaction dan usability pada 145 mahasiswa pengguna e-learning di sebuah perguruan tinggi. Hasil penelitian ini menunjukkan web aplikasi yang menyajikan dashboard grafik untuk mengetahui tingkat penerapan Human Computer Interaction, pie digram untuk karateristik jenis kelamin responden, diagram batang untuk hasil analisa kriteria usability dan diagram analisis pareto untuk membantu melihat prioritas masalah yang harus segera diselesaikan dan yang tidak harus diselesaikan. Kata kunci: Web Aplikasi dashboard, Human Computer Interaction, Usability, nilai indeks 1. Pendahuluan Metode penyajian informasi dengan cara visualisasi telah dilakukan sejak zaman manusia purba yang melukiskan simbol pada dinding gua, sehingga metode ini bukan sesuatu yang baru tetapi sesuatu yang mengalami perkembangan sampai pada zaman modern yang tetap memanfaatkan gambar sebagai cara untuk menyampaikan informasi (Lankow, et al. 2002 ). Kegunaan visualisasi informasi semakin luas dan makin beragam utamanya dalam peningkatkan komunikasi dalam bisnis, editorial, ilustrasi data, dan advertising. Kemajuan pun teknologi telah mendukung untuk pemenuhan kebutuhan dalam menyelesaikan proyek-proyek informasi tersebut (Athanasiadis dan Andreopoulou, 2013). Salah satu bentuk teknologi yang banyak digunakan adalah website (Chassiakos, A.P.dan, Sakellaropoulos, S.P, 2008). Website sebagai aplikasi dengan kemampuan yang terdistribusi, dinamis, dengan sumber informasi yang terus berkembang dalam berbagai bidang untuk setiap kegiatan modern semakin populer untuk digunakan dalam menyampaikan informasi (Lawrence S dan Giles CL., 1999; Athanasiadis dan Andreopoulou Z., 2013). Integrasi teknologi website dengan dashboard sebagai alat untuk mengkomunikasikan informasi (Hariyanti, E., 2008) semakin komplit untuk kebutuhan visualisasi informasi. Dashboard sebagai bagian dari bidan Bisnis Intelligent menawarkan sajian laporan yang menarik dan mudah dimengerti oleh masyarakat dan manajer, dan dapat membantu pemahaman tentang isu-isu yang relevan (Triantafyllou, et. al., 2006). Visualisasi informasi menggunakan dashboard dan disajikan menggunakan website merupakan kasus dalam bidang antarmuka pengguna (user interface) dan berkenang dengan hubungan antara manusia dan komputer (human computer interaction) (Lankow, et al. 2002 ). Penelitian ini akan menerapkan web aplikasi dashboard dan kemudian melakukan uji coba sistem menggunakan data hasil evaluasi human computer interaction dan usability pada elearning salah satu perguruan tinggi. Web aplikasi dashboard dibangun menggunakan perhitungan statistik.
2. Landasan Teori 2.1. Web Aplikasi Dashboard Sistem informasi berbasis web semakin berkembang dan dirancang dalam format yang mudah dimengerti oleh masyarakat dan manajer, dan dapat membantu pemahaman tentang isu-isu yang relevan (Triantafyllou, et. al., 2006). Dashboard merupakan bidang rangcangan informasi yang telah lama digunakan untuk mengkomunikasikan metrik-metrik bisnis yang dianggap penting. Metode ini menggunakan antarmuka terbaik untuk komunikasi visual. Dashboard dibangun sebagai ringkasan data dari sebuah organisasi menjadi beberapa diagram garis, diagram pie, spedometer dan kode-kode warna (Lankow, et al. 2002 ). Integrasi dashboard dan teknologi website melalui Tahap identifikasi kebutuhan dan perencanaan yang mempertimbangkan segala kemungkinan pembangunan dashboard di lingkungan organisasi (Hariyanti, E., 2008) 2.2. Human Computer Interaction Interaksi manusia dan Komputer adalah disiplin ilmu yang berkaitan dengan desain, evaluasi dan implementasi sistem komputer interaktif untuk digunakan dalam mempelajari fenomena yang terjadi disekitar manusia. Disiplin ilmu ini mencakup studi manusia dan mesin dalam beriteraksi, Di sisi mesin meliputi: teknik dalam komputer grafik, sistem operasi, bahasa pemrograman, dan lingkungan pengembangan yang relevan. Sementara di sisi manusia meliputi teori komunikasi, grafis dan disiplin desain industri, linguistik, ilmu-ilmu sosial, psikologi kognitif, dan kinerja manusia, metode rekayasa dan desain perangkat lunak (Hewett et al., 2009). Masalah ini berkaitan dengan istilah "user friendly" sehingga pakar profesional di bidang user interface cenderung menggunakan istilah lain. Bidang itu sendiri dikenal dengan nama-nama seperti CHI (computer-human interface), HCI (human-computer interaction), UCD (user-centre design), MMI (man-machine interface), HMI (human-machine interface), OMI (operator-machine interface), HF (manusia faktor) dan ergonomi. Perbedaan istilah tersebut terletak pada nama namun pada konsep, tujuan dan teorinya sama di mana lebih menempatkan manusia sebagai faktor utama perancangan sistem (Nielsen, 1993). Partisipasi manusia merupakan subjek utama dalam metode penelitian HMI, menemukan subjek yang tepat dan meyakinkan mereka untuk benar benar ingin terlibat sebagai responden merupakan hal yang sulit dan memakan banyak waku utamanya untuk kepentingan evaluasi sistem yang dirancang untuk populasi dan situasi tertentu, ini kemudian menjadi tantangan dalam studi HMI (Lazard et al., 2010). Metode HMI dapat membantu menemukan masalah pada sistem dan yang paling relevan adalah masalah kegunaan (usability) (Oztekin et al., 2013), sementara subjek yang paling tepat untuk evaluasi sebuah antarmuka sistem atau perangkat lunak adalah orang-orang yang relevan dan mempunyai pengalaman yang banyak dalam mengguanakan sistem. Jumlah peserta juga merupakan faktor penting, perbedaan usia pun memiliki pengaruh yang sangat besar dalam hal kemampuan fisik, yang secara langsung mempengaruhi kemampuan mereka untuk bertindak sebagai responden dalam penelitian, pengumpulan data dilakukan dengan wawancara, observasi dan kuesioner, hal ini dilakukan sama seperti dengan metode penelitian yang lain (Lazard et al., 2010). Keterkaitan antara HMI dengan disiplin ilmu lain disajikan pada
Gambar 2.1. Konteks pengguna berada dalam lingkungan sosial, organisasi dan pekerjaan (U1). Dalam konteks ini ada aplikasi yang menggunakan sistem komputer (U2). Proses penggunaan sistem komputer cocok untuk digunakan sebagai pembelajaran manusia, sistem tailorability, atau strategi lain untuk bekerja pada aspek manusia dan teknis (U3). Selain penggunaan dan konteks sosial dari komputer, di sisi manusia, juga memperhitungkan pengolahan informasi manusia (H1), komunikasi (H2), dan fisik atau karakteristik pengguna (H3). Di sisi komputer, berbagai perangkat Input dan output telah dikembangkan untuk mendukung interaksi manusia dengan mesin (C1). Perangkat tersebut digunakan sebagai media untuk melakukan dialog (C2). Pada gilirannya teknik ini digunakan untuk menerapkan elemen desain yang lebih besar, seperti antarmuka (C3). Sebagai pendukung dialog dapat membuat ekstensif menggunakan teknik komputer grafis (C4). Dialog yang kompleks mengarah pada arsitektur sistem yang diperlukan untuk mendukung fitur seperti program interconnec tabel aplikasi, windows, respon real-time, komunikasi jaringan, multi-user interface dan koperasi, dan multi-tasking (C5). Akhirnya, terdapat proses perancangan melalui pendekatan desain untuk interaksi manusia dan komputer (D1), teknik dan alat untuk menerapkannya (D2), teknik untuk mengevaluasi (D3), dan sejumlah desain klasik untuk studi (D4). Masing-masing komponen dari proses pembangunan terikat dengan dengan pengguna dalam suatu hubungan timbal bali yang saling berpengaruh satu sama lainnya. Gambar 2.1. Ruang Linkup Konsep HMI (Hewett et al., 2009) 2.3. Usability Evaluasi usability merupakan kegiatan penting dalam pengembangan sistem interaktif. Desain antarmuka pengguna harus melalui iterasi desain dan evaluasi sampai menunjukkan hasil yang memuaskan (Zhang, 2007), dan mudah untuk dipelajari (Nielsen, 1993). Evaluasi yang paling relevan untuk sebuah sistem yakni dengan mengindetifikasi faktor usability (Oztekin et al, 2013). Sebelum sistem diimplementasikan, sebaiknya dilakukan pengujian sistem tersebut dengan cara
evaluasi untuk memastikan bahwa perangkat lunak telah memenuhi kriteria dan persyaratkan yang ditetapkan, evaluasi usability sebagian besar ditunjukkan oleh interaksi manusia dan komputer (Moha et al, 2007). Evaluasi e-learning harus menggunakan kriteria yang terbaik. Kriteria untuk indentifikasi masalah usability pada sebuah sistem interaktif pertama kali diusulkan oleh Nielsen (1993) yakni: learnability, efficiency, memorability, errors, dan satisfaction kemudian Dringus dan Cohen s, (2005) menambahkan kelima indikator tersebut dengan mengusulkan 13 kategori untuk evaluasi heuristik yakni: Visibility, Functionality, Aesthetics, Feedback and Help, Error Prevention, Memorability, Course Management, Interactivity, Flexibility, Consistency, Efficiency, Reducing Redundancy, and Accessibility. Kriteria ini dapat membantu menemukan masalah usability. Secara operasional metode evaluasi usabiility dapat dilihat pada Tabel 2.1. Tabel 2.1. Metode Evaluasi Usability Pengguna Metode telibat? Model / Metrics-based Testing Inspection Inquiry Tidak Ya Tidak Ya (Sumber: Zhang et al., 2007) Peran evaluator kegunaan menggunakan model atau alat untuk menyelesaikan langkah-langkah usability mengamati pengguna dalam menggunakan sistem; mengumpulkan dan menganalisis data untuk mengidentifikasi masalah. Review antarmuka pengguna dan mencobanya untuk menemukan masalah Berkomunikasi dengan pengguna untuk mendapatkan informasi masalah usability Pada umumnya usability dianggap sebagai standar suatu produk untuk memastikan bahwa produk interaktif tersebut mudah dipelajari, efektif digunakan, dan menyenangkan. Ini melibatkan pengguna dalam mengoptimalkan interaksi dengan produk interaktif untuk memungkinkan mereka melakukan kegiatan mereka baik di tempat kerja, maupun di sekolah, dan dalam kehidupan sehari-hari. Karena hal tersebut ditinjau dari perspektif pengguna sehingga sangat berkaitan dengan human computer interaction. 2.4. Metode Kualitatif Penelitian kualitatif adalah penelitian yang bersifat deskriptif yang mampu menerangkan gejala atau fenomena secara lengkap dan menyeluruh ini merupakan metodologi untuk penelitian lapangan yang diadopsi dari disiplin ilmu seperti sosiologi dan antropologi untuk mempelajari fenomena sosial dan masalah yang berkaitan dengan faktor manusia (human factor), tujuannya memberikan pendapat terhadap perasaan dan persepsi dari para responden sebagai subjek yang diteliti (Lodico et al., 2006). Penelitian tentang pengguna dengan hal-hal yang mengganggu sering menggabungkan dari penelitian kuantitatif dan kualitatif, atau yang utama kualitatif (Lazard et al., 2010). Penelitian yang bersifat deskriptif digunakan untuk menyajikan data dengan cara mendeskripsikan atau memberi gambaran terhadap objek yang diteliti melalui data sampel tanpa melakukan analisis dan membuat kesimpulan yang berlaku umum. Analisis deskriptif dapat dilakukan dengan menggunakan teknik analisis indeks untuk menggambarkan persepsi responden atas pertanyaan-pertanyaan yang diajukan (Ferdinand, 2006). Adapun rumus yang digunakan dalam perhitungan indeks jawaban responden adalah sebagai berikut:
Nilai Indeks = ( %F1 x 1 + %F2 x 2 + %F3 x 3 + %F4 x 4 + (%F5 x 5)) / 5 (2.2) Keterangan: F1 = Frekuensi responden yang menjawab 1 F2 = Frekuensi responden yang menjawab 2 F3 = Frekuensi responden yang menjawab 3 F4 = Frekuensi responden yang menjawab 4 F5 = Frekuensi responden yang menjawab 5 Selanjutnya dilakukan pengukuran data menggunakan skala interval menggunakan metode kerangka tiga kotak (three-box method) (Ferdinand, 2006). 3. Metodologi Perancangan dashboard difokuskan pada 3(tiga) tahapan (Hariyanti, 2008), yaitu a. Identifikasi kebutuhan: Tahap identifikasi kebutuhan dilakukan untuk menentukan Indikator yang menjadi ukuran, kemudian merubah data kedalam bentuk dashboard sesuai kebutuhan. Indikator tersebut adalah memorability, learnability, error prevantion, accessibility dan visibility. Sementara pengukuran menggunakan nilai indeks dan nilai mean statistik. b. Tahap perencanaan dilakukan untuk mempersiapkan analisis dan pengolahan data agar dapat menjadi informasi yang mampu ditampilkan dalam bentuk dashboard. Tahap perencanaan dimasukkan dalam metode analisis data web aplication dashboard. c. Tahap perancangan prototype difokuskan pada upaya untuk menyajikan hasil analisis data melalui tampilan antarmuka yang menarik dan mudah dimengerti. 3.1. Kerangka Sistem Web Dashboard Aplikasi Kerangka sistem dimaksudkan untuk memberikan gambaran tentang alur penelitian yang akan dihasilkan. Sistem pada dasarnya memiliki tiga komponen utama yakni input, proses dan output. Kerangka sistem dalam penelitian ini ditunjukkan pada gambar 3.2 Gambar 3.2. Kerangka Sistem web dashboard aplikasi
Setelah melakukan pengumpulan data dengan cara manual assessment maka data kemudian dibuat kedalam format yang sudah dikonfigurasikan dengan field pada database yang dirancang menggunakan MySQL, selanjutnya data tersebut di upload ke dalam web aplikasi dan dimasukkan ke tabel data_bank, data kemudian diproses berdasarkan masing-masing kriteria usability yaitu dengan menghitung indeks rata-rata berdasarkan 5 point skala likert menggunakan aturan yang sudah ditentukan dalam pseudocode begitupun pada data demografi responden. Hasil pengolahan data kemudian disajikan dalam bentuk dashboard untuk point usability, diagram pareto untuk indeks rata-rata setiap indikator dan diagra pie untuk kareateristik responden. 3.2. Metode Analisis Data Hasil jawaban responden terhadap kuesioner selanjutnya dilakukan pengolahan dan analisis data dengan cara sebagai berikut: 1. Untuk mengolah data demografi responden digunakan program SPSS versi 16 for windows dan untuk menghitung nilai indeks setiap indikator (Ferdinand, 2006), maka digunakan web aplikasi dashboard dengan skoring minimum 1 maksimal 5. adapun contoh rumus perhitungannya sebagai berikut: Nilai Indeks = ( %F1x1 + %F2x2 + %F3x3 + %F4x4 + %F5x5 )/5 Nilai Indeks = ( %0x1 + %2,1x2 + %13,3x3 + %58,0x4 + %26,6x5 )/5 = 4,09 Dari hasil perhitungan di atas didapatkan nilai indeks variabel EP1 = 4,09. Selanjutnya dilakukan pengukuran data menggunakan skala interval menggunakan metode kerangka tiga kotak (three-box method) (Ferdinand, 2006). Jawaban responden mulai angka 1 hingga 5, jumlah maksimal untuk 20 pertanyaan pada setiap responden adalah 20 5=100 angka dan minimal 20 1= 20 angka. Jadi skor berkisar antara 20 sampai 100. Nilai terendah diperoleh jika semua responden (143 responden) memberikan pilihan jawaban dengan skor 1 (sangat tidak setuju) maka perhitungannya sebagai berikut: Nilai Indeks = ( 100x1 + 0x2 + 0x3 + 0x4 + 0x5 )/ 5 = 100 5 = 20 Sementara angka indeks tertinggi diperoleh jika semua responden (143 responden) memberikan jawaban dengan skor tertinggi yaitu 5 (sangat setuju) maka perhitungan sebagai berikut: Nilai Indeks = ( 0x1 + 0x2 + 0x3 + 0x4 + 100x5 ) / 5 = 500 5 = 100
Selanjutnya ditentukan rentang dengan cara nilai tertinggi dikurangi nilai terendah yaitu 100 20 = 80. Dari hasil pengurangan tersebut kemudian dikategorikan dengan three-box method (Ferdinand, 2006) yaitu 80 dibagi 3 sehingga hasilnya adalah: Nilai indeks 20 Nilai indeks 47,66 Nilai indeks 74,32-46,66 = Interpretasi Rendah - 73,32 = Interpretasi Sedang - 100 = Interpretasi Tinggi 4. Hasil Penelitian Hasil dari penelitian yang telah dilakukan yaitu dengan menerapkan web aplikasi dashboard. Hasil proses data berdasarkan perhitungan nilai indeks akan ditampilkan dalam bentuk dashboard untuk mengetahui tingkat penerapan Human machine interface, digram pie untuk karateristik jenis kelamin responden, diagram batang untuk hasil analisa kriteria usability dan diagram analisis pareto untuk membantu melihat prioritas masalah yang harus segera diselesaikan dan yang tidak harus diselesaikan. 4.1. Detail hasil Web Dashboard Aplikasi Web aplikasi dashboard memiliki dua halaman utama yaitu halaman administrator dan halaman pengujung. Pada halaman administrator terdapat empat menu utama yaitu: 1. Input data file excel Fasilitas ini memungkinkan administrator untuk melakukan upload file data kuesioner dalam format excel. Contoh format data yang harus disesuaikan dengan field pada database MySQL disediakan pada bagian ini dan dapat di download. 2. Analisis data Fasilitas ini memungkinkan admin untuk melakukan analisis terhadap data yang telah di upload. Analisis dilakukan dengan menggunakan perhitungan indeks rata-rata. Hasil analisis dapat langsung diketahui melalui halaman analisis data yang telah disediakan. 3. Pilih dataset Dari sekian banyak data yang dapat di upload oleh admin, tentunya sistem hanya mampu menanmpilkan satu set data hasil analisis. Fasilitas ini memungkinkan admin untuk memilih dataset mana yang akan ditampilkan atau dataset mana yang ingin dilihat hasil analisisnya. 4. Pertanyaan Research Admin mempunyai hak akses untuk melakukan perubahan pada pertanyaan kuesioner dan melihat jawaban responden. Halaman pengunjung web aplikasi dashboard menyediakan lima menu utama yang dapat diakses yakni beranda, HCI, usability, dan profil. Halaman beranda memuat konten hasil analisa data yang dilakukan oleh administrator. Hasil analisa menyajikan dashboard untuk melihat point usability. Kemudian diagram pie untuk memudahkan melihat karateristik responden, diagram balok untuk merangkin nilai rata-rata setia kriteria usability sementara diagram pareto sebagai pendukung keputusan tentang indikator yang harus segera mendapat perbaikan dan indikator yang tidak harus segera mendapat perbaikan. Diagram balok pada analisis pareto menunjukkan tingkat kepentingan masing-masing masalah dan linechart mengindikasi skala prioritas permasalah. Selain itu halaman HCI dan usability memuat konten tentang teori penelitian sementara halaman profil merupakan identitas dari developer sistem.
4.2. Implementasi Sistem Implementasi sistem dilakukan dengan menggunakan perhitungan nilai indeks untuk menyajikan hasil pengolahan data kuesioner dalam bentuk dashboard. Implementasi web aplikasi dashboard terdiri dari dua halaman utama yaitu halaman administrator dan halaman pengunjung. Memiliki satu input dan satu proses. Dashboard untuk mengetahui tingkat penerapan HMI, digram pie untuk karateristik jenis kelamin responden, diagram batang untuk hasil analisa kriteria usability dan diagram analisis pareto untuk membantu melihat prioritas masalah yang harus segera diselesaikan dan yang tidak harus diselesaikan. a. Input Fasilitas input sistem dapat diakses melalui halaman administrator. Fasilitas ini dirancang dan digunakan untuk dapat memasukkan data hasil kuesioner dalam bentuk excel. Format kolom file data yang di upload dikonfigurasikan dengan field pada database yang digunakan. Gambar 4.1. menunjukkan halaman administrator web aplikasi Gambar 4. 1. Halaman administrator web aplikasi Administrator memiliki hak akses untuk mengelola web aplikasi seperti melakukan upload data dan melakukan proses analisis, menentukan pilihan dataset yang akan ditampilkan dan menambah atau mengurangi pertanyaan penelitian. Sementara Tabel 4.1. merupakan contoh format data file upload. Format data yang telah dikonfigurasikan dengan field pada database MySQL dapat di download pada halaman administrator. Tabel 4. 1. Format data file upload b. Proses Proses dilakukan dengan menggunakan perhitungan nilai indeks yang melibatkan data master hasil upload untuk menghasilkan suatu output sebagaimana yang telah ditentukan pada
kerangka sistem gambar 3.2. Gambar 4.2. menunjukkan analisis data, sementara gambar 4.3. merupakan pseudocode untuk proses analisis data. Gambar 4. 3. Form proses analisis data Gambar 4. 2. Pseudocode proses perhitungan nilai indeks rata-rata
c. Output Output merupakan hasil dari proses perhitungan nilai indeks yang menyediakan informasi tentang kualitas usability, hasil analisis kriteria usability, karateristik responden, diagram pareto dan tabel point usability. Gambar 4.4 menunjukkan dashboard output web aplikasi. Gambar 4. 4. Halaman utama web aplikasi dashboard 5. Kesimpulan Penyajian Informasi dengan cara visual dapat membantu memberikan pemahaman yang komplet kepada audience dan mudah. Penyajian data dalam bentuk dashboard untuk mengontrol analisys tingkat penggunaan sistem dapat memberikan pesan yang menarik dan ringkas serta menjadikan informasi sebagai perhatian audience (human interest). Berbagai visualisasi lainnya disarankan untuk mengembangkan aplikasi iniseperti informasi interaktif, gambar bergerak dan animasi yang pada akhirnya dapat digunakan untuk mempromosikan atau mendistribusikan sebuah sebuah kontent atau data-data mentah.
Daftar Pustaka 1. Athanasiadis, A. dan Andreopoulou, Z. 2013, A web Information System application on Forest Legislation: The case of Greek Forest Principles. Procedia Technology ( 8 ) 292 299. 2. Chassiakos, A.P.dan, Sakellaropoulos, S.P 2008, A web-based system for managing construction information. Advances in Engineering Software (39) 865 876. 3. Dringus, L.P., Cohen, M.S., 2005. An adaptable Heuristic Checklist for Online Courses, Frontiers in Education Proceedings, 6-11. 4. Ferdinand, A.T. (2006). Metodologi Penelitian Manajemen, Edisi II, Badan Penerbit Universitas Dipenogoro, Semarang. 5. Hariyanti, E, 2008, Theses, Dashboard Development Methodology As A Tool For Monitoring Organization's Performance (Case Study: Institut Teknologi Bandung), Informatics, JBPTITBPP. 6. Hewett, T. T., Baecker, R., Card, S., Carey, T., Gasen, J. dan Mantei, M., 2009. ACM SIGCHI curricula for human computer interaction. ACM. 7. Lankow, J., Ritchie, J., Crooks, R., 2002, Infografis: Kedasyatan Cara Bercerita Visual, PT. Gramedia Pustaka Utama, Jakarta 8. Lazard, J., Feng H.J. dan Hochheiser H. 2010, Research Methods In Human Computer Interaction, A John Wiley and Sons, Ltd Publication 9. Lawrence S dan Giles CL., 1999, Accessibility of information on the Web, ACM Digital Library 10. Lodico, M.,G. dan Spaulding D.T., dan Voegtle K.H., 2006, Methods In Educational Research, John Wiley & Sons, Inc Publisher 11. Moha, N., Gaffar A., dan Michel G., 2007 Remote.Usability valuation of Web Interfaces, Human Computer Interaction Research In Web Design an Evaluation, Idea Group Inc. is publisher 273-229. 12. Nielsen J., 1993, Usability Engneering, Morgan Kaufman,, ISBN 0-12-518406-9., Academy Press, San Francisco 13. Oztekin, A., Delen D., A. Turkyilmaz dan Selim Zaim, 2013, A machine Learning-based Usability Evaluation Method for ELearning Systems, Decision Support Systems 14. Triantafyllou, A.G., Evagelopoulos, V., dan Zoras,S. 2006, Design of a web-based information system for ambient environmental data Journal of Environmental Management (80) 230 236. 15. Zhang Z., 2007, Usability Evaluation, Human Computer Interaction Research In Web Design an Evaluation Idea Group Inc. is publisher. 209-228.