PERBANDINGAN MODEL NIELSEN DAN PREECE UNTUK MENGEVALUASI USABILITY APLIKASI BERBASIS WEB (STUDI KASUS : CORPORATE PORTAL PALCOMTECH) Adelin STMIK PalComTech Abstract Usability is the ability of a software product to be understood, learned, used and attractive to the user, when used under certain conditions. Modeling Usability according to Nielsen defined by five quality components include: learnability, efficiency, memorability, errors, and satisfaction. According to Preece, usability is a key concept of Human Computer Interaction (HCI), which focuses on making the system easy to learn and use. Usability is very important in interaction design, which includes: efficiency (efficiency), effectiveness (effectivity), safety (safety), utility (utility), easy to learn (learnability), and easy to remember (memorability). So it can be stated that the usability according to Nielsen and Preece means an application or system should be easy to learn and easy to use. However there are a few different usability criteria between them, namely: Nielsen criteria include errors, and satisfaction, while Preece using effectivity criteria, safety, and utility. This will lead to differences in the implementation of usability in an application or system built. This study will compare the usability model Nielsen and Preece in measuring usability of web-based applications with case studies Corporate Portal Palcomtech Palembang. The method used is qualitative interviews and questionnaires to respondents who are users of the portal. Through this research we will get a more precise model of usability for measuring usability Student Portal Palcomtech of both models were compared. Keywords: Usability, Quality Components,, Human Computer Interaction, Learnability, Memorability PENDAHULUAN Perkembangan World Wide Web, atau biasa disingkat Web telah memberi dampak yang sangat signifikan dalam proses akses informasi yang tersedia di internet. Kebutuhan akan informasi, mendorong pesatnya pertumbuhan website di intenet. Aplikasi web telah berkembang menjadi sangat kompleks dan canggih. Aplikasi berbasis web telah menyentuh berbagai bidang, melalui penyediaan berbagai akses informasi dan layanan yang dibutuhkan oleh para pengguna dengan latar belakang dan karakteristik yang berbeda-beda. Latar belakang dan karakteristik pengunjung web yang berbeda-beda, menyebabkan daya penerimaan atau akseptabilitas menjadi berbeda-beda pula atas informasi yang disediakan. Hal ini akan menentukan apakah seorang pengunjung akan kembali lagi ke website tersebut atau beralih ke website lain. Kemampuan sebuah website dalam menyajikan informasi yang dibutuhkan, kemudahan akses, dan navigasi dengan layout yang terstruktur dapat menjamin seorang pengunjung untuk tetap betah mengunjungi website tersebut. Dengan kata lain akseptabilitas pengguna untuk sebuah aplikasi web bergantung pada usability web tersebut. Berdasarkan hasil studi yang dilakukan Forrester Research, dinyatakan bahwa sekitar 5 dari potential sales hilang karena pengguna tidak bisa menemukan informasi dan dari pengguna tidak kembali
lagi mengunjungi website karena pengalaman buruk ketika pertama kali mengunjungi website tersebut (http://www.usability.gov). Usability menurut Nielsen (99) adalah suatu atribut kualitas yang menunjukkan seberapa mudah suatu antarmuka digunakan. Usability didefinisikan melalui lima komponen kualitas yang meliputi: learnability, efficiency, memorability, errors, dan satisfaction. Menurut Preece (99), usability merupakan sebuah konsep kunci dari Human Computer InteractionI (HCI) yang menitikberatkan pada pembuatan sistem yang mudah dipelajari dan digunakan. Usability adalah hal yang sangat penting dalam desain interaksi, yang meliputi: efisiensi (efficiency), efektifitas ( effectivity), keamanan ( safety), utilitas ( utility), mudah dipelajari (learnability), dan mudah diingat (memorability). Jadi dapat dinyatakan bahwa usability menurut Nielsen dan Preece artinya sebuah aplikasi atau sistem hendaknya mudah dipelajari dan mudah digunakan. Namun ada beberapa kriteria usability yang berbeda diantara keduanya, yakni: kriteria Nielsen mencantumkan errors, dan satisfaction, sedangkan Preece menggunakan kriteria effectivity, safety, dan utility. Hal ini akan menyebabkan perbedaan implementasi usability pada sebuah aplikasi atau sistem yang dibangun. Keberadaan sebuah website bagi suatu lembaga saat ini telah menjadi suatu hal yang penting, karena kemampuannya dalam penyebaran informasi hingga dapat diakses oleh semua orang dari segala lapisan di penjuru dunia. PalComTech sebagai salah satu lembaga pendidikan, telah memanfaatkan dan terus melakukan inovasi website dalam bentuk portal dari sejak awal berdiri hingga sekarang. Website telah menjadi media yang sangat strategis bagi PalComTech dalam penyampaian informasi dan komunikasi. PalComTech Corporate Portal, merupakan salah satu aplikasi berbasis web yang digunakan oleh PalComTech sebagai bentuk pelayanan berbasis web kepada civitas akademika. Portal PalComTech ini menyediakan berbagai informasi dan layanan akademik khusus bagi dosen, tenaga kependidikan, dan staf. Keberagaman pengguna PalComTech Corporate Portal, menuntut kemampuan usability bagi masing-masing pengguna, agar tujuan dari keberadaan Corporate Portal tersebut dapat tercapai secara maksimal. Pengukuran usability dapat dilakukan untuk menentukan bagaimana tingkat akseptabilitas pengguna terhadap web portal tersebut. LANDASAN TEORI Human Computer Interaction (HCI) Konsep Human Computer Interaction atau kadang disebut sebagai Man-Machine Interaction secara otomatis muncul seiring dengan keberadaan komputer atau mesin itu sendiri. Hal ini tak lain disebabkan karena mesin secanggih apapun tak akan berguna jika tidak dapat digunakan sebagaimana mestinya oleh manusia. Alasan mendasar ini secara sederhana menunjukkan bahwa hal utama yang harus dipertimbangkan dalam desain HCI adalah : functionality dan usability (D. Te eni dkk, 007). Usability Berdasarkan Standar ISO/IEC 96- (Bevan, 00), usability merupakan kemampuan suatu produk software untuk dipahami, dipelajari, digunakan, dan atraktif bagi pengguna, bila digunakan dalam kondisi tertentu.
Standar IEEE Std.60.-990, menyatakan bahwa usability adalah kemudahan bagi user dalam mempelajari cara mengoperasikan, menyiapkan input, dan mengintepretasikan output dari sebuah sistem atau komponen. Sedangkan, ISO 9- (Bevan, 00), usability mengacu pada sejauh mana suatu produk dapat digunakan oleh pengguna tertentu untuk mencapai tujuan tertentu dengan efektivitas, efisiensi, dan kepuasan dalam konteks penggunaan tertentu. Usability Model Nielsen (99) Model Nielsen dikembangkan oleh Jacob Nielsen. Model ini menyatakan usability merupakan bagian dari usefulness (kegunaan). Di dalam usability terdapat 5 atribut yaitu mudah untuk dipelajari (learnability), efisien untuk digunakan ( efficiency), mudah diingat (memorability), sedikit kesalahan (few error) dan kepuasan subjective ( satisfaction). Model Nielsen fokus terhadap akspetabilitas yang berarti jika sistem tidak berguna, misalnya tidak memenuhi kebutuhan pengguna, maka sistem tidak akan diterima meskipun sistem tersebut dapat digunakan (usable). Usability Model Preece (99) Jenny Preece (99) mendefiniskan usability sebagai ukuran kemudahan sebuah sistem untuk dipelajari atau digunakan, tingkat keamanannya, efektivitas dan efisiensinya, serta sikap pengguna. Definisi ini merupakan pendekatan yang berpusat pada desain dan proses evaluasi. Pada tahun 00, Preece mengembangkan definisi usability dengan memperhitungkan penggunaan komputer sebagai media untuk konferensi. Usability kemudian didefinisikan dalam konteks komunitas pembelajaran online, yaitu software dengan usability yang baik mampu mendukung proses pembelajaran yang cepat, dengan retensi ketrampilan tingkat tinggi, tingkat kesalahan yang rendah, dan produktivitasnya tinggi. Software yang konsisten, dapat dikontrol dan diprediksi, serta efektif dan nyaman digunakan (Preece:00). Definisi ini menghubungkan antara usability dan pengalaman pengguna. Website Menurut Slamet Riyanto (007) web adalah fasilitas hypertext yang mampu menampilkan data berupa teks, gambar, suara, animasi dan multimedia lainnya, dimana diantara data-data tersebut saling terkait dan berhubungan satu dengan lainnya. Website merupakan tempat penyimpanan data dan informasi berdasarkan topik tertentu. Untuk dapat mengakses website diperlukan sebuah web browser METODE PENELITIAN Jenis penelitian ini adalah case study yaitu suatu cara yang sistematis dalam melihat suatu kejadian, mengumpulkan data, menganalisa informasi, danmelaporkan hasilnya. Metode penelitian yang digunakan adalah metode penelitian kualitatif dalam hal penyusunan panduan wawancara dan pertanyaan-pertanyaan kuesioner. Akan tetapi dalam hal evaluasi aplikasi berbasis web dengan perbandingan Model Nielsen dan Model Preece, penelitian ini juga menggunakan metode penelitian kuantitatif dengan melakukan perhitungan statistik. 5
Populasi dalam penelitian ini adalah seluruh dosen, staf, dan tenaga kependidikan. Dimana proses pemilihan responden tidak dilakukan secara acak akan tetapi dilakukan dengan memilih orang-orang yang memiliki kapasitas untuk menjawab pertanyaan-pertanyaan yang diberikan. Penarikan sampel dalam penelitian ini dilakukan dengan menggunakan metode purposive sampling, yang dapat dilihat pada tabel. Tabel. Sampel Penelitian No Kriteria Sampel Jumlah Sampel. Dosen Tetap. Dosen Luar Biasa 7. Staf BAAK. Staf Marketing, LPPM dan 5 perpustakaan, Sapras dan UPT Jumlah 07 Metode pengujian kualitas instrumen penelitian ini dilakukan dengan cara pengujian validitas dan reliabilitas kuisioner yang akan digunakan dalam penelitian sehingga dapat diketahui sampai sejauh mana kuesioner dapat menjadi alat pengukur yang valid dan reliabel dalam mengukur suatu gejala yang ada. HASIL DAN PEMBAHASAN Analisis Data Penelitian Berdasarkan Kriteria Model Setelah dilakukan penyebaran kuisioner terhadap responden, maka kemudian dilakukan rekap terhadap hasil kuisioner yang telah disebar. Persentase hasil jawaban kuisioner yang dilakukan terhadap 07 responden dapat dilihat pada tabel distribusi frekuensi jawaban responden untuk kriteria usability model Nielsen dan model Preece. Learnability Learnability pada penelitian ini mengukur kemudahan website untuk dipelajari dan digunakan yang dapat dilihat dengan item pernyataan seperti yang disajikan pada tabel Tabel. Distribusi Frekuensi Jawaban Responden untuk Kriteria learnability Model Nielsen dan Model Preece Website ini mudah dipelajari Website ini memiliki peta situs sehingga mudah untuk dipelajari Website ini mudah digunakan 00 (9,5%) (,7%) 99 (9,5) (.8%) 99 (9,5%) 8 (7,5) (.7%) (,7%) 6
Website ini cukup mudah dijelajahi dengan cara trial and error 9 (7,8%) Rata-rata,75 (.%) 50 (6,7%) 6,5 (59, %) 8 (5,5%) 7 (,56%) (.87%) Berdasarkan tabel. Secara rata-rata (59,%) responden menyatakan setuju bahwa Coorporate Portal memiliki kemampuan learnability, dengan kekurangan hanya pada tidak tersajinya peta situs. Efficiency Eficiency pada Coorporate Portal dinilai dari cara portal mendukung pengguna dalam menyelesaikan tugas-tugasnya merujuk pada waktu, yang dapat terlihat dari proses loading, pengelompokkan informasi dan kecepatan memperolah informasi. Efisiensi pada Coorporate Portal PalComTech dapat dilihat dengan item pertanyaan seperti yang disajikan pada tabel. Tabel. Distribusi Frekuensi Jawaban Responden untuk Kriteria efficiency Model Nielsen dan Model Preece Rata-rata Pengelompokan informasi pada website ini cukup jelas Website ini memudahkan pekerjaan saya Proses loading website ini cepat Saya dapat menemukan informasi yang saya cari dengan cepat di website ini 75 (70,%) 6 (5,6%) 76 (7,) 5 76 (,%) (7%) 6,5 (5,8%) 58,5 (5,%) (9,9%) 76 (7,) (9,) 6 (5,6%) 6,5 (.88%) Secara rata-rata (58,5%) responden menyatakan setuju bahwa Coorporate Portal PalComTech memiliki efficiency, hanya saja untuk pernyataan bahwa portal dapat memudahkan pekerjaan pengguna belum dirasakan oleh pengguna. Memorability Memorability pada Coorporate Portal PalComTech merujuk pada seberapa mudah pengguna mengingat cara menggunakan portal setelah beberapa waktu tidak menggunakan portal, yang dinilai dari ciri khas tampilan portal, tata letak dan layout yang konsisten, dan informasi yang disajikan. Memorability pada Coorporate Portal PalComTech dapat dilihat dengan item pertanyaan seperti yang disajikan pada tabel. Tabel. Distribusi Frekuensi Jawaban Responden untuk Kriteria memorability 5 (,%) 6,5 (5.8%) 7
model Nielsen dan Model Preece Secara rata-rata (76,87%) responden menyatakan setuju bahwa Coorporate Portal PalComTech memiliki kemampuan memorability. Error Kriteria Error pada Coorporate Portal PalComTech dinilai dari seberapa banyak kesalahan pengguna dan seberapa cepat pengguna dapat memperbaiki kesalahan. Kriteria Error dinilai dari ada tidaknya pesan kesalahan, pesan konfirmasi, dan proses validasi. Kriteria Error pada Coorporate Portal PalComTech dapat dilihat dengan item pertanyaan seperti yang disajikan pada tabel 5. Tabel 5. Distribusi Frekuensi Jawaban Responden untuk Kriteria errors Model Nielsen dan Model Preece 9 68 9 Website ini memberikan pesan (0,9%) (8,%) (6,6%) (7,%) kesalahan (error message) yang jelas (misal : jika pengguna melakukan kesalahan dalam login maka sistem akan memberitahu kesalahan dalam login) NO Pertanyaan SS S TS STS Tampilan website ini 5 7 8 memberikan ciri khas sehingga mudah diingat (%) (69,%) (6,8%) Website ini cukup mudah 5 8 0 digunakan untuk setiap kali kunjungan (,) (76,6%) (9,%) Website ini menyajikan banyak data dan informasi 5 (,7%) 87 (8,%) (0,%) (,7%) yang bermanfaat bagi pengguna sehingga menjadi pilihan utama bagi pengguna Rata-rata Interface website memiliki tata letak yang konsisten sehingga mudah diingat Ketika akan melakukan proses tertentu website memberikan pesan konfirmasi (misal : ketika (,7%) 9,75 (9,%) (0,9%) 86 (80,%) 8,5 (76,87%) 8 (6,8%) 7 (5,9%) (.08%) 7 (66,%) (0,9%) 7 (5,9%) 8
menekan tombol OK atau submit, atau meggunakan tombol donwload sistem memberitahu bahwa pengguna belum melakukan login) Website melakukan validasi atas proses tertentu yang dilakukan pengguna (misal : untuk mendownload file tertentu pengguna harus melakukan login terlebih dahulu) Website memberikan petunjuk kepada pengguna agar pengguna dapat melakukan perbaikan kesalahan dalam waktu cepat (misal : jika salah satu komponen form belum terisi, maka sistem memberitahu bahwa ada kolom yang belum terisi) (0.9%) (0,9%) (,5%) (,5%) 6 (59,8%) 69 (6,5%) 9 (7,8%) (,%) 8,5 68 9,75 Rata-rata (6,55%) Berdasarkan tabel 5., terlihat bahwa jawaban rata-rata responden untuk masing-masing pernyataan adalah tidak setuju. Responden tidak merasakan adanya kemungkinan kesalahan dalam mengakses Coorporate Portal PalComTech, sehingga tidak merasakan adanya upaya pencegahan kemungkinan kesalahan pada saat mengakses portal. Hal ini disebabkan oleh karena Coorporate Portal PalComTech hanya berisi informasi dan berita, tidak ada transaksi pertukaran data didalamnya. Satisfaction Satisfaction mengukur seberapa menyenangkan untuk menggunakan website. Satisfaction dapat dilihat dari seberapa menarik tampilan website, tingkat kenyamanan kepuasan pengguna menggunakan website. Satisfaction pada Coorporate Portal PalComTech dapat dilihat dengan item pertanyaan seperti yang disajikan pada tabel 6. 9
Perancangan Sistem Informasi Pengadaan Barang Pada STMIK PalComTech Palembang VOL. NO. SEPT 0 Tabel 6. Distribusi Frekuensi Jawaban Responden untuk Kriteria satisfaction Model Nielsen dan Model Preece Tampilan website ini menarik 0 65 (8,7%) (60,7%) (9,6%) (0,9%) Secara keseluruhan saya sangat 0 69 7 puas menggunakan website ini (8,7%) (6,5%) (5,9%) (0,9%) Saya menyukai tampilan website 0 6 5 ini (8,7%) (57,) (,%) (0,9%) Website ini sangat nyaman 5 89 digunakan (,7%) (8,%) (,%) Rata-rata 6,5 7 (66,6%) 9 0,75 Secara rata-rata (66,6%)responden menyatakan setuju bahwa Coorporate Portal PalComTech memiliki nilai satisfaction bagi pengguna, terutama dari segi kenyamanan dalam mengakses portal. Effectivity Effectivity website dinilai dari kinerja website, yang dapat dinilai dari link yang sesuai, informasi yang diberikan, dan bagaimana website dapat meningkatkan kinerja pengguna. Effectivity pada Coorporate Portal PalComTech dapat dilihat dengan item pertanyaan seperti yang disajikan pada tabel 7. Tabel 7. Distribusi Frekuensi Jawaban Responden untuk Kriteria effectivity Model Preece Link pada website ini menuju ke 99 8 halaman yang sesuai Saya akan mengunjungi website ini kembali untuk memperoleh informasi yang saya butuhkan Dengan website ini saya dapat lebih produktif Dengan website ini saya dapat lebih berkinerja 6 (,6) Rata-rata 0 (9,5%) (9,5%) 65 (60,7%) (,%) (,7%) (,7%) 5 (,06%) (7,5%) 6 (5,6%) 95 (88,8%) 9 (85,5%) 50 (6,7%) 8 (7,5%) (,87 %) Sebagian besar (6,06%) responden tidak merasakan effectivity dari penggunaan Coorporate Portal PalComtech. Responden tidak merasakan adanya peningkatan kinerja ataupun peningkatan terhadap produktifitas pengguna saat mengakses portal. Hal ini disebabkan karena Coorporate Portal PalComTech tidak menyediakan tools atau alat yang dapat membantu meningkatkan produktifitas atau kinerja pengguna, melainkan data atau informasi saja. 0
Safety Safety website diukur dari kemampuan website untuk melindungi pengguna dari kesalahan-kesalahan yang dapat membahayakan pengguna. Dapat dilihat dari tingkat kepercayaan informasi yang diberikan, jaminan terhadap kerahasiaan data dan informasi pengguna. Safety pada Coorporate Portal PalComTech dapat dilihat dengan item pertanyaan seperti yang disajikan pada tabel 8. Tabel 8. Distribusi Frekuensi Jawaban Responden untuk Kriteria safety Model Preece Informasi yang berasal dari website ini 0 8 dapat dipercaya Website ini memiliki keamanan yang dapat menjamin kerahasiaan seluruh data dan informasi yang dimiliki oleh semua pengguna website Website ini memiliki keamanan yang dapat menjamin kerahasiaan data dan informasi pribadi pengguna Keamanan data dan informasi tetap terjamin walaupun website ini memiliki banyak link yang terhubung ke sistem lain (8,7%) (,8%) (,8%) (0,9%) (77,6%) 8 (6,%) 5 (,%) 8 (6,%) (,7%) 76 (7,) 79 (7,8%) 78 (7,9%) Rata-rata 6,75 (6,%) (8,%) 59,5 (55,7%) 0 Sebagian besar (55,7%) responden merasakan bahwa Coorporate Portal PalComTech belum memiliki nilai safety sesuai dengan kriteria usability model Preece. Utility Utility website menunjukkan sejauh mana website menyediakan fungsi-fungsi yang dibutuhkan oleh pengguna terkait dengan fungsional Coorporate Portal. Utility dapat diukur dari apakakah website menyediakan fasilitas pencarian, sistem navigasi yang mampu memudahkan pekerjaan pengguna. Utility pada Coorporate Portal PalComTech dapat dilihat dengan item pertanyaan seperti yang disajikan pada tabel 9. Tabel 9. Distribusi Frekuensi Jawaban Responden untuk Kriteria utility Model Preece Website ini dapat membantu saya 9
melakukan pekerjaan saya dengan lebih mudah Sistem navigasi website ini cukup mudah untuk membantu pengguna Website ini menyediakan fasilitas pencarian Website ini menyediakan fasilitasfasilitas yang membantu pekerjaan saya Rata-rata,5 (,%) (,9%) (,%) (85,) 8 (,9%) (77,6%) 0 (95,%) 7 (,9%) (6,5%) 5,5 (8.%) (0,6%) 5 (,7%) 98 (9,6%) 5 (50,7%) 0 Berdasarkan hasil kuisioner terlihat bahwa utility pada Coorporate Portal PalComTech belum optimal karena portal hanya berisi informasi dan berita yang berkaitan dengan kekaryawanan dan kelembagaan saja. Berdasarkan hasil analisis hasil kuisioner, maka didapatkan matrik Usability Coorporate Portal PalComTech sebagai berikut : Tabel 0. Matrik Usability Coorporate Portal PalComTech Kriteria Usability Model Nielsen Usability Model Preece Keterangan Learnability Coorporate Portal PalComTech cukup mudah dipelajari Efficiency Coorporate Portal PalComTech memiliki nilai efficiency Memorability Coorporate Portal PalComTech cukup mudah diingat Errors Responden tidak merasakan adanya kemungkinan kesalahan dalam mengakses Coorporate Portal PalComTech Satisfaction Effectivity Portal tidak menyediakan tools atau alat yang dapat membantu meningkatkan produktifitas atau kinerja pengguna, melainkan data atau informasi saja. Safety Pengguna merasakan bahwa tingkat keamanan portal merupakan tingkat keamanan yang standar untuk sebuah website.
Kriteria Usability Model Nielsen Usability Model Preece Keterangan Utility Portal belum menyediakan fasilitasfasiltas yang dapat membantu pengguna dalam menyelesaikan pekerjaannya. Keterangan : : Kriteria usability masing-masing model : Memenuhi kriteria : Tidak memenuhi kriteria Berdasarkan matrik Usability Coorporate Portal PalComtTech, didapatkan bahwa untuk kriteria usability Model Nielsen, Cooperate Portal Palcomtech memenuhi kriteria learnability, efficiency, memorability dan satisfaction. Sedangkan kriteria Error tidak terpenuhi. Kemungkinan kesalahan ( errors) tidak dirasakan oleh pengguna, hal ini disebabkan oleh Coorporate Portal PalComtech hanya berisi berita dan informasi, dan tidak terdapat transaksi pertukaran data yang dapat memungkinkan terjadinya kesalahan dalam menggunakan Coorporate Portal. Pada kriteria usability Model Preece, didapatkan bahwa Coorporate Portal PalComTech memenuhi kriteria learnability, efficiency dan memorability, sedangkan untuk kriteria effectivity, safety dan utility tidak terpenuhi. Efficiency, safety dan utility tidak dirasakan oleh pengguna Coorporate Portal PalComTech, disebabkan oleh Coorporate Portal PalComTech hanya berisi berita dan informasi, dimana tidak terdapat transaksi pertukaran data didalamnya. PENUTUP Berdasarkan hasil analisis data penelitian berdasarkan kriteria kedua model didapatkan bahwa : Coorporate Portal PalComTech telah memenuhi sebagian besar kriteria usability model Nielsen, yaitu learnability, efficiency, memorability dan satisfaction. Sedangkan kriteria errors tidak terpenuhi, dan Coorporate Portal PalComTech hanya memenuhi beberapa saja dari kriteria usability model Preece, yaitu learnability, efficiency, memorability. Sedangkan kriteria effectivity, safety dan utility tidak terpenuhi. Dari hasil uji usability dengan kedua model didapatkan bahwa usability model Nielsen lebih tepat digunakan untuk mengevaluasi Coorporate Portal PalComtech, karena sejauh ini fungsi dari Coorporate Portal PalComTech adalah hanya sebagai media atau sumber informasi kekaryawanan dan kelembagaan, dimana tidak terdapat transaksi atau pertukaran data didalamnya. DAFTAR PUSTAKA Bevan, Nigel. 00. International Standards for HCI and Usability, International Journal of Human Computer Studies, Vol 55, No., h. 5-55. D. Te eni, J. Carey and P. Zhang. 007. Human Computer Interaction: Developing Effective Organizational Information Systems, John Wiley & Sons, Hoboken.
Nielsen, Jakob.99. Usability Engineering, Morgan Kaufman, San Francisco. Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S., and Carey, T. 99. Human Computer Interaction, Wokingham, UK: Addison-Wesley. Riyanto, Slamet. 007. Membangun Website dengan Adobe Photoshop dan Macromedia Dreamweaver, Datakom, Jakarta.