BAB - IX TEKNIK EVALUASI By. Alan Dix, Janet Finlay, Gregory D. Abowd, Russell Beale
Apakah evaluasi? Tujuan dari evaluasi melalui analisa expert pengguna melalui partisipasi Memilih metode evaluasi
adalah bagian integral dari desain dan harus dilakukan di seluruh siklus hidup desain. Tujuannya adalah : untuk menguji fungsi dan kegunaan dari desain untuk mengidentifikasi dan memperbaiki masalah untuk menentukan sikap dan perilaku pengguna terhadap sistem. Dapat terjadi di laboratorium atau spesialis di tempat kerja pengguna, dan mungkin tidak melibatkan partipasi aktif pada bagian pengguna.
digunakan untuk melihat apakah hasil rancangan dengan proses uji coba system yang telah dibuat sesuai dengan permintaan pengguna (user) Proses ini tidak dikerjakan dalam satu fase proses perancangan tetapi melalui perancangan dengan prinsip life cycle
9.1. Apakah? Berkaitan dengan pengumpulan data tentang kegunaan dari produk desain oleh kelompok tertentu untuk aktivitas tertentu dalam lingkungan tertentu atau konteks pekerjaan adalah menguji dan menilai sistem untuk memastikan apakah sistem berjalan seperti yang di harapkan dan berguna bagi pengguna(user)
9.2. Tujuan EVALUASI MEMILIKI TIGA TUJUAN UTAMA 1. untuk menilai sejauh mana dan Aksesbilitas dari fungsi sistem 2. untuk menilai pengalaman pengguna yang berinteraksi 3. untuk mengidentifikasi dan masalah tertentu dengan sistem
9.2. Tujuan Fungsi sistem yang penting, harus sesuai dengan kebutuhan pengguna. Rancangan sistem harus memungkinkan pengguna untuk melakukan tugas mereka menjadi lebih mudah
9.2. Tujuan Jika seorang petugas mengambil sebuah file pelanggan pada address. Pos/pusat paling tidak harus menyediakan dalam file komputer system. pada tingkat ini dapat juga mengukur kinerja pengguna dengan sistem dan dapat menilai efektivitas sistem dalam mendukung tugas
9.2. Tujuan Tujuan akhir dari evaluasi adalah untuk mengidentifikasi masalahmasalah spesifik dalam desain
9.3. Melalui Analisa Expert terjadi sepanjang proses desain. Secara khusus, yang pertama dari sebuah sistem evaluasi idealnya harus performed sebelum pelaksanaan pekerjaan di mulai. Jika desain sendiri dapat dievaluasi, maka kesalahan dapat dihindari, karena desain dapat diubah. Biasanya,dalam proses desain yang kesalahan itu harus diperbaiki
9.3. Melalui Analisa Expert Ada 4 macam evaluasi a. Cognitive walkthrough b. heuristik c. berbasis model d. Menggunakan penelitian sebelum evaluasi
9.3.1. Cognitive Walkthrough Walkthroughs memerlukan : tinjauan rinci dari urutan kode actions di dalam langkah-langkah, urutan mewakili segmen kode program, harus teliti untuk memeriksa karakteristik tertentu (misalnya, gaya pengkodean, konvensi untuk variabel ejaan prosedur versus panggilan, dan untuk memeriksa seluruh sistem yang invarian ), menggunakan langkah-langkah kognitif, urutan langkah-langkah tindakan mengacu pada suatu interface akan meminta user untuk tampil di error dalam menyelesaikan beberapa tugas yang dikenal.
9.3.1. Cognitive Walkthrough 1. Mempunyai prosedur Action 2. Menggunakan urutan kode action 3. Mempunyai kode program 4. Menggunakan langkah kognitif 5. Mengacu pada sebuah interface yang akan menampilkan ERROR 6. Ada penyelesaian task/tugas
9.3.2. Melalui Analisa Expert b. Heuristik Sebuah heuristik adalah sebuah pedoman atau prinsip umum atau aturan yang dapat memandu keputusan desain atau digunakan untuk kritik sebuah keputusan yang telah di buat. heuristic evaluasi, dikembangkan oleh Jakob Nielsen dan Rolf Molich, adalah metode untuk menyusun kritik terhadap sebuah system menggunakan seperangkat relatif sederhana dan heuristics
9.3.2. Melalui Analisa Expert b. Heuristik heuristic evaluasi, dikembangkan oleh Jakob Nielsen dan Rolf Molich, adalah metode untuk menyusun kritik terhadap sebuah system menggunakan seperangkat relatif sederhana dan heuristics.
9.3.2. Melalui Analisa Expert b. Heuristik 1. Merupakan sebuah pedoman/prinsip umum 2. Merupakan sebuah aturan untukmemandu keputusan desain 3. Dapat menyusun kritik terhadap sistem 4. Menggunakan seperangkat alat yang relatif sederhana 5. Dikembangkan oleh Jakob Nielsen dan Rolf Molich
9.3.2. Melalui Analisa Expert b. Heuristik NIELSEN'S SEPULUH HEURISTIK ADALAH: 1. Status. 2. Antara sistem dan dunia nyata. (user friendly) 3. User kontrol dan kebebasan. Pengguna 4. Konsistensi dan standar 5. Pencegahan Kesalahan 6. Pengakuan daripada pembuat 7. Fleksibilitas dan efisiensi penggunaan 8. Minimalis design 9. Membantu pengguna mengenali, mendiagnosa dan mengoreksi kesalahan 10. Bantuan dan sistem dokumentasi
Certain Model Provie adalah 9.3.3. Melalui Analisa Expert c. Berbasis Model menggabungkan alat evaluasi dan spesifikasi desain ke framework. Contoh: GOMS (tujuan, operator, metode dan seleksi) pengguna memprediksi model kinerja dengan interface tertentu dan dapat digunakan untuk menyaring pilihan desain tertentu.
9.3.3. Melalui Analisa Expert c. Berbasis Model 1. Menggunakan desain framework 2. Merupakan penggabungan alat evaluasi dan spesifkasi desain 3. Menggunakan prinsip GOMS 4. Mempunyai Tujuan 5. Mempunyai Operator 6. Mempunyai Metode 7. Mempunyai Penyeleksian
9.3.4. Melalui Analisa Expert d. Menggu- nakan Pe nelitian Sebelum Eksperimental psikologi dan manusia-komputer proses interaksi antara hasil eksperimen dan empiris. Khusus untuk domain tertentu, banyak berurusan dengan isu-isu umum yang bergerak dalam berbagai situasi
9.3.4. Melalui Analisa Expert d. Menggu- nakan Pe nelitian Sebelum 1. Proses interaksi antar hasil eksperimen dan empiris 2. Menggunakan domain 3. Khusus untuk domain tertentu menggunakan isu-isu umu
9.4. Peng- guna Melalui Partisi- pasi Teknik-teknik yang telah kita bahas sejauh ini berkonsentrasi pada desain atau mengevaluasi sistem melalui analisis oleh perancang, atau seorang ahli penilai, bukan pengujian dengan pengguna yang sebenarnya. Teknik ini untuk menyaring dan menyempurnakan desain, mereka bukan pengganti pengujian. Menggunakan metode empiris atau eksperimental, metode observasi, permintaan teknik, dan metode yang menggunakan pemantauan fisiologis
4. Memilih Metode Faktor-faktor yang membeda-kan teknik evaluasi: Tingkat siklus Jenis evaluasi Tingkat objektivitas dan subyektivitas Jenis ukuran yang tersedia Informasi yang tersedia Kesiapan dari suatu respon Tingkat gangguan yang tidak secara langsung Sumber yang tersedia
Design VS. Implementation pada tingkatan perancangan hanya membutuhkan ahlinya dan akan dianalisa sedangkan evaluasi pada tingkat implementasi membawa user sebagai subyek dari eksperimen. Laboratory VS. Field studies Secara ideal proses perancangan mencakup dua jenis evaluasi ini dimana pada laboratorium merupakan awal tingkatan sedangkan field studies ditempatkan pada tingkatan implementasi.
Subyektif VS. Obyektif Pada teknik yang subyektif seperti pada cognitive walkthrough maupun think aloud mempercayakan pada evaluator atau orang yang melakukan evaluasi. Hal ini dapat menyebabkan penilaian evaluator menjadi bias sehingga diperlukan lebih dari satu orang evaluator. Sedangkan teknik obyektif seharusnya menghasilkan hasil yang berulang yang tidak tergantung pada evaluator. Eksperimen yang terkontrol merupakan contoh pengukuran obyektif. Secara ideal pengukuran secara subyektif dan obyektif seharusnya digunakan keduanya. Qualitative VS Quantitative measures Pengukuran menggunakan numeric lebih mudah digunakan menggunakan teknik statistik sedangkan non-numerik lebih sulit dilakukan akan tetapi menghasilkan sesuatu yang penting secara lengkap yang tidak dapat dilakukan secara numeric.
Informasi yang tersedia Tingkatan informasi yang tersedia untuk evaluator pada setiap tingkat proses perancangan dimulai pada informasi yang rendah sampai dengan tingkatan yang tinggi. Kesiapan suatu tindakan Faktor lain yang membedakan teknik evaluasi adalah kesiapan mengambil tindakan yang tersedia. Seperti metode think aloud yang merekam perilaku user pada waktu interaksi. Sedangkan post task walkthrough mempercayakan pada pengumpulan kembali kegiatan user. Intrusiveness Merupakan teknik yang menghasilkan pengukuran segera yang dihasilkan user selama interaksi dan mempunyai resiko mempengaruhi perilaku user. Evaluator harus sensitive untuk mengurangi masalah ini tetapi tidak dapat megubah semuanya. Sumber-sumber Hal terakhir yang perlu diperhatikan dalam memilih teknik evaluasi yakni : peralatan, waktu, biaya, subyek serta evaluator yang ahli.