EVALUASI HEURISTIK DESAIN INTERFACE APLIKASI E-MONEV (Studi Kasus : KABUPATEN BANYUASIN) M. Dede Atmaja, Megawaty, Siti Sauda Mahasiswa Bina Darma Universitas Bina Darma m.dedeatmajaa@gmail.com Dosen Fakultas Ilmu Komputer Universitas Bina Darma megawaty.ubd@gmail.com Dosen Fakultas Ilmu Komputer Universitas Bina Darma siti_sauda@binadarma.ac.id Abstrak. E-Monev merupakan perangkat lunak yang didesain untuk mempermudah dalam mengintegrasikan data untuk penilaian capaian kerja yang dilakukan Organisasi Perangkat Daerah (OPD). Evaluasi heuristik (Nielsen 990) merupakan metode yang peneliti gunakan untuk menguji usabilitas E-Monev. Metode Evaluasi Heuristik menggunakan sepuluh prinsip nielsen yaitu Visibility of system status, match with the real world, user control and freedom, sonsitency and standard, error prevention, recognition than recall, flexibility and efficiency of use, aesthetic adn minimalist design, help user recognize, diagnose, and recover from errors, dan Help and documentation. Hasil dari analisis didapatkan bahwa hanya ada 5 (lima) variabel yang mempunyai signifikansi kurang dari 0,05. Dari variabel variabel independen, pengaruh yang dominan terhadap usability aplikasi yakni variabel visibility of system, Variabel Recognition rather than recall, variabel error prevention, variabel flexibility and efficiency of use dan variabel help and documentation, hasil dari nilai indek kuesioner didapatkan aplikasi emonev kabupaten banyuasin memiliki tingkat usabilitas yang tinggi dengan nilai memenuhi kriteria evaluasi heuristik Kata Kunci :, E-Monev, Evaluasi Heuristik, variabel, nilai indeks.. PENDAHULUAN Penyelengaraan e-government di Indonesia telah dimulai saat sebelum adanya inpres No. 0 Tahun 00, sejalan dengan perkembangan teknologi informasi. Pemerintah menyadari akan manfaat e-goverment yang mendukung penyelenggaraan tata pemerintahan yang baik atau good goverment. Penyelengaraan ini membuka cakrawala baru dalam keterbukaan, daya tanggap dan tanggung jawab dikalangan Pemerintahan. Peran e-government sebagai organisasi vital yang bergerak di manajemen pelayanan publik dan proses bisnis sangat dibutuhkan pemanfaatan dan implementasi Knowledge Management (KM) sebagai alat bantu pengambil keputusan dan implementator program secara cepat mengingat definisi e-government adalah penerapan Teknologi Informasi dan Komunikasi (TIK) untuk meningkatkan kinerja pemerintahan. Salah satu fungsionalitas Knowledge Management (KM) diwujudkan dalam Penerapan PP 9/006, tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, sebagai upaya untuk menjawab dan memenuhi tantangan dan kebutuhan melaksanakan siklus manajemen pembangunan secara utuh melalui Evaluasi dan Monitoring (e-monev). E-Monev merupakan perangkat lunak yang didesain untuk mempermudah dan mengintegrasikan data anggaran yang tersedia pada tiap tahun anggaran terhadap pelaporan perkembangan realisasi keuangan dan keadaan realisasi fisik pekerjaan tiap anggaran yang dilakukan Organisasi Perangkat Daerah (OPD) Kabupaten Banyuasin. e-monev Kabupaten Banyuasin dikelola oleh Bagian Administrasi Pembangunan dibawah struktur Sekretariat Daerah dan dijalankan melalui pemberian hak akses untuk menginput data pelaporan OPD berupa akses sebagai Operator pada masing masing OPD dan untuk pelaporan Kepala Daerah dan Kepala OPD diberikan hak akses sebagai peneliti hasil capaian kerja. Jumlah operator yang menjalankan aplikasi sebanyak 4 Operator OPD pada Dinas Daerah dan OPD Lembaga Teknis Daerah yang terdapat di Kabupaten Banyuasin Dalam pelaksanaan penggunaan aplikasi, terdapat masalah yang diantaranya adalah keterlambatan dalam pengisian data kemajuan laporan perbulan pada aplikasi, oleh karena itu peneliti berkinginan untuk mengetahui apakah penyebab keterlambatan disebabkan aplikasi yang kurang sesuai keinginan ataupun faktor lainnya. Untuk meneliti keterlabatan demi meningkatkan kinerja Pemerintahaan melalui pemanfaatan aplikasi E-Monev, dapat dilakukan dengan melakukan evaluasi kinerja, yakni
melalui multi disiplin yang fokus pada desain, evaluasi dan implementasi dari interaksi sistem komputer yang digunakan. Penelitian ini merupakan penelitian yang difokuskan pada penggunaan evaluasi heuristik berdasarkan aspek desain user interface terhadap usabilitas aplikasi melalui metode observasi, wawancara dan kuisioner kepada pengguna serta studi pustaka yang memungkinkan untuk memecahkan masalah dan membuat keputusan dengan cepat dan efisien. Pengujian aplikasi dengan evaluasi heuristik pada penelitian ini menggunakan sepuluh prinsip Nielsen yaitu Visibility of system status, match with the real wolrd, user control and freedom, consistency and standard, error prevention, recognition than recall, flexibility and efficiency of use, aesthetic and minimalist design, help users recognize, diagnose, and recover from errors, dan Help and documentation. Berdasarkan uraian diatas penulis akan mengkaji dan melakukan pengujian aplikasi E- Monev dengan metode evaluasi heuristik.. METODOLOGI PENELITIAN Metode yang digunakan dalam penelitian ini adalah metode deskriptif analitis dengan pendekatan kuantitatif, yaitu penelitian yang kemudian diolah dan dianalisis untuk diambil kesimpulan. Metode deskriptif adalah suatu metode yang meneliti status kelompok manusia, suatu objek, suatu set kondisi, suatu pemikiran ataupun suatu kelas peristiwa pada masa sekarang. Tujuan dari penelitian deskriptif ini adalah membuat deksripsi, gambaran atau lukisan secara sistematis, aktual dan akurat mengenai fakta-fakta, sifat-sifat serta hubungan antara fenomena yang dihadapi (Nazir, 00:5). Variabel Penelitian dan Definisi Operasional Variabel Penelitian Variabel penelitian adalah suatu atribut atau sifat atau nilai dari orang, obyek atau kegiatan yang mempunyai variasi tertentu yang ditetapkan untuk dipelajari dan ditarik kesimpulannya (Sugiyono, 004). Variabel yang digunakan dalam penelitian dapat diklasifikasikan menjadi : () variabel independen (bebas), yaitu variabel yangmenjelaskan dan mempengaruhi variabel lain, dan () variabel dependen (terikat), yaitu variabel yang dijelaskan dan dipengaruhi oleh variabel independen. Variabel Dependen Variabel dependen merupakan variabel yang menjadi pusat perhatian penelitian (Ferdinan, 006). Variabel dependen adalah variabel yang nilainya tergantung pada variabel lain, dimana nilainya akan berubah jika variabel yang mempengaruhinya berubah. Variabel dependen dalam penelitian ini adalah Usabilitas aplikasi (Y). Variabel Independen Variabel independen adalah variabel yang mempengaruhi variabel dependen, baik yang pengaruhnya positif maupun negatif terhadap variabel dependen (Ferdinan, 006). Variabel independen dalam penelitian ini terdiri dari:. Visibilitas dari status sistem (Visibilityof\SystemStatus) (X). Kesesuaian antara sistem dan dunia nyata (Match BetweenSystemandtheRealWorld ) (X). Kendali dan kebebasan pengguna (User ControlandFreedom) (X) 4. Standar dan Konsistensi (ConsistencyandStandards) (X4) 5. Pencegah (ErrorPrevention) (X5) 6. Bantuan pengguna untuk mengenali, mendiagnosa, dan mengatasi masalah (Recognitionrather thanrecall) (X6) 7. Fleksibilitas dan efesiensi (FlexibilityandEfficiencyofUse) (X7) 8. Estetika dan desain yang minimalis (AestheticandMinimalistDesign) (X8) 9. Pertolongan pengguna mengenal, berdialog dan memperbaiki kesalahan (HelpUsers Recognize,Diagnoseand Recover from Errors) (X9) 0. Fitur Bantuan dan Dokumentasi (HelpandDocumentation ) (X0) Variabel Visibility (X) Macth Between system and The Real World (X) User Control and Freedom (X) Consistency and Standard (X4) Dimensi Kejelasan Informasi Kesesuaian Waktu Konsistensi Terminologi Menu dan Form Yang Komunikatif Penggunaan Gambar yang Komunikatif Pemilihan Warna Penggunaan Bahasa Kemudahan Navigasi Pembatalan Operasi Konsistensi Penulisan Tata Sebuah Standar
Konsistensi Data dan proses Prevention Error System (X6) Recognition Rather Recall (X5) Than Adanya keterangan Pada Button Kejelasan Penggunaan Bahasa Simbol dan Gambar Flexibility and Efficiency of Use (X7) Design (X8) Recovery and System (X9) Prevention Error System (X6) Flexibility and Efficiency of Use (X7) Design (X8) Recovery System (X9) and Help and Documentation (X0) Usabilitas (Y) Adanya Pesan Notifikasi Input Informasi Pencegahan Penggunaan Dalam Membuat Sistem Sesuai untuk Screen Reading Interaktif Design Pemilihan warna Font &background Ukuran Font Pengelompokan Informasi Notifikasi Ketika ada Repairing System Bantuan Saat adanya Pesan Dokumentasi Panduan Secara Online Visibility (X) Match Between System and The Real World (X) User Control and Freedom (X) Consistency Standard (X4) and Recognition Rather Than Recall (X5) Help and Documentation (X0) Populasi Arikunto (00), mengatakan bahwa populasi adalah keseluruhan subjek penelitian. Maka yang menjadi populasi dalam penelitian ini adalah pengguna yang telah memiliki akses untuk menggunakan aplikasi e-monev sebagai populasi penelitian dengan jumlah pengguna sebanyak 7 pengguna yang terdiri dari 4 Operator, 4 PPK dan 4 KPA OPD pada Dinas Daerah dan OPD Lembaga Teknis Daerah Kabupaten Banyuasin. Skala Pengukuran Prosedur pemberian angka atau symbol lain kepada sejumlah ciri dari suatu obyek disebut dengan skala pengukuran. Skala pengukuran terhadap suatu obyek terdiri dari empat macam, yaitu skala nominal, skala ordinal, skala interval, dan skala rasio. Keempat skala pengukuran ini jika digunakan didalam kuesioner dapat dilakukan dengan salah satu instrumen pendekatan skala likert. Skala likert digunakan untuk mengukur tanggapan atau respon yang berhubungan dengan pernyataan tentang sikap seseorang. Dalam penerapan evaluasi usability digunakan skala 5 pilihan respon. Tingkat pengukuran data dalam skala likert adalahordinal sehingga apabila akan dianalisis dengan statistik harus dinaikkan terlebih dahulu menjadi skala interval(suliyanto, 0). Tabel. Skor Skala Likert Konteks Nilai Very Good (VG) 5 Point Good (G) 4 Point Neutral (N) Point Bad (B) Point Worse (W) Point Metode Analisis Data Analisis Kuantitatif Didalam pengumpulan data evaluasi dilakukan pengujian terhadap instrumen (alat ukur) yang akan digunakan. Kegiatan pengujian instrumen meliputi uji validitas dan uji reliabilitas dilakukan dengan SPSS 4. Uji reliabilitas dilakukan untuk mengetahui konsistensi dari instrumen sebagai alat ukur, sehingga hasil dari suatu pengukuran dapat dipercaya.
Dengan demikian syarat instrumen memiliki validitas dan reliabilitas apabila sudah dibuktikan melalui sebuah uji coba dengan cara menyebarkan instrumen tersebut kepada responden yang bukan responden sesungguhnya. Setelah diisi oleh responden dan terkumpul kembali selanjutnya menentukan validitas dan reliabilitas suatu instrumen. Tabel.Tingkat Reliabilitas Range Tingkat Reliabilitas 0.00 0.0 Kurang reliabel 0.0 0.40 Agak reliabel 0.40 0.60 Cukup reliabel 0.60 0.80 Reliabel 0.80.00 Sangat reliabel Uji Asumsi Klasik Uji Multikolinearitas Uji Multikolinearitas bertujuan untuk menguji dalam model regresi ditemukan adanya korelasi antar variabel-variabel bebas ( Ghozali, 00). Model regresi yang baik seharusnya tidak terjadi korelasi diantara variabel independen. Jika variabel bebas saling berkorelasi, maka variabel ini tidak ortogonal. Variabel ortogonal adalah variabel bebas yang nilai korelasi antar sesama variabel bebas sama dengan nol. Uji Normalitas Uji normalitas bertujuan untuk menguji apakah dalam model regresi, variabel terikat, variabel bebas atau keduanya mempunyai distribusi normal atau tidak. Model regresi yang baik adalah memiliki distribusi data normal atau penyebaran data statistik pada sumbu diagonal dari grafik distribusi normal (Ghozali,00). Model regresi yang baik adalah memiliki distribusi data normal dalam suatu model regresi yang dapat dilihat pada grafik normal P-P plot. Uji Heteroskedastisitas Uji heteroskedastisitas bertujuan untuk menguji apakah dalam model regresi terjadi ketidaksamaan varian dari satu pengamatan ke pengamatan yang lain (Ghozali,00). Cara mendeteksinya adalah dengan melihat ada tidaknya pola tertentu pada grafik Scatterplot antara SRESID dan ZPRED, dimana sumbu Y adalah Y yang telah diprediksi, dan sumbu x adalah residual (Y prediksi Y sesungguhnya) yang telah di-standardized (Ghozali,00). Uji Goodness of Fit Ketepatan fungsi regresi sampel dalam menaksir nilai aktual dapat dinilai dengan Goodness of Fit-nya. Secara statistik setidaknya ini dapat diukur dari nilai koefisien determinasi, nilai statistik F dan nilai statistik t. Perhitungan statistik disebut signifikan secara statistik apabila nilai uji statistiknya berada dalam daerah kritis (daerah dimana Ho ditolak), sebaliknya disebut tidak signifikan bila nilai uji statistiknya berada dalam daerah dimana Ho diterima ( Ghozali, 00). Uji F Uji F digunakan untuk menguji hipotesis nol bahwa koefisien determinasi majemuk dalam populasi, R, sama dengan nol. Uji signifikansi meliputi pengujian signifikansi persamaan regresi secara keseluruhan serta koefisien regresi parsial spesifik. Uji keseluruhan dapat dilakukan dengan menggunakan statistik F. Uji Parsial (Uji t) Uji t pada dasarnya menunjukkan seberapa jauh pengaruh satu variabel independen secara individual dalam menerangkan variasi variabel independen (Ghozali, 00).. HASIL DAN PEMBAHASAN Deskripsi Variabel Penelitian Analisis Indeks Jawaban Analisis indeks jawaban per variabel ini bertujuan mengetahui gambaran deskriptif mengenai responden dalam penelitian ini. Terutama mengenai variabel- variabel penelitian yang digunakan. Dalam penelitian ini menggunakan teknik analisis indeks yang menggambarkan responden atas item-item pertanyaan yang diajukan. Teknik skoring yang digunakan dalam penelitian ini adalah dengan skor maksimal 5 dan minimal, dengan jumlah responden sebanyak 7 responden Tabel. 4.. Hasil Tanggapan Responden Terhadap Variabel Visibility (X)... Kejelasan Informasi Yang Ditampilkan Kesesuaian Waktu Akses Konsistensi Tampilan 70 85 97 jumlah 84 Sumber: data primer yang diolah, 07 Tabel. 4.. Hasil Tanggapan Responden Terhadap Variabel Match Between system and The Real World (X) No. Indikator Penilaian Terminologi Menu dan Form Yang Komunikatif Juml ah 9 Inde ks 8% 8%
4 Penggunaan Gambar yang Komunikatif Pemilihan Warna Penggunaan Tata Bahasa Dalam 8 8 70 Jumlah 8,5 Sumber: Data Primer yang diolah, 07 Tabel. 4.. Hasil Tanggapan Responden Terhadap Variabel (X) Kemudahan Navigasi 89 Pembatalan Sebuah Operasi 60 Jumlah 74,5 7% 76% Tabel. 4.4. Hasil Tanggapan Responden Terhadap Variabel (X4) Konsistensi Standar Penulisan Pada Konsistensi Data dan proses menginput data laporan 8 8 8 Tabel. 4.5. Hasil Tanggapan Responden Terhadap Variabel (X5) Adanya keterangan Pada setiap Button pada aplikasi Kejelasan Penggunaan Bahasa Simbol dan Gambar pada aplikasi Adanya Pesan jika terjadi error 85 79 76 77% 80 Tabel. 4.6. Hasil Tanggapan Responden Terhadap Variabel (X6) No. Indikator Penilaian Notifikasi jika ada pesan masuk Pencegahan Penggunaan Dalam Membuat Jumlah 64 70 67 Tabel. 4.7. Hasil Tanggapan Responden Terhadap Variabel (X7) Inde ks 7% Sistem Sesuai untuk Screen Reading 79 79 Tabel. 4.8. Hasil Tanggapan Responden Terhadap Variabel (X8) Interaktif Design 88 4 Pemilihan warna Font &background pada aplikasi Ukuran Font Pada Pengisian Laporan Pengelompokan Informasi Berdasarkan Tipe Laporan 88 85 97 89,5 Tabel. 4.9. Hasil Tanggapan Responden Terhadap Variabel (X9) 8% Notifikasi Ketika ada 64 7% Repairing System 64 7% 64 7%
Tabel. 4.0. Hasil Tanggapan Responden Terhadap Variabel (X0) No. Indikator Penilaian Bantuan Saat adanya Pesan Dokumentasi File Hasil Panduan Secara Online Jumlah Indeks 76 77% 88 7 76% 79 Tabel. 4.. Hasil Tanggapan Responden Terhadap Variabel (Y) No. Indikator Penilaian Jumlah 4 5 6 7 8 9 0 Ketergunaan Terhadap Visibility Kesesuaian Terhadap fungsi tampilan Ketergunaan terhadap fungsi kontrol dan Kebebasan penggunaan Ketergunaan terhadap tampilan yang konsisten dan terstandar Ketergunaan terhadap tata bahasa dan fungsi notifikasi error kemudahan dan efisien penggunaan tampilan dan penggunaan font recovery panduan dan dokumentasi 79 94 8 79 9 70 94 94 76 66 Jumlah 8,5 Inde ks 8% 8% 8% 8% 77% Tanggapan responden sebagaimana pada tabel 4. menunjukkan bahwa sebagian besar responden memberikan tanggapan Good (skor 4) terhadap pertanyaan-pertanyaan Variabel Usability (Y) yaitu dengan rata-rata indeks skor sebesar. Berdasarkan kategori rentang skor, maka rata-rata tersebut berada pada tingkatan skor Tinggi. Kondisi ini memberikan kesan bahwa kualitas usabilitas aplikasi dari variabel Usability (Y) dipersepsikan secara positif oleh responden. Uji Good of Fit Pembahasan Hasil Uji Reliabilitas menunjukkan bahwa nilai Cronbach Alpha dari tiap tiap konstruk atau variabel lebih besar dari 0,60 yang berarti kuesioner yang merupakan indikator indikator dari variabel tersebut adalah realibel atau handal. Hal tersebut dapat dilihat dari hasil pengujian yang dengan nilai Cronbach Alpha tiap variabel adalah angka 0, 96 hingga 0,965. Uji validitas menunjukkan bahwa nilai r hitung dari masing masing variabel lebih besar dari r tabel sebesar 0,. Hasil dari uji t menunjukkan bahwa hanya ada 5 (lima) variabel yang mempunyai signifikansi kurang dari 0,05. Dari variabel variabel independen pada penelitian ini, pengaruh yang dominan terhadap usability atau kemudahan dalam menggunakan aplikasi yakni variabel visibility of system atau visbilitas dari status sismtem, Variabel Recognition rather than recall (bantuan pengguna untuk mengenali, mendiagnosa dan mengatasi masalah dalam menggunakan aplikasi), variabel error prevention (pencegahan kesalahan), variabel flexibility and efficiency of use (fleksibilitas dan efesiensi penggunaan) dan variabel terakhir adalah variabel help and documentation (fitur bantuan dan dokumentasi hasil pengolahan data). Data dari seluruh responden dari sampel penelitian yang telah ditentukan, maka didapatkan hasil persentase pada masing masing variabel metode evaluasi heuristik. Untuk persentase jawaban responden terhadap variabel dapat dilihat pada tabel 4.8. Tabel 4.8. Persentase Usability e-monev Kabupaten Banyuasin. PERSENTASE USABILITY APLIKASI E-MONEV Visibility (X) Match Between system and The Real World (X) 76% 7% 70% 68% 76% 7% TINGKAT USABILITY. Berdasarkan tabel persentase pada tabel 4.8, tingkat usability aplikasi emonev
menggunakan metode evaluasi heuristik, masuk dalam kategori tinggi pada variabel Visibility of system status (X) dengan persentase, match with the real wolrd (X) dengan persentase, user control and freedom dengan persentase 76%, consistency and standard dengan persentase, error prevention dengan persentase, recognition than recall dengan persentase, flexibility and efficiency of use dengan persentase, aesthetic and minimalist design dengan persentase, help users recognize, diagnose, and recover from errors dengan persentase 7%, dan Help and documentation dengan persentase. 4. KESIMPULAN Dengan mengacu pada tujuan yang terterah bab I dari hasil pengolahan data yang telah dilakukan sebelumnya, maka dapat disimpulkan dalam penelitian ini adalah sebagai berikut: ) Hasil dari uji t menunjukkan bahwa hanya ada 5 (lima) variabel yang mempunyai signifikansi kurang dari 0,05. Dari variabel variabel independen pada penelitian ini, pengaruh yang dominan terhadap usability atau kemudahan dalam menggunakan aplikasi yakni variabel visibility of system atau visbilitas dari status sismtem, Variabel Recognition rather than recall (bantuan pengguna untuk mengenali, mendiagnosa dan mengatasi masalah dalam menggunakan aplikasi), variabel error prevention (pencegahan kesalahan), variabel flexibility and efficiency of use (fleksibilitas dan efesiensi penggunaan) dan variabel terakhir adalah variabel help and documentation (fitur bantuan dan dokumentasi hasil pengolahan data).. Dari nilai Pengujian pengaruh variabel bebas secara bersama-sama terhadap variabel terikatnya dilakukan dengan menggunakan uji F. Hasil perhitungan statistik menunjukkan nilai F hitung = 79,90 dengan signifikansi sebesar 0,000 < 0,05. Hal ini berarti bahwa secara bersama-sama Visibility of system status, match with the real wolrd, user control and freedom, consistency and standard, error prevention, recognition than recall, flexibility and efficiency of use, aesthetic and minimalist design, help users recognize, diagnose, and recover from errors, dan Help and documentation mempunyai pengaruh yang signifikan terhadap usabilitas aplikasi e-monev Kabupaten Banyuasin.. Tingkat usability aplikasi emonev menggunakan metode evaluasi heuristik, masuk dalam kategori tinggi berdasarkan nilai indeks yakni yakni pada variabel Visibility of system status (X) dengan persentase, match with the real wolrd (X) dengan persentase, user control and freedom dengan persentase 76%, consistency and standard dengan persentase, error prevention dengan persentase, recognition than recall dengan persentase, flexibility and efficiency of use dengan persentase, aesthetic and minimalist design dengan persentase, help users recognize, diagnose, and recover from errors dengan persentase 7%, dan Help and documentation dengan persentase. DAFTAR PUSTAKA Armstrong, et al, 006. Kepuasan adalah perasaan seseorang yang dihasilkan dari membandingkan kinerja produk yan dirasakan (atau hasil) dalam kaitannya dengan harapannya. Augusty, Ferdinan. 006. Metode Penelitian Manajemen: Pedoman Penelitian untuk skripsi, Tesis dan Disertasi Ilmu Manajemen. Semarang: Universitas Diponegoro. Duwi, P. 00. : Paham Analisa Statistik Data dengan SPSS. Jakarta: Media Kita. Ghozali, Imam. 005. Analisisi Multivariate dengan Program SPSS. Badan Penerbit Universitas Diponegoro. Semarang. Manasse Malo, dkk. 00. Metode Penelitian Sosial. Jakarta : Penerbitan Universitas Terbuka. Nielsen, J. 0. : Usability 0 : Introduction to Usability. https://www.nngroup.com/articles/usabili ty-0-introduction-to-usability/. [Diakses 5 November 06] Nielsen, J. 0. : 0 Usability Heuristic For User Interface Design. http://www.designprinciplesftw.com/coll ections/0-usability-heuristics-for-userinterface-design [Diakses November 05] Nimah, I. 0. :Evaluasi Heuristik Open Source Groupware Sebagai Solusi Praktis e-government Jurnal Informasi Komputer. Peraturan Pemerintah No. 9 Tahun 006. Tetang Tata Cara Pengendalian dan Evaluasi Pelaksanaan dan Rencana Pembangunan. Ridwan, A. 007. Pengukuran usability aplikasi menggunakan evaluasi heuristic, Jurnal Informasi Komputer vol. Sugiharto, et al., 00. Teknik Sampling, gramedia Pustaka Utama, Jakarta. Sugiyono. 004. Metode Penelitian Bisnis. CV.Alfabeta, Bandung.