EVALUASI USABILITY SISTEM INFORMASI PRAKERIN PENDIDIKAN TEKNIK INFORMATIKA DI UNIVERSITAS PENDIDIKAN GANESHA DENGAN METODE USABILITY TESTING

Transkripsi

1 EVALUASI USABILITY SISTEM INFORMASI PRAKERIN PENDIDIKAN TEKNIK INFORMATIKA DI UNIVERSITAS PENDIDIKAN GANESHA DENGAN METODE USABILITY TESTING Made Adhi Widya Sadnyana 1, I Gede Mahendra Darmawiguna 2, I Made Ardwi Pradnyana 3 Jurusan Pendidikan Teknik Informatika Fakultas Teknik dan Kejuruan Universitas Pendidikan Ganesha Singaraja, Bali adhiwidya12@gmail.com 1, mahendra.darmawiguna@ undiksha.ac.id 2, ardwi.pradnyanai@undiksha.ac.id 3 Abstrak--- Penelitian ini bertujuan mengetahui bagaimana evaluasi Sistem Informasi Prakerin Pendidikan Teknik Inforamatika (PTI) dari segi kegunaanya, keefektivan, keefisienan, dan kepuasan pengguna dalam menggunakan Sistem Informasi Prakerin PTI. Penelitian ini menggunakan metode usability testing. Sampel dalam penelitian ini mahasiswa dan dosen PTI sebanyak 6 orang. Pengumpulan data menggunakan teknik Performance Measurement dan Retrospective Think Aloud (RTA). Dengan teknik tersebut akan dicari hasil data kuantitatif dan kualitatifnya. Penelitian ini juga menggunakan kuisioner Sistem Usability Scale (SUS) untuk mengukur kepuasan penggunanya. Hasil penelitian diperoleh 1.Sistem Informasi Prakerin PTI masih belum efektif. Karena masih ada error yang dilakukan responden mahasiswa atau dosen dalam melaksanakan tugas yang diberikan. 2.Sistem Informasi Praekrin PTI dilihat dari hasil penghitungan waktu pelaksanaan tugas antara responden pemula atau mahir tidak terdapat perbedaan yang signifikan. Jadi Sistem Informasi Prakerin PTI bisa dikatakan efisien. 3.Dalam kepuasan pengguna sistem Informasi Prakerin PTI masih kurang. Dari hasil rekapitulasi kuisioner SUS yang didapat dihitung dengan menggunakan berbandingan Mann Whitney U-Test hasilnya adalah untuk responden mahasiswa 62,08 dan responden dosen 60,42. Karena masih lebih kecil dari 68 responden dikatakan belum puas. 4.Rekomendasi yang diberikan responden yaitu perlu ditambah menu data diri, halaman ubah password, dan dalam form isi nilai ditambahkan keterangan nilai yang harus diisi. Kata Kunci: Survei, Sistem Informasi Prakerin PTI, Performance Measurement, RTA, Efektivitas, Efisiensi, Kepuasan pengguna, Rekomendasi Abstract This research aims to find out how evaluation Information System Prakerin Educational Engineering Inforamatika (PTI) in terms of usability, effectiveness, efficiency, and user satisfaction in using Information Systems Prakerin PTI. This research uses usability testing method. Samples in this study of students and lecturers of PTI as many as 6 people. Data collection using Performance Measurement and Retrospective. Think Aloud (RTA) techniques. With these techniques will be searched the results of quantitative and qualitative data. This study also used a questionnaire System Usability Scale (SUS) to measure user satisfaction. The results obtained 1. Information System Prakerin PTI still not effective. Because there are still errors made by the student or lecturer respondents in carrying out the given task. 2. Information System Prakerin PTI seen from the results of timing execution of tasks between the beginner or advanced respondents there is no significant difference. So Information System Prakerin PTI can be said to be efficient. 3.In the user satisfaction System Information Prakerin PTI still less. From the result of recapitulation of SUS questionnaire which was obtained was calculated by using Mann Whitney U-Test result was for student respondent 62,08 and lecturer respondent 60,42. Because it is still smaller than 68 respondents said not satisfied. 4.Recommendation given by the respondent that is necessary to add the menu of self data, change the password page, and in the form of the value, added value information to be filled. Keywords Survey, Information System Prakerin PTI, Performance Measurement, RTA, Effectiveness, Efficiency, User Satisfaction, Reccomnedations I. PENDAHULUAN Praktek Kerja Industri (Prakerin) adalah kegiatan pendidikan, pelatihan, dan pembelajaran yang dilaksanakan di dunia usaha atau dunia industri yang sesuai dengan kompetensi (kemampuan) siswa sesuai bidangnya. Melalui prakerin banyak lembaga dan jurusan berharap dapat menghasilkan mahasiswa siap bersaing dalam dunia kerja. Program prakerin sangat penting karena memberian kemudahan dalam mengetahui potensi diri mahasiswa. Dari tahun ke tahun program prakerin berkembang pesat. Sudah banyak sistem informasi prakerin yang dibuat oleh institusi pendidikan ataupun institusi non-pendidikan.

2 Univesitas Pendidikan Ganesha (Undiksha) khususnya jurusan Pendidikan Teknik Informatika (PTI) telah melaksanakan program prakerin. Praktek Kerja Industri merupakan salah satu program mata kuliah pengenalan lapangan langsung yang di selenggarankan oleh jurusan Pendidikan Teknik Informatika (PTI). Mata kuliah semacam itu sangat tepat jika diberikan di perguruan tinggi, agar setiap mahasiswa siap menghadapi dunia kerja setelah tamat atau wisuda. Dengan demikian Prakerin menjadi program unggulan jurusan yang mampu membentuk mahasiswa ahli di bidang teknologi. Dalam kegiatan Prakerin terdapat website pendukung kegiatan yaitu sistem informasi prakerin pendidikan teknik informatika. Website sistem informasi prakerin merupakan upaya untuk memidiasi kegiatan praktek kerja industri. Sistem ini memudahkan dalam memanajemen pendaftaran prakerin dan pengisian log activity oleh mahasiswa prakerin dan juga memanajemen tempat prakerin. Kegiatan prakerin sudah diarahkan oleh jurusan, mulai dari mendaftar hingga pengumpulan laporan terakhir. Sistem Informasi Prakerin Pendidikan Teknik Informatika memiliki beberapa konten seperti menu utama, berita, prosedur akses sistem, dan konten login. Dalam Sistem Informasi Prakerin Pendidikan Teknik Informatika terdiri dari 3 (tiga) pengguna yaitu admin, dosen dan mahasiswa, masing-masing pengguna memiliki akun yang berbeda dan mendapatkan hak akses yang berbeda. Admin pada Sistem Informasi Prakerin Pendidikan Teknik Informatika ini memiliki hak akses penuh dalam mengelola dan menggunakan sistem tersebut. Dosen pembimbing atau penguji memiliki fitur yang sama di dalam sistem informasi prakerin PTI. Dosen sebagai pengguna memiliki hak akses untuk melihat update data, ubah password, log activity mahasiswa, mencari tempat mahasiswa melakukan prakerin melalui maps prakerin dan memasukkan nilai sebagai pembimbing dan penguji. Lain halnya dengan dosen, mahasiswa sebagai pengguna hanya memiliki hak akses daftar prakerin, mengisi log activity, update data, ubah password, dan mengisi koordinat tempat prakerin di maps prakerin. Jadi pada penelitian ini hanya memerlukan dosen dan mahasiswa sebagai sampel. Dari data awal di atas sistem informasi prakerin pendidikan teknik informatika perlu dievaluasi untuk mengukur kemudahan penggunaan sistem informasi bagi user atau pemakai dari segi kemudahan dipelajari, digunakan, kepuasan dan tingkat efisiensi, hal ini berguna untuk kelangsungan dan pengembangan sistem informasi kedepan. Saat ini banyak sekali website yang menyajikan beragam informasi. Namun demikian, banyak pula di antara website tersebut yang tidak dapat memenuhi tujuan awal kenapa website tersebut dibuat dan bahkan sangat banyak yang mengecewakan pengguna yang mengaksesnya. Menurut penelitian yang dilakukan oleh User Interface Engineering, Inc., diketahui bahwa 60% waktu terbuang karena orang tidak bisa menemukan informasi yang ingin didapatnya pada suatu website dan hal ini berdampak pada penurunan minat menggunakan website tersebut, meningkatkan frustasi dan bentuk kerugian lainnya.[1] Sistem Informasi Prakerin Pendidikan Teknik Informatika sudah dipublikasikan dari tahun 2015, akan tetapi belum pernah dilakukan evaluasi terhadap sistem informasi tersebut. Sehingga perlu dilakukan evaluasi dari segi usabilitynya (kebergunaan). Alat evaluasi pengukuran yang akan digunakan adalah usability testing, cara pengukuran sistem informasi menggunakan metode usability testing dengan menggunakan kuisioner yang akan diisi oleh responden. Kemudahan penggunaan (usability) website atau sistem informasi sangat terkait dengan bidang keilmuan Human Computer Interaction (HCI), yaitu mengenai manusia sebagai pengguna sistem informasi berinteraksi dengan sistem yang ada pada sistem informasi tersebut [2]. HCI merupakan bidang ilmu yang berkembang sejak tahun 1970 yang mempelajari bagaimana mendesain tampilan layar komputer dalam suatu sistem informasi agar nyaman digunakan oleh pengguna. Menurut Carsten & Patterson, HCI berfokus pada pengembangan kapabilitas manusia untuk menggunakan mesin, mendesain dan membangun interface, optimasi proses antara manusia dan mesin, usability interface, dan komunikasi yang lebih baik antara manusia dengan mesin.[3] Usability merupakan proses optimasi interaksi antara pengguna dengan sistem yang dapat dilakukan dengan interaktif, sehingga pengguna mendapatkan informasi yang tepat.[4] Agar suatu sistem informasi menjadi efektif, efisien, dan dapat memberikan kepuasan kepada pengguna, maka sistem informasi tersebut harus dapat memberikan kesempatan kepada pengguna untuk menyelesaikan aktivitasnya pada aplikasi tersebut sebaik mungkin. Usability sebagai suatu pengalaman pengguna dalam berinteraksi dengan aplikasi atau sistem informasi sampai pengguna dapat mengoprasikannya dengan mudah dan cepat.[5] Faktor faktor penyebab pentingnya website atau sistem aplikasi memiliki aspek usability, di antaranya adalah kebiasaan atau perilaku pengguna yang mengakses website atau menggunakan sistem informasi.[5] Tidak sedikit pengguna yang tidak dapat menerima design website yang buruk dan mau mengulang waktu untuk mempelajari suatu website atau sistem informasi. Atau dengan kata lain, pengguna sangat ingin segera mengerti dengan seketika (instant), atas apa yang disajikan dalam suatu sistem informasi. Setiap sistem yang telah dilaksanakan perlu dinilai atau dievaluasi unjuk kerjanya untuk melihat sejauh mana

3 keberhasilannya dalam mencapai tujuan dan sasaran awal yang ditetapkan.[6] Usability testing adalah metode yang digunakan untuk mengevaluasi produk dengan mengujinya langsung pada pengguna. Usability testing memiliki beberapa teknik evaluasi yang berbeda yaitu teknik Think Aloud, Shadowing Method, Coaching Method, Question- Asking, Protocol, Teaching Method, Performance Measurement, Remote Testing dan Eye Tracker. Diantara beberapa teknik tersebut terdapat teknik dengan mengukur performa keberhasilan dan kecepatan pengerjaan task (perintah) yaitu teknik Performance Measurement. Teknik ini digunakan untuk memperoleh data kuantitatif tentang kinerja peserta tes ketika mereka melakukan tugas selama pengujian usability.[3] Teknik lain dalam metode usability testing yang dapat dikombinasikan dengan teknik tersebut adalah teknik Restrospective Think Aloud (RTA). Teknik ini adalah teknik yang memungkinkan seorang responden menceritakan hal apa yang dilakukan ketika tes telah selesai dilakukan.[3] Teknik Performance Measurement digunakan untuk mengukur aspek efektivitas dan efisiensi, sedangkan RTA digunakan utuk mengukur aspek kepuasan pengguna, sehingga dalam penelitian ini teknik yang digunakan adalah teknik Performance Measurement dan RTA. Berdasarkan uraian masalah yang telah dipaparkan di atas penulis melakukan sebuah penelitian dengan judul Evaluasi Usability Sistem Informasi Prakerin Pendidikan Teknik Informatika di Universitas Pendidikan Ganesha dengan Metode Usability Testing yang bertujuan untuk mengevaluasi Sistem Informasi Prakerin PTI pada aspek usability menggunakan metode usability testing yaitu teknik Performance Measurement dan teknik RTA, serta dapat memberikan rekomendasi perbaikan atas sistem tersebut berdasarkan hasil evaluasi usability yang dilakukan. Data pengerjaan tugas kemudian dikumpulkan serta dianalisis II. KAJIAN PUSTAKA Prakerin adalah suatu program yang bersifat wajib yang merupakan bagian dari Pendidikan Sistem Ganda (PSG) dalam pedoman praktis pelaksanaan Pendidikan Sistem Ganda disebutkan bahwa Prakerin adalah praktik keahlian produktif yang dilaksanakan diindustri atau perusahaan yang berbentuk kegiatan mengerjakan pekerjaan produksi atau jasa. B. Sistem Informasi Prakerin Pendidikan Teknik Informatika Sistem Informasi Prakerin merupakan sistem yang memberikan berbagai informasi tentang praktik kerja industri jurusan pendidikan teknik informatika, sistem ini memudahkan dalam memanajeman pendaftaran prakerin dan pengisian log activity oleh mahasiswa prakerin dan juga memanajeman tempat prakerin dengan menampilkan peta dari tempat mahasiswa prakerin. Dalam Sistem Informasi Prakerin Pendidikan Teknik Informatika atau SI Prakerin PTI terdiri atas 3 (dua) pengguna yaitu admin, dosen dan mahasiswa. Beberapa tampilan dalam Sistem Informasi Praekrin PTI sebagai berikut: Gambar 1. Form Login Dosen Proses login bertujuan untuk melakukan validasi atau pengecekan terdaftar atau tidaknya account yang digunakan. Tampilan form login dosen sama tampilannya dengan form login mahasiswa. A. Praktek Kerja Industri (Prakerin) Prakerin atau Praktek Kerja Industri adalah kegiatan pendidikan, pelatihan dan pembelajaran yang dilaksanakan di dunia usaha atau dunia industri yang relevan dengan kompetensi (kemampuan) siswa/mahasiswa sesuai bidangnya. Dalam pelaksanaanya dilakukan dengan prosedur tertentu, bagi mahasiswa yang bertujuan untuk magang disuatu tempat kerja, baik dunia usaha maupun dunia industri. Sesuai dengan Keputusan Menteri Pendidikan dan Kebudayaan RI nomor 323/U/1997 menyatakan bahwa, Gambar 2. Menu Utama akunn dosen Dalam Sistem Informasi Prakerin Pendidikan Teknik Informatika, pengguna dapat mengakses menu

4 utama (main menu), navigasi (navigation), Form Biodata, Pengumuman, dan Petunjuk penggunaan sistem. Gambar 3. Tampilan form biodata mahasiswa Gambar 3. Merupakan form biodata mahasiswa yang fungsinya untuk memperbaharui data tentang mahasiswa sebagai pengguna. Gambar 6. Form Daftar Prakerin Dalam mendaftar prakerin mahasiswa harus mengikuti 3 langkah. Langkah pertama mehasiswa menentukan teman kelompoknya. Langkah kedua mengisi data prakerin. Langkah ketiga melaksanakan praekrin. Gambar 7. Tampilan Form Maps Prakerin Gambar 4. Form log activity mahasiswa Gambar 5. Form input nilai sebagai pembimbing C. Evaluasi Sistem Informasi Evaluasi berasal dari kata Bahasa Inggris yaitu evaluation yang berarti proses penilaian. Evaluasi yang dilakukan dalam penelitian ini adalah evaluasi sistem informasi. Evaluasi sistem informasi merupakan suatu proses penilaian kinerja sebuah sistem informasi yang dapat digunakan sebagai alternatif keputusan untuk kelangsungan sistem informasi tersebut.[7] Evaluasi memiliki tiga tujuan utama, antara lain sebagai berikut. [8] 1) Melihat seberapa jauh sistem informasi berfungsi, mencakup kesesuaian penggunaan sistem terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada sistem, dan untuk melihat keefektifan sistem dalam mendukung tugas. 2) Melihat efek interface bagi pengguna, mencakup aspek dari kemudahan sistem dipelajari, daya guna dan perilaku user. 3) Mengidentifikasi masalah khusus yang terjadi pada sistem dalam penggunaan suatu konteks

5 memberikan hasil yang tidak diinginkan terjadi kekacauan di antar user. D. Usability Usability merupakan seberapa mudah pengguna belajar dan menggunakan satu produk utuk mencapai tujuan mereka dan seberapa puas mereka dengan proses proses yang dilakukan itu. Usability sebagai cara dimana seseorang yang menggunakan produk dapat melakukannya dengan cepat dan mudah untuk menyelesaikan tugas tugasnya [9]. Sejauh mana suatu produk dapat digunakan oleh pengguna tertentu untuk mencapai target yang ditetapkan dengan efektivitas, efisiensi, dan mencapai kepuasan penggunaan dalam konteks tertentu.[2] Sebagian besar total biaya pengembangan perangkat lunak digunakan untuk perawatan karena permasalahan interaksi (usability) pengguna dengan sistem dan bukan permasalahan teknis [10]. Situasi tersebut di atas menggambarkan pentingnya analisis usability untuk mempertegas kebutuhan terhadap pengembangan aplikasi, sebelum, pada saat dan sesudah peroses pengembangan perangkat lunak.[10] Terdapat 5 komponen penting yang harus dipenuhi agar suatu sistem mencapai tingkat usability yang ideal, yaitu sebagai berikut [2]: 1. Learnability Ukuran bagi pengguna dalam memahami kebiasaan mengunjungi suatu sistem, mengetahui alasan mengakses dan mengidentifikasi yang dicari. 2. Efficiency Situs yang efisien dapat menyajikan informasi dengan cepat. 3. Memorability Ukuran bagi pengguna, sehingga sistem akan mudah diingat, bila banyak dilakukan perubahan, maka pengunjung akan memerlukan waktu untuk menyesuaikan dan mempelajarinya kembali. 4. Errors Seberapa sering suatu website atau sistem informasi terjadi kesalahan, link yang tidak berfungsi. 5. Satisfaction Keinginan pengguna bagaimana pengguna dapat pergi kemana saja dalam sebuah website atau sistem informasi. Evaluasi Usability adalah proses yang melibatkan pengguna sehingga dapat mempelajari dan menggunakan produk guna tercapainya aspek aspek kenyamanan pengguna seperti efektivitas, efisiensi, dan kepuasan pengguna terhadap sistem secara keseluruhan.[11] Terdapat empat tahapan yang harus dilakukan untuk melakukan evaluasi usability dalam sebuah website atau sistem informasi, yaitu (1) menentukan waktu yang tepat untuk melakukan evaluasi usability; (2) mengumpulkan informasi; (3) memilih metode yang tepat; serta (4) melakukan usability evaluation.[12] Tabel 1. Kategori Metode Evaluasi Usability [3] Nama Metode Model / Metricsbased Penggunaan Responden Tidak Peran Evaluator Usability Menggunakan model atau tool untuk menghasilkan pengukuran usability Inspection Tidak Meninjau user interface dan mencobanya untuk menemukan masalah Testing Ya Mengobservasi pengguna saat berinteraksi dengan sistem Mengumpulkan dan menganalisa data untuk mengidentifikasi masalah Inquiry Ya Berkomunikasi dengan pengguna untuk mendapatkan wawasan mengenai masalah usability. Tabel 2. Teknik Evaluasi Usability.[3] Nama Metode Teknik Model/Metricsbased Layout Appropriateness Web Metrics GOMS and other models NIST Web Metrics Web Log Based Inspection Cognitive Walk-Through Heuristic Evaluation Variants of Heuristic Evaluation Pluralistic Walk- Through

6 Testing Inquiry Nama Metode Teknik Perspective-Based Inspection Thinking-Aloud Protocol Shadowing Method Co-Discovery Learning Coaching Method Question-Asking Protocol Teaching Method Performance Measurement Remote Testing Eye Tracking Field Observation Focus Group Interviews Questionnaires Pada Tabel 2. disebutkan beberapa teknik evaluasi yang termasuk dalam kategori metode evaluasi usability testing. E. Wireframes Wireframe adalah ilustrasi antarmuka yang berfokus pada alokasi ruang dan prioritas konten [13]. Dengan demikian, secara umum wireframes sederhana dan dapat dibuat secara manual dengan tangan atau dengan menggunakan perangkat lunak. Wireframes yang dibuat dalam penelitian ini adalah gambar rangka sederhana yang menyediakan gambar mengenai tata letak dan tidak memberikan informasi atau fungsi yang lebih rinci mengenai perbaikan rekomendasi user interface Sistem Informasi Prakerin PTI. F. Performance Measurement Costello menyatakan pengukuran kinerja (Performance Measurement) adalah suatu proses penilaian kemajuan pekerjaan terhadap tujuan dan sasaran yang telah ditentukan sebelumnya, termasuk informasi atas: efisiensi pengguna sumber daya dalam menghasilkan barang dan jasa; kualitas barang dan jasa (seberapa baik barang dan jasa diserahkan kepada pelanggan dan sampai seberapa jauh pelanggan terpuaskan). G. Retrospective Think Aloud (RTA) Dengan menggunakan teknik think aloud, saat tes responden akan diminta memverbalisasi pikiran, perasaan, dan pendapat saat berinteraksi dengan sistem. Hal ini sangat berguna untuk menangkap berbagai kegiatan kognitif yang dilakukan responden. Teknik RTA dilakukan ketika responden selesai melakukan interaksi dengan sistem sehingga menceritakan apa yang dia fikirkan (think aloud). H. Uji Statistik Mann Whitney U-Test Uji Statistik Mann Whitney U-Test merupakan alternatif bagi uji-t dalam statistik parametik. Mann Whitney U-Test adalah sebuah uji statistik non parametik yang digunakan untuk membandingkan dua kelompok independen (berbeda partisan dalam setiap kelompoknya).[3] Dengan Mann Whitney U-Test dapat dilakukan bebrapa hal sebagai berikut. 1) Melakukan ranking terhadap masing-masing angka. Ranking adalah sebuah proses dari penyusunan sebuah set data dimana nilai aktual dari data-data tersebut berubah-ubah. 2) Menambahkan nilai yang telah diranking dalam beberapa kondisi 3) Menguji total dari sejumlah rank Menguji apakah dua mean populasi sama atau tidak Asumsi yang berlaku dalam Mann Whitney U-Test adalah sebagai berikut.[3] 1) Sampel yang berasal dari populasi adalah acak, 2) Sampel bersifat independen, 3) Skala pengukuran yang digunakan adalah ordinal. Untuk menghitung nilai statistik Mann Whitney U- Test, rumus yang digunakan adalah sebagai berikut.[3] U = n1n2 + n2(n2 + 1) 2 n2 Dengan: U = nilai Mann Whitney U-Test n 1 = sampel 1 n 2 = sampel 2 R i = ranking ukuran sampel i=n1+1 R1

7 III. METODE PENELITIAN A. Jenis Penelitian Jenis penelitiaan evaluasi usability Sistem Informasi Prakerin Pendidikan Teknik Informatika ini adalah penelitian survei berbasis pengguna dengan metode deskriptif analitis. Metode survei deskriptif menjelaskan atau mencatat kondisi atau sikap untuk menjelaskan apa yang ada saat ini.[14] Penelitian ini menganalisis secara deskriptif mengenai evaluasi pengguna sistem informasi prakerin pendidikan teknik infromatika dari segi usabilitynya. B. Lokasi dan Waktu Penelitian Lokasi penelitian adalah tempat dimana penelitian akan dilakukan. Penelitian ini dilakukan di Jurusan Pendidikan Teknik Informatika khususnya mahasiswa yang mengambil mata kuliah prakerin, karena program prakerin ini dilaksanakan di jurusan PTI. Sedangkan waktu penelitian ini adalah tahun C. Variabel Penelitian Variabel adalah segala sesuatu yang berbentuk apa saja yang ditetapkan oleh peneliti untuk dipelajari sehingga diperoleh informasi tentang hal tersebut, kemudian ditarik kesimpulannya.[15] Penelitian ini tergolong penelitian yang bersifat evaluatif, yaitu mengevaluasi sebuah sistem informasi yaitu sistem informasi prakerin pendidikan teknik informatika yang diukur dari aspek usabilitynya yang mencakup efektivitas, effisiensi, dan kepuasan pengguna. D. Prosedur Penelitian Penelitian yang dilakukan peneliti terdiri dari 5 tahap utama seperti yang dikuti dari,[3] yaitu sebagai berikut. 1. Persiapan Penelitian Pada tahap persiapan penelitian, hal-hal yang dilakukan sebagai berikut. - Menentukan topik penelitian - Membaca berbagai sumber teori seperti jurnal dan referensi lain mengenai metode untuk evaluasi usability, HCI, teknik performance measurement, dan RTA. - Merumuskan permasalahan dari penelitian yang dilakukan. - Menentukan tujuan penelitian, yaitu sasaran yang ingin dicapai dari penelitian ini. - Menentukan metode penelitian yang akan dilakukan dalam penelitian. 2. Pengambilan data halaman Sistem Informasi Prakerin PTI. Pengambilan data pada sistem informasi prakerin pendidikan teknik informatika deilakukan dengan tahapan sebagai berikut. - Mengidentifikasi data-data yang dibutuhkan untuk memecahkan masalah sesuai dengan tujuan penelitian. - Melakukan pengambilan data pada pihak pengembang yang akan dijadikan objek penelitian. - Melakukan pengambilan data dengan menggunakan teknik performance measurement dan RTA. 3. Pengolahan data dan analisis halaman Sistem Informasi Prakerin PTI Dalam tahap pengolahan data pada desain user interface Sistem Informasi Prakerin PTI, data yang didapat akan diolah bedasarkan dua teknik evaluasi: - Untuk teknik Performance Measurement data yang diolah adalah data kecepatan dan ketepatan atau keakuratan responden dalam menyelesaikan tugas. - Untuk teknik RTA data yang akan diolah adalah data yang didapat melalui wawancara setelah tahap pengambilan data dengan Performance Meausrement. 4. Perancangan wireframe halaman sistem informasi prakerin PTI Dari data yang telah diolah akan didapat beberapa data yang dapat digunakan untuk proses perancangan rekomendasi yaitu dengan Think Aloud dari responden yang digunakan untuk menggali lebih dalam data dari teknik performance measurement sehingga hasil yang didapat lebih akurat. 5. Kesimpulan dan saran Pada tahap ini akan dibuat beberapa kesimpulan dari penelitian yang sudah dilakukan dan ditambahkan dengan saran untuk penelitian selanjutnya. E. Populasi dan Sampel Penelitian 1. Populasi Penelitian Populasi dalam penelitian ini adalah dosen dan mahasiswa di Jurusan Pendidikan Teknik Informatika (PTI). Jumlah populasi dosen PTI sebanyak 14 orang dan jumlah mahasiswa PTI sebanyak 498 orang selanjutnya disajikan pada Tabel Data Dosen dan Tabel Data Mahasiswa berikut. 2. Sampel Penelitian Teknik pengambilan sampel yang digunakan dalam penelitian ini adalah teknik Stratified Random Sampling. Cara pengambilan sampel dari anggota populasi dengan teknik ini secara acak dengan memperhatikan strata (tingkatan) dalam anggota populasi tersebut. Untuk mengidentifikasi permasalahan dalam desain sebuah sistem cukup menggunakan 5 (lima) orang untuk mendapatkan permasalahan desain sebuah sistem. [3] Oleh sebab itu, peneliti menargetkan 6 (enam) sampel dosen dan

8 6 (enam) sampel mahasiswa untuk melakukan usability testing, sehingga total sampel dalam penelitian berjumlah 12. Kemudian masing-masing sampel tersebut dikelompokan menjadi 2 kelompok yaitu kelompok mahir dan kelompok pemula. Untuk sampel yang dikatakan kelompok pemula adalah sampel yang belum pernah menggunakan Sistem Informasi Prakerin PTI, dan untuk sampel yang dikatakan kelompok mahir adalah sampel yang sudah pernah menggunakan Sistem Inforamsi Prakerin PTI. F. Teknik Pengumpulan Data 1. Performance Measurement Teknik Performance Measurement digunakan untuk menghasilkan data kuantitatif mengenai performa responden saat mereka melakukan penyelesaian tugas dalam sebuah tes untuk mengukur usability halaman Sistem Informasi Prakerin PTI. Dalam penelitian ini teknik Performance Measurement menjadi bagian yang sangat penting karena dengan teknik ini dapat mengukur usability dari halaman Sistem Informasi Prakerin PTI berdasarkan dua komponen dari tiga komponen utama dalam definisi usability yaitu mengukur efektifitas dan juga keefisienan. Keefisienan akan dilihat dari keberhasilan responden melakukan tugas yang diberikan. Dalam proses pengambilan data apabila responden gagal menyelesaikan tugas karena salah masuk ke menu yang diinginkan atau menyerah maka responden tersebut dinilai melakukan error. Apabila dalam melaksanakan tugas responden melakukan error maka halaman Sistem Informasi Prakerin PTI dapat dikatakan tidak efektif karena tidak mampu memberikan navigasi yang baik bagi penggunanya. Keefisienan dapat diukur dalam teknik ini dengan melihat waktu pengerjaan yang dilakukan oleh responden dalam menyelesaikann tugas 2. Retrospective Think Aloud (RTA) Dalam penelitian ini, teknik RTA menjadi bagian yang sangat penting karena dengan teknik ini dapat mengukur usability dari halaman Sistem Informasi Prakerin PTI berdasarkan komponen utama dalam usability yaitu mengukur tingkat kepuasan pengguna dan penentuan rekomendasi. Teknik ini dikombinasikan dengan teknik pengisian kuisioner Software Usability Sistem (SUS) yaitu kuisioner yang digunakan untuk mengukur nilai kepuasan pengguna terhadap Sistem Informasi Prakerin PTI yang mengacu pada Standar Usability Questionmaires. Teknik ini dilakukan kepada responden setelah melakukan proses pengambilan data Performance Measurement G. Jenis dan Sumber Data 1. Jenis Data Dalam Penelitian Ini Terdiri Dari : - Data kualitatif dalam penelitian ini adalah hasil deskripsi maupun informasi dari keadaan yang terjadi di lapangan mengenai prilaku dosen dan mahasiswa dalam menggunakan Sistem Informasi Prakerin PTI yang diperoleh dari teknik yang digunakan. Selain itu data kualitatif diperoleh dari usability testing dengan teknik RTA. - Data kuantitatif dalam penelitian ini adalah hasil usability testing dengan teknik Performance Measurement dan kuisioner SUS. 2. Sumber Data dalam penelitian ini terdiri dari: - Data primer dalam penelitian ini adalah data hasil survei usability pada Sistem Informasi Prakerin PTI dengan menggunakan usability testing. - Data sekunder dalam penelitian ini didapatkan dari jurnal penelitian, artikel, buku dan literatur lainnya yang relevan dengan penelitian. H. Instrumen Penelitian Dalam penelitian ini, instrumen yang digunakan adalah dalam bentuk daftar task skenario dan kuisioner SUS. I. Analisis Data Bagian ini menjelaskan tentang metode yang digunakan untuk melakukan analisis hasil data yang sudah di dapat, yaitu hasil data kuantitatif dan kualitatif. J. Teknik Mengembangkan Rekomendasi Dasar penentuan perbaikan yang dilakukan pada penelitian ini didapat dari hasil usability testing yaitu metode RTA dan juga dari panduan pembuatan user interface halaman web bedasarkan ilmu HCI yang didapat dari literatur. Dasar Perbaikan dari Hasil Usablity Testing yang digunakan untuk menentukan perbaikan didapat dari hasil usability testing dengan teknik RTA. Selain itu perbaikan juga melihat kembali saran dan kritik yang diberikan responden sebagai peserta usability testing. Setelah diketahui dasar perbaikan yang akan dilakukan dari hasil pengukuran usability, kemudian untuk membuat perbaikan ini sesuai dengan tujuan yaitu untuk membuat user interface Sistem Informasi Prakerin lebih mudah digunakan oleh pengguna maka diterapkanlah beberapa panduan pembuatan web yang baik dari literatur berdasarkan pada ilmu HCI.

9 IV. HASIL PENELITIAN DAN PEMBAHASAN A. Deskripsi Data Pada bagian ini akan dideskripsikan mengenai hasil penelitian dan pembahasan hasil penelitian. Hasil penelitian dan pembahasan dari masing masing aspek usability yakni efektivitas, efisiensi, dan kepuasan pengguna akan dilakukan secara sistematis. Adapun rincian dari masing masing komponen tersebut dapat dijabarkan sebagai berikut. B. Pembahasan Hasil Penelitian Pada bagian ini dianalisis keefektifan dan keefisienan serta kepuasan pengguna yang didapat dari proses usability testing dengan teknik Performance Measurement dan Retrospective Think Aloud (RTA). Untuk mengukur keefektifan dilakukan penghitungan jumlah error yang dilakukan oleh responden. Sedangkan untuk mengukur keefisienan seperti yang telah dijelaskan sebelumnya hasil data akan dibandingkan antara pengguna kelompok pemula dan kelompok mahir dengan menggunakan uji statistik. Serta untuk mengukur kepuasan pengguna dilakukan dengan melakukan rekapitulasi hasil kuisioner dan dianalisis dengan perhitungan SUS. 1. Efektivitas Untuk menganalisis dan mengukur efektivitas diukur dengan melihat terjadinya error yang terjadi saat responden meyelesaikan tugas. Berikut dijabarkan analisis berserta hasil efektivitas Sistem Informasi Prakerin PTI dari segi pengguna yaitu mahasiswa dan dosen. - Hasil Efektivitas Pada Data Mahasiswa Berdasarkan data performance measurement maka diperoleh data kejadian kesalahan (error) pada responden mahasiswa pada Tabel 3 berikut. Tabel 3. Data Kesalahan (error) Responden Mahasiswa Jumlah Juml Persentase Kelom Macam Respond ah Jumlah pok Tugas en Error Error Pemula Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Mahir Tugas % Kelom pok Macam Tugas Jumlah Respond en Juml ah Error Persentase Jumlah Error Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Berdasarkan data error responden mahasiswa yang ditampilkan pada Tabel 3. menunjukkan bahwa ada responden yang error atau gagal menyelesaikan tugas. Presentase kesalahan atau error yang terjadi pada responden mahasiswa kelompok pemula pada tugas 8 dan 9 berjumlah 33.34%, dan 66.67%. Sedangkan kesalahan atau error yang terjadi pada responden mahasiswa kelompok mahir yaitu tugas 4, 5, 6 dan tugas 9 berjumlah 66.67%, 66.67%, dan 66.67%%. Dari data performance measurement diketahui responden yang melakukan error adalah responden dengan kode responden M312 pada pengerjaan tugas 8, M312, M313, M321, dan M323 pada pengerjaan tugas 9, M321 dan M322 pada pengerjaan tugas 4, M321 dan M323 pada pengerjaan tugas 5, M321 pada pengerjaan tugas 6. Dengan terdapatnya error beserta penyebabnya pada proses penyelesaian tugas tersebut, dapat disimpulkan bahwa halaman Sistem Informasi Prakerin PTI dari segi pengguna mahasiswa dikatakan belum efektif. - Hasil Efektivitas Pada Data Responden Dosen Berdasarkan data performance measurement maka diperoleh data kejadian kesalahan (error) pada responden dosen pada Tabel 4. berikut. Tabel 4. Data Kesalahan (error) Responden Dosen Jumlah Juml Macam Kelompok Respon ah Tugas den Error Persentase Jumlah Error Pemula Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas %

10 Mahir Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Tugas % Berdasarkan data error responden dosen yang ditampilkan pada Tabel 4. menunjukkan bahwa ada responden yang error atau gagal menyelesaikan tugas. Presentase kesalahan atau error yang terjadi pada responden dosen kelompok pemula pada tugas 2 dan 6 berjumlah 33.34% dan 33.34%. Sedangkan kesalahan atau error yang terjadi pada responden dosen kelompok mahir yaitu tugas 3 dan tugas 5 berjumlah 50.00% dan 50.00%. Dari data performance measurement diketahui responden yang melakukan error adalah responden dengan kode responden D333 pada pengerjaan tugas 2, D342 pada pengerjaan tugas 3, D341 pada pengerjaan tugas 5, D331 pada pengerjaan tugas 6. Dengan terdapatnya error beserta penyebabnya pada proses penyelesaian tugas tersebut, dapat disimpulkan bahwa halaman Sistem Informasi Prakerin PTI dari segi pengguna dosen dikatakan belum efektif. 2. Efisiensi Untuk mengukur efisiensi pengerjaan tugas pada dilakukan dengan membandingkan waktu pengerjaan responden pemula dengan responden mahir pada hasil pengukuran usability Sistem Informasi Praerin PTI menggunakan Mann Whitney U-test. Oleh karena itu, dapat ditarik kesimpulan bahwa secara statistik dari 9 tugas dapat dinyatakan tidak ada perbedaan yang signifikan, dan hanya 1 tugas yang memiliki perbedaan yang signifikan waktu pengerjaan tugas responden mahasiswa kelompok mahir dan kelompok pemula meskipun waktu pengerjaan pada responden mahasiswa kelompok mahir sedikit lebih cepat dari responden pemula. Dari kesimpulan ini dapat diputuskan bahwa halaman Sistem Informasi Prakerin PTI dari segi pengguna mahasiswa sudah efisien 3. Hasil Efisiensi Pada Data Dosen Oleh karena itu, dapat ditarik kesimpulan bahwa secara statistik dari 6 tugas dapat dinyatakan tidak ada perbedaan yang signifikan, dan 4 tugas yang memiliki perbedaan yang signifikan waktu pengerjaan tugas responden dosen kelompok mahir dan kelompok pemula meskipun waktu pengerjaan pada responden dosen kelompok mahir sedikit lebih cepat dari responden pemula. Dari kesimpulan ini dapat diputuskan bahwa halaman Sistem Informasi Prakerin PTI dari segi pengguna dosen sudah efisien 4. Kepuasan Pengguna Setelah responden selesai berinteraksi dengan halaman Sistem Informasi Prakerin PTI, responden kemudian diberikan kuisioner SUS yang bertujuan untuk melihat kepuasan responden. Perhitungan dilakukan dengan menghitung nilai skor untuk tiap kuesioner. Perolehan nilai skor untuk kuesioner responden mahasiswa sebesar 62,08. Hal ini berarti nilai skor tesrsebut lebih kecil dari skor standar SUS yaitu 68, sehingga dapat dikatakan bahwa responden mahasiswa kurang puas menggunakan Sistem Informasi Prakerin PTI. Dilihat dari data kuisioner yang diperoleh pernyataan yang memiliki nilai terendah adalah pengguna merasa banyak tampilan pada Sistem Informasi Prakerin PTI yang tidak konsisten. Perolehan nilai skor untuk kuesioner responden dosen yang dapat dilihat pada Lampiran 8 sebesar Hal ini berarti nilai skor tesrsebut lebih kecil dari skor standar SUS yaitu 68, sehingga dapat dikatakan bahwa responden dosen kurang puas menggunakan Sistem Informasi. Dilihat dari data kuisioner yang pernyataan yang memiliki nilai terendah yaitu responden dosen merasa fungsi yang ada di Sistem Informasi Praekrin PTI belum bagus terintegrasi 5. Rekomendasi Perbaikan Dari kesimpulan yang didapat dari usability testing pada Sistem Informasi Prakerin yang menjadi objek penelitian, diketahui bahwa halaman tersebut tidak mampu memenuhi kriteria usability sebuah web karena dinilai masih belum efektif dan belum memenuhi kepuasan penggunanya sehingga dalam penelitian ini akan dirancang memeberikan rekomendasi halaman Sistem Informasi Praekrin PTI. Rekomendasi perbaikan akan dilakukan dengan membuat wireframe dimana dasar yang digunakan untuk mengembangkan rekomendasi adalah panduan HCI dan hasil data usability testing yaitu performance measurement dan RTA. Berdasarkan hasil performance measurement, rekomendasi perbaikan dalam penelitian ini akan difokuskan untuk mengubah tata letak (layout) halaman, penjelasan pada text input dan menu navigasi pada hasil data penyebab kesalahan (error) pada pengguna. Selain itu berdasarkan hasil saran pengguna melalui hasil RTA yaitu menambahkan fitur-fitur menu yang dibutuhkan pengguna. Berikut adalah halaman Sistem Informasi Prakerin hasil rekomendasi perbaikan.

11 V. PENUTUP Berdasarkan hasil penelitian dan hasil analisis data survei usability Sistem Informasi Prakerin PTI dapat disimpulkan sebagai berikut. Hasil evaluasi usability testing Sistem Informasi Prakerin PTI masih tergolong belum efektiv, karena masih terjadinya kesalahan atau error yang dilakukan oleh responden saat menggunakan sistem tersebut. Dari segi pelaksanaan waktu pengerjaan tugas antara responden mahasiswa dan dosen baik responden pemula dan mahir tidak ada perbedaan yang sidgnifikan, bisa dikatakan efisien. Akan tetapi pengguna mahasiswa atau dosen belum merasa puas dengan Sistem Informasi Prakerin PTI dilihat dari hasil rekapitulasi kuisioner mahasiswa yaitu dan responden dosen yaitu 60,42 masih lebih kecil dari skor standar SUS yaitu 68. Rekomendasi perbaikan Sistem Informasi Prakerin PTI yaitu perlunya ditambah menu-menu yang ada dalam sistem. Seperti menu data prakerin yang awalnya berada dalam menu daftar prakerin disarankan dibuatkan menu tersendiri dala side bar. Perlunya dibuatkan halaman ubah password agar pengguna lebih mudah apabila inggi mengubah password akunnya. Dalam form penilaian dosen perlu diisikan penjelasan dalam kolom nilainya apakah nilainya harus diisi dengan angka atau huruf. Guna meningkatkan kepuasan pengguna dari segi kegunaanya, hendaknya dilakukan perbaikan atau penambahan dari fitur-fitur system yang sudah ada. Hasil temuan dan masukan yang diperoleh hendaknya digunakan sebagai bahan masukan untuk pengembangan jurusan PTI secara berkelanjutan. Jurusan perlu memfasilitasi mahasiswa untuk mengembangkan Sistem Informasi Praekrin PTI ini agar bisa diakses langsung melalui adroid atau bersifat mobile. [7] Sembada, D. A. (2012). Evaluasi Penggunaan Content Management System (CMS) Untuk Sistem Informasi Perpustakaan dengan Technology Acceptarice Model (TAM). Jakart. [8] Savitri, P. (2015). Review Desain Interface Aplikasi SOPPPOS Menggunakan Evaluasi Heuristik. SIMETRIS, [9] Ridwan, F. Z. (2008). Analisa Usability Untuk Mengetahui User Experience Pada Aplikasi Berbasis Web. FASILLKOM. [10] Prayoga. (2014). Analisis Usability Pada Aplikasi Berbasis Web dengan Mengadopsi Model Kepuasan Pengguna (User Satisfaction). Jurnal Sistem Informasi MTI-UI, [11] usability.gov. (n.d.). usability. Retrieved from usability: [12] Ersa, A. M. (2015). Usability Evaluation Website E-Government Layanan Aspirasi dan Pengaduan Online (LAPOR!): Perbandingan Antara Existing Product dan Development Product. Jakarta. [13] Junus, I. S. (2015). Usability Evaluaiton of The Student Centered e-learning Enviroment. Jurnal International Review of Research in Open and Distributed Learning. [14] Morisan. (2014). Metode Penelitian Survei. [15] Sugiyono. (2009). Metode Penelitian Bisnis (Pendekatan Kualitatif, Kuantitatif, dan R&D). Bandung. REFERENSI [1] Department, U. (2009). usability. Retrieved from usability: [2] Rahadi, D. R. (2014). Pengukuran Usability Sistem Menggunakan Use Questionaire Pada Aplikasi Android. Jurnal Sistem Informasi (JSI). [3] Utama, S. (2011). Perbaikan User Interface Halaman Internet Banking dengan Metode Usability Testing. Jakarta. [4] Widya, U. (2016). Evaluasi Usability Pada E-Learning Universitas Pendidikan Ganesha dengan Metode Usability Testing. Singaraja. [5] Nielsen. (1994). Heuristic Evaluation [6] Falahah, I. R. (2011). Evaluasi Implementasi Sistem Informasi dengan Pendekatan Utility Sistem (Studi Kasus Sistem E-Campus Universitas Widyatama. Jurnal Ilmiah KURSOR,