BAB IV ANALISA DAN PENGUJIAN Berikutnya setelah seluruh rangkaian perangkat keras dan perangkat lunak selesai dibuat, maka tahap selanjutnya adalah pengujian. Di sini akan dilakukan beberapa jenis pengujian, yakni pengujian akurasi pengenalan suara, kemudian pengujian untuk membuktikan bahwa alat dapat digunakan dengan baik (usability testing) dan pengujian stabilitas untuk mengetahui seberapa besar errornya. 4.1 Pengujian Akurasi Pengenalan Suara Walau Dragon NS sudah dirancang untuk memiliki akurasi tinggi, namun ternyata tidak selamanya sistem mengenali perintah dengan benar. Kadangkadang ada perintah yang tidak berhasil dikenali. Untuk itu dilakukan pengujian, dengan mendiktekan beberapa frase sederhana, lalu melihat hasil pengenalannya benar atau tidak. Pengujian dilakukan dengan cara melakukan pengulangan perintah masing-masing 20 kali, untuk dihitung berapa kali sistem salah melakukan pengenalan. 73
Tabel 4.1 Pengujian Pengenalan Perintah No Frase Pengujian Persen Kesalahan 1 TURN ON 20% 2 TURN OFF 20% 3 SWITCH ON 15% 4 SWITCH OFF 10% 5 SET ON 10% 6 SET OFF 10% Terlihat bahwa errornya bervariasi antara 10-20 persen, untuk masing-masing 20 kali percobaan. Penyebab adanya variasi tersebut ada beberapa kemungkinan: - Karena ada noise dari luar. Adanya noise dapat membuat komputer bingung karena suara perintah dari user tercampur dengan suara latar belakang. - Karena faktor akustik ruangan. Ruangan yang tidak memiliki akustik yang bagus menyebabkan suara agak bergema (echo). Sehingga mengganggu proses pengenalan. - Faktor pengucapan yang tidak konsisten. Dalam beberapa kali percobaan, mungkin ada beberapa pelafalan (pronounciation) kata-kata yang tidak tepat, dikarenakan adanya logat atau dialek dari user. Sehingga sistem tidak dapat mengenali dengan tepat. 74
4.1 Pengujian Penggunaan (usability testing) Antarmuka Suara Sebelum sebuah sistem dapat dinyatakan layak pakai oleh pengguna akhir (end-user) maka sistem haruslah diuji terlebih dahulu, apakah sistem telah dapat memenuhi tujuan awal pengembangannya. Dalam kasus ini, pengujian yang dilakukan adalah dengan cara mengikuti diagram alur penggunaan yang telah disusun dalam subbab 3.1 mengenai rancangan global. Berikut ini adalah hasil dari pelaksanaan pengujian tersebut. 4.2 Hasil Usability Testing No Langkah Pengujian Hasil Status Alat 1 Power dinyalakan Display Zelio menyala, menampilkan suhu saat ini, dan status heater dan valve. Heater Off 2 User memerintahkan sistem memanaskan suhu Sistem menjawab bahwa perintah diterima, dan heater mulai memanas. Heater On 3 Proses pemanasan Suhu tabung mulai memanas, ditunjukkan dengan naiknya temperatur pada display Zelio. Heater On 4 Suhu tabung mencapai suhu yang diinginkan Speaker mengeluarkan suara, Set point has been reached now. What would you like me to do?. Layar display Zelio menunjukkan perubahan status. 75 Heater Off
5 User memerintahkan sistem membuka valve Valve membuka, udara yang telah dipanaskan mengalir keluar. Heater Off Valve Open Sebagaimana sudah dibahas sebelumnya, sistem VUI yang hendak diwujudkan dalam hal ini harus dapat menerima berbagai macam kombinasi perintah secara fleksibel. Untuk itu dilakukan percobaan dengan memberi berbagai macam perintah. Dilakukan percobaan memberikan perintah pemanasan. Perintah-perintah yang diberikan antara lain sebagai berikut: - Set temperature to 50 degree - Set temperature until 50 degree - Could you please set the temperature to 50 degree? - Prepare temperature to 50 degree - I want you to set the temperature to 50 degree - Warm up until 50 degree Keseluruh jenis variasi perintah tersebut dicoba dilakukan dengan mengikuti langkah-langkah pengujian seperti pada tabel 4.1. Dan hasilnya tetap konsisten, yaitu heater menyala (dapat melakukan proses pemanasan). 4.3 Pengujian Konsistensi Suhu Keluaran Berikutnya dilakukan pengujian, untuk mengukur seberapa besar deviasi suhu output. Hal ini dilakukan untuk menganalisa tingkat akurasi hasil kinerja perangkat keras dan perangkat lunak yang dirancang. Analisis data diperlukan 76
untuk mengetahui besarnya rasio penyimpangan nilai rata-rata hasil pengukuran terhadap nilai teori. Hasil analisis ditunjukkan dalam persentase yang dihitung dengan menggunakan persamaan berikut : Nilai hasil Pengukuran Nilai Referensi % kesalahan 100% Nilai Referensi Hasil pengukuran didapat dari nilai yang tampil pada display, sedangkan nilai referensi didapat dari termometer raksa. Dalam percobaan ini, dilakukan 5 kali pengujian, sehingga didapat hasil sebagai berikut. Tabel 4.3 Hasil Pengukuran Kesalahan Uji ke- Set point Tampilan Referensi Kesalahan (derajat Celcius) (derajat Celcius) (derajat Celcius) (%) 1 50 50 50,10 0,2 2 50 51 50,50 1,0 3 50 50 50,00 0,00 4 50 50 50,20 0,40 5 50 50 49,90 0,20 Rata-rata 0,36% Tampak bahwa tampilan output menyimpang sebesar 0 hingga 1 persen dari nilai sebenarnya, atau tepatnya rata-rata kesalahan sebesar 0,36%. Adanya penyimpangan antara nilai hasil pengukuran dengan nilai teoritis sangat dimungkinkan. Penyebabnya ada beberapa faktor yaitu: 77
- Tingkat presisi komponen, yaitu nilai toleransi dan karakteristik dari komponen elektronik yang digunakan pada perancangan - Kesalahan sistematis, yaitu tingkat presisi alat ukur yang digunakan. - Kesalahan paralaks, yaitu ketelitian dalam melakukan pengukuran hasil perancangan (human error). 78