BAB 4 IMPLEMENTASI DAN EVALUASI SISTEM. pengujian pada handset Galaxy Tab Hasilnya adalah sebagai berikut :

Transkripsi

1 BAB 4 IMPLEMENTASI DAN EVALUASI SISTEM 4.1 Hasil Pengujian Pengenalan Kata Setelah dilakukan proses training Bahasa Indonesia, maka dilakukan pengujian pada handset Galaxy Tab Hasilnya adalah sebagai berikut : Tabel 4.1 Tabel hasil pengujian No Kata Penguji 1 Penguji 2 Penguji 3 Banyak Banyak Banyak Banyak Banyak Banyak Akurasi Pengulangan dikenali Pengulangan dikenali Pengulangan dikenali 1 Adik % 2 Apa % 3 Ayah % 4 Bibi % 5 Bola % 6 Delapan % 7 Dua % 8 Empat % 9 Enam % 10 Halo % 11 Ibu % 12 Kabar % 13 Kakak % 41

2 42 14 Lima % 15 Main % 16 Makan % 17 Malam % 18 Pagi % 19 Paman % 20 Satu % 21 Selamat % 22 Sembilan % 23 Siang % 24 Sore % 25 Tiga % 26 Tujuh % Keterangan tabel : Jumlah kata : 26 Jumlah pengulangan : 268 Jumlah kata yang dikenali : 179 Akurasi Total : 70.07% Akurasi tiap kata didapatkan dari : Rata-rata dari akurasi dari Penguji 1, Penguji 2, dan Penguji 3. Akurasi total didapatkan dari : Akurasi tiap kata dijumlahkan, lalu dibagi oleh jumlah kata yaitu 26.

3 Kebutuhan Sistem Proses menjalankan program dan training ini menggunakan beberapa perangkat keras dan perangkat lunak, antara lain : 1. Perangkat Keras 1. Laptop dan PC 2. Microphone 3. Speaker 4. Konektor Handset ke PC dan laptop 5. Handset Galaxy Tab dengan Operating System Android Handset Galaxy Note 1 2. Perangkat Lunak 1. Operating System Windows XP dan Ubuntu LTS Eclipse Classic Indigo Android Software Development Kit Revisi Android Development Tools versi Android Native Development Kit versi revisi 8b 6. Sound Recorder 7. Pocketsphinx snapshot 8. Sphinxbase snapshot 9. An4 10. Sphinxtrain Paint

4 Proses Training Suara Menggunakan Bahasa Indonesia Proses training suara dilakukan pada sistem operasi Ubuntu LTS. Beberapa software yang dibutuhkan untuk melakukan proses training antara lain: 1. Python 2. Perl 3. Sphinxbase 4. Sphinxtrain 5. AN4 Selain software dibutuhkan juga beberapa file berformat txt yang digunakan untuk membuat kamus kata, kamus fonetik, dan juga file wav yang digunakan sebagai suara training Pembuatan Kamus, Kamus Fonetik, dan Beberapa file yang Diperlukan Sebelum memulai training, diperlukan beberapa file, antara lain : 1. Kamus kata Kamus kata terdiri kata-kata yang ingin di training.

5 45 Gambar 4.1 Kamus kata 2. Kamus Fonetik Kamus fonetik berisi daftar fonetik yang digunakan

6 46 Gambar 4.2 Kamus fonetik 3. File txt yang berisi daftar kalimat yang ingin di train

7 47 Gambar 4.3 Kalimat yang akan dilatih pada file wav 4. File languange model yang berisi n-gram dari kata kata yang akan di train

8 48

9 49 Gambar 4.4 File language model File language model biasa menggunakan ARPA format yang merupakan standar dalam penelitian speech recognition. File ini berisi daftar 1-gram, 2-gram, 3-gram bersamaan dengan nilai likelihood dan faktor back-off.

10 Membuat file dump File dump dihasilkan dari file lm dengan menggunakan syntax sphinx_lm_convert i 6884.lm o 6884.DMP. Gambar 4.5 Proses pembuatan file DMP

11 Membuat file wav Membuat file wav sebanyak kalimat yang telah dibuat pada kalimat dengan ekstensi.txt Membuat file feat.params Feat.params merupakan file yang berisi parameter parameter yang digunakan dalam proses training. Gambar 4.6 File feature parameters Mengkonversi file wav Menjadi mfc

12 52

13 . 53

14 54 Gambar 4.7 Konversi file wav menjadi mfc Proses Training awal

15 55 Gambar 4.8 Pemeriksaan data, file, kelengkapan fonetik dan kamus suara Proses Hidden Markov Model

16 56 Gambar 4.9 Proses Hidden Markov Model Proses Training CD-untied Gambar 4.10 Proses training CD-untied

17 4.3.9 Proses Pembuatan Decision Tree untuk Parameter Sharing 57

18 58 Gambar 4.11 Proses pembuatan decision tree untuk parameter sharing Proses Inisialisasi dan Training CD-tied Models

19 59 Gambar 4.12 Proses inisialisasi dan training CD-tied models Proses Penghapusan Interpolasi Gambar 4.13 Proses penghapusan interpolasi

20 Screenshot Layar Gambar 4.14 Tampilan Splash Screen

21 Gambar 4.15 Tampilan layar input 61

22 Gambar 4.16 Tampilan program sedang mengenali suara 62

23 Gambar 4.17 Tampilan layar setelah suara dikenali 63

24 Evaluasi Segi Pengguna Evaluasi segi pengguna dilakukan pada sejumlah user yang telah menggunakan aplikasi speech recognition ini, dengan memberikan kuesioner evaluasi yang terdiri dari 6 pertanyaan kepada 50 responden, dimana responden merupakan mahasiswa Teknik Informatika. Hasil dari kuesioner evaluasi tersebut adalah sebagai berikut : 1. Apakah menurut Anda fitur yang disediakan sudah baik? Gambar 4.18 Diagram Pie kuesioner nomor 1 Tabel 4.2 Tabel kuesioner nomor 1 Kategori Jumlah Responden Persentase Responden Ya 45 90% Tidak 5 10% Total % Berdasarkan hasil evaluasi kuesioner nomor 1, sebagian besar responden menjawab sudah puas dengan fitur yang disediakan, yaitu dengan persentase 90%.

25 65 2. Apakah user interface (GUI) aplikasi ini sudah baik? Gambar 4.19 Diagram Pie kuesioner nomor 2 Tabel 4.3 Tabel kuesioner nomor 2 Kategori Jumlah Responden Persentase Responden Ya 40 80% Tidak 10 20% Total % Berdasarkan hasil evaluasi kuesioner nomor 2, sebagian besar responden menjawab bahwa tampilan atau user interface dari aplikasi speech recognition ini sudah memiliki GUI yang baik, yaitu dengan persentase 80%. 3. Apakah sistem ini mudah untuk digunakan?

26 66 Gambar 4.20 Diagram Pie kuesioner nomor 3 Tabel 4.4 Tabel kuesioner nomor 3 Kategori Jumlah Responden Persentase Responden Ya % Tidak 0 0% Total % Berdasarkan hasil evaluasi kuesioner nomor 3, seluruh responden menjawab bahwa aplikasi speech recognition ini mudah untuk digunakan, yaitu dengan persentase 100%. 4. Apakah menurut Anda sistem speech recognition ini sudah akurat?

27 67 Gambar 4.21 Diagram Pie kuesioner nomor 4 Tabel 4.5 Tabel kuesioner nomor 4 Kategori Jumlah Responden Persentase Responden Ya 35 70% Belum 10 20% Tidak 5 10% Total % Berdasarkan hasil evaluasi kuesioner nomor 4, sebagian besar responden menjawab bahwa aplikasi speech recognition ini sudah akurat, yaitu dengan persentase responden 70%, atau dengan jumlah 35 responden dari 50 responden. 5. Apakah Anda merasa puas dengan keakuratan dari sistem aplikasi ini?

28 68 Gambar 4.22 Diagram Pie kuesioner nomor 5 Tabel 4.6 Tabel kuesioner nomor 5 Kategori Jumlah Responden Persentase Responden Ya 33 66% Belum 12 24% Tidak 5 10% Total % Berdasarkan hasil evaluasi kuesioner nomor 5, sebagian besar responden menjawab sudah puas dengan keakuratan yang dimiliki oleh aplikasi speech recognition ini, yaitu dengan persentase responden 66%, atau dengan jumlah 33 responden dari 50 responden. 6. Apakah aplikasi ini nantinya dapat diimplementasikan dan membantu kebutuhan user di masa yang akan datang?

29 69 Gambar 4.23 Diagram Pie kuesioner nomor 6 Tabel 4.7 Tabel kuesioner nomor 6 Kategori Jumlah Responden Persentase Responden Ya 47 94% Tidak 3 6% Total % Berdasarkan hasil evaluasi kuesioner nomor 6, sebagian besar responden menjawab bahwa aplikasi speech recognition ini dapat diimplementasikan dan membantu user untuk di masa yang akan datang, yaitu dengan persentase 94%. Oleh karena itu dapat disimpulkan bahwa aplikasi speech recognition ini dapat digunakan sebagai panduan untuk pengembangan dan penelitian lebih lanjut bagi peneliti berikutnya dan yang nantinya akan memberikan manfaat yang lebih optimal untuk para user di masa yang akan datang.