BAB 4 IMPLEMENTASI DAN EVALUASI. Pengimplementasian dan pengevaluasian aplikasi BlueTTS pada penelitian ini

Transkripsi

1 BAB 4 IMPLEMENTASI DAN EVALUASI 4.1 Implementasi Aplikasi Pengimplementasian dan pengevaluasian aplikasi BlueTTS pada penelitian ini menggunakan Matlab 7.1. Beberapa hal yang dibutuhkan dalam pengembangan aplikasi ini adalah: Perangkat Lunak Perangkat lunak yang digunakan dalam pembuatan aplikasi ini adalah: Microsoft Windows XP Service Pack 2 Bahasa Pemrograman Matlab 7.1 Bahasa Pemrograman Visual Basic Perangkat Keras Spesifikasi perangkat keras yang digunakan dalam pembuatan aplikasi BlueTTS adalah: 1 unit perangkat komputer, dengan spesifikasi o Processor : Intel Pentium 4 CPU 2.81 GHz o Memory : 768 DDR Ram o HardDisk : 80 Giga Byte o Keyboard dan mouse 1 unit speaker atau headset 116

2 Rencana Implementasi Aplikasi BlueTTS diuji tingkat keakuratannya dengan melakukan berbagai tahap. Untuk tahap penggunaan metode representasi input, penulis membandingkan nilai error dari arsitektur neural network yang menggunakan metode representasi nilai ASCII dan yang menggunakan metode representasi urutan alfabet. Dari hasil perbandingan tersebut akan dipilih arsitektur yang memiliki nilai error terkecil. Untuk memilih penggunaan jumlah node yang paling baik, penulis membandingkan nilai error dari hasil training pada berbagai arsitektur neural network yang berbeda. Penulis membandingkan penggunaan jumlah node berjumlah 40 node, 100 node, dan 297 node dengan menggunakan 1 hidden layer pada setiap percobaan. Setelah didapat hasil error yang paling kecil, penulis membandingkannya dengan hasil pengujian menggunakan 2 hidden layer. Dari hasil pengujian tersebut akan dipilih arsitektur yang memiliki nilai error terkecil. Pada pengenalan fonem, penulis memasukkan berbagai macam kata ke dalam aplikasi dan akan dihitung jumlah kata yang menghasilkan fonem yang. Hasil keluaran fonem akan dibandingkan dengan fonem yang terdapat pada Kamus Besar Bahasa Indonesia. Nilai keakuratan akan dihitung dari jumlah pengenalan fonem pada kata yang bernilai dibagi dengan total kata yang diuji. Tahap terakhir ialah pengujian pengenalan kontekstual, penulis akan memasukkan berbagai macam kalimat yang mengandung homograf yang memiliki hasil kategori sintaksis yang bervariasi. Nilai keakuratan akan dihitung dari jumlah pengenalan yang tepat dibagi dengan total kalimat yang diuji.

3 Implementasi Tampilan Layar a) Form Layar Utama Gambar 4.1 Layar Form Utama

4 119 b) Layar Form Training Data Gambar 4.2 Layar Form Training Data

5 120 c) Layar Form Show Properties Gambar 4.3 Layar Form Show Properties

6 121 d) Layar Form Penggenerasian Fonem Gambar 4.4 Layar Form Penggenerasian Fonem 4.2 Evaluasi Hasil Pengujian Dalam pengujian aplikasi BlueTTS, pengujian dibagi menjadi beberapa bagian di antaranya ialah pengujian metode representasi input, pengujian jumlah node pada neural net yang paling optimal, pengujian fonem yang dikenali dari neural net tersebut, dan pengujian analisa kontekstual dari berbagai kalimat yang mengandung homograf.

7 Pengujian Metode Representasi Input Pada representasi input berupa kata menjadi banyak node yang masing-masing node hanya dapat bernilai 0 hingga 1 terdapat berbagai metode yaitu menggunakan urutan alfabet dan menggunakan representasi ASCII. Untuk mendapatkan hasil yang optimal, penulis menguji aplikasi BlueTTS dengan menggunakan kedua cara sebelum melanjutkan proses training dengan metode yang optimal. Jumlah kata yang digunakan sebagai data ialah 3380 kata dan total perulangan pada backpropagation sejumlah epoch. Pada representasi kata menggunakan ASCII, input layer memiliki 11 kategori dengan 4 node tambahan sebagai kategori sintaksis. Pada setiap kategori, terdiri dari 8 node yang akan menyimpan nilai biner daripada nilai ASCII pada huruf yang bersangkutan dan 1 node lagi untuk menyimpan spasi. Pada metode ini, total jumlah node pada input layer berjumlah 103 buah. Berikut ini hasil training-nya: TRAINGDX, Epoch 10000/10000, MSE /1e-005, Gradient /1e-006 Pada hasil training tersebut dapat dilihat bahwa nilai error berjumlah dengan gradient (tingkat kemiringan) Pada representasi kata menggunakan urutan alfabet, jumlah node yang digunakan akan jauh lebih banyak. Input layer terdiri dari 11 kategori, dengan 26 node yang mewakili urutan alfabet, ditambah dengan 1 node untuk spasi. Selain itu akan ditambah pula 4 node sebagai penentu kategori sintaksis. Total jumlah node yang digunakan berjumlah 301 node. Berikut ini hasil training dengan epoch:

8 123 TRAINGDX, Epoch 10000/10000, MSE /1e-005, Gradient /1e-006 Nilai error pada hasil training tersebut berjumlah dengan nilai gradient Dari kedua proses training tersebut dapat digambarkan grafik perbandingan sebagai berikut: Perbandingan Representasi Node Input error gradient ASCII Alfabet Gambar 4.5 Grafik Perbandingan Representasi Node Input Dari grafik tersebut dapat dilihat bahwa nilai error pada penggunaan urutan alfabet dalam representasi kata ke dalam bentuk node jauh lebih efektif dibandingkan penggunaan nilai ASCII. Meskipun gradient pada penggunaan nilai ASCII lebih besar daripada penggunaan urutan alfabet, namun selisih perbedaannya tidak terlalu signifikan.

9 124 Berdasarkan hasil pengujian dapat dibuktikan bahwa penggunaan urutan alfabet sebagai metode representasi node input lebih baik daripada penggunaan nilai ASCII sehingga penulis menggunakan metode ini pada penelitian lebih lanjut Pengujian Jumlah Layer dan Node Hingga saat ini masih belum ada rumus pasti bagaimana arsitektur neural net yang terbaik dalam setiap kasus yang berbeda. Ukuran jumlah node dan jumlah layer pada berbagai kasus yang menggunakan neural net, selalu diperoleh melalui pengujian yang berusaha mendapatkan hasil yang terbaik. Pada aplikasi BlueTTS ini penulis menguji beberapa proses training yang menggunakan jumlah node dan layer yang berbeda-beda dengan jumlah perulangan yang sama. Perbandingan akan dilihat dari nilai error akhir pada neural net dengan jumlah training yang sama. Semakin kecil nilai error menunjukkan kinerja neural network yang lebih baik. Gradien menunjukkan tingkat kemiringan proses training. Semakin besar jumlah gradien maka proses training akan berjalan lebih cepat. Penulis melakukan pengujian menggunakan 1 hidden layer dengan 40 node, 100 node, jumlah node yang sama dengan input, dan menggunakan 2 hidden layer dengan jumlah node yang sama dengan input. Pada pengujian menggunakan 40 node pada hidden layer, berikut ini hasil akhir dari training sebanyak epoch: TRAINGDX, Epoch 10000/10000, MSE /1e-005, Gradient /1e-006

10 125 Pada pengujian menggunakan 100 node pada hidden layer, berikut ini hasil akhir dari training sebanyak epoch: TRAINGDX, Epoch 10000/10000, MSE /1e-005, Gradient /1e-006 Dilihat dari 2 macam jumlah node tersebut, hasilnya kurang memuaskan sehingga penulis mencoba menggunakan jumlah kategori dikali dengan jumlah alfabet ditambah dengan spasi yang berarti sejumlah 297 node. Berikut ini hasil akhir dari training sebanyak epoch: TRAINGDX,Epoch 10000/10000, MSE /1e-005,Gradient /1e-006 Hasil training dengan menggunakan jumlah node yang sama dengan jumlah node pada input layer lebih memuaskan. Setelah ini penulis mencoba mentraining data menggunakan 2 hidden layer, dengan masing-masing layer memiliki node yang berjumlah sama dengan input node. Berikut ini hasil dari trainingnya sebanyak epoch: TRAINGDX, Epoch 10000/10000, MSE /1e-005, Gradient /1e-006 Dilihat dari hasil training di atas maka dapat dibuat tabel perbandingan sebagai berikut berdasarkan perulangan sebanyak epoch: Tabel 4.1 Hasil Pengujian Node pada Hidden Layer

11 126 Jumlah node dan hidden layer Error terakhir Gradient terakhir 40 node, 1 hidden layer node, 1 hidden layer node, 1 hidden layer node, 2 hidden layer Berikut ini ditampilkan dalam bentuk grafik: Perbandingan Error dan Jumlah Node pada Epochs Nilai Error error Jumlah Node Gambar 4.6 Grafik Perbandingan Hasil Training Berdasarkan pengujian tersebut penulis mengambil kesimpulan bahwa pada penelitian ini, hasil terbaik akan didapat dengan menggunakan jumlah node pada hidden layer yang sama dengan jumlah node pada input layer.

12 127 Berdasarkan hasil penelitian tersebut, training menggunakan 297 node diteruskan sebisanya dalam kurun waktu. Berikut ini ialah hasil training terakhir penulis dengan menggunakan jumlah node tersebut selama kurang lebih 300 jam yang dilakukan tidak secara nonstop dalam waktu 1 bulan: TRAINGDX, Epoch 5876/1e+006, MSE /1e-005, Gradient e-005/1e Pengujian Pengenalan Fonem Dengan menggunakan hasil training yang terakhir tersebut, penulis melakukan beberapa uji coba dengan memasukkan kata-kata yang sudah pernah ditraining dan katakata yang belum pernah dikenali. a) Pengenalan terhadap kata yang dimasukkan sebagai data training Berikut ini ialah hasil pengenalan 3380 kata yang sudah pernah dimasukkan dalam training dengan current error : Total input : 3380 kata Jumlah Benar : 1747 kata Jumlah Salah : 1633 kata Persentase keakuratan : % Sampel data kata target output Hasil acara V ts V r V V V r V Salah dahaga d V h V g V d V h V V Salah brankas b r V n k V s b r V k V Salah meja m e dz V dz V Salah nenek n e n e k n k salah

13 128 Berikut ini ialah hasil pengenalan 3380 kata yang sudah pernah dimasukkan dalam training dengan current error : Total input : 3380 kata Jumlah Benar : 2801 kata Jumlah Salah : 579 kata Persentase keakuratan : % Sampel data kata target output hasil acara V ts V r V V ts V r V dahaga d V h V g V d V h V V salah brankas b r V n k V s b r V n k V s meja m e dz V m e dz V nenek n e n e k n e n e k Berikut ini ialah hasil pengenalan 3380 kata yang sudah pernah dimasukkan dalam training dengan current error : Total input : 3380 kata Jumlah Benar : 2962 kata Jumlah Salah : 418 kata Persentase keakuratan : % Sampel data kata target output hasil jambret dz V m b r e t dz V m b r e t ekstra e k s t r V e k s t r V indera I n r V I n d e r V salah koperasi k Q r V s I k Q p e r V s I salah pesan s V n s V n

14 129 Berikut ini ialah hasil pengenalan 3380 kata yang sudah pernah dimasukkan dalam training dengan current error : Total input : 3380 kata Jumlah Benar : 3008 kata Jumlah Salah : 372 kata Persentase keakuratan : % Sampel data kata target output hasil telur l U r l U r tabel t V l t V b l salah indera I n r V I n d r V salah kontestan k Q n t e s t V n k Q n t e s t V n gelang l V N l V N Berikut ini grafik perbandingan error dan keakuratan penggenerasian fonem terhadap kata-kata yang sudah pernah di-training:

15 130 Gambar 4.7 Grafik Perbandingan Keakuratan pada Data Training b) Pengenalan terhadap kata yang belum pernah dikenali sebelumnya Hasil pengenalan 600 kata yang belum pernah dimasukkan dalam training dengan current error : Total input : 600 kata Jumlah Benar : 248 kata Jumlah Salah : 352 kata Persentase keakuratan : % Sampel data kata target output bayang b V j V N b V V N bioskop b I Q s k Q p b I s k nurani n U r V n I p U r V n I tunggu t U N g U t U N vokal f Q k V l p Q k V l Hasil pengenalan 600 kata yang belum pernah dimasukkan dalam training dengan current error : Total input : 600 kata Jumlah Benar : 420 kata Jumlah Salah : 180 kata Persentase keakuratan : % Sampel data kata target output hasil bayang b V j V N b V j V N bioskop b I Q s k Q p b I Q s k Q salah nurani n U r V n I n U r V n I

16 131 tunggu t U N g U t U N g U vokal f Q k V l f Q k V l Sedangkan untuk hasil pengenalan kata-kata yang belum pernah dimasukkan ke dalam training sebanyak 600 kata dengan current error , dapat dilihat di bawah ini: Total input : 600 kata Jumlah Benar : 445 kata Jumlah Salah : 155 kata Persentase keakuratan : % Sampel data kata target output hasil sekolah k Q l V h k Q l V h sepi p I s e p I salah monster m Q n s r m Q n s t r salah koneksi k Q n e k s I k Q n e k s I internal I n r n V l I n r n V l Hasil pengenalan 600 kata yang belum pernah dimasukkan dalam training dengan current error : Total input : 600 kata Jumlah Benar : 448 kata Jumlah Salah : 152 kata Persentase keakuratan : % Sampel data kata target output hasil tetap t V p t V p primer p r I m e r p r I m e r sesuai s U ai s U V I salah

17 132 satelit s V l I t s V t l I t salah renovasi r e n Q f V s I r e n Q f V s I Berikut ini grafik perbandingan tingkat error dengan keakuratan pengenalan fonem terhadap kata-kata yang belum di-training: Gambar 4.8 Grafik Perbandingan Keakuratan pada Data Baru Pengujian Analisa Kontekstual Pada Analisa kontekstual, penulis akan menguji aplikasi BlueTTS dengan memasukkan beberapa kalimat yang menggunakan homograf untuk dikenali kategori sintaksisnya. Kalimat yang dimasukkan akan dibuat yang belum pernah ada di contoh data kalimat yang sudah dipelajari. Berikut ini hasil pengujian kontekstual dengan kalimat-kalimat yang belum pernah digunakan.

18 133 Tabel 4.2 Hasil Pengujian Kontekstual John memiliki mental baja dalam menghadapi situasi ini. Mental Susi tidak tergoyahkan sedikit pun. Tidak semua orang memiliki mental yang kuat. Satu-satunya yang diuji dalam tes masuk adalah mental. Judul film-film ini berseri semua. Serial sidul Anak Sekolahan menduduki peringkat pertama. Kebanyakan sinetron berseri menjadi favorit anak remaja. Film seri tidak diminati orang dewasa. Apel yang dimakan Stefan sudah busuk. Buah apel baik untuk kesehatan. ujang selalu apel setiap minggu Ibu membeli buah nanas dan apel. Apel yang manis banyak diminati orang. Setiap hari Anton selalu apel ke rumah pacarnya. Budi selalu absen ketika ada apel. Setiap sore Susi selalu mangkal di terasnya. Setiap kali pergi melihat rumah yang dijual, teras menjadi bagian penting dalam kwalitas rumah. Gaji yang diterima John sepersepuluh dari gaji pejabat teras itu. Istri dari pejabat teras selalu dilimpahi harta yang banyak. ujang mental keluar dari halaman bola mental keluar Untuk menjadi pejabat teras sangatlah sulit. Untuk menjadi pejabat teras sangatlah sulit. Nenek sangat doyan dengan terasi. Serangga itu terbang setelah berhasil keluar dari kepompong. Kami sekeluarga pergi ke serang. Satu-satunya kota indah terdapat di serang. Kota serang memiliki jumlah penduduk terbanyak selain kota lainnya. Budaya- budaya di kota serang sangat unik. serang merupakan kota kecil dibagian timur jawa. Tono pergi mengapel dirumah temannya. Teras Andi sudah mulai rapuh. Pejabat teras selalu mengadakan rapat tidak penting. Serang"!! itu kata terakhir dari kapten. Ayah mendapat serangan jantung tiba-tiba. Serangan yang dilakukan Irak berakibat fatal pada Iran. Kita akan melakukan serangan pada subuh hari. salah salah salah salah salah salah salah Berdasarkan hasil pengujian tersebut dapat dituliskan persentase keberhasilan dari pengenalan kontekstual menggunakan N-gram yaitu:

19 134 Jumlah kalimat 37 kalimat Jumlah 30 kalimat Jumlah salah 7 kalimat Persentase Keakuratan % 4.3 Batasan Sistem Batasan-batasan yang dimiliki oleh aplikasi BlueTTS dengan menggunakan backpropagation dan N-gram antara lain: Jika dimasukkan kata asing yang akan mengacaukan pola pengucapan Bahasa Indonesia maka neural net akan semakin sulit untuk menyelesaikan training. Untuk kata-kata yang sangat panjang, tingkat keakuratannya rendah karena data training yang menggunakan kata yang panjang tidak sebanyak yang kata pendek. Untuk kata-kata yang belum pernah dikenali, maka dalam penentuan kontekstual, kata tersebut akan dianggap nomina. Proses training masih belum sempurna dikarenakan keterbatasan waktu Pengenalan kontekstual masih terdapat kesalahan apabila menggunakan imbuhan karena belum dikenali sebagai data yang pernah ada.