PEMBUATAN PERANGKAT BASIS DATA UNTUK SINTESIS UCAPAN (NATURAL SPEECH SYNTHESIS) BERBAHASA INDONESIA BERBASIS HIDDEN MARKOV MODEL (HMM)

Transkripsi

1 PEMBUATAN PERANGKAT BASIS DATA UNTUK SINTESIS UCAPAN (NATURAL SPEECH SYNTHESIS) BERBAHASA INDONESIA BERBASIS HIDDEN MARKOV MODEL (HMM) Oleh: ELOK ANGGRAYNI NRP Dosen Pembimbing: Prof. Dr. Ir. Sekartedjo, M.Sc NIPN Dr. Dhany Arifianto, S.T., M.Eng NIPN

2 Tahukah Anda tentang perkembangan TEKNOLOGI HUMAN MACHINE???

3

4 HIBURAN MEDIS

5 BAGAIMANA membuat semua TEKNOLOGI ITU??

6 Dengan SPEECH SYNTHESIS.. Ternyata Speech synthesis sangatlah bermanfaat bagi KEHIDUPAN...

7 SPEECH SYNTHESIS (Sintesis Ucapan) adalah ucapan yang diproses oleh komputer berdasarkan data suara manusia menggunakan program tertentu yang telah dirancang dan menghasilkan keluaran berupa sinyal suara

8 Sintesis ucapan (speech synthesis) dapat dibuat dengan menggabungkan potongan hasil rekaman ucapan manusia yang disimpan dalam database. Jauh sebelum pemrosesan sinyal elektronik (electronic signal processing) ditemukan, ada orang-orang yang mencoba untuk membuat mesin untuk membuat suara manusia. SPEECH SYNTHESIS Sistem operasi komputer telah memiliki speech synthesizers sejak awal 1990-an. Speech synthesis merupakan produksi buatan dari ucapan manusia.

9 BAHASA INGGRIS BAHASA JEPANG SPEECH SYNTHESIS BAHASA THAILAND BAHASA MALAY

10 BAHASA INDONESIA?????

11 RUMUSAN MASALAH: 1. Bagaimana membuat basis data dalam bahasa Indonesia untuk pembuatan sintesis ucapan (natural speech synthesis) berbahasa Indonesia berdasarkan kaidah keseimbangan fonetik (phonetically balanced)? 2. Bagaimana membuat segmentasi dan labeling dataset untuk mempersiapkan rancangan sistem sintesis ucapan (natural speech synthesis) berbahasa Indonesia berbasis Hidden Markov Model (HMM)? 3. Bagaimana menyiapkan perangkat lunak untuk melakukan sintesis ucapan berbahasa Inggris maupun berbahasa Indonesia berbasis Hidden Markov Model (HMM)?

12 Untuk keperluan pembuatan basis data kalimat bahasa Indonesia digunakan kalimat bahasa Indonesia yang memenuhi keseimbangan fonetik (phonetically balanced) dengan jumlah kalimat 1529 buah kalimat. Basis data suara yang digunakan berasal dari suara satu orang wanita dan satu orang laki-laki yang tidak memiliki logat bahasa daerah tertentu. BATASAN MASALAH Teknik pengambilan data pada masing-masing objek dilakukan dengan perekaman langsung menggunakan interface EMU dan software Adobe Audition 3.0. Metode yang digunakan untuk membangun sintesis ucapan natural adalah metode Hidden Markov Models (HMM).

13 Diagram alir proses penelitian

14 Tabel 1. Fonem dalam bahasa Indonesia berdasarkan International Phonetic Alphabet (IPA). (Suyanto, 2009)

15 Pembuatan 1529 Kalimat

16

17 Diagram alir proses pembuatan database

18 Berikut adalah setting alat saat perekaman : Jarak antara mikrofon dengan naracoba ± 2-3 cm. Non-aktifkan perangkat suara (sound) pada komputer sehingga dapat mendengarkan secara langsung suara yang direkam melalui E-MU Parameter sinyal suara yang digunakan pada software adobe audition sesuai dengan yang parameter berikut ini:

19 PEREKAMAN Perekaman Suara Laki-laki & Perempuan Setting description : 1. Mono, 32 bit, frekuensi sampling Hz 2. Hasil perekaman disimpan dalam ekstensi.wav 3. Hasil perekaman yang disimpan dalam ekstensi.wav diubah menjadi ekstensi.txt BACK

20 BACK

21 Plot Amplitudo Digital Kalimat no 36 Amalia

22 Plot Amplitudo Digital Kalimat no 36 Hadi

23 Database 1529 Kalimat Hasil Rekaman 1529 Kalimat

24 Diagram alir proses segmentasi dan labeling

25 Diagram alir proses segmentasi dan labeling

26 Diagram alir proses segmentasi dan labeling

27

28 Hasil Segmentasi 100 Hasil Rekaman

29 Diagram alir proses penelitian

30 HMM-based speech synthesis system (HTS) HMM-based speech synthesis system (HTS) dikembangkan oleh kelompok kerja HTS Speaker dependent (SD) / adaptation (SA) demo scripts * SD: HTS-demo_CMU-ARCTIC-SLT * SA: HTS-demo_CMU-ARCTIC-ADAPT

31

32

33

34 DATABASE sangat PENTING dalam merancang sistem SPEECH SYNTHESIS

35 Festival OpenFst-.

36 Running Speaker Dependent Normal Membutuhkan waktu 24 jam untuk menghasilkan synthetic speech Suara normal dari Database Suara Hasil Running

37 Running Speaker Adaptive/Adaptation Normal Membutuhkan waktu 3 hari untuk menghasilkan synthetic speech

38 Dengan menggunakan implementasi HTS pada arsitektur Festival, proses training data menggunakan 1132 kalimat dari CMU Communicator database 3. Speech signal disampel pada frekuensi 16 khz. Faktor-faktor ini diambil dari ucapan-ucapan menggunakan ekstraksi fitur fungsi dari Festival speech synthesis system. Waktu running yang dibutuhkan mesin inti (core engine) terdiri dari 8 modul, decision trees untuk spektrum, F 0 dan durasi, distribusi spektrum, F 0 dan durasi, sebuah konverter yang mengubah fitur yang telah diekstraksi oleh Festival ke dalam urutan label context dependent dan synthesizer yang menghasilkan gelombang untuk diberikan urutan label.

39 Menilai Kualitas Suara

40

41 Kesimpulan: 1. Diperoleh basis data dalam bahasa Indonesia untuk pembuatan sintesis ucapan (natural speech synthesis) berbahasa Indonesia berbasis Hidden Markov Model (HMM) sejumlah 1529 kalimat yang sesuai dengan kaidah keseimbangan fonetik (phonetically balanced), yaitu telah memenuhi 33 jenis fonem.

42 Kesimpulan: 2. Diperoleh segmentasi dan labeling dataset sebanyak 100 kalimat hasil rekaman suara laki-laki dan 100 kalimat hasil rekaman suara wanita untuk mempersiapkan rancangan sistem sintesis ucapan (natural speech synthesis) berbahasa Indonesia berbasis Hidden Markov Model (HMM).

43 Kesimpulan: 3. Penyiapan perangkat lunak untuk menjalankan sistem sintesis ucapan berbahasa Inggris berbasis HMM telah dilakukan dengan mengaplikasikan HTS yang menggunakan Festival framework dan berhasil dengan baik. Berdasarkan hasil uji kualitas suara menggunakan uji subyektif, melibatkan 20 responden, diperoleh naturalness dengan nilai Mean Opinion Score (MOS) 3,4 untuk pengujian hasil training speaker dependent (SD) training demo dan 3,2 untuk pengujian hasil speaker adaptation/adaptive (SAD) training demo. Dengan demikian, synthetic speech yang dihasilkan dapat dikategorikan baik dan perangkat lunak yang dipakai dapat digunakan untuk melakukan perancangan sistem sintesis ucapan berbahasa Indonesia.

44 LOGO