Pendekatan Polinomial dan Zero Crossing Untuk Parsing Kata Pada Data Rekaman Finger Motion Capture

Ukuran: px

Mulai penontonan dengan halaman:

Download "Pendekatan Polinomial dan Zero Crossing Untuk Parsing Kata Pada Data Rekaman Finger Motion Capture"

Johan Oesman
7 tahun lalu
Tontonan:

1 Pendekatan Polinomial dan Zero Crossing Untuk Parsing Kata Pada Data Rekaman Finger Motion Capture Widda Ayui Silma Dosen Pembimbing: 1) Dr I Ketut Eddy Purnama, S.T., M.T. 2) Ahmad Zaini, S.T., M.T.

2 Bahasa Isyarat Bahasa isyarat adalah salah satu bahasa yang menggunakan komunikasi visual, bahasa tubuh, dan gerak bibir, tanpa menggunakan suara untuk berkomunikasi. Image source: 3

3 Bahasa Isyarat untuk tunga rungu berupa komunikasi visual Penampil tangan yang digunakan Posisi kedudukan tangan Bahasa Isyarat Tempat bagian badan saat awal & akhir Arah gerakan penampil Frekuensi gerak ulang 4

com/wp-content/uploads/2011/03/sign_language.jpg 2) http://www.

4 Perangkat Penerjemah Bahasa Isyarat 1) 2) 1. Berbasis Sensor 2. Berbasis Visi Komputer Image source : 1) 2)

5 Penelitian Bahasa Isyarat Finger Motion Capture Voice for Voiceless (V4V) Pengenalan Kata Bahasa Isyarat Parsing Kata Bahasa Isyarat Voice Generator 6

6 Penelitian Bahasa Isyarat D e t e k s i K a t a D e t e k s i K a l i ma t P a r s i n g K a t a? 7

7 Rekaman data finger motion capture 8

8 Metode yang digunakan Pendekatan Polinomial Pencarian indeks Zero Crossing 9

9 Metodelogi 10

10 Pengambilan data isyarat dengan Finger Motion Capture Pengklasifikasian data sensor Penghitungan nilai ratarata data sensor Perbandingan nilai data sensor Curve Fitting Pencarian indeks zero crossing Parsing data isyarat kalimat berdasarkan indeks zero crossing 11

11 Pengambilan Data Isyarat Pengambilan data isyarat dilakukan dengan menggunakan finger motion capture Software yang digunakan adalah SIBI (hasil penelitian sebelumnya) Data yang dihasilkan berupa file dengan ekstensi.ibi 12

12 Pengambilan Data Isyarat Isyarat yang direkam : Gabungan kata yang memiliki gerakan isyarat tangan yang sangat berbeda Adik saya Adik saya minum Gabungan kata yang memiliki kemiripan gerakan jari tangan Adik kamu Adik kamu sakit Gabungan kata yang memiliki kemiripan gerakan posisi tangan Saya haus Saya belum haus 13

Contoh Data Isyarat yang Dihasilkan Kolom [c1 c5] c5] adalah data dari sensor flex untuk lekukan jari jempol sampai kelingking Kolom [c6 c9] c9] adalah data dari sensor

13 Contoh Data Isyarat yang Dihasilkan Kolom [c1 c5] c5] adalah data dari sensor flex untuk lekukan jari jempol sampai kelingking Kolom [c6 c9] c9] adalah data dari sensor accelerometer untuk sumbu x, y, z dan referensi Baris [r1 r10] r10] menunjukkan urutan data disimpan, yaitu dari awal gerakan isyarat sampai dengan selesai gerakan isyarat tersebut 14

15 Klasifikasi Data Contoh Data isyarat adik saya : Data sensor flex Data sensor accelerometer 16

16 Pencarian nilai rata-rata data sensor Data rata rata yang dihasilkan berupa vektor kolom yang berisi nilai rata-rata dari tiap baris data sensor 17

17 Contoh Data isyarat adik saya : Data rata-rata sensor flex Data rata-rata sensor accelerometer 18

18 Curve fitting Curve fitting atau pencocokan kurva dilakukan dengan metode least square polynomial regression Sistem ini memiliki keterbatasan, yakni untuk data yang terdiri dari dua kata derajat yang digunakan adalah derajat tiga sedangkan data yang terdiri dari tiga kata digunakan derajat empat 19

19 Contoh Data isyarat adik saya : Hasil Curve Fitting (derajat tiga) ) data rata-rata sensor flex 20

20 Pencarian Zero Crossing Untuk mendapatkan nilai zero cross dilakukan beberapa tahapan penghitungan 21

21 Contoh Data isyarat adik saya : Contoh Data isyarat adik saya : Tahap 1: turunan kedua dari nilai y hasil curve fitting data ratarata sensor flex Tahap 2: signum dari hasil nilai Tahap 1 data rata-rata sensor flex Contoh Data isyarat adik saya : Contoh Data isyarat adik saya : y Tahap 1: turunan kedua dari nilai y hasil curve fitting data ratarata sensor flex x Tahap 4: nilai indeks data rata-rata sensor flex adalah nilai x ketika nilai y >

22 Parsing Data Isyarat Berdasarkan nilai indeks zero crossing yang diperoleh Jika terdapat satu nilai indeks, misalnya i maka data isyarat tersebut di-parsing menjadi dua bagian yakni pada baris ke-i Jika terdapat dua nilai indeks, misalnya i dan j maka data isyarat tersebut di-parsing menjadi tiga bagian yakni pada baris ke-i dan ke-j Data hasil parsing disimpan kembali dalam file dengan ekstensi.ibi 23

23 Percobaan 24

24 Pencocokan kata hasil parsing Digunakan software SIBI (hasil penelitian sebelumnya) Metode yang digunakan pada SIBI adalah Dynamic Time Wrapping (DTW), data template yang paling cocok diukur berdasarkan nilai jarak yang paling minimum 25

25 Gabungan kata yang memiliki gerakan jari tangan yang sangat berbeda adik saya adik saya minum Adik Saya Minum 26

26 Tabel Hasil Percobaan adik saya

27 Tabel Hasil Percobaan adik saya minum

28 Gabungan kata yang memiliki kemiripan gerakan jari tangan adik kamu adik kamu sakit Adik Kamu Sakit 29

29 Tabel Hasil Percobaan adik kamu

30 Tabel Hasil Percobaan adik kamu sakit

31 Gabungan kata yang memiliki kemiripan gerakan posisi tangan saya haus saya belum haus Saya Belum Haus 32

32 Tabel Hasil Percobaan saya haus

33 Tabel Hasil Percobaan saya belum haus

34 Hasil percobaan parsing kata 35

35 Kesimpulan 1. Metode regresi polinomial dan deteksi zero crossing dapat digunakan untuk memparsing data isyarat gabungan kata yang direkam oleh finger motion capture 2. Parsing data isyarat yang terdiri dengan dua kata dasar derajat polinomial yang digunakan adalah tiga, sedangkan untuk data isyarat yang terdiri dari tiga kata dasar derajat polinomial yang digunakan adalah empat. 3. Tingkat akurasi semakin menurun pada data dengan isyarat kata yang memiliki kemiripan gerak, baik gerakan jari tangan ataupun posisi tangan. 4. Akurasi yang dicapai untuk parsing data isyarat yang terdiri dari dua kata adalah 100% untuk 2 gabungan kata dan 85% untuk 1 gabungan kata 5. Akurasi tertinggi yang dicapai untuk parsing data isyarat yang terdiri dari tiga kata adalah 96.67% untuk kalimat adik saya minum yang memiliki perbedan signifikan 36

36 T e r i m a K a s i h

dokumen-dokumen yang mirip

BAHASA isyarat adalah bahasa yang mengutamakan komunikasi

BAHASA isyarat adalah bahasa yang mengutamakan komunikasi Pendekatan Polinomial dan Zero Crossing Untuk Parsing Kata Bahasa Isyarat Indonesia Pada Data Rekaman Finger Motion Capture Widda Ayui Silma, I Ketut Eddy Purnama, Ahmad Zaini Ringkasan Komunikasi antara