PENGENALAN GERAKAN TANGAN MANUSIA MENGGUNAKAN DEEP NEURAL NETWORK SKRIPSI EKA PRATIWI GOENFI

Transkripsi

1 PENGENALAN GERAKAN TANGAN MANUSIA MENGGUNAKAN DEEP NEURAL NETWORK SKRIPSI EKA PRATIWI GOENFI PROGRAM STUDI S1 TEKNOLOGI INFORMASI FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA MEDAN 2016

2 PENGENALAN GERAKAN TANGAN MANUSIA MENGGUNAKAN DEEP NEURAL NETWORK SKRIPSI Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Sarjana Teknologi Informasi EKA PRATIWI GOENFI PROGRAM STUDI S1 TEKNOLOGI INFORMASI FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA MEDAN 2016

3 ii PERSETUJUAN Judul : PENGENALAN GERAKAN TANGAN MANUSIA MENGGUNAKAN DEEP NEURAL NETWORK Kategori : SKRIPSI Nama : EKA PRATIWI GOENFI Nomor Induk Mahasiswa : Program Studi : S1 TEKNOLOGI INFORMASI Departemen : TEKNOLOGI INFORMASI Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA Komisi Pembimbing : Pembimbing 2 Pembimbing 1 Prof. Dr. Opim Salim Sitompul, M.Sc Romi Fadillah Rahmat, B.Comp.Sc., M.Sc NIP NIP Diketahui/disetujui oleh Program Studi S1 Teknologi Informasi Ketua, Muhammad Anggia Muchtar, ST., MM.IT NIP

4 iii PERNYATAAN PENGENALAN GERAKAN TANGAN MANUSIA MENGGUNAKAN DEEP NEURAL NETWORK SKRIPSI Saya mengakui bahwa skripsi ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya. Medan, 28 Juli 2016 Eka Pratiwi Goenfi

5 iv UCAPAN TERIMA KASIH Puji dan syukur penulis sampaikan ke hadirat Tuhan Yang Maha Esa yang telah memberikan rahmat serta restu-nya sehingga penulis dapat menyelesaikan skripsi ini sebagai syarat untuk memperoleh gelar Sarjana Teknologi Informasi. Pertama, penulis ingin mengucapkan terima kasih kepada Bapak Romi Fadillah Rahmat, B.Comp.Sc., M.Sc selaku pembimbing pertama dan Bapak Prof. Dr. Opim Salim Sitompul, M.Sc selaku pembimbing kedua yang telah meluangkan waktu dan tenaganya untuk membimbing penulis dalam penelitian serta penulisan skripsi ini. Tanpa inspirasi serta motivasi yang diberikan dari kedua pembimbing, tentunya penulis tidak akan dapat menyelesaikan skripsi ini. Penulis juga mengucapkan terima kasih kepada Ibu Amalia, ST., M.T sebagai dosen pembanding pertama dan Ibu Ulfi Andayani, S.Kom, M.Kom sebagai dosen pembanding kedua yang telah memberikan masukan serta kritik yang bermanfaat dalam penulisan skripsi ini. Ucapan terima kasih juga ditujukan kepada Ketua dan Sekretaris Program Studi Teknologi Informasi, Dekan dan Wakil Dekan Fakultas Ilmu Komputer dan Teknologi Informasi, dan semua dosen serta pegawai di lingkungan program studi Teknologi Informasi, yang telah membantu serta membimbing penulis selama proses perkuliahan. Penulis tentunya tidak lupa berterima kasih kepada kedua orang tua penulis, yaitu Bapak Ir. Rusdy Goenfi dan Ibu Liani yang telah membesarkan penulis dengan sabar dan penuh kasih sayang, serta doa dari mereka yang selalu menyertai selama ini. Terima kasih juga penulis ucapkan kepada adik penulis Vera Pratiwi Goenfi dan Eko Prayogo Goenfi, yang selalu memberikan dukungan kepada penulis. Penulis juga berterima kasih kepada seluruh anggota keluarga penulis yang namanya tidak dapat disebutkan satu persatu. Terima kasih juga penulis ucapkan kepada teman-teman yang telah memberikan dukungan, khususnya Aaron, S.TI, Tengku Chairunnisa, S.Kom, Franco Baggio, S.E., BBM, Novia Elisha Haloho, Theresia Aruan, Dennis, Anita Ratna Sari, Reza Taqyuddin serta seluruh teman-teman angkatan 2012 dan teman-teman mahasiswa Teknologi Informasi lainnya.

6 v ABSTRAK Interaksi manusia dan komputer secara umum dilakukan menggunakan keyboard dan mouse. Namun, interaksi tersebut memiliki kekurangan dimana interaksi tidak dapat dilakukan oleh tunadaksa yang mengalami disabilitas (cacat) pada pergelangan tangan sampai ujung jari tangan. Untuk mengatasi permasalahan yang terjadi, dibutuhkan suatu pendekatan untuk mengenali gerakan tangan sebagai sarana interaksi manusiakomputer. Metode yang diajukan oleh penulis adalah penggunaan algoritma nearest neighbor untuk mengecilkan ukuran frame gambar yang telah dipisahkan dari video, grayscalling, frame differencing, Principal Component Analysis (PCA), serta Deep Neural Network (DNN). Penelitian ini dilakukan dalam dua percobaan yaitu percobaan dengan enam jenis gerakan tangan dan percobaan dengan empat jenis gerakan tangan. Masing-masing percobaan dilakukan lima kali dengan parameter jumlah hidden layer dan hidden neuron yang berbeda. Hasil terbaik yang didapatkan dari percobaan dengan enam jenis gerakan tangan adalah tingkat akurasi pengujian sebesar 77,02% untuk percobaan dua dengan jumlah hidden layer sebanyak dua dan jumlah hidden neuron masing-masing sebanyak 300 dan 50. Hasil terbaik yang didapatkan dari percobaan dengan empat jenis gerakan tangan adalah tingkat akurasi pengujian sebesar 89,72% untuk percobaan satu dengan jumlah hidden layer sebanyak dua dan jumlah hidden neuron masing-masing sebanyak 300 dan 50. Hasil terbaik dari keseluruhan percobaan yakni percobaan satu dari percobaan dengan empat jenis gerakan tangan diimplementasikan ke dalam sistem front-end untuk mengendalikan aplikasi file explorer, music player, video player, slideshow dan PDF reader. Kata kunci: pengenalan gerakan tangan, interaksi manusia-komputer, Principal Component Analysis, Deep Neural Network

7 vi HAND GESTURE RECOGNITION USING DEEP NEURAL NETWORK ABSTRACT Interaction between human and computer is generally performed using a keyboard and mouse. However, these interactions have certain drawbacks which are they cannot be done by user with physical disabilities or user who experience disability from the wrist to the fingertip. To overcome this problem, an approach to recognize human hand gesture as a means of human-computer interaction is needed. The method proposed by the author is the use of algorithms: nearest neighbor, grayscaling, framedifferencing, Principal Component Analysis (PCA) and Deep Neural Network (DNN). This research was conducted in two experiments, which are experiment with six different types of hand gestures and experiments with four different types of hand gestures. Each experiment is performed five times with different value of number of hidden layers parameter and hidden neurons parameter. The best testing result obtained from the experiment with six kinds of hand gestures is from the second experiment with two hidden layers using 300 and 50 hidden neurons for each layer, resulting in an accuracy rate of 77.02%. The best testing result obtained from the experiment with four different types of hand gesture is from the first experiment with two hidden layers using 300 and 50 hidden neurons for each layer, resulting in an accuracy rate of 89.72%. The best overall result is then implemented into the frontend system for controlling application such as: file explorer, music player, video player, slideshows and PDF reader. Keywords: hand gesture recognition, Human Computer Interaction, Principal Component Analysis, Deep Neural Network

8 DAFTAR ISI PERSETUJUAN PERNYATAAN UCAPAN TERIMA KASIH ABSTRAK ABSTRACT DAFTAR ISI DAFTAR TABEL DAFTAR GAMBAR Hal. ii iii iv v vi vii ix x BAB 1 PENDAHULUAN Latar Belakang Rumusan Masalah Tujuan Penelitian Batasan Masalah Manfaat Penelitian Metodologi Penelitian Sistematika Penulisan 5 BAB 2 LANDASAN TEORI Nearest Neighbor Grayscaling Frame Differencing Principal Component Analysis Artificial Neural Network Deep Neural Network Backpropagation Penelitian Terdahulu 18

9 viii BAB 3 ANALISIS DAN PERANCANGAN SISTEM Dataset Analisis Sistem Pemisahan video gerakan tangan menjadi beberapa frame gambar Perkecil ukuran gambar menggunakan algoritma nearest neighbor Grayscaling Frame differencing Principal Component Analysis (PCA) Implementasi Deep Neural Network Perancangan Sistem Perancangan sistem bagian belakang (back-end) Perancangan sistem bagian depan (front-end) 32 BAB 4 IMPLEMENTASI DAN PENGUJIAN Spesifikasi Perangkat Keras dan Perangkat Lunak Hasil Pre-processing Hasil Pelatihan Deep Neural Network (DNN) Hasil Pengujian Deep Neural Network (DNN) Implementasi Sistem Bagian Depan (Front-End) Tampilan antarmuka Prosedur operasional 49 BAB 5 KESIMPULAN DAN SARAN Kesimpulan Saran 56 DAFTAR PUSTAKA 57

10 DAFTAR TABEL Hal. Tabel 2.1. Penelitian Terdahulu 20 Tabel 3.1. Detail Video Data Penelitian Percobaan Pertama 24 Tabel 3.2. Detail Training Dataset Percobaan Pertama 24 Tabel 3.3. Detail Testing Dataset Percobaan Pertama 24 Tabel 3.4. Detail Video Data Penelitian Percobaan Kedua 25 Tabel 3.5. Detail Training Dataset Percobaan Kedua 25 Tabel 3.6. Detail Testing Dataset Percobaan Kedua 25 Tabel 3.7. Nilai Parameter DNN pada Percobaan dengan Enam Gerakan Tangan 29 Tabel 3.8. Nilai Parameter DNN pada Percobaan dengan Empat Gerakan Tangan 30 Tabel 3.9. Target Output untuk Setiap Jenis Gerakan Tangan pada Percobaan dengan Enam Gerakan Tangan 31 Tabel Target Output untuk Setiap Jenis Gerakan Tangan pada Percobaan dengan Empat Gerakan Tangan 31 Tabel 4.1. Hasil Pelatihan DNN pada Percobaan dengan Enam Gerakan Tangan 40 Tabel 4.2. Hasil Pelatihan DNN pada Percobaan dengan Empat Gerakan Tangan 40 Tabel 4.3. Hasil Pengujian DNN yang Telah Dilatih untuk Enam Jenis Gerakan Tangan 43 Tabel 4.4. Hasil Pengujian DNN yang Telah Dilatih untuk Empat Jenis Gerakan Tangan 45 Tabel 4.5. Fungsi Gerakan Tangan pada Aplikasi File Explorer 49 Tabel 4.6. Fungsi Gerakan Tangan pada Aplikasi Windows Media Player 50 Tabel 4.7. Fungsi Gerakan Tangan pada Aplikasi VLC Media Player 51 Tabel 4.8. Fungsi Gerakan Tangan pada Aplikasi Microsoft Power Point 52 Tabel 4.9. Fungsi Gerakan Tangan pada Aplikasi Acrobat Reader DC 53

11 DAFTAR GAMBAR Hal. Gambar 2.1. Nilai-Nilai Piksel Gambar Awal (Malepati, 2010) 7 Gambar 2.2. Nilai Piksel Setelah Gambar Diperbesar (Malepati, 2010) 8 Gambar 2.3. Arsitektur Umum Sebuah Jaringan Saraf Tiruan (Negnevitsky, 2005) 13 Gambar 2.4. Fungsi Aktivasi Neuron (Negnevitsky, 2005) 14 Gambar 2.5. Arsitektur Multilayer Perceptron dengan Dua Hidden Layer (Negnevitsky, 2005) 15 Gambar 3.1. Arsitektur Umum 27 Gambar 3.2. Rancangan Bagian Penjelasan Penggunaan Aplikasi 32 Gambar 3.3. Rancangan Bagian Panel Kamera Web 33 Gambar 3.4. Rancangan Bagian Keterangan mengenai Cara Pengendalian Aplikasi Melalui Gerakan Tangan 34 Gambar 4.1. Hasil Pemisahan Video Gerakan Tangan Menjadi Beberapa Frame Gambar 36 Gambar 4.2. Hasil Proses Nearest Neighbor 37 Gambar 4.3. Hasil Proses Grayscaling 37 Gambar 4.4. Hasil Proses Frame Differencing 38 Gambar 4.5. Empat Gambar yang Dipilih Setelah Proses Frame Differencing 39 Gambar 4.6. Contoh Isi File TrainingDatasetPCA.txt 39 Gambar 4.7. Contoh Isi File TestingDatasetPCA.txt 39 Gambar 4.8. Grafik Hasil Pelatihan DNN dengan Enam Gerakan Tangan 41 Gambar 4.9. Grafik Hasil Pelatihan DNN dengan Empat Gerakan Tangan 42 Gambar Grafik Perbandingan Actual Ecpoch 42 Gambar Grafik Hasil Pengujian DNN yang Telah Dilatih untuk Enam Jenis Gerakan Tangan 44 Gambar Grafik Hasil Pengujian DNN yang Telah Dilatih untuk Empat Jenis Gerakan Tangan 46 Gambar Tampilan Bagian Penjelasan Penggunaan Aplikasi 47

12 xi Gambar Tampilan Bagian Panel Kamera Web 48 Gambar Tampilan Bagian Keterangan mengenai Cara Pengendalian Aplikasi Melalui Gerakan Tangan 48 Gambar Tampilan Pertama Kali Sistem Front-End Dijalankan 49 Gambar Tampilan Saat File Explorer Dijalankan 50 Gambar Tampilan Saat Windows Media Player Dijalankan 51 Gambar Tampilan Saat VLC Media Player Dijalankan 52 Gambar Tampilan Saat Microsoft Power Point Dijalankan 53 Gambar Tampilan Saat Acrobat Reader DC Dijalankan 54