PENGENALAN EKSPRESI WAJAH MENGGUNAKAN WAVELET GABOR DAN BACKPROPAGATION

Transkripsi

1 Immanuela P. S., Ernawati, B. Yudi wiandiyanta, Pengenalan Ekspresi Wajah 71 PENGENALAN EKSPRESI WAJAH MENGGUNAKAN WAVELET GABOR AN BACKPROPAGATION Immanuela P. Saputro 1, Ernawati 2, B.Yudi wiandiyanta 3 1 Program Studi Teknik Informatika Fak.Teknik Univ. e La Salle Manado 2, 3 Magister Teknik Informatika Pascasarjana Univ. Atma Jaya Yogyakarta 1 immasaputro@gmail.com, 2 ernawati@staff.uajy.ac.id, 3 yudi-dwi@staff.uajy.ac.id ABSTRAK alam satu dekade terakhir, sistem pengenalan ekspresi wajah telah menjadi topik menarik dalam dunia penelitian. Semakin terjangkaunya harga teknologi yang mendukung penelitian tersebut, membuat sistem pengenalan wajah dapat diterapkan dalam kehidupan sehari-hari, salah satunya dalam dunia pendidikan. Tujuan dari penelitian ini adalah mengenali ekspresi wajah menggunakan wavelet Gabor dan Backpropagation, untuk membantu konselor dalam melakukan konseling kepada mahasiswa, khususnya dalam permasalahan non akademik, serta menguji tingkat akurasi jaringan backpropagation dalam melakukan klasifikasi ekspresi wajah seseorang. Vektor masukan bagi jaringan diperoleh melalui transformasi wavelet Gabor, dan inisialisasi bobot menggunakan metode Nguyen Widrow. Beberapa fungsi yang digunakan seperti sigmoid biner untuk aktivasi bobot, fungsi gradient descent untuk pelatihan jaringan, dan fungsi learngd untuk perubahan bobot dengan laju pembelajaran sebesar 0,05. Arsitektur jaringan menggunakan dua lapisan tersembunyi serta tiga node untuk lapisan output. Nilai Mean Square Error (MSE) sebesar 0,001. Jaringan dilatih menggunakan 70 data yang terdiri dari 10 orang dan setiap orang mempunyai tujuh ekspresi. Pengujian dilakukan menggunakan data lain yang terdiri dari lima orang. Ukuran citra untuk pelatihan dan pengujian mempunyai ukuran 16x16 piksel. Berdasarkan hasil pengujian, sistem memberikan unjuk kerja sebesar sebesar 85,71% dalam pengklasifikasian ekspresi wajah. Untuk pengembangan lebih lanjut, sistem dapat diintegrasikan dengan media perekam, sehingga ekspresi wajah dapat langsung dikenali melalui capture video. Kata kunci: ekspresi wajah, wavelet Gabor, backpropagation ABSTRACT uring the last decade, facial expression recognition system has been researched extensively. The increasingly affordable technology which supports the system has boosted the use of facial recognition system in the everyday life, including in the education system. This research aims to develop a facial expression recognition system using Gabor wavelet and Backpropagation to help counselors in helping university students while discussing academic problems, as well as testing the level of accuracy of backpropagation network in classifying a person s facial expression. The input vector for the network is the result of a Gabor wavelet transform, and the weights are initialized using Nguyen Widrow method. Several different functions are used, namely binary Sigmoid for weight activation, gradient descent for network learning, and learngd to vary the weight with learning rate The network uses 2 hidden layers and 3 nodes for output layer. The Mean Square Error (MSE) is The network was trained using 70 data from 10 people, and each person has 7 expression. The testing was done with a different data set from 5 test subjects. The image size for training and testing is 16 x 16 pixels. Based on the tests, the system

2 72 JURNAL ELEKTRO, Vol. 8, No. 2, Oktober 2015: performance for classifying facial expressions is 85.71%. For further development, the system may be integrated with a recording device so that the facial expression can be instantly recognized via captured image. Keywords: facial expression, Gabor wavelet, backpropagation PENAHULUAN Ekspresi wajah pada dasarnya adalah komunikasi nonverbal bagi manusia untuk menyampaikan emosi dan maksud kepada orang lain selama berinteraksi [1]. Selain ekspresi netral, secara universal ekspresi wajah terbagi menjadi enam yaitu senang, sedih, terkejut, marah, takut, dan jijik. Ekspresi-ekspresi tersebut adalah hasil gerakan otot dari bagian wajah seperti hidung, mulut, dan mata [2]. alam beberapa penelitian telah dinyatakan bahwa ekspresi wajah mempunyai peranan paling besar dalam menyampaikan pesan yaitu sebesar 55%, dibandingkan suara yang hanya 38%, dan bahasa sebesar 7% [3][4]. Pada tahun 1980, student engagement menjadi topik hangat dalam penelitian di dunia pendidikan. ilaporkan sekitar 25-60% mahasiswa drop-out dikarenakan merasa bosan dan tidak tertarik di dalam kelas. Terdapat beberapa faktor yang mempengaruhi drop-out seorang mahasiswa. Hal tersebut membuat beberapa institusi pendidikan mengambil keputusan untuk melakukan beberapa strategi agar tingkat drop-out mahasiswa menurun [5]. Salah satu cara untuk mengatasinya dilakukan melalui bimbingan konseling. Supaya proses konseling dapat berjalan dengan baik, seorang konselor harus mampu memahami ekspresi wajah sesuai dengan apa yang dirasakan dan dialami oleh mahasiswa [6]. Saat ini penelitian dalam bidang pengenalan ekspresi wajah telah banyak dilakukan dengan menggunakan beragam objek dan metode; akan tetapi masih sedikit penelitian yang berfokus pada kegiatan pemberian konseling bagi mahasiswa. Tujuan dari penelitian ini adalah membuat aplikasi pengenalan ekspresi wajah melalui proses konseling, sehingga konselor dapat memberikan solusi yang baik. Aplikasi dibuat dengan menerapkan wavelet Gabor untuk proses ekstrasi ciri dan Backpropagation untuk klasifikasi ekspresi wajah. Selain itu, akan dianalisis cara kerja dan hasil imple-mentasi metode Backprpagation pada proses pembelajaran dan pengenalan berdasarkan pada tingkat akurasi dan kecepatan. Penelitian ini mengacu pada beberapa penelitian yang telah dilakukan sebelumnya dan sebagai perbandingannya dapat dilihat pada Tabel 1. TEORI PENUKUNG A. Metode Penelitian Tahap-tahap yang digunakan dalam penelitian ini meliputi tahap analisis kebutuhan aplikasi, perancangan aplikasi, implementasi aplikasi, dan pengujian aplikasi. iagram blok sistem ditunjukkan pada Gambar 1. Proses awal pengenalan ekspresi wajah dimulai dari tahap akuisisi citra yang diperoleh melalui capture kamera digital dengan ukuran 256x256 piksel. Tahap selanjutnya adalah pengolahan citra meliputi perubahan ukuran citra dan thresholding. Pada tahap ekstraksi ciri, vektor bobot citra diperoleh dengan menggunakan wavelet Gabor yang kemudian dinormalisasikan untuk memperoleh data dengan kisaran nilai antara 0 dan 1. Tahap akhir adalah pelatihan serta pengujian data ke dalam jaringan syaraf tiruan backpropagation.

3 Immanuela P. S., Ernawati, B. Yudi wiandiyanta, Pengenalan Ekspresi Wajah 73 Tabel 1 Perbandingan penelitian Penelitian Bashyal, Raheja, Kumar Satiyan, Hariharan, Peerven, Gupta, Saputro, Venayagamoor- thy (2010) Nagarajan (2010) Verma (2012) Immanuela P Jenis (2008) (2015) Metode Wavelet Gabor, Added-boost Wavelet Haar, Statistical Feature Wavelet Gabor, Learning Vector classifier, Backpropagation Extraction, Backpropagation Quantization (LVQ) Backpropagation Backpropagation Objek Citra dalam basis Citra diambil dari Citra yang diambil Citra dalam basis Citra mahasiswa data JAFFE capture web-cam dari hasil rekaman data JAFFE Unika e La video gerakan Manado. wajah seseorang. Permasa-lahan Bagaimana mengenali tujuh 1. Bagaimana mendeteksi Bagaimana mendeteksi Bagaimana mengenali Bagaimana tujuh mengenali tujuh ekspresi wajah wajah dari citra gerakan wajah dari ekspresi wajah ekspresi wajah berdasarkan citra hasil capture citra hasil rekaman berdasarkan citra pada citra JAFFE? web-cam? video? JAFFE? mahasiswa Unika 2. Bagaimana mengenali ekspresi wajah gembira, e La Salle? berpikir, dan sedih? Bahasa Pemrograman Visual Basic dan Java C++ Matlab 7.0 Matlab Matlab (R2013a) Tujuan Mengenali tujuh Mendeteksi dan Mengenali ekspresi Mengenali tujuh Mengenali tujuh ekspresi wajah mengenali ekspresi wajah berdasarkan ekspresi wajah ekspresi wajah pada citra JAFFE wajah gembira, gerakan alis, pada citra JAFFE pada citra berpikir, dan sedih rahang, dan bibir. mahasiswa Unika berdasarkan pada e La Salle gerakan tubuh. Manado Hasil Penggunaan Penggunaan Penggunaan Penggunaan Penggunaan metode Wavelet metode Addboosted metode Wavelet metode Statistical metode Wavelet Gabor dan LVQ classifier Haar dan feature extraction Gabor serta memberikan tingkat dan Backpropagation dan Backpropagation keakuratan sebesar Backpropagation memberikan tingkat Backpropagation dapat memberikan 87,51% dalam memberikan tingkat keakuratan sebesar memberikan tingkat tingkat keakuratan mengenali enam keakuratan dalam 97% dalam akurasi ekspresi tanpa mengenali ekspresi mengenali semua ekspresi takut pada gembira sebesar ekspresi pada 70 citra, tingkat 94.28%, berpikir tingkat pertama keakuratan naik 85.71%, dan sedih level dekomposisi. menjadi 90,21% sebesar 83.33% pada semua ekspresi 100% dari data latih sebanyak 154 dengan kecepatan waktu pengenalan 0:02:11 detik sebesar dalam mengenali tujuh ekspresi wajah minimal sebesar 83,6% Pelatihan Praproses Ekstraksi Ciri wavelet Gabor Klasifikasi ekspresi wajah dengan backpropagation Pengujian Praproses Ekstraksi Ciri wavelet Gabor Klasifikasi ekspresi wajah dengan backpropagation Gambar 1 iagram blok sistem pengenalan ekspresi wajah B. Landasan Teori Seperti yang telah disampaikan pada bagian sebelumnya, bahwa tujuan dari penelitian ini adalah mengetahui berapa besar tingkat akurasi jaringan backpropagation sistem pengenalan ekspresi wajah dengan ekstraksi ciri citra menggunakan wavelet Gabor. Citra wajah untuk pelatihan dan pengujian diambil di lapangan. Pada Gambar 2

4 74 JURNAL ELEKTRO, Vol. 8, No. 2, Oktober 2015: dapat dilihat hasil capture kamera sebelum citra dilakukan praproses. B.1 Praproses Praproses adalah tahap untuk mendapatkan citra dengan sebaran informasi yang lebih baik dibandingkan dengan citra asli. Pada penelitian ini tahap praproses menggunakan dua metode yaitu Otsu thresholding dan Adaptive thresholding. Metode Otsu thresholding digunakan untuk memisahkan objek dan latar belakangnya. Sedangkan metode Adaptive thresholding digunakan untuk mencari bagian-bagian kecil citra dengan nilai threshold lokal yang dihitung secara adaptif berdasarkan statistik beberapa piksel bertetangga. Gambar 3 menunjukkan hasil praproses citra asli. B.2 Ekstraksi Ciri Ekstraksi ciri adalah proses untuk memunculkan ciri citra, sedangkan wavelet adalah gelombang mini yang mempunyai kemampuan untuk mengelompokkan energi citra dan terkonsentrasi pada sekelompok kecil koefisien. Proses ekstraksi ciri pada penelitian ini menggunakan transformasi wavelet Gabor. Wavelet Gabor adalah wavelet yang terbentuk dari perkalian antara fungsi sinusoidal kompleks dengan Gaussian Envelope [7]. Kelebihan dari wavelet Gabor adalah kemampuannya untuk dengan mudah menyesuaikan lokalisasi detail pada domain spasial dan frekuensi serta kesamaannya dengan representasi frekuensi dan orientasi sistem visual manusia sehingga wavelet Gabor sangat popular dan memberikan hasil yang baik pada area segmentasi tekstur, pengenalan sidik jari, dan pengenalan wajah [8]. Setelah vektor ciri diperoleh, tahap selanjutnya adalah normalisasi data. Normalisasi data perlu dilakukan pada saat merancang suatu sistem pengenalan atau klasifikasi pola yang mempunyai variasi nilai ekstraksi ciri dalam interval yang sangat berbeda. Namun jika normalisasi data akan dilakukan dengan menggunakan interval tertentu, maka data harus ditransformasikan ke dalam interval tersebut. Sebagai contoh vektor ekstraksi ciri N akan diubah dalam interval [0 1] seperti pada keluaran fungsi aktivasi sigmoid biner. Mengingat fungsi sigmoid biner merupakan fungsi asimtotik yang nilainya tidak pernah mencapai 0 atau 1, maka nilai dapat ditransformasikan dalam interval yang lebih kecil, misalnya [0,1 0,9]. Jika a adalah nilai minimum dari N dan b adalah nilai maksimum dari N, transformasi data dalam interval [0,1 0,9] dapat menggunakan rumus metode linear seperti pada Persamaan (1) [9]. (1) Gambar 2 Citra wajah asli

5 Immanuela P. S., Ernawati, B. Yudi wiandiyanta, Pengenalan Ekspresi Wajah 75 (a) (b) (c) (d) Gambar 3 (a) citra awal yang telah diubah ukuran pikselnya menjadi 16x16; (b) citra skala keabuan; (c) citra hasil otsu thresholding; (d) citra hasil adaptive thresholding Hasil ekstraksi ciri dan normalisasi data citra masukan dapat dilihat pada Gambar 4. Gambar 4 (a) ekstraksi citra dengan wavelet Gabor; (b) normalisasi vektor citra B.3 Backpropagation Backpropagation adalah metode yang didasarkan pada minimalisasi fungsi error (MSE) melalui propagasi mundur sinyal error dalam jaringan. Tiap unit lapisan input dalam jaringan terhubung dengan tiap unit yang ada pada lapisan tersembunyi. emikian juga untuk tiap unit dalam lapisan tersembunyi akan terhubung dengan lapisan output [10]. Backpropagation dapat dibagi ke dalam dua bagian yaitu algoritma pelatihan dan algoritma pengujian. Jaringan backpropagation pada penelitian ini dibangun menggunakan lapisan input dengan jumlah node sebanyak 256, dua lapisan tersembunyi dengan jumlah node masing-masing 50 dan 40, serta satu lapisan output dengan tiga node. Fungsi-fungsi yang digunakan dalam jaringan ini adalah sigmoid biner untuk fungsi aktivasi yang menghubungkan setiap lapisan. Hal ini karena output yang diinginkan hanya berupa 0 dan 1. Fungsi pelatihan menggunakan gradient decent backpropagation serta nilai laju pembelajaran sebesar 0,05 dan MSE sebesar 0,001. HASIL PENELITIAN AN PEMBAHASAN Sebelum dilakukan pengujian, jaringan backpropagation yang telah dibangun perlu dilatih untuk melihat unjuk kerja jaringan. ata yang digunakan terdiri dari 70 ekspresi wajah yang terdiri dari lima mahasiswa perempuan dan lima mahasiswa laki-laki. Waktu pelatihan yang diperlukan untuk melatih jaringan dengan arsitektur yang telah ditentukan adalah 9 detik dengan jumlah iterasi sebanyak 3273 epoch. Setelah proses pelatihan selesai dilakukan, selanjutnya akan dilakukan proses pengujian jaringan. Proses pengujian dibagi menjadi dua bagian, yang pertama menggunakan data latih yang bertujuan melihat kemampuan jaringan mengingat data yang pernah diberikan sebelumnya. Bagian kedua, menggunakan data yang baru dengan tujuan untuk mengukur tingkat akurasi jaringan. Persamaan yang digunakan untuk mengukur kemampuan dan

6 76 JURNAL ELEKTRO, Vol. 8, No. 2, Oktober 2015: akurasi jaringan dapat dilihat pada Persamaan (2). (2) Berdasarkan hasil eksperimen yang pertama, jaringan diuji dengan menggunakan data latih yang berjumlah lima orang jaringan mampu memberikan akurasi sebesar 100% yang diperoleh dari (35/35)*100%. etail hasil pengujian 1 dapat dilihat pada Tabel 2. Berdasarkan hasil eksperimen yang kedua, jaringan diuji dengan menggunakan data baru yang berjumlah lima orang jaringan mampu memberikan akurasi sebesar 85,71% yang diperoleh dari (30/35)*100% etail hasil pengujian 2 dapat dilihat pada Tabel 3. Tabel 2 Hasil pengujian 1 Nama Set Latih Nama Set Uji Ekspresi Wajah Target ata 1 ata 2 ata 3 ata 4 ata , Netral , ,9786 0, ,0867 0, Senang ,9654 0, ,0766 0, ,2262 0, Sedih ,9883 0, ,9454 0, gab_ lat1 gab_ uji_a Marah , ,0796 0, ,4538 0, ,9364 0, Takut ,0998 0, ,9756 0, ,7282 0, Kaget ,9980 0, ,3765 0, ,8711 0, Jijik , ,8419 0, erangan: = dikenali

7 Immanuela P. S., Ernawati, B. Yudi wiandiyanta, Pengenalan Ekspresi Wajah 77 Tabel 3 Hasil pengujian 2 Nama Set Latih Nama Set Uji Ekspresi Wajah Target ata 1 ata 2 ata 3 ata 4 ata 5 0 0,0298 0,0880 0,0280 0,0088 0,0880 Netral 0 0,0493 0,0891 0,0029 0,0446 0, ,9675 0,9258 0,9674 0,9908 0, ,0171 0,0175 0,0168 0,0065 0,9175 Senang 1 0,9932 0,9999 0,9916 0,9821 0,9999 T 0 0,0269 0,4961 0,0414 0,0244 0, ,0304 0,9603 0,0282 0,0329 0,9603 Sedih 1 0,9343 0,9972 T 0,9779 0,9871 0,9972 T 1 0,9693 0,9891 0,9662 0,9565 0,9891 gab_ lat2 gab_ uji_b Marah 1 0,9722 0,9984 0,9596 0,9973 0, ,0086 0,1308 0,0393 0,0226 0, ,0493 0,0350 0,0562 0,0510 0, ,9819 0,9687 0,9754 0,9965 0,9687 Takut 0 0,0431 0,0852 0,0211 0,0335 0,9852 T 1 0,9596 0,8112 0,9827 0,9514 0, ,9800 0,9508 0,9995 0,9945 0,9508 Kaget 1 0,9964 0,9996 0,8945 T 0,9723 0, ,0097 0,2952 0,9320 0,0411 0, ,9976 0,8939 0,9989 0,9641 0,8939 Jijik 1 0,9862 0,9991 0,9477 0,9897 0, ,9837 0,8582 0,9394 0,9641 0,8582 erangan: = dikenali T = tidak dikenali SIMPULAN Berdasarkan hasil analisis, perancangan, implementasi, dan pengujian yang telah selesai dilakukan, dapat disimpulkan beberapa hal sebagai berikut: 1. Pengembangan aplikasi pengenalan ekspresi wajah menggunakan wavelet Gabor dan jaringan syaraf tiruan Backpropagation adalah metode yang tepat berdasarkan pada proses pengenalan ekspresi wajah mencapai 100% pada data yang sudah pernah dilatih dan secara umum pada data uji yang belum pernah dilatih mencapai 85,71%. 2. Kondisi optimal pelatihan jaringan wavelet Gabor dicapai dengan menggunakan kombinasi node pada lapisan tersembunyi, konstanta laju pembelajaran 0,05 waktu pelatihan yang diperlukan 9 detik dengan jumlah iterasi sebanyak 3273 epoch. 3. Ekspresi wajah sedih adalah ekspresi yang paling sulit dikenali.

8 78 JURNAL ELEKTRO, Vol. 8, No. 2, Oktober 2015: AFTAR PUSTAKA [1]. as Human S Facial Parts Extraction to Recognize Facial Expression. International Journal on Information Theory (IJIT), vol. 3, no. 3, pp [2] L. Ma and K. Khorasani Facial Expression Recognition using Constructive Feedforward Neural Networks. IEEE Transactions on Systems, Man, And Cybernetics Part B: Cybernetics, vol. 34, no. 3, pp [3] N. Thomas and M. Mathew Facial Expression Recognition System using Neural Network and Matlab. indigul Tamilnadu. [4] Z. Abidin and A. Harjoko Facial Expression Recognition By using Fisherface Method with Backpropagation Neural Network. Indonesian Journal of Computing and Cybernetics System (IJCCS), vol. 5, no. 1, pp [5] J. Whitehill, Z. Serpell, Y. C. Lin, A. Foster, and J. R. Movellan The Faces of Engagement: Automatic Recognition of Student Engagement from Facial Expressions. IEEE Transactions on Affective Computing, vol. 5, no. 1, pp [6] J. F. Grafsgaard, J. B. Wiggins and K. E. Boyer Automatically Recognizing Facial Expression: Predicting Engagement and Frustration. Memphis. [7] C. Zor Facial Expression Recognition. Tesis, tidak dipublikasikan. Guildford, Surrey: University of Surrey. [8] Zhan Yong-zhao, Y. Jing-fu, N. e-jiao, and C. Peng Facial Expression Recognition Based on Gabor Wavelet Transformation and Elastic Templates Matching. [9] J. S. Jong Jaringan Syaraf Tiruan dan Pemrogramannya Menggunakan Matlab, 2 nd ed. Yogyakarta: Andi Offset. [10] Puspitaningrum Pengantar Jaringan Saraf Tiruan. Yogyakarta: Andi Offset.