Database Ekspresi Wajah Perempuan Indonesia Berbasis 2D untuk Pengenalan Emosi

Transkripsi

1 JURNAL TEKNIK POMITS Vol 1, No 1, (2013) Database Wajah Perempuan Indonesia Berbasis 2D untuk Pengenalan Emosi Dwi Angga Yulianto, Muhtadin, dan Surya Sumpeno Jurusan Teknik Elektro, Institut Teknologi Sepuluh Nopember (ITS) Jl Arief Rahman Hakim, Surabaya anggayulianto10[at]mhseeitsacid, muhtadin[at]eeitsacid, surya[at]eeitsacid Abstrak - wajah memainkan peran yang penting dalam interaksi sosial manusia dengan manusia lainyapenggunaan pengenalan ekspresi wajah berkembang ke dalam beberapa aplikasi, salah satunya adalah interaksi manusiakomputermesin tidak dapat mengenali ekspresi wajah seperti manusia Kemampuan mesin untuk mengenali ekspresi wajah dapat dilakukan dengancara pembelajaran mesin Media pembelajaran mesin salah satunya menggunakan citra Tugas akhir ini menyusun database ekspresi wajah perempuan Indonesia yang mereferensi (Japanese Female Facial Expression) Database yang disusun kemudian diklasifikasi ke dalam emosi dasar manusia yaitu marah, jijik, takut, senang, terkejut, dan sedih Tahapan pengklasifikasian meliputi ekstraksi fitur yang menggunakan piksel mentah dari pengurangan citra ekspresi selain netral dengan average faces netral Setelah didapatkan piksel mentah dari semua ekspresi, maka terbentuk vektor fitur Vektor fitur ini sebagai data yang digunakan untuk pengklasifikasian Pengklasifikasi menggunakan SVM (Support Vector Machine) Nilai akurasi prediksi menggunakan semua data sebesar 8852 % dan sebesar 9375% Pengujian selanjutnya dilakukan dengan memisahkan satu orang dari masing-masing facial database, sehingga didapatkan nilai akurasi prediksi rata-rata dari data sebesar 3471 % dan sebesar 3042 % Pengujian dilakukan dengan menyisipkan tiga data model dari facial database yang berbeda Pengujian ini dilakukan untuk mengetahui pengaruh data facial database yang berbeda terhadap nilai akurasi Nilai akurasi prediksi dominasi data sebesar 8800 % dan sebesar 8894 % Kata Kunci,, facial expression, SVM I PENDAHULUAN anusia mengekspresikan diri dalam bersikap dilakukan M dengan gerakan dan raut wajah Begitu juga emosi dasar pada manusia yang dapat dilihat pada ekspresi wajah wajah memainkan peranan yang mendasar dalam interaksi sosial dengan manusia lainnya Manusia sebagai pengguna merupakan objek dari desain interaksi manusia-komputer Manusia mempunyai emosi alami, setiap manusia satu dengan yang lain berbeda dalam mengungkapkan emosi Dengan mengetahui emosi pengguna, maka komputer atau kontrol akan melakukan respon yang tepat sesuai dengan pengguna pada saat itu Manusia dapat mengenali emosi individu yang lain secara alami, sedangkan mesin tidak mempunyai kemampuan ini Mesin atau komputer agar dapat mempunyai kemampuan seperti manusia dalam mengenali emosi, maka diperlukan media pembelajaran komputer Pada tugas akhir ini media yang digunakan adalah gambar 2D Penyusunan database ekspresi wajah sudah dilakukan di jepang, yaitu (Japanese Female Facial Expression) Database merupakan database kumpulan ekspresi wajah perempuan jepang dengan menggunakan warna greyscale Di Indonesia belum adanya penyusunan database citra wajah perempuan Citra yang diambil dan disusun sehingga mendapatkan database ekpresi wajah perempuan Indonesia yang nantinya akan disebut sebagai Database (Indonesian Female Facial Expression 2D Database) Database berisi ekspresi wajah yang mencerminkan emosi dasar perempuan Indonesia, seperti marah, sedih, senang, terkejut, jijik, takut, dan netral Rancangan Ruang Foto 2D Citra substraksi (n) X11 X12 X1d X21 X22 X2d Xm1 Xm2 X m d Piksel Mentah Citra Substraksi (n) II URAIAN PENELITIAN Pemilihan - Substraksi (n) Average Faces Netral SVM Gambar 1 Tahapan penelitian Penyusunan (n) Netral n Average Faces Netral Pengambilan dan Penyusunan Data Ekstraksi Fitur Tahapan penelitian seperti terlihat pada Gambar 1 Sub tahapantahapan penelitian seperti berikut A Tahapan Pengambilan Tahapan pengambilan data seperti terlihat pada Gambar 2

2 JURNAL TEKNIK POMITS Vol 1, No 1, (2013) Mendesain Ruang Foto 2D A Menyusun Kamera Pemilihan Pengambilan gambar 2D Penyusunan Gambar 2 Blok diagram pengambilan data IFFE -2D A Adapun tahapan pengambilan data, sebagai berikut : 1 Desain ruang foto 2D Pada ruang foto 2D terdapat kursi sebagai tempat duduk model, menggunakan latar belakang berwarna putih, pencahayaan menggunakan lampu ruangan, sehingga diharapkan mendapatkan intensitas cahaya yang sama 2 Menyusun kamera Pengambilan gambar sesuai desain ruang foto Kamera yang digunakan menggunakan pocket kamera Sony DSC-T900 Kamera disusun menggunakan bantuan tripod Posisi kamera yaitu tegak lurus dengan model dengan posisi 0 o posisi wajah dan jarak kamera dengan model sekitar 40 cm Tripod mempunyai tiga kaki penyangga, sehingga agar posisi tripod tidak berubah pada masing-masing kaki tripod diberik penanda pada lantai Posisi tripod, kamera dan latar belakang yang sama setiap pengambilan gambar 2D, diharapkan posisi model tetap sama 3 Pengambilan gambar 2D Data gambar 2D diambil sebanyak sepuluh orang berjenis kelamin perempuan, kemudian perempuan pada penelitian ini dinamakan model Setiap model diambil tujuh ekspresi dasar manusia, yaitu: marah, jijik, takut, senang, terkejut, sedih, dan netral Setiap satu ekspresi pada masing-masing model diambil empat gambar ekspresi B Tahapan Penyusunan Tahapan penyusunan seperti terlihat pada Gambar 3 Gambar 3 Blok diagram penyusunan Adapun tahapan penyusunan, sebagai berikut : 1 Pemilihan Pemilihan gambar ekspresi didasarkan pada parameter ekspresi wajah yang dideskripsikan secara tertulis, seperti terlihat pada Tabel 1 [1] Tabel 1 Parameter ekspresi wajah No Emosi Dasar Deskripsi Textual Wajah 1 Happy Alis yang santai Mulut terbuka dan sudut mulut ditarik ke arah telinga 2 Sadness Bagian alis bengkok ke atas Mata yang sedikit tertutup Mulut santai Alis diangkat dan ditarik 3 Fear bersama-sama Bagian alis bengkok ke atas Mata yang tegang dan waspada Alis bagian dalam ditarik kebawah bersama-sama Mata 4 Anger terbuka lebar Bibir yang ditekan terhadap satu sama lain dibuka, sehingga gigi terlihat 5 Disgust Alis dan kelopak mata yang santai Bibir atas dinaikkan dan meringkuk, sering asimetris 6 Surprise Alis yang terangkat Kelopak mata bagian atas terbuka lebar, mengendurkan rendah Rahang dibuka 2 Penyusunan Penyusunan dengan memberikan label data dengan format : nama_model(titik) ekspresi(titik) urutan ekspresi, tujuannya agar mempermudah pengguna dalam menggunakan Contoh pemberian label seperti pada Gambar 4

3 JURNAL TEKNIK POMITS Vol 1, No 1, (2013) contoh operasi pengurangan matriks, seperti terlihat pada persamaan 2 aa bb cc dd - cc ff gg h bb ff = aa cc (2) cc gg ff h Syarat operasi pengurangan matriks yaitu mempunyai orde yang sama Hasil dari operasi pengurangan matriks mempunyai orde yang sama Gambar 4 Contoh label data Seperti terlihat pada Gambar 3 merupakan contoh label data penyusunan, dengan penjelasan berikut ini : a TI : dua digit nama singkatan model dari Tia b AN : dua digit nama singkatan ekspresi dari angry c 1 : satu digit digit urutan ekspresi dari empat ekspresi masing-masing model dalam satu ekspresi d Setiap blok pada satu nama data dipisahkan dengan tanda titik C Tahapan Adapun tahapan pengklasifikasian ekspresi sebagai berikut : 1 Pre-processing Pada tahap ini menggunakan gambar original dan dengan ukuran piksel 256x256, kemudian dilakukan cropping secara manual dengan ukuran 120x168 Citra hasil crop diubah ke dalam citra greyscale Kemudian dilakukan proses average faces neutral dan substraksi citra yang dapat dijelaskan berikut ini : a Average Faces Teknik average digunakan untuk mendapatkan nilai rata-rata dari n gambar Pada proses average faces merata-rata nilai intensitas masing-masing piksel (x,y) gambar 2D Untuk gambar RGB dengan melakukan operasi pada masing-masing R, G, dan B Persamaan average faces seperti terlihat pada persamaan 1 2 Ekstraksi Fitur Pada penelitian ini menggunakan sistem ekstraksi fitur dengan mengambil data mentah dari hasil pengurangan citra ekpresi selain netral dengan citra average neutral faces 3 Pada tahap pengklasifikasian menggunakan weka Pengklasifikasi pada penelitian ini menggunakan SVM (Support Vector Machine) Setiap data training mempunyai sifat data yang berbeda-beda, sehingga perlu dilakukan optimasi parameter SVM pada kernel yang digunakan Pada penelitian ini menggunakan kernel RBF (Radial Basis Function) Optimasi parameter RBF pada nilai c (cost) dan g (gamma) Optimasi parameter RBF ini digunakan untuk mendapatkan nilai akurasi yang optimal III HASIL PERCOBAAN A Database Setelah menyusun, diperoleh database yang model penyusunannya merefensikan pada, terlihat pada Tabel 2 Tabel 2 Implementasi No 1 2 Angry (Marah) Disgust (Jijik) x = nn ii=1 xi nn Dengan : x = rata-rata n = jumlah data x i = data ke-i (1) b Substraksi Citra Nilai substrak pada citra didapatkan dengan operasi pengurangan nilai-nilai antara kedua piksel Pada proses ini semua gambar ekspresi selain netral akan dikurangi dengan average face netral Berikut ini 3 4 Lanjutan Tabel 2 Implementasi Fear (Takut) Happy (Senang)

4 JURNAL TEKNIK POMITS Vol 1, No 1, (2013) Neutral (Normal) Sad (Sedih) Surprise (Terkejut) Hasil percobaan I sebagai berikut ini : a Data set dari Hasil percobaan menggunakan data set dari IFFE- 2D sebagai berikut : Tabel 4 Confussion matrix percobaan I pada data set dari AN DI FE HA SA SU AN DI FE HA SA SU Kriteria model yang digunakan seperti terlihat pada Tabel 3 Tabel 3 Kriteria model No Kriteria Keterangan 1 Jenis Kelamin Perempuan 2 Umur tahun 3 Kebangsaan Indonesia 4 Kelahiran Jawa 60%, Sulawesi 20%, Sumatra 10%, dan Bali 10% 5 Profesi Siswa 70% dan Artis Teater 30% B Percobaan dan Hasil Pada penelitian ini dilakukan beberapa percobaan dengan menggunakan database dan Tahapan percobaan dan hasil pengklasifikasian sebagai berikut ini : 1 Percobaan I Pada percobaan I dilakukan percobaan dengan menggunakan semua data set dari dan Validasi pada percobaan I menggunakan 10-folds crossvalidation masing-masing data set dari facial database Pada Gambar 5 merupakan blok diagram percobaan I Keterangan : AN : Angry FE : Fear SA : Sad DI : Disgust HA : Happy SU : Surprise b Data set dari Hasil percobaan menggunakan data set dari sebagai berikut : Tabel 5 Confussion matrix percobaan I pada data set dari AN DI FE HA SA SU AN DI FE HA SA SU Percobaan I nilai akurasi prediksi data set dari database sebesar 9375% sedangkan sebesar 8852% 2 Percobaan II Crop Greyscale (n) Netral n Average Netral Substraksi (n) Average Netral - Tahapan Preprocessing Data set PJ Data set PI X 11 X 12 X1d X 21 X 22 X2d Xm1 Xm2 Xmd Piksel Mentah Citra Substraksi (n) Citra substraksi (n) Tahapan Ekstraksi Fitur SVM Tahapan Gambar 5 Blok diagram percobaan I Gambar 6 Desain percobaan II

5 JURNAL TEKNIK POMITS Vol 1, No 1, (2013) Seperti terlihat pada Gambar 6 merupakan desain percobaan II Database terdiri atas ekspresi sepuluh orang model begitu juga dengan Masing-masing data setiap model akan dipisah satu per satu sebagai data uji Pengujian dilakukan dengan dua tahapan, yaitu tahap set PJ dan set PI sebagai berikut : a Data set PJ Data set PJ merupakan tahapan pengujian dengan menggunakan data dari database Data uji PJ merupakan data uji yang tersusun atas data ekspresi wajah dari satu orang pada database pada data uji PJ memisahkan satu orang sebagai data uji satu per satu Data training PJ merupakan data training yang tersusun atas sisa orang selain data uji PJ pada database Hasil percobaan dengan menggunakan data set PJ seperti pada Tabel 6 Tabel 6 prediksi percobaan II pada data set PJ Kode Model Total Gambar Training Total Gambar Uji MK % NA % NM % TM % YM % KA % KL % KR % UY % KM % Rata-rata akurasi prediksi 3471 % Seperti terlihat pada Tabel 6 hasil nilai akurasi pengujian II pada masing-masing kode model database Nilai akurasi tertinggi pada kode model NM dengan nilai akurasi prediksi sebesar 4706 % Nilai akurasi terendah pada kode model KL sebesar 1579 % Nilai akurasi prediksi dari nama model dari facial database berbeda-beda, tetapi ada juga yang sama Rata-rata akurasi prediksi sebesar 3471 % b Data set PI Data set PI merupakan tahapan pengujian dengan menggunakan data dari database Data uji PI merupakan data uji yang tersusun atas data ekspresi wajah dari satu orang dari database pada data uji PI memisahkan satu orang sebagai data uji satu per satu Data training PI merupakan data training yang tersusun atas sisa orang selain data uji PI pada database Hasil percobaan dengan menggunakan data set PI seperti pada Tabel 7 Tabel 7 prediksi percobaan II pada data set PI Total Total Kode Gambar Gambar Model Training Uji AN % UC % DE % DM % HE % IK % IS % MU % RE % TI % Rata-rata akurasi prediksi 3042 % Seperti terlihat pada Tabel 7 hasil nilai akurasi pengujian II pada masing-masing kode model database Nilai akurasi prediksi ini dari semua ekspresi Nilai akurasi tertinggi pada kode model DE dengan nilai akurasi sebesar 5833 % Nilai akurasi terendah pada model pada kode model DM dengan nilai akurasi prediksi sebesar 1250 % Rata-rata akurasi prediksi sebesar 3042 % 3 Percobaan III 7 Orang model Data Set J 3 Orang model IFFE- 2D Gambar 7 Desain percobaan III 3 Orang model Data Set I 7 Orang model IFFE- 2D Data set J dan I pada Gambar 7 merupakan data yang digunakan sebagai data yang diklasifikasikan, dengan ketentuan sebagai berikut : a Data set J Data set J terdiri dari tujuh model/orang semua ekspresi dari database dan tiga ekspresi dari model/orang semua ekspresi dari database Pada data set J merupakan data yang porsi besar pada database Hasil percobaan dengan menggunakan data set J seperti pada Tabel 8

6 JURNAL TEKNIK POMITS Vol 1, No 1, (2013) Tabel 8 Confussion matrix percobaan III pada data set J AN DI FE HA SA SU AN DI FE HA SA SU b Data set I Data set I terdiri dari tujuh model/orang semua ekspresi dari database dan tiga ekspresi dari model/orang semua ekspresi dari database Pada data set I merupakan data yang porsi besar pada database Hasil percobaan dengan menggunakan data set J seperti pada Tabel 9 Tabel 9 Confussion matrix percobaan III pada data set I AN DI FE HA SA SU AN DI FE HA SA SU Dibandingkan dengan percobaan I, yaitu pengujian pada data set tanpa disisipi data dari facial database yang lain, nilai akurasi akurasi terendah pada posisi kelas emosi yang berdeda Pada percobaan I nilai akurasi tertinggi pada kelas emosi sad, sedangkan percobaan III pada kelas emosi disgust Begitu pula perbedaan pada nilai akurasi terendah Percobaan I nilai akurasi terendah pada kelas emosi fear, sedangkan percobaan III pada kelas emosi disgust Nilai akurasi prediksi keseluruhan apabila dibandingkan antara percobaan I dan III terlihat pada Tabel 10 Tabel 10 Perbandingan nilai akurasi percobaan I dan III Data set dengan porsi Percobaan I Percobaan Selsisih besar III 8852 % 8800 % 052 % 9375 % 8894 % 481 % Seperti terlihat pada Tabel 416 data set dengan porsi besar di mengalami penurunan nilai akurasi prediksi sebesar 052 %, sedangkan data set dengan porsi besar di turun sebesar 481 % IV KESIMPULAN DAN SARAN A Kesimpulan Dari hasil percobaan pengklasifikasian emosi dalam tugas akhir ini dapat diambil beberapa kesimpulan sebagai berikut : 1) Nilai akurasi prediksi menggunakan data set dari semua data sebesar 9375% dan sebesar 8852 % menggunakan nilai intensitas piksel raw atau piksel mentah dari citra substaksi ekspresi dan mode validasi menggunakan teknik 10-folds cross-validation 2) Menyusun data set dari facial database, kemudian data set dibagai dua, yaitu data set PJ dan PI Data set PI merupakan data yang disusun dari, sedangkan PJ diambil dari Data set PI dan PJ terdiri atas data uji dan data training Data uji PI dan PJ disusun dengan memisah satu orang semua ekspresi sebagai data uji dan sisanya sebagai data training dari masing-masing sumber facial database Pengujian dilakukan satu per satu setiap nama model, sehingga diperoleh nilai akurasi prediksi masing-masing nama model Nilai akurasi prediksi ratarata data set PJ sebesar 3471 %, sedangkan PI sebesar 3042 % 3) Menyusun data set dari facial database, kemudian data set dibagi dua yaitu data set J dan I Data set J merupakan data yang disusun berdasarkan jumlah dominasi data, sedangkan I dari dominasi data Penyusunan data set J dan I dilakukan dengan menukar foto ekspresi tiga orang dari facial database ke dalam masing-masing data set Nilai akurasi prediksi dat set J sebesar 8800 % dan I sebesar 8894 % Dibandingkan dengan data set tanpa disisipi data facial database lain, penurunan nilai akurasi berdasarkan jumlah data dominan sebesar 052 % dan data dominan sebesar 481 % B Saran 1) Penggunaan model ekspresi untuk jenis kelamin laki-laki, sehingga didapatkan ekspresi yang bervariatif 2) Memanfaatkan fitur warna RGB database, mengingat banyaknya penggunaan gambar 2D berwarna RGB DAFTAR PUSTAKA [1] A M Tekalp and J, Ostermann, Face and 2-d mesh animation in mpeg-4, Signal Processing: Image Communication, vol 15, no 4-5, pp , 2000 [2] Zhang, Ligang, Student Member, IEEE, and Dian Tjondronegoro Facial Expression Recognition Using Facial Movement Features, IEEE Transactions On Affective Computing, Vol 2, No 4, October-December 2011 [3] Vapnik, Vladimir N, An Overview of Statistical Learning Theory IEEE Transactions OnNeural Networks, Vol 10, No5, September 1999 [4] AS, Nugroho, Witarto, AB, Handoko, D, Application of Support Vector Machine in Bioinformatics", Proceeding of Indonesian Scientific Meeting in Central Japan, December 20, Gifu-Japan, 2003 [5] Lee, Byungsung, Junchul Chun, Poem Park, Classification of Facial Expression Using SVM for Emotion Care Service, IEEE Computer Society, /08, Department of Computer Science, Kyonggi University, Suwon, Korea, 2008