Pemilihan Playlist dengan Mengenali Ekspresi Wajah Pengguna menggunakan Neural Network Backpropagation

Transkripsi

1 Pemlhan Playlst dengan Mengenal Ekspres Wajah Pengguna menggunakan Neural Network Backpropagaton Pen Rahayu Polteknk elektronka Neger Surabaya Nana Ramadajnt Polteknk elektronka Neger Surabaya Setawardhana Polteknk elektronka Neger Surabaya Abstrak Proyek Akhr n dbuat untuk mengenal ekspres wajah sebaga ndkatort untuk menjalankan playlst musc. Sstem pengenalan ekspres wajah berasal dar data masukan seseorang saat tu yang dambl secara offlne, dengan poss terdekat dengan kamera, dmana poss wajah tdak boleh mrng. Prosesnya dengan pengamblan ctra wajah secara offlne yang dkenal dengan kombnas warna, dan mengekstrak ftur pentng dar wajah berdasarkan lokas als, mata dan bentuk mulut kemudan mengenal ekspres wajah menggunakan Jarngan Saraf Truan ( Neural Network Backpropagaton ). Data keluaran dar pengenalan ekspres wajah berupa ndek yang secara otomats akan dndkaskan untuk menjalankan musk, sehngga musk akan berubah mengkut perubahan ekspres wajah seseorang. Keyword : ekspres wajah, neural network, backpropagaton. 1. Pendahuluan Saat n mage processng berkembang pesat, dbuktkan dengan banyaknya aplkas yang menggunakan pola gambar sepert pengenalan wajah, sdk jar, tanda tangan dan lan-lan. Hal n menunjukkan adanya kemungknan untuk melakukan pengembangan aplkas pengenalan terhadap ekpres wajah yang tampak dan d tamplkan dalam sebuah meda musk yang merupakan penuangan dar emos yang dkenal oleh aplkas. Selan tu, melalu pengenalan ekpres n dharapkan dapat membangktkan musk yang sesua dengan konds emos yang nantnya dapat dgunakan sebaga ndkator yang merepresentaskan emos seseorang pada saat tertentu. Sehngga dapat dgunakan untuk membantu proses komunkas seseorang dengan mengenal emosnya melalu musk yang dputar. Aplkas n akan mengenal tga macam ekpres wajah yatu normal, tertawa dan marah. Dmana ekpres tersebut merupakan ekspres umum yang serng dalam oleh manusa. Sedangkan untuk pengamblan keputusan deteks ekspres wajah dar pengguna menjad sebuah keputusan ekpres tertentu, maka dgunakan cabang lmu artfcal Intelegent yang dmana menggunakan teknk Jarngan Syaraf Truan (Neural Network). Neural Network merupakan suatu model non-lner yang dmana dapat d tranng untuk memetakan suatu data hstorkan dan value data yang dhaslkan untuk yang akan datang dar suatu data tme seres. Dengan cara demkan ekstrak struktur hdden dan relas yang dapat menetukan data yang akan dramalkan. Dalam hal n, Neural Network dplh karena dapat menngkatkan performa yang dberkan dengan adanya lebh banyak contoh. Selan tu, kta tdak perlu tahu banyak tentang ftur dar ekspres wajah untuk membangun sstem. Sstem akan generalsas ftur tu sendr, yang dberkan cukup banyak contoh sebaga data tranng. Data yang dgunakan sebaga data hstorkal adalah data sample ekspres ( senang, marah dan normal ) berupa mage (ctra berwarna). Data hstorkal n djadkan sebaga data tranng sedangkan data testng berdasarkan pengamblan gambar saat tu. 2. Pengenalan Wajah dan Ftur Wajah Mengacu pada makalah Automated Facal Expresson Recognton System Usng Neural Networks yang dsusun oleh Jyh-Yeong Chang, yatu mendeteks ekspres wajah dengan menghtung perbedaan nla ftur dan jarak ftur, maka sstem n dbangun agar mampu mengenal dan mengambl nla nla ftur yang dgunakan dalam deteks wajah ( menentukan lokas ftur ftur wajah ), ekstraks nla nla ftur wajah, ada 3 ftur utama dar wajah yang danggap mempengaruh perubahan ekspres wajah, yatu: - Ftur mulut - Ftur mata - Ftur alsmata Berdasarkan atas deteks 3 ftur tersebut, dapat dambl 6 nla ftur yang menyatakan pengaruh dar ekspres wajah : - Jarak alsmata dengan mata - Lebar mata - Lebar mulut - Jarak kedua als mata - Jarak kedua mata - Jarak alsmata dengan mulut Secara umum kerja sstem untuk mendapatkan nla ftur dapat dlhat pada Gambar 1 (Proses Pengamblan Nla Ftur ):

2 Start Image Face Detecton ( haarclassfer ) Deteks Ftur Mulut (haarclasfer) Cropng at face area Deteks Ftur Mata (haarclasfer) Pengamblan Nla Ftur Perhtungan Jarak antar Ftur Gambar 1. Dagram Proses Pengamblan Nla 2.1 Sstem Deteks Wajah Untuk pendeteksan wajah n menggunakan fungs dar haarclasfed sehngga perlu adanya tranng data untuk mendapatkan fle xml data dar wajah, yang kemudan dlakukan deteks wajah menggunakan xml yang menjad lbrary dar opencv. Hasl dar deteks wajah berupa nformas koordnat l;okas yang dapat dgunakan pada proses selanjutnya yatu untuk resze dan menympan ke dalam fle gambar baru yang akan dgunakan untuk mendeteks ftur ftur pada wajah. end RGB to bnary mage Deteks Ftur Als ( bner ) Gambar 4. Hasl Pengamblan Wajah 2.2 Sstem Deteks Ftur Wajah Setelah pengenalan lokas wajah, dlakukan pencaran nla ftur dar wajah dengan memanfaatkan fungs haarclasfed yang telah dbuat untuk detek s ftur mulut dan mata, sedangkan untuk mendetks alsmata dgunakan perubahan fle gambar bner. Dar ftur yang ddaptkan berupa rectangular poss dar ftur tersebut, dapat dambl nla koordnat dar ttk tepnya dan dhtung nla fturnya bnerdasarkan ttk koordnat tersebut. Dmana poss koordnat terhtung dmula dar ss pojok kr atas ( perhatkan gambar 5 ). X(+) satuan pxel Y(+) Satuan pxel Gambar 5. Sstem Koordnat Dmana nla koordnat yang dperoleh dar masng masng ftur adalah sebaga berkut : - Ftur mulut Kamer Deteks Lokas Wajah dengan XML Lbrary OpenCv Gambar 2. Dagram Deteks Wajah Wajah dan koordnat Lokas X1,Y1 X2,Y2 Ketka lokas wajkah sudah dapat dkenal maka dlakukan pemotongan terhadap gambar pada lokas wajah agar pencaran ftur dapat fokus pada area croppng wajah saja. Gambar 6. Ftur Mulut Sehngga dapat dhtung nla ftur 3 yatu lebar/tngg mulut dengan perbedaan nla ordnat pada sumbu y f3 = Y2 Y1 koordnat ttk tengah mulut untuk menghtung nla ftur lannya (a) (b) Gambar 3. Deteks Lokas Wajah (a) Sebelum deteks, (b) Setelah Deteks Wajah ttktengah X = ( (X2 - X1) / 2 ) + X1 ttktengah Y = ((Y2 - Y1) / 2 ) + Y1

3 X1[1],Y1[1] sehngga : koordnat centermouth= ttktengah X, ttktengah Y X1[2],Y1[2] - Ftur Mata Gambar 7. Ftur Mata Pada ftur mata dkenal 2 buah rectangle yang menyatakan poss dar mata kr dan mata kanan, sehngga nla koordnat nya dsmpan dalam array (matax1[],matay1[],matax2[], matay2[]). ( [ ] [ ]) ( [ ] [ ]) Mencar ttk tengah mata1 dan mata 2 untuk menghtung jarak antara kedua mata (nla ftur 5 ) centermatax1 = ((matax1[2]-matax1[1])/2)+matax1[1] centermatay1 = ((matay1[2]-matay1[1])/2)+matay1[1] centermatax2 = ((matax2[2]-matax2[1])/2)+matax2[1] centermatay2 = ((matay2[2]-matay2[1])/2)+matay2[1] karena poss ttk tengah belum tentu dalam kesejajaran, maka perhtungan jarak mata menggunakan pytagoras. a b X2[1],Y2[1] X2[2],Y2[2] ftur als dlakukan proses tresholdng gambar dan perubahan gambar menjad gambar bnary (htam dan puth), berdasarkan koordnat pxel lokas als yang ddapat akan dcar nla dar ordnat x terendah dan x tertngg (menyatakan ttk ujung als ), yatu alsx1[], alsy1[],alsx2[],alsy2[]. Menentukan nla ftur pertama (f1) yatu jarak alsmata dengan mata, dengan menentukan nla centeralsx dan centeralsy terlebh dahulu. Centeralsx1 = ((alsx1[2]-alsx1[1])/2) + alsx1[1] Centeralsy1 = ((alsy1[2]-alsy1[1])/2) + alsy1[1] Centeralsx2 = ((alsx2[2]-alsx2[1])/2) + alsx2[1] Centeralsy2 = ((alsy2[2]-alsy2[1])/2) + alsy2[1] CenteralsX = ((centeralsx2 centeralsx1)/2) + centeralsx1 CenteralsY = ((centeralsy2 centeralsy1)/2) + centeralsy1 Menghtung ftur 1 yatu lebar als dengan mata : f1 ( ) ( ) menghtung nla ftur 4 yatu jarak alsmata : f4 ( ) ( ) menghtung nla ftur 6 yatu jaraka alsmata dengan mulut : f6 ( ) ( ) 3. Neural Network Backpropagaton 3.1. Rancangan Neural Network Backpropagaton untuk Pengenalan Ekspres Wajah Neural network dgunakan untuk melakukan pengenalan terhadap ekspres wajah melalu nla nla ftur yang sudah dperoleh melalu kalkulas sebelumnya, dengan teknk propagasa balk (Backpropagaton) dengan layer nput sebanyak 6 unt, neuron hdden layer sebanyak 9 unt dan layer output sebanyak 3 unt. Dmana terdapat 3 layer output untuk menampung data output yang berupa dgtas angka 0 dan 1, untuk lebh jelas lhat pada gambar 9. a = centermatax2 centermatax1 b = centermatay2 centermatay1 mencar ttk tengah kedua mata untuk menghtung jarak alsmata dengan mata centermatax = ((centermatax2 centermatax1)/2)+ centermatax1 centermatay = ((centermatay2 centermatay1)/2)+ centermatay1 - Ftur Als Gambar 9. Arstektur Neural Network backpropagaton Gambar 8. Ftur Als Penentuan ftur als berdasarkan poss dar ftur poss mata, sehngga nla ftur als bergantungdar deteks ftur mata. Namun untuk Berdasarkan arstektur system pada gambar datas, terdapat 6 layer nput yatu jarak alsmata dengan ttk pusat mata (F1), lebar mata (F2), lebar mulut (F3), jarak kedua alsmata (F4), jarak kedua mata (F5), jarak ttk pusat kedua alsmata dengan ttk pusat mulut (F6). Berkut merupakan contoh nla dar pengamblan keenam ftur tersebut: F1= 10 F4= 68 F2= 19 F5= 59 F3= 25 F6=

4 Sedangkan untuk layer output ddapatkan 3unt yang menjad kombnas dar 3 ekspres wajah yang akan dkenal, yatu : - O1=0, O2=0, O3=1 untuk ekspres wajah normal - O1=0, O2=1, O3=0 untuk ekspres wajah senang - O1=1, O2=0, O3=0 untuk ekspres wajah marah Perhtungan Neural Network backpropagaton Sesua dengan gambar 9 bahwa pelathan Neural Network Backpropagaton terdr atas dua proses utama yatu proses maju foward dan backpropagaton dar galatnya backward. Untuk lebh jelasnya dapat dpelajar melau langkah dbawah n : Langkah 0 : Melakukan nsalsas terhadap nla weght awal, yatu weght layer nput menuju hdden layer, weght hdden layer menuju output layer dan weght dar masng masng bas ( melakukan random nla ) Langkah 1: Ketka syarat untuk keluar dar proses bernla false, maka lakukan proses langkah 2 s/d 9 Langkah 2 : Melakukan 2 pelathan pada Neural Network, dengan melakukan langkah 3 s/d 8. ForwardProses Langkah 3 : masng masng unt pada nput (X, =0.5) mendapatkan nla nput dar ftur yang dkenal kemudan snyal ftur n dkrmkan ke semua unt pada layer datasnya ( hdden layer ). Langkah 4 : masng masng unt pada hdden ( hj, j=0.n) dperoleh dengan menjumlahkan snyal nput pembobotnya. j Neuron, k nput xk * j 0, k 0 h ( w ) wb1 kj (3.1) Melakukan aktvas terhadap nla unt hdden masng masng sebaga nla output hdden : h f t (3.2) h Kemudan snyal n (h, =0..n) dkrmkan ke layer atas lag ( layer output ) untuk mendapatkan nla keluaran dar sestem yang menyatakan rangkaan nla ekspres. Langkah 5 : Masng masng output unt dperoleh dengan menjumlahkan hasl kal dar nla pembobot hdden layer menuju output layer. outputk, neuron hk * vk j 0, k 0 O ( ) wb2 (3.3) Melakukan aktvas terhadap snyal output : O f t (3.4) O Perhtungan Error Value Langkah 6 : Pada tap output unt ( O, =0 n ) menerma pola yang bersesuaan dengan pola pelathan maju ( forward ), menghtung nla error yang terdeteks pada layer output e ( t O ) t (3.5) Menghtung nla batas weghtnya untuk melakukan update terhadap nla Vj V j =α*e *h j, (3.6) Menghtung nla batas bas pada layer output untuk melakukan update terhadap nla b 2. b 2 =α*e, (3.7) Dmana : =0.jumlah output j=0.jumlah neuron hdden Mengrmkan nla nla e pada layer dbawahnya, untuk mendapatkan nla batas weght layer yang ada dbawahnya Langkah 7 : pada masng masnh unt hdden (h, =0.. n ) menjumlahkan delta nput nputnya dan mengalkannya dengan nla hdden layer untuk mengkalkulaskan batas nla error pada layer hdden. j jmloutput eh h *(1 h )*( e * V ) (3.8) j0 Menghtung nla batas weghtnya untuk melakukan update terhadap nla Wj. W k =α*eh *x k, (3.9) Menghtung nla batas bas pada layer hdden untuk melakukan update terhadap nla b 1. b 1 =α*eh, (3.10) Dmana : =0.jumlah neuron hdden j=0.jumlah output k=0 jumlah nput update Weght dan bas Langkah 8 : Tap nput unt ( X, =0. n ) mengupdate bas dan weght menuju layer hdden W j (new) = W j (old) + W j (3.11) b 1j (new)=b 1j (old) + b 1 (3.12) kemudan tap hdden unt ( hj, j=0 m ) mengupdate bas dan weght menuju output layer V jk (new) = V jk (old) + V jk (3.13) b 2k (new)=b 2k (old) + b 2k (3.14) Langkah 9 : melakukan pengecekan untuk pemberhentan loopng. 3.3 Penggabungan Indeks Deteks Ekspres untuk menjalankan Playlst Dar hasl nla ftur yang telah dperoleh, masuk kedalam fungs neural network backpropagaton. Ddapatkan nla output dar nla ftur tersebut dengan proses forward termasuk dalam kategor ekspres normal, senyum ataukah marah. Dmana nla ekspres tersebut dsmpan dalam vareabel ndeks_ekspres. data no ndeks ekspres : 001 ekspes wajah normal 010 ekspres wajah senang 100 ekspres wajah marah Setelah ndeks dkenal oleh sstem, maka secara auto sstem akan melakukan load terhadap playlst lagu j j

5 yang telah dsmpan dengan snkronsas untuk masng masng ndeks ekspres wajah tersebut. 3.4 Dagram Sstem Pengenalan Ekspres Wajah Sstem yang djalankan adalah sebaga berkut : Nama Arfn Wajah Normal Ekspres Senang Ekspres Marah Dataset Tranng Gambar Dar Kamera Deteks Wajah Deteks Ftur Wajah NN Backpropagaton Pada tabel 2 berupa data gambar gambar wajah yang dcar nla fturnya untuk membedakan nla ftur dar perbedaan ekspres yang ada. Berdasarkan gambar tersebut beberapa cr dar perbedaan ekspres, yatu : - Marah : alsmata dan mata poss berdekatan, mata melebar, jarak alsmata mendekat - Senang : Tngg mulut semakn lebar. Tabel 3. Tabel Nla Ftur berdasarkan Jens Ekspres Deteks Ftur Menjalankan Wajah Musk Gambar 10. Dagram Sstem Pada Gambar 10 dagram yang djalankan memanfaatkan penangkapan gambar pada kamera yang terjad saat tu, dmana hasl gambar akan masuk kedalam proses deteks wajah, dan deteks nla ftur yang masuk kedalam neural network backpropagaton untuk mendapatkan hasl ekspres wajah yang dtangkap oleh kamera. Setelah ekspres wajah berhasl dkenal maka secara otomats melalu ndeks ekspres tersebut sstema akan menjalankan musc. 4. Hasl Pengujan Pada pengujan pengamblan gambar dlakukan melaluu load gambar yang sudah tersmpan dan juga melalu deteks kamera secara langsung. Ketka menjalankan program, secara otomats system akan melakukan tranng data dar neural network backpropagaton sehngga saat system djalankan system hanya menunggu masuknya gambar yang akan dolah. Data tranng dperoleh dar beberapa pengujan gambar ekspres wajah beberapa orang, yatu : Nama Rath Muta Andreas Redy Tabel 2 Ekspres wajah yang dambl Wajah Normal Ekspres Senang Ekspres Marah Ftur tngg als Ekspres Marah tngg mata tngg mulut jara k als jarak mata jarak als mulut Rath Muta Andre Redy Arfn Ekspres Senang Rath Muta Andre Redy Arfn Ekspres Normal Rath Muta Andre Redy Arfn Berdasarkan tabel 3 dapat kta lhat adanya tga ekspres berbeda yang dambl nla ftunya,dmana besanya nla ftur yang dperoleh mengalam perbedaan nla namun yang terlhat palng sgnfkan pengaruhnya adalah nla dar ftur als mata dengan mata. Sedangkan data dengan blok warna ungu merupakan nla ftur yang tdak sesua. Dengan adanya data tranng berupa nla ftur tersebut sstem dapat djalankan karena adanya nla perhtungan sebelumnya berdasarkan data tranng yang telah dolah dalam neural network backpropagaton untuk mendapatkan nla bobot terbak dalam pengenalan ekspres. Proses pengenalan ekspres wajah dapat dmula dengan penekanan tomol CamOn untuk melakukan deteks langsung secara onlne kamera, Take(Offlne) untuk melakukan deteks langsung secara offlne

6 kamera, yatu dengan pengamblan gambar langsung saat tu, dan CekDtc dengan melakukan load gambar yang telah tersmpan sehngga gambar yang dgunakan bukan deteks atau pengamnlan langsung saat tu. Gambar 10. Pengenalan Ekspres Wajah secara Onlne Gambar 11. Pengenalan Ekspres Wajah secara Offlne Gambar 12. User Interface musk player 5. Kesmpulan dan Saran Kesmpulan yang dapat dambul dar proyek akhr n adalah : 1. Pengamblan sebuah gambar dperlukan adanya kecermatan terhadap nose nose yang muncul d sektar object. Begtu pula dengan pencahayaan saat pengamblan gambar perlu dperhatkan sehngga dupayakan mendapatkan gambar yang bas dkenal dan dproses oleh system. 2. Ekspres wajah yang dkenal ada 3 macam yatu : ekspres normal, ekspres senang, dan ekspres marah. Karena adanya kemrpan terhadap nla ftur pada masng masng ekspres menjadkan sult untuk dbedakan. 3. Pengujan system secara offlne menggunakan Neural Network Backpropagaton dalam proses learnng mencapa nla konvergen dengan nla error terkecl menggunakan 10 unt neuron, dengan nla learnng rate yang tercapa , dengan nla momentum 0.6, serta k_nol 200 dan dengan error sebesar 1,3 %. 4. Pada deteks ekspres wajah secara offlne ketepatan deteks ekspres lebh bak dbandngkan deteks ekspres wajah yang dlakukan secara onlne, offlne sebesar 63,33% onlne 53,33%. Saran untuk pengembangan proyek akhr n adalah adanya fungs yang dapat memperbak kualtas dar gambar sehngga dapat mengurang nose yang terutama adalah pencahayaan yang merusak deteks deteks ekspres wajah tu sendr, sehngga tdak perlu melakukan settng ulang mengena kualtas gambar dan deteks ekspres dapat dlakukna dalam segala konds pencahayaan bak tu pag sang atau malam. Referens [1] Chang, Jyh-Yeong, Chen, Ja-Ln. Automated Facal Expresson Recognton System Usng Neural Networks, Department of Electrcal and Control Engneerng Natonal Chao Tung Unversty Hsnchu:Tawan 300, R.O.C., [2] Backpropagaton Propagaton, 15 Jul :26. [3] Mohamed A. Shahn, Mark B. Jaksa, Holger R. Maer, State of the Art of Artfcal Neural Networks n Geotechncal Engneerng, Australa:Unverstas Adelade,2008. [4] Kusumadew, Sr. Neuro-Fuzzy Integras Sstem Fuzzy dan Jarngan Saraf Truan, Graha Ilmu, 2006 [5] OpenCv Lbrary 25 Januar :18 [6] HaarTranng nng, 25 januar :46 [7] Setawardhana, Algortma Backpropagaton untuk Communcaton Chanel Equalzer dan Clusterng, Surabaya:Polteknk Elektronka Neger Surabaya, 2010 [8] Ryanto Sgt, Setawardhana,Dadet Pramadhanto Pengenalan Ekspres Wajah Secara Real Tme Menggunakan JST, IES 2007 [9] Fausett, Laurene, Fundamental Of Neural Network, Archtectures Algorthms and applcatons. [10] Applcaton of a Neural Network n Recognzng Facal Expresson, Bandung : Internatonal Conference on Instrumentaton, Communcaton and Informaton Technology, 2007.