BAB IV PENGUJIAN DAN ANALISIS Bab ini akan membahas tentang pengujian dan analisis sistem. Pada pengujian akan dijelaskan tentang kriteria pengujian serta analisis dari pengujian 4.1. Kriteria Pengujian Sistem Pada bagian ini akan dilakukan beberapa pengujian terhadap sistem. Pengujian yang akan dibahas pada bab ini meliputi pengujian pada tahap perancangan serta pengujian pada tahap simulasi sistem pengenalan wajah wajah secara keseluruhan. Secara garis besar, pengujian dan pengamatan yang akan dibahas pada bab ini adalah: Pengujian dan analisis database Pengujian dan analisis ekstraksi fitur Pengujian dan analisis sistem pengenalan wajah Tujuan dari pengujian terhadap sistem ini adalah untuk mengetahui keterbatasanketerbatasan yang dimiliki oleh sistem dan kesalahan-kesalahan yang dihasilkan oleh sistem. Database yang dibuat terdiri dari 240 citra yang terdiri dari 16 orang masingmasing 15 pose. Database terdiri dari berbagai citra wajah (jenis kelamin, jenis rambut, warna kulit). Perbedaan pose pada database terdiri dari sudut pengambilan dan ekspresi sederhana. Pada pemilihan database dan fitur diharapkan didapatkan suatu kombinasi yang akan menghasilkan kinerja yang maksimal. Dari kedua jenis database yang telah disiapkan akan dipilih yang memberikan hasil terbaik. Pada pengujian sistem pengenalan wajah, beberapa jenis data akan diproses oleh sistem. Keluaran dari sistem ini diamati untuk melihat kinerja sistem. Selain menguji kinerja masing-masing bagian sistem, pengamatan juga dilakukan terhadap kecepatan sistem
melakukan komputasi. Pada bagian akhir bab ini akan dijelaskan mengenai kinerja sistem pengenalan yang telah terintegrasi 4.2 Pengujian dan Analisis Database Citra wajah yang diambil sebagai masukkan sistem pengenalan wajah ini berasal dari 16 orang. Masing-masing diambil 15 citra dengan perbedaan pose dan di luar 15 citra tadi diambil citra dengan perbedaan ekspresi (citra ke 16 dst, semuanya berjumlah 41). Database yang dibuat terdiri dari 240 citra yang terdiri dari 16 orang masing-masing 15 pose. Database terdiri dari berbagai citra wajah (jenis kelamin, jenis rambut, warna kulit). Variasi citra pada database terdiri dari perbedaan pose dan ekspresi sederhana. Pada citra database tidak terdapat halangan seperti kaca mata. Pose dengan ekspresi yang ekstrim diambil dan diuji untuk mengetahui kemampuan sistem pengenalan. Terdapat dua jenis database yang dikembangkan, yang pertama yaitu citra wajah meliputi semua wajah dan rambut. Database kedua hanya terdiri dari citra yang hanya berisi wajah. Pembuatan database dilakukan dengan pemotongan (cropping) citra dan konversi format citra dari format jpg ke format pgm, normalisasi cahaya dan dimensi. Pengujian terhadap database : Penentuan nilai threshold citra dikenali sebagai wajah Digunakan database sebanyak 240 (16 individu masing-masing 15 pose) sebagai citra training. JST hasil training akan diuji terhadap citra yang memiliki perbedaan ekspresi (sebanyak 41 citra) Perhitungan rentang nilai dihitung dari nilai neuron output proses klasifikasi yang beragam. Treshold yang dipakai berupa output minimum dikurangi setengah rentang nilai output.
Gambar 4.1 Nilai output pada 41 citra uji. Dari data diperoleh nilai maksimum adalah 0.9994 sedangkan nilai lima minimumnya 0,3543, 0,7678, 0,8707, 0,8740, 0,9057. Nilai minimum yang dipilih sebagai rentang yaitu 0,8707. Hal ini didasari pada 2 citra yang memiliki nilai minimum memiliki ekspresi yang jauh dari database (cemberut dan tertawa lebar). Rentang output adalah 0,1233. Treshold yang digunakan 0,80635. Nilai output dari JST yang lebih besar dari treshold akan dikenali sebagai subyek dalam database sedangkan citra dengan nilai threshold tidak dikenali sebagai subyek. Pengujian database pertama 1) Database dengan 3 citra pelatihan Dari database diambil citra dari muka arah hadap ke depan, ke arah paling kanan dan arah paling kiri. Citra uji yang digunakan yaitu 13 (12 pose sederhana selain citra latih dan citra ekspresi) dari masing-masing subyek dalam database. Performa JST yang digunakan adalah kriteria performa mse 2. 10-7.
Gambar 4.2 Performa JST database I dengan 3 citra. Hasil pengujian : Citra wajah yang menghasilkan error atau nilai outputnya dibawah threshold terdapat 71 citra dari 208 citra uji. Kinerja database ini 65,87% 2) Database dengan 8 citra pelatihan Dari 15 citra wajah yang ada di database diambil 8 citra wajah yaitu citra ke 1, 3, 5, 7, 9, 11, 13, 15. Citra ini digunakan untuk melatih JST yang telah di rancang. Citra wajah yang dijadikan citra uji adalah citra ke 2, 4, 6, 8, 10,12, 14, dan 16. Citra ke 16 merupakan citra dengan ekspresi yang berbeda (senyum,cemberut, menengadah). Performa JST yang digunakan mse 2. 10-7. Gambar 4.3 Performa JST database I dengan 8 citra
Hasil pengujian : pada citra uji ke 19 (orang ke 3 citra ke 6) gagal dikenali pada citra uji ke 113, 114, 117 nilai outputnya terbesar tapi tidak sesuai threshold. pada citra uji ke 120 ( orang ke 15 citra ke 16 ) yang merupakan pose ekspresi nilai output hanya 0,0821(maksimum) Citra wajah yang menghasilkan error atau nilai outputnya dibawah threshold terdapat 5 citra dari 128 citra uji.kinerja data base ini 96,09 % Data base kedua 1) Database dengan 3 citra pelatihan Pengambilan citra training dan citra uji sama dengan database pertama Performa JST yang diharapkan kriteria performa MSE 2. 10-7. Gambar 4.4 Performa JST database II dengan 3 citra. Hasil pengujian menunjukkan 62 citra uji gagal dikenali atau nilainya dibawah threshold dari 208 citra.kinerja jaringan ini 70,19%
2) Database dengan 8 citra pelatihan Pengambilan citra training dan citra uji sama dengan database pertama. Performa JST yang diharapkan kriteria performa MSE 2. 10-7. Gambar 4.5 Performa JST database II dengan 8 citra Citra uji ke 12 gagal dikenali. Kinerja database dengan 8 citra wajah menggunakan 128 citra uji menunjukkan keberhasilan 99,22%. Kelebihan Fisherfaces adalah kemampuan melihat variasi dalam kelas-kelas wajah. Dengan memilih 3 citra yang mewakili variasi pose yang ada dalam data base dihasilkan pengenalan di atas 65%. Jumlah citra training yang digunakan mempengaruhi kemampuan sistem pengenalan wajah ini. Semakin banyak jumlah citra maka sistem pengenalan akan memiliki akurasi yang lebih baik. Pada penggunaan 8 pose citra pada database kinerja pengenalan di atas 96%. Perbandingan kinerja PCA dan Fisherface adalah Pada database II dengan 3 citra pelatihan kinerja PCA terdapat 67 wajah yang salah (dari 208 citra uji) dengan keberhasilan 67,79% dan dengan 8 citra pelatihan terdapat 12 wajah yang salah (dari 11128 citra uji) dengan keberhasilan 90,63%. Sedangkan Fisherface dengan 3 citra pelatihan sebesar 70,19% dan dengan 8 citra pelatihan sebesar 99,22%. Dari perbandingan ini terlihat kinerja Fisherface lebih baik dari PCA. Database yang hanya terdiri dari wajah memiliki performa yang lebih baik dari data base yang terdiri dari wajah dan rambut. Pada pengujian database 3 pose citra training, database pertama menghasilkan nilai 65,87 % sedangkan database kedua menghasilkan
nilai 70,19%. Pada pengujian dengan 8 pose citra training, data base pertama menghasilkan nilai 96,09% sedangkan data base kedua menghasilkan 99,22% Pemilihan database didasarkan pada kemampuan database menghasilkan fitur yang dapat menggambarkan citra dari seluruh database. Pada database I terdapat pengaruh rambut sebagai salah satu fitur wajah yang menggambarkan wajah individu yang ada dalam database. Rambut memiliki region pada citra yang signifikan dan memiliki perbedaan yang cukup besar karena proses cropping pembentukan database, selain itu proses deteksi kulit tidak melewatkan rambut. Sedangkan pada database II bagian yang menggambarkan variansi database yang digunakan terletak pada mata, hidung dan mulut. 4.3 Pengujian dan Analisis Ekstraksi Fitur Fitur PCA hasil perhitungan menggambarkan variansi citra wajah pada database. Citra wajah berukuran 112 x 92 yang diubah menjadi 10304 x 1 akan menghasilkan kovarian akan berukuran 10304 x 10304. Algoritma Eigenface yang dikemukakan M. Turk and A. Pentland menghasilkan matrik kovarian berukuran 240 x 240. Pengambilan fitur dibatasi pada nilai PCA 99% varians dari database dan FLD sebesar 99%. Fitur PCA yang diperoleh sejumlah 179, sedangkan fitur FLD yang diperoleh sebanyak 14 fitur. Fitur akhir yang diambil sejumlah 14 fitur yang akan diubah menjadi bobot. Gambar 4.6 Nilai eigen dari PCA dan LDA
Metode fisherface yang digunakan berfungsi untuk melakukan reduksi data. Citra pada database berukuran 112 x 92 piksel. Jika kita menggunakan informasi dari masingmasing pikselnya maka kita akan memperoleh 10304 fitur dari setiap citra. Hal ini menyulitkan proses komputasi dan juga pembuatan pemilah (classifier). Langkah pertama reduksi data melalui PCA. PCA bermaksud mencari komponen prinsip yang menggambarkan variansi citra dalam database. Perhitungan PCA menggunakan matrik kovarian.. PCA menghasilkan matrik berukuran N x N dimensi matrik kovarian. Pada sistem ini dihasilkan matrik berukuran 240 x 240. Masing-masing vektor pada matrik ini menggambarkan variansi namun memiliki proporsi yang berbeda. Besarnya ditentukan nilai eigen. Dengan mengambil 53 fitur kita dapat memperoleh 90% gambaran variansi data. Vektor dengan nilai eigen yang besar disebut komponen prinsip. Pada sistem ini diambil nilai 99% PCA yaitu sejumlah 178 fitur. LDA juga menggambarkan variasi data yang memaksimalkan penyebaran pola di dalam kelas. Sistem mengambil 14 nilai eigen LDA yang terbesar (99% variansi database). Dengan demikian diperoleh 14 fitur yang mewakili setiap citra wajah baik dalam database maupun citra uji. Fitur Fisherace yang dihasilkan lebih baik digunakan dalam pengenalan pola dari fitur PCA. Dari pengujian terhadap database pada bab 4.2 terlihat bahwa Fitur Fisherface lebih baik dan jumlah fitur yang digunakan lebih sedikit dibanding metoda Eigenface. 4.4 Pengujian dan Analisis Sistem Pengenalan Wajah Terintegrasi Pengujian sistem pengenalan wajah secara terintegrasi terdiri dari empat pengujian. 1) Pengujian terhadap citra non-wajah 2) Pengujian terhadap citra wajah dengan pose yang ada dalam database 3) Pengujian terhadap citra wajah dengan pose yang tidak ada dalam database 4) Pengujian terhadap individu yang tidak terdapat dalam database
Pengujian terhadap citra non-wajah Dari 20 citra non-wajah yang diuji pada sistem pengenalan wajah didapatkan keberhasilan sebesar 95% [1]. Pengujian pada pose yang ada di database. Citra uji berupa cropping dari citra wajah pose yang terdapat dari database. Citra yang digunakan sebagai masukkan bertipe jpg. Citra ini memiliki ukuran beragam, citra akan massuk dalam modul deteksi wajah dan dikenali. Keluaran dari citra database ini merupakan hasil deteksi wajah. Jadi citra wajah keluaran modul deteksi wajah tidak identik, dimungkinkan ada pergeseran dengan citra pada database. Hasil pengujian sistem pengenalan wajah ditampilkan pada tabel 4.1 Nomor Citra Tabel 4.1 Hasil masukan citra dengan pose sama dengan database Pengolahan citra (detik) Klasifikasi SVM (detik) Klasifikasi JST (detik) Nilai Output 1 13.50 0.31 0.172 0.777 S 2 6.02 0.09 0.078 0.916 B 3 21.72 0.30 0.078 0.248 S 4 41.58 0.66 0.094 0.997 B 5 51.94 0.64 0.078 0.991 B 6 32.84 0.45 0.094 0.975 B 7 10.10 0.20 0.078 0.886 B 8 44.50 0.88 0.141 0.97158 B 9 10.27 0.19 0.125 0.9575 B 10 Ket 0.1648 0.996* B 49.88 0.84 0.016 11 61.33 1.06 0.125 0.998 B 12 13.51 0.20 0.078 0.9837 B 13 27.69 0.45 0.110 0.99856 B 14 0.996 0.95439* S 53.48 0.88 0.015 15 43.76 0.94 0.141 0.9711 B 16 7.78 0.11 0.093 0.96158 B 17 25.90 0.38 0.094 0.968 B 18 23.10 0.50 0.109 0.968 B 19 5.92 0.11 0.109 0.645 S
Lanjutan tabel 4.1 20 62.06 1.17 0.078 0.9984 B 21 12.56 0.17 0.093 0.983 B 22 48.26 0.73 0.078 0.992 B 23 40.45 0.83 0.090 0.996 B 24 8.08 0.13 0.094 0.9347 B 25 0.3458* 54.13 1.23 0.016 0.99149 S m 30.814 0.54 0.091 std 19.244 0.362 0.0372 Keterangan : m = rata-rata std=standar deviasi B=Benar S=Salah * =terdapat 2 citra keluaran citra deteksi wajah yang dibutuhkan modul pengolahan citra yang meliputi normalisasi cahaya, normalized cross correlation (NCC) dan normalisasi dimensi sebesar 30,814 detik, modul klasifikasi SVM (support vektor machine) sebesar 0,54 detik dan modul klasfikasi JST 0,091 detik. Hasil pengujian sistem pengenalan ini menunjukkan tingkat keberhasilan 80%. Dari 25 citra dengan pose sejenis dengan yang digunakan dalam database diperoleh hasil 20 citra berhasil dikenali dan 5 gagal. Pada citra ke 10 diperoleh dua citra yang dihasilkan oleh modul deteksi wajah. Citra wajah yang sebenarnya berhasil dideteksi dengan nilai 0,996. Pada citra ke-14 dan 25 diperoleh 2 citra dari deteksi wajah. Citra wajah sebenarnya dikenali 0,954 sedangkan citra salah yang berupa citra acak hasil deteksi wajah dikenali 0,99. Hal ini tidak termasuk dalam batasan masalah pengenalan wajah, dimana citra yang dibedakan adalah wajah. Pemilah JST didesain hanya untuk membedakan citra wajah saja. Untuk suatu citra acak dapat dimungkinkan terdapatnya nilai fitur yang identik dengan wajah.
Gambar 4.7 Citra acak hasil keluaran deteksi wajah pada citra ke 25 Pose tidak ada dalam database. Citra uji yang digunakan tidak terdapat dalam database. Citra yang digunakan adalah citra ke-16 dan berbagai variasi misalkan memakai kacamata. Tabel 4.2 Hasil masukan citra dengan pose tidak ada pada database No Pengolahan citra Klasifikasi SVM Klasifikasi JST Nilai output Keterangan 1 27.13 0.52 0.156 0.895 B 2 45.89 0.67 0.297 0.985 B 3 17.27 0.27 0.094 0.984 B 4 0.293 S 38.88 0.45 0.016 0.514* 5 47.20 0.81 0.079 0.99215 B 6 31.02 0.33 0.094 0.942 B 7 19.13 0.34 0.093 0.994 B 8 43.59 0.78 0.094 0.576 S 9 34.81 0.58 0.093 0.98323 B 10 19.84 0.30 0.094 0.742 S 11 38.91 0.78 0.079 0.9281 B 12 8.37 0.13 0.079 0.998 B 13 34.58 0.36 0.093 0.95848 B 14 0.9888 S 51.92 1.17 0.016 0.99185* 15 46.94 0.75 0.094 0.921 B 16 0.675* S 52.86 0.88 0.016 0.15 17 48.92 0.83 0.078 0.921 B 18 39.63 0.84 0.078 0.999 B 19 16.60 0.27 0.078 0.979 B
Lanjutan tabel 4.2 20 26.97 0.53 0.094 0.96229 B 21 43.81 0.78 0.094 0.888 B 22 43.08 0.72 0.078 0.5763 S 23 18.36 0.31 0.078 0.994 B 24 gagal gagal gagal gagal gagal 25 41.06 0.66 0.094 0.928 B 26 27.94 0.50 0.078 0.962 B 27 44.52 0.70 0.093 0.8254 B 28 37.03 0.59 0.094 0.8254 B 29 42.56 0.64 0.078 0.999 B 30 46.17 0.75 0.093 0.552 S 31 0.996 B 30.86 0.41 0.031 0.442 32 68.94 1.17 0.125 0.091 S 33 11.97 0.22 0.125 0.998 B 34 21.61 0.39 0.094 0.949 B 35 14.98 0.24 0.079 0.93 B 34.80 0.58 0.090 13.91 0.262 0.0465 Keterangan : ** = didapat 2 hasil dari deteksi wajah (galat postif) yang dibutuhkan modul pengolahan citra yang meliputi normalisasi cahaya, normalized cross correlation (NCC) dan normalisasi dimensi sebesar 34,80 detik, modul klasifikasi SVM (support vektor machine) sebesar 0,58 detik dan modul klasfikasi JST 0,090 detik. Hasil pengujian sistem pengenalan ini menunjukkan tingkat keberhasilan 74.29%. Pada pose ke 4 dan 12 citra wajah berkacamata mengandung kulit dua region.demikian juga wajah ke-16 berminyak menghasilkan 2 region. Pada citra 30 ekspresi berbeda, JST salah mengenali sebagai wajah disebabkan pergeseran citra hasil deteksi wajah dibanding database dan ekspresi yang ekstrim. Nilai output pada neuron JST lebih mengenali sebagai subjek ke -7 namun tidak memenuhi treshold.
Nomor Citra Gambar 4.8 Citra yang salah dikenali sebagai orang lain Pengujian citra individu tidak ada di database Tabel 4.3 Hasil masukan citra dengan individu tidak ada pada database Pengolahan citra (detik) Klasifikasi SVM (detik) Klasifikasi JST (detik) Nilai output (maksimum) 1 40.34 0.33 0.078 0.363 B 2 17.75 0.09 0.078 0.36 B 3 22.53 0.14 0.078 0.54 B 4 17.59 0.09 0.078 0.527 B 5 27.48 0.23 0.078 0.254 B 6 20.28 0.11 0.078 0.373 B 7 20.10 0.11 0.078 0.548 B 8 20.17 0.11-9 20.14 0.11 0.078 0.54 B 10 25.08 0.20 0.016 0.069 B 11 20.44 0.13 0.078 0.534 B 0.33 12 30.10 0.22 0.078 0.343 B 13 20.00 0.11 - - 14 33.56 0.30 0.078 0.75 B 15 41.02 0.48 0.078 0.37 B 16 45.88 0.56 0.125 0.086 B 17 59.05 0.61 0.078 0.153 B 18 53.77 0.69 0.078 0.326 B 19 38.65 0.52 0.125 0.363 B 20 97.33 1.94 0.188 0.423 B m 33.56 0.35 0.086 std 19.499 0.421 0.0336 Ket
yang dibutuhkan modul pengolahan citra yang meliputi normalisasi cahaya, normalized cross correlation (NCC) dan normalisasi dimensi sebesar 33,56 detik, modul klasifikasi SVM (support vektor machine) sebesar 0,35 detik dan modul klasfikasi JST 0,086 detik.hasil pengujian citra yang subjek tidak berada dalam databaase menunjukkan keberhasilan 90 %. Kegagalan terjadi karena deteksi wajah tidak menghasilkan citra uji. Treshold yang digunakan 0,8065. Nilai yang berada di bawahnya akan diputuskan tidak dikenali. Sistem Pengenalan Wajah Terintegrasi Pada pengujian didapatkan hasil pada 20 citra uji non wajah sebesar 95%, pada 20 citra uji wajah individu tidak ada dalam database sebesar 90%,pada 35 citra uji berbeda pose 74,29% dan pada 25 citra dengan pose dalam database sebesar 80%.Secara keseluruhan tingkat keberhasilan sistem pengenalan wajah sebesar 83 % dari 100 citra uji. eksekusi yang dibutuhkan oleh sistem pengenalan wajah yaitu : Pada modul pengolahan citra sebesar 35,17 detik, pada modul klasifikasi SVM 0,48 detik dan modul klasifikasi JST sebesar 0,089 detik.