BAB V IMPLEMENTASI DAN PENGUJIAN

Transkripsi

1 BAB V IMPLEMENTASI DAN PENGUJIAN Bab ini membahas tentang implementasi dan pengujian dari sistem yang dikembangkan berdasarkan hasil perancangan yang didapat pada BAB IV. V.1 Implementasi V.1.1 Spesifikasi Lingkungan Implementasi Pembahasan spesifikasi lingkungan implementasi dalam pengembangan sistem pengenalan orientasi kepala untuk keperluan interaksi lingkungan virtual mencakup perangkat keras dan perangkat lunak yang digunakan. Spesifikasi perangkat keras dapat dilihat pada Tabel V.1-1, sedangkan spesifikasi perangkat lunak dan kakas pengembangan yang digunakan dapat dilihat pada Tabel V.1-2. Tabel V.1-1 Spesifikasi Perangkat Keras Nama Perangkat Deskripsi Komputer Notebook Dell Inspiron 6400 Prosesor Intel Core 2 Duo 2.00 GHz Kartu Grafis NVIDIA GeForce Go MB Memori 1024MB Perangkat Lain Logitech Quickcam Messenger V-UM14, 352x288 24fps Tabel V.1-2 Spesifikasi Perangkat Lunak Nama Perangkat Sistem Operasi Bahasa Pemrograman Mesin Kompilasi Kakas Pengembangan Library Grafis Library Pemrosesan Citra Library Jaringan Saraf Tiruan Deskripsi Windows Vista C++ Microsoft 32-bit C/C++ Optimizing Compiler Version for 80x86 Microsoft Visual Studio 2005 SP1 Ogre3D OpenCV FANN V-1

2 V.1.2 Batasan Implementasi Batasan yang digunakan untuk implementasi sistem pengenalan isyarat kepala untuk keperluan interaksi navigasi lingkungan virtual ini seluruhnya merupakan dampak dari keterbatasan perangkat keras sensor video yang digunakan. Batasanbatasan tersebut adalah sebagai berikut: 1. Pengguna sistem tidak mengenakan pakaian dengan warna menyerupai warna kulit seperti krem atau coklat. Hal ini dikarenakan sistem dapat mengenali pakaian tersebut sebagai warna kulit dan melakukan kesalahan dalam pengenalan citra area wajah dari citra keseluruhan. Contoh kesalahan ini dapat dilihat pada Gambar III Untuk pengguna sistem yang memiliki rambut panjang berwarna pirang atau coklat, disarankan untuk mengikat rambutnya agar tidak menganggu proses pengenalan citra area wajah dari citra keseluruhan karena rambut tersebut berpotensi untuk dideteksi sebagai bagian dari citra yang berwarna kulit. Gambar III-13 menunjukkan contoh kesalahan yang diakibatkan batasan ini. 3. Pencahayaan lingkungan pengguna merata. Contoh pencahayaan tidak merata adalah pencahayaan dari arah kiri atau kanan yang menyebabkan munculnya bayangan pada wajah yang dapat menganggu proses pengenalan orientasi kepala oleh jaringan saraf tiruan. Gambar V-1 mengilustrasikan pencahayaan seperti ini. Gambar V-1 Contoh Pencahayaan dari Samping V-2

3 Contoh lain yang dapat dilihat pada Gambar V-2 adalah pencahayaan terlalu kuat dari arah belakang seperti yang terjadi ketika latar belakang pengguna berupa jendela atau lampu. Gambar V-2 Contoh Pencahayaan dari Belakang yang Terlalu Kuat 4. Pencahayaan lingkungan pengguna konstan dan tidak berubah-ubah. Pencahayaan yang tidak konstan mengakibatkan kamera yang digunakan sulit beradaptasi dengan perubahan kondisi pencahayaan tersebut. Hal ini berpotensi untuk menganggu proses pengenalan warna kulit karena proses adaptasi otomatis terhadap pencahayaan yang berubah-ubah dapat menyebabkan warna yang dihasilkan oleh webcam menjadi tidak natural. Contoh pencahayaan yang berubah-ubah dapat dilihat pada Gambar V-3. Gambar V-3 Contoh Pencahayaan Tidak Konstan 5. Posisi wajah dalam citra yang ditangkap oleh kamera setidaknya mencakup ujung rambut sampai dengan di bawah dagu pengguna. Untuk kebanyakan orang, hal ini berarti kamera harus berjarak setidaknya 90 cm dari wajah subjek. 6. Hanya ada satu wajah manusia dalam citra hasil tangkapan sensor video. Citra wajah lebih dari satu membingungkan sistem dalam memilih wajah mana yang dikenali orientasinya. Umumnya sistem memilih wajah yang V-3

4 terdekat dengan kamera atau dengan ukuran paling besar, namun hal ini bisa jadi merupakan perilaku yang tidak diinginkan oleh pengguna. 7. Karena data pelatihan dalam Pointing 04 Head Pose Image Database yang digunakan untuk melatih sistem sangat terbatas, maka sistem belum dapat mengakomodasi pengguna yang menggunakan jilbab atau topi. 8. Pose kepala pengguna tidak miring terlalu jauh ke arah kiri atau kanan. Pose yang demikian mengganggu pengenalan orientasi vertikal dan horisontal yang dilakukan oleh sistem. Gambar V-4 menunjukkan contoh pose kepala yang terlalu miring ke arah kanan dari pengguna. Gambar V-4 Contoh Pose Miring Kepala Pengguna V.1.3 Implementasi Kelas Implementasi kelas mengambil referensi dari Tabel IV.2-6 Daftar Kelas dalam Rancangan Terintegrasi. Daftar seluruh kelas yang diimplementasikan berserta nama berkas untuk kelas masing-masing dapat dilihat pada Tabel V.1-3. Tabel V.1-3 Daftar Implementasi Kelas Nama Kelas RecognitionFactory RecognitionTechnique NeuralNetBasicTechnique NeuralNetEdgeTechnique GestureApplication GestureData GestureInterpreter GUIManager Nama Berkas RecognitionTechnique.cpp dan RecognitionTechnique.h GestureApplication.cpp dan GestureApplication.h GestureData.cpp dan GestureData.h GestureInterpreter.cpp dan GestureInterpreter.h GUIManager.cpp dan GUIManager.h V-4

5 Sedangkan library tambahan yang digunakan untuk membangun sistem pengenalan ini adalah sebagai berikut: Tabel V.1-4 Daftar Library Tambahan Nama Library Static Library Runtime Library Ogre3D OgreMain.lib OgreMain.dll CEGUIBase.lib OgreGUIRenderer.lib OIS.lib Plugin_Webcam.lib CEGUIBase.dll OgreGUIRenderer.dll RenderSystem_Direct3D9.dll RenderSystem_GL.dll OIS.dll Plugin_Webcam.dll OpenCV cv.lib cv100.dll cvaux.lib cvcam.lib cxcore.lib cxts.lib highgui.lib ml.lib cvaux100.dll cvcam100.dll cxcore100.dll cxts001.dll highgui100.dll ml100.dll cvhaartraining.lib FANN fannfloatmt.lib fannfloatmt.dll V.1.4 Implementasi Teknik Pengenalan Orientasi Kepala Terdapat dua kelas tambahan dalam Tabel V.1-3 jika dibandingkan dengan Tabel IV.2-6. Kedua kelas tersebut adalah kelas NeuralNetBasicTechnique dan kelas NeuralNetEdgeTechnique, yang masing-masing merupakan implementasi dari dua teknik pengenalan terpisah yang disediakan oleh sistem. Pengguna dapat memilih teknik pengenalan mana yang hendak digunakan secara runtime ketika sistem sedang berjalan. Algoritma V-1 menjelaskan alur program yang dieksekusi saat sistem meminta hasil pengenalan kepada teknik pengenalan yang sedang digunakan saat itu. Kelas GestureApplication merupakan kelas utama dari seluruh aplikasi, dan fungsi newframe(webcam *webcam) menerima citra terbaru hasil tangkapan dari webcam. Fungsi tersebut lalu meminta teknik pengenalan V-5

6 yang sedang digunakan saat itu pada kelas GestureInterpreter. Kemudian citra webcam diteruskan pada teknik pengenalan yang melalui fungsi RecognitionTechnique::RecognizeImage(webcam). Fungsi ini kemudian mengembalikan data navigasi yang dibungkus dalam kelas GestureData. Data navigasi tersebut lalu digunakan oleh kelas GestureApplication untuk menggerakan pandangan pada lingkungan virtual dengan fungsi GestureApplication::ExecuteMovement(gestureData). GestureApplication::newFrame(Webcam * webcam) { RecognitionTechnique * recognitiontechnique; recognitiontechnique = GestureInterpreter::GetSelectedTechnique(); GestureData * gesturedata = recognitiontechnique->recognizeimage(webcam); ExecuteMovement(gestureData); } Algoritma V-1 Alur Eksekusi Pengenalan dalam Sistem Terdapat dua macam kelas implementasi teknik pengenalan yang disediakan oleh sistem, yaitu NeuralNetBasicTechnique dan NeuralNetEdgeTechnique. Perbedaan antara kedua teknik implementasi tersebut adalah pada citra masukan ke dalam jaringan saraf tiruan serta arsitektur jaringan saraf tiruan yang digunakan. Teknik pengenalan NeuralNetBasicTechnique menggunakan citra masukan berupa satu citra wajah seperti yang terdapat pada Gambar V-5. Gambar V-5 Contoh Masukan NeuralNetBasicTechnique Nilai keluaran yang dihasilkan oleh NeuralNetBasicTechnique kemudian dipetakan menjadi salah satu diantara tiga target orientasi sesuai dengan aturan yang terdapat dalam Tabel V.1-5. V-6

7 Tabel V.1-5 Interpretasi Orientasi Kepala dari Nilai Keluaran NeuralNetBasicTechnique Interpretasi Orientasi Batas Nilai Keluaran Terkecil Batas Nilai Keluaran Terbesar Horisontal Kiri 0.0 < 0.25 Horisontal Tengah Horisontal Kanan > Vertikal Bawah 0.0 < 0.33 Vertikal Tengah Vertikal Atas > Sedangkan untuk teknik pengenalan NeuralNetEdgeTechnique, terdapat pemrosesan citra masukan lebih lanjut dengan cara melakukan operasi pendeteksian sisi dengan menggunakan algoritma sobel. Terdapat dua macam pendeteksian sisi yang dilakukan, yaitu pendeteksian sisi horisontal dan sisi vertikal, dan operasi ini menghasilkan dua citra tambahan yang dijadikan masukan jaringan saraf tiruan seperti pada Gambar V-6. Gambar V-6 Contoh Masukan NeuralNetEdgeTechnique Nilai keluaran yang dihasilkan oleh NeuralNetEdgeTechnique kemudian dipetakan menjadi salah satu diantara tiga target orientasi sesuai dengan aturan yang terdapat dalam Tabel V.1-6. V-7

8 Tabel V.1-6 Interpretasi Orientasi Kepala dari Nilai Keluaran NeuralNetEdgeTechnique Interpretasi Orientasi Batas Nilai Keluaran Terkecil Batas Nilai Keluaran Terbesar Horisontal Kiri 0.0 < 0.25 Horisontal Tengah Horisontal Kanan > Vertikal Bawah 0.0 < 0.41 Vertikal Tengah Vertikal Atas > Perbedaan arsitektur jaringan saraf tiruan untuk kedua teknik implementasi dapat dilihat pada Tabel V.1-7. Perbedaan tersebut dikarenakan jumlah pixel masukan untuk teknik pengenalan NeuralNetEdgeTechnique lebih banyak. Selain itu, untuk membatasi ukuran jaringan saraf tiruan yang dihasilkan, citra masukan pada NeuralNetEdgeTechnique memiliki ukuran lebih kecil. Referensi dari [STI04] menyatakan bahwa citra masukan sebesar 20 x 30 pixel sudah memadai untuk melakukan pengenalan dengan baik. Sebagai perbandingan, ukuran citra masukan bagi NeuralNetBasicTechnique adalah sebesar 30 x 32 pixel. Karena NeuralNetEdgeTechnique menggunakan tiga citra masukan, maka jumlah node masukan pada jaringan saraf tiruan yang digunakan teknik tersebut adalah sebanyak 20 x 30 x 3 node, atau sebanyak 1800 node. Tabel V.1-7 Perbedaan Arsitektur Jaringan Saraf Tiruan Antara Teknik Implementasi Teknik Implementasi Node Masukan Node Tersembunyi Node Keluaran NeuralNetBasicTechnique sampai dengan 13 1 NeuralNetEdgeTechnique 1800 V.1.5 Implementasi Antar Muka Implementasi dilakukan dengan menggunakan rancangan yang terdapat pada subbab IV.2.2. Empat panel yang tersedia digunakan untuk menampilkan citra dari webcam, citra wajah dengan ukuran kecil, citra dalam spectrum YCrCb dengan bagian putih menunjukkan warna kulit, serta citra wajah berwarna dengan area wajah yang terdeteksi ditandai dengan kotak merah. Urutan panel tersebut dapat dilihat pada Gambar V-7. V-8

9 Gambar V-7 Urutan Panel Citra yang Diimplementasikan Gambar V-8 menunjukkan tampilan sistem ketika melakukan pengenalan orientasi wajah ke arah kanan. Dapat dilihat pada pojok kiri bawah di bagian yang ditandai kotak merah, jaringan saraf tiruan mengenali orientasi kepala tersebut sebagai orientasi ke arah kanan dengan nilai keluaran jaringan saraf tiruan horisontal sebesar Gambar V-8 Tampilan Sistem dalam Pengenalan Orientasi Arah Kanan Gambar V-9 menunjukkan tampilan sistem ketika melakukan pengenalan orientasi wajah ke arah kanan. Jaringan saraf tiruan mengenali orientasi kepala tersebut sebagai orientasi ke arah kiri dengan nilai keluaran jaringan saraf tiruan horisontal sebesar V-9

10 Gambar V-9 Tampilan Sistem dalam Pengenalan Orientasi Arah Kiri Gambar V-10 menunjukkan tampilan sistem ketika melakukan pengenalan orientasi wajah ke arah atas. Jaringan saraf tiruan mengenali orientasi kepala tersebut sebagai orientasi ke arah atas dengan nilai keluaran jaringan saraf tiruan vertikal sebesar Gambar V-10 Tampilan Sistem dalam Pengenalan Orientasi Arah Atas Gambar V-11 menunjukkan tampilan sistem ketika melakukan pengenalan orientasi wajah ke arah bawah. Jaringan saraf tiruan mengenali orientasi kepala tersebut sebagai orientasi ke arah bawah dengan nilai keluaran jaringan saraf tiruan vertikal sebesar V-10

11 Gambar V-11 Tampilan Sistem dalam Pengenalan Orientasi Arah Bawah V.1.6 Implementasi Navigasi dalam Lingkungan Virtual Perintah-perintah untuk pergerakan navigasi yang diinterpretasikan oleh sistem ditranslasikan sebagai perubahan posisi dan orientasi kamera dalam lingkungan virtual. Tabel V.1-8 menunjukkan implementasi perubahan posisi dan orientasi untuk setiap perintah navigasi yang diterima. Orientasi Kepala Tabel V.1-8 Perubahan Posisi dan Orientasi Terhadap Perintah Navigasi Perintah Navigasi Perubahan Posisi atau Orientasi Kiri Rotasi ke kiri Orientasi sumbu X berkurang 0.06 radian / detik Kanan Rotasi ke kanan Orientasi sumbu X bertambah 0.06 radian / detik Atas Gerak ke belakang Kamera bergerak ke sumbu Z kamera sebanyak +8 unit / detik Bawah Gerak ke depan Kamera bergerak ke sumbu Z kamera sebanyak -8 unit / detik V.2 Pengujian V.2.1 Tujuan Pengujian Pengujian terhadap sistem yang dikembangkan memiliki dua tujuan terpisah. Tujuan yang pertama adalah untuk melihat tingkat akurasi dari pengenalan orientasi kepala yang dibangun. Pengujian untuk tingkat akurasi terdiri dari dua pengujian, yaitu untuk mengetahui tingkat akurasi pengenalan wajah sebagai pemrosesan awal dari sistem, serta untuk mengetahui tingkat akurasi pengenalan orientasi kepala. V-11

12 Hasil pengujian tingkat akurasi pengenalan orientasi kepala ini dapat dibandingkan dengan sistem pengenalan orientasi kepala lain yang dijadikan sebagai referensi pengembangan. Dalam hal ini, sistem pengenalan orientasi kepala dibandingkan dengan yang terdapat pada [STI04]. Pemilihan kasus perbandingan dikarenakan paper tersebut menggunakan data pelatihan dan pengujian yang sama dengan yang digunakan pada sistem yang sedang dibangun, sehingga lebih mudah membandingkan tingkat akurasi kedua sistem. Sedangkan tujuan yang kedua adalah mengecek fungsionalitas dari sistem yang dikembangkan dengan berpanduan pada daftar fungsionalitas yang terdapat pada Tabel IV.3-1. Fungsionalitas utama dari sistem yang hendak diuji adalah fungsionalitas navigasi sistem. V.2.2 Lingkungan Pengujian Lingkungan yang digunakan untuk keperluan pengujian memiliki spesifikasi yang sama dengan lingkungan yang digunakan dalam pengembangan sistem. Spesifikasi tersebut dapat dilihat pada subbab V.1.1. V.2.3 Data Pengujian Data pengujian terbagi menjadi dua jenis. Untuk pengujian fungsionalitas, data yang digunakan berasal dari sensor video yang dimiliki. Sedangkan untuk pengujian tingkat akurasi sistem, data yang digunakan berasal dari kumpulan citra dalam Pointing 04 Head Pose Image Database yang juga digunakan dalam [STI04]. Pembahasan mengenai basis data citra ini dapat dilihat pada subbab III.3.4. Terdapat dua kumpulan citra yang digunakan dalam pengujian. Kumpulan citra yang pertama diuji dengan menggunakan kriteria data yang sama dengan data yang digunakan dalam pelatihan, yaitu kumpulan citra yang sudah dibersihkan V-12

13 dari citra yang mengalami kesalahan proses pengenalan wajah. Kumpulan citra kedua tetap memasukkan citra-citra yang mengalami kesalahan pengenalan untuk melihat dampak akurasi proses pengenalan citra wajah ke akurasi proses pengenalan orientasi kepala. V.2.4 Skenario dan Hasil Pengujian Fungsionalitas Untuk pengujian fungsionalitas, skenario pengujian adalah pengguna berusaha mengikuti sebuah jalan yang terdapat pada lingkungan virtual. Skenario ini bertujuan untuk menguji apakah pengguna dapat melakukan navigasi sesuai dengan keinginan. Gambar V-12 menunjukkan tampilan jalan yang digunakan dalam pengujian fungsionalitas. Gambar V-12 Tampilan Jalan yang Digunakan dalam Pengujian Fungsionalitas Panduan dari pengujian fungsionalitas ini adalah pada rancangan fungsionalitas yang terdapat dalam subbab IV.3. Kriteria pengujian fungsionalitas yang dihasilkan dengan menggunakan panduan dalam subbab tersebut dapat dilihat pada Tabel V.2-1. V-13

14 Tabel V.2-1 Skenario Pengujian Fungsionalitas No. Nama Fungsionalitas Kriteria Sukses 1 Pengenalan dan isolasi wajah, sistem mampu mengenali dan mengisolasi citra area wajah pengguna dari citra keseluruhan. - Citra hasil isolasi hanya menunjukkan citra wajah pengguna saja. - Batas kiri dan kanan dari citra wajah adalah pipi atau telinga pengguna - Batas atas dari wajah adalah bagian rambut paling atas - Batas bawah dari wajah mencapai bagian leher. 2 Pengenalan orientasi kepala ke arah atas. 3 Pengenalan orientasi kepala ke arah bawah. 4 Pengenalan orientasi kepala ke arah kanan. 5 Pengenalan orientasi kepala ke arah kiri. 6 Navigasi dalam lingkungan virtual Ketika pengguna mengarahkan kepalanya ke arah atas, sistem menggerakan pandangan dalam lingkungan virtual ke arah belakang. Ketika pengguna mengarahkan kepalanya ke arah bawah, sistem menggerakan pandangan dalam lingkungan virtual ke arah depan. Ketika pengguna mengarahkan kepalanya ke arah kanan, sistem menggerakan pandangan dalam lingkungan virtual ke arah kanan. Ketika pengguna mengarahkan kepalanya ke arah kiri, sistem menggerakan pandangan dalam lingkungan virtual ke arah kiri. Pengguna dapat berjalan dari satu ujung jalan dalam lingkungan virtual ke ujung jalan lainnya dengan menggunakan fungsionalitas navigasi yang sudah diuji dalam poin sebelumnya Pengujian fungsionalitas dilakukan terhadap pengguna dengan menggunakan batasan-batasan implementasi yang tercantum dalam subbab V.1.2. Masukan dari pengujian ini berasal dari sensor video atau webcam. Pengguna diminta untuk melakukan navigasi dari satu titik dalam dunia virtual menuju titik lain dengan jalan sebagai penanda jalur yang harus dilaluinya. Hasil dari pengujian fungsionalitas ini dapat dilihat pada Tabel V.2-2. Tabel V.2-2 Hasil Pengujian Fungsionalitas No. Nama Fungsionalitas Hasil Pengujian 1 Pengenalan dan isolasi wajah, sistem mampu mengenali dan mengisolasi citra area wajah pengguna dari citra keseluruhan. Sukses 2 Pengenalan orientasi kepala ke arah atas. Sukses 3 Pengenalan orientasi kepala ke arah bawah. Sukses 4 Pengenalan orientasi kepala ke arah kanan. Sukses 5 Pengenalan orientasi kepala ke arah kiri. Sukses 6 Navigasi dalam lingkungan virtual Sukses V-14

15 V.2.5 Skenario dan Hasil Pengujian Akurasi Pengenalan Wajah Pengujian tingkat akurasi pengenalan wajah dilakukan dengan melihat hasil proses pengenalan wajah dari kumpulan citra dalam Pointing 04 Head Pose Image Database. Kriteria yang digunakan dalam menentukan apakah sebuah citra hasil proses pengenalan menghasilkan pengenalan wajah yang benar atau tidak mengikuti butir pertama kriteria fungsionalitas yang terdapat dalam Tabel V.2-1. Proses pengenalan apakah sebuah citra hasil pengenalan wajah memenuhi kriteria tersebut atau tidak dilakukan secara manual terhadap citra wajah yang terdapat dalam kumpulan citra yang digunakan. Hasil dari proses pengenalan ini menemukan 50 citra wajah yang dianggap mengalami kesalahan pengenalan. Angka kesalahan tersebut menghasilkan tingkat akurasi pengenalan wajah sebesar 98.2% dengan tingkat kesalahan sebesar 1,8%. Contoh citra yang mengalami kesalahan pengenalan wajah terdapat pada Gambar V-13. Gambar V-13 Contoh Kesalahan dari Hasil Pengujian Pengenalan Wajah V-15

16 Citra pertama dalam Gambar V-13 dinyatakan salah karena tidak memenuhi kriteria batas atas dimana dahi pengguna harus masuk ke dalam citra wajah yang dikenali. Citra kedua mengira area rambut sebagai area wajah. Citra ketiga tidak memenuhi kriteria batas kiri dan kanan dimana batas citra wajah yang dikenali hanya sampai bagian telinga saja. Dalam citra keempat, subjek yang melihat ke arah bawah menunjukkan citra wajah yang sangat kecil dan tidak berhasil dikenali oleh sistem. Dalam pengujian ini, sistem mengembalikan seluruh area citra masukan sebagai area wajah sebagai penanda kegagalan proses pendeteksian wajah. Analisis penyebab dari kesalahan-kesalahan ini sudah dibahas pada subbab III.4.3 mengenai Batasan Citra untuk Ekstraksi Wajah. V.2.6 Skenario Pengujian Akurasi Pengenalan Orientasi Kepala Pengujian tingkat akurasi sistem menggunakan kumpulan citra yang terdapat di dalam Pointing 04 Head Pose Image Database. Pengujian dilakukan terhadap dua teknik implementasi yang didukung oleh sistem untuk melihat performansi teknik implementasi mana yang lebih baik. Selain itu, pengujian dilakukan dengan menggunakan dua kumpulan citra berbeda, yaitu kumpulan citra dengan kesalahan pengenalan wajah yang sudah dihilangkan dan kumpulan citra yang masih mengandung citra-citra yang mengalami kesalahan pengenalan wajah. Hal ini bertujuan untuk melihat dampak akurasi pengenalan wajah terhadap akurasi pengenalan orientasi kepala. Kedua pengujian dilakukan dengan menggunakan kriteria penilaian pengujian yang membandingkan derajat orientasi citra masukan dengan derajat hasil interpretasi sistem. Dengan kriteria ini, sebuah sistem yang menginterpretasikan derajat orientasi horisontal sebesar -60 o dari yang sebenarnya -75 o dihitung sebagai kesalahan interpretasi. Kriteria ini serupa dengan yang digunakan pada [STI04] dan dapat digunakan untuk memperbandingkan tingkat akurasi antara kedua sistem. V-16

17 Sistem pengenalan orientasi kepala yang digunakan dalam tugas akhir ini mengklasifikasikan derajat orientasi hasil interpretasi menjadi tiga kelompok orientasi: kelompok kiri, tengah, dan kanan untuk orientasi horisontal serta kelompok bawah, tengah, dan atas untuk orientasi vertikal. Hal ini menjadikan penentuan batas-batas antara kelompok sangat mempengaruhi akurasi sistem pengenalan. Misalnya, interpretasi sistem sebesar -60 o dari nilai orientasi sebenarnya -75 o tetap dihitung sebagai interpretasi yang benar karena kedua nilai tersebut masuk ke dalam kelompok kiri. Hal ini berbeda dengan kriteria yang digunakan sebelumnya dimana kedua hasil ini dianggap masuk ke dalam kelas yang berbeda dan merupakan kesalahan klasifikasi. Namun, kesalahan interpretasi masih dapat terjadi jika misalnya sistem menghasilkan interpretasi sebesar 15 o dari nilai sebenarnya sebesar 45 o, dan kedua nilai tersebut dikelompokkan ke dalam kelompok yang berbeda. Dalam kasus ini, jika 15 o dikelompokkan ke dalam kelompok tengah dan 45 o ke dalam kelompok kanan, misalnya. Karena kriteria yang digunakan untuk pengelompokan sangat mempengaruhi akurasi sistem, maka pengujian dilakukan terhadap beberapa kriteria pengelompokan sekaligus untuk melihat kriteria mana yang menghasilkan tingkat akurasi tertinggi. Tabel V.2-3 dan Tabel V.2-4 memuat beberapa alternatif kriteria penilaian yang dapat digunakan untuk menilai tingkat akurasi sistem, masing-masing untuk jaringan saraf tiruan tertentu, dimana alternatif A merupakan kriteria pengukuran tingkat akurasi yang membandingkan derajat hasil keluaran dan masukan tanpa menggunakan kriteria pengelompokan menjadi tiga kelompok besar. Sebagai contoh, untuk alternatif B dalam pengenalan orientasi horisontal, batas antara derajat hasil interpretasi -60 o dan -45 o menyatakan bahwa batas sebuah derajat hasil interpretasi untuk masuk ke dalam kelompok Kiri adalah lebih kecil dari o dan lebih besar dari -90 o. V-17

18 Tabel V.2-3 Alternatif Kriteria Pengelompokan Nilai Pengenalan Orientasi Horisontal Derajat Alternatif Kriteria A B Kiri Tengah Kanan C Kiri Tengah Kanan D Kiri Tengah Kanan E Kiri Tengah Kanan Tabel V.2-4 Alternatif Kriteria Pengelompokan Nilai Pengenalan Orientasi Vertikal Derajat Alternatif Pendekatan A B Bawah Tengah Atas C Bawah Tengah Atas D Bawah Tengah Atas Untuk semua pengujian akurasi sistem pengenalan orientasi kepala, digunakan seluruh data citra wajah yang terdapat dalam Pointing 04 Head Pose Image Database sebagai data pengujian. V.2.7 Hasil Pengujian Akurasi Pengenalan Orientasi Kepala Pengujian pertama adalah untuk membandingkan dua teknik implementasi yang digunakan dalam sistem dan melihat teknik implementasi mana yang memiliki tingkat akurasi yang lebih baik. Pengujian ini menggunakan kriteria penilaian A seperti yang terdapat pada Tabel V.2-3 dan Tabel V.2-4, yaitu kriteria penilaian tanpa adanya pengelompokan menjadi tiga kelompok besar. Perbandingan hasil pengujian baik untuk jaringan saraf tiruan horisontal maupun vertikal dapat dilihat dalam Tabel V.2-5. Untuk pengujian ini, digunakan data pelatihan yang sudah dibersihkan dari kesalahan pengenalan wajah. Tabel V.2-5 Perbandingan Hasil Pengujian Akurasi antara Teknik Implementasi Arah Orientasi Jaringan Saraf Tiruan NeuralNetBasicTechnique NeuralNetEdgeTechnique Horisontal 22,99% 47,59% Vertikal 40,90% 54,70% V-18

19 Dari tabel tersebut dapat dilihat bahwa teknik implementasi dengan menggunakan pengenalan sisi memiliki tingkat akurasi yang lebih baik dibandingkan dengan teknik implementasi yang hanya melakukan proses pengenalan dari citra grayscale yang ternormalisasi saja. Perbedaan tingkat akurasi ini menyebabkan teknik implementasi menggunakan pengenalan sisi digunakan sebagai teknik implementasi utama dalam sistem pengenalan orientasi kepala yang dikembangkan dalam tugas akhir ini. Pengujian-pengujian berikutnya dilakukan dengan menggunakan teknik implementasi ini. Pengujian selanjutnya adalah untuk membandingkan tingkat akurasi antara sistem pengenalan orientasi yang dilatih dengan dua macam data masukan. Yang pertama adalah sistem pengenalan orientasi yang menggunakan keseluruhan citra wajah masukan, termasuk kumpulan citra wajah yang mengalami kesalahan pengenalan wajah. Sedangkan yang kedua adalah sistem pengenalan orientasi yang dilatih dengan data masukan yang sudah dibersihkan terlebih dahulu dari citra yang mengalami kesalahan pengenalan wajah. Tabel V.2-6 menunjukkan perbandingan tingkat akurasi dari kedua jenis jaringan saraf tiruan. Tabel V.2-6 Perbandingan Hasil Pengujian Akurasi antara Data Masukan Bersih dan Tidak Arah Orientasi Jaringan Saraf Tiruan Data Masukan yang Belum Dibersihkan Data Masukan yang Sudah Dibersihkan Horisontal 46,09% 47,59% Vertikal 52,99% 54,70% Dapat dilihat dari tabel tersebut bahwa jaringan saraf tiruan yang dilatih dengan menggunakan data masukan yang belum dibersihkan memiliki tingkat akurasi sedikit lebih rendah dibandingkan dengan tingkat akurasi jaringan saraf tiruan yang dilatih dengan data masukan yang sudah dibersihkan. Hal ini dikarenakan citra dengan kesalahan pengenalan wajah memberikan pelatihan yang salah terhadap jaringan saraf tiruan, namun karena tingkat kesalahan pengenalan wajah hanya sebesar 1,8% seperti yang tercantum pada subbab V.2.5, maka dampak kesalahan pengenalan wajah ke akurasi pengenalan orientasi kepala relatif kecil. V-19

20 Pengujian berikutnya dilakukan untuk mengetahui kriteria pengelompokan mana yang memberikan tingkat akurasi tertinggi. Terdapat lima buah alternatif kriteria horisontal dan empat buah alternatif kriteria vertikal yang menjalani pengujian. Seluruh pengujian menggunakan teknik implementasi dengan pengenalan sisi serta data pelatihan yang sudah dibersihkan dari kesalahan pengenalan wajah. Confusion matrix yang dihasilkan dari seluruh alternatif kriteria pengelompokan dapat dilihat pada Lampiran A, sedangkan rekapitulasi hasil pengujian ini tercantum pada Tabel V.2-7. Tabel V.2-7 Rekapitulasi Pengujian Alternatif Kriteria Pengenalan Orientasi Kepala Alternatif Kriteria Akurasi Horisontal Akurasi Vertikal A 47.59% 54,70% B 89.09% 84,16% C 91.46% 85,88% D 89.05% 82,76% E 89.42% - Tabel tersebut menunjukkan bahwa penggunaan alternatif kriteria C untuk kedua jaringan saraf tiruan memberikan tingkat akurasi yang paling tinggi dibandingkan dengan alternatif-alternatif lainnya. Hal ini berarti kriteria batasan derajat yang digunakan dalam sistem ini menggunakan batasan yang tercantum dalam Tabel V.2-8 yang bersumber pada definisi kriteria C dalam Tabel V.2-3 dan Tabel V.2-4. Angka -52,5 o sebagai batas kiri maksimal, misalnya, didapat dari titik tengah antara -60 o dan -45 o yang merupakan batas antara kelompok kiri dan tengah pada tabel yang mendefinisikan kriteria pengelompokan. Tabel V.2-8 Kriteria Pengelompokan yang Digunakan dalam Sistem Kriteria Batasan Kelompok Derajat Minimal Derajat Maksimal Batas Kiri -90,0 o Horisontal -52,5 o Horisontal Batas Tengah -52,5 o Horisontal 37.5 o Horisontal Batas Kanan 37.5 o Horisontal 90,0 o Horisontal Batas Bawah -90 o Vertikal -22,5 o Vertikal Batas Tengah -22,5 o Vertikal 45 o Vertikal Batas Atas 45 o Vertikal 90 o Vertikal V-20

21 Dalam kaitannya dengan penggunaan sistem pengenalan orientasi kepala, tabel ini berarti pengguna harus menolehkan kepalanya setidaknya sebesar 37,5 o ke arah kanan agar sistem menginterpretasikan orientasi kepala tersebut sebagai perintah bergerak ke kanan. Demikian pula untuk arah-arah lainnya. Namun dalam praktiknya, derajat orientasi kepala yang terletak tepat di batas antara kedua kelompok tersebut rentan terhadap kesalahan klasifikasi, sehingga pengguna sebaiknya menolehkan kepalanya dengan derajat yang lebih besar agar kesalahan klasifikasi dapat ditekan. Untuk keperluan analisis mengenai kesulitan sistem dalam melakukan klasifikasi, Tabel V.2-9 dan Tabel V.2-10 mencantumkan confusion matrix dari masingmasing jaringan saraf tiruan dengan menggunakan kriteria penilaian A. Kedua tabel ini diambil dari Tabel A-1 dan Tabel A-6 yang terdapat dalam Lampiran A. Tabel V.2-9 Hasil Pengujian Pengenalan Orientasi Horisontal Kriteria A Hasil Klasifikasi JST Target Klasifikasi JST Dari tabel di atas, terdapat kecenderungan semakin ke kanan orientasi kepala semakin sulit pula jaringan saraf tiruan untuk melakukan klasifikasi dengan benar. Bahkan untuk derajat orientasi 90 o, sistem sama sekali tidak berhasil melakukan klasifikasi dengan benar dan mengklasifikasikannya sebagai orientasi 75 o. Hal ini tidak terjadi pada orientasi sebaliknya ke arah kiri, dimana sistem mengklasifikasikan dengan benar 125 citra dengan orientasi -90 o dari seluruh citra orientasi -90 o sebanyak 210 buah, atau dengan tingkat akurasi 59,5%. V-21

22 Sedangkan untuk tabel Tabel V.2-10 di bawah, sistem relatif lebih baik melakukan pengenalan orientasi kepala ke arah atas dibandingkan dengan pengenalan ke arah depan atau bawah. Untuk derajat orientasi 15 o sampai dengan 90 o, sebagian besar citra pengujian yang diterima sistem berhasil diklasifikasikan dengan benar ke dalam derajat orientasi yang seharusnya. Namun, pada derajat orientasi 0 o dan -60 o, tingkat akurasi sistem relatif lebih kecil, dimana untuk derajat orientasi 0 o lebih sering diklasifikasikan sebagai -15 o dan untuk derajat orientasi -60 o lebih sering diklasifikasikan sebagai -30 o. Terdapat kecenderungan dari jaringan saraf tiruan untuk mengklasifikasikan orientasi kepala bawah dan tengah menjadi sekitar -30 o. Tabel V.2-10 Hasil Pengujian Pengenalan Orientasi Vertikal Kriteria A Hasil Klasifikasi JST Target Klasifikasi JST V.2.8 Perbandingan dengan Related Work Sistem pengenalan orientasi kepala yang dibandingkan dengan tugas akhir ini adalah sistem yang terdapat pada [STI04]. Penjelasan mengenai pengujian yang dilakukan dalam [STI04] terdapat dalam subbab II.5. Hasil dari pengujian dalam [STI04] dicantumkan dalam bentuk confusion matrix dalam Tabel V.2-11 dan Tabel V Salah satu perbedaan hasil pengujian dengan yang terdapat dalam tugas akhir ini adalah [STI04] tidak melakukan pengujian untuk orientasi kepala vertikal dengan derajat orientasi -15 o dan 15 o. Tabel V.2-11 Confusion Matrix untuk Klasifikasi Orientasi Kepala Vertikal [STI04] Hasil Klasifikasi JST Target Klasifikasi JST V-22

23 Tabel V.2-12 Confusion Matrix untuk Klasifikasi Orientasi Kepala Horisontal [STI04] Hasil Klasifikasi JST Target Klasifikasi JST Dalam confusion matrix tersebut, data pada diagonal tabel yang diberi latar abuabu merupakan hasil klasifikasi yang sesuai dengan target klasifikasi jaringan saraf tiruan. Tingkat akurasi dihitung dari perbandingan antara jumlah citra dalam data tersebut dengan jumlah citra yang terletak di luar diagonal tabel. Dari perhitungan tersebut, dihasilkan tingkat akurasi [STI04] yang perbandingannya dengan sistem yang dikembangkan dalam tugas akhir ini dapat dilihat pada Tabel V Tabel V.2-13 Perbandingan Akurasi Sistem dalam Tugas Akhir dengan [STI04] Jenis Pengenalan Asal Sistem Akurasi Horisontal Tugas Akhir 52.9% [STI04] 66.3% Vertikal Tugas Akhir 54.7% [STI04] 52.0% Sistem yang dikembangkan dalam tugas akhir ini memiliki akurasi yang relatif lebih rendah dalam pengenalan orientasi kepala horisontal, namun relatif lebih tinggi dalam pengenalan orientasi kepala vertikal. Salah satu dugaan penyebab perbedaan akurasi ini adalah data pelatihan orientasi horisontal dalam [STI04] yang lebih banyak dikarenakan digunakannya proses pencerminan citra untuk melipatgandakan jumlah citra orientasi horisontal yang dapat digunakan oleh sistem. V-23