Perbaikan Estimasi Arah Pandang Mata Terhadap Layar Monitor Dengan Menggunakan Posisi Wajah

Transkripsi

1 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2014) Perbaikan Estimasi Arah Pandang Mata Terhadap Layar Monitor Dengan Menggunakan Posisi Wajah Titis Widyanto, Ronny Mardianto, Pujiono, Rudy Dikairono Jurusan Teknik Elektro, Fakultas Teknologi Industri, Institut Teknologi Sepuluh Nopember (ITS) Jl. Arief Rahman Hakim, Surabaya titiswidyanto@yahoo.co.id, ronny@elect-eng.its.ac.id, rudydikairono@ee.its.ac.id Abstrak Perbaikan estimasi arah pandang dengan menggunakan posisi wajah adalah sistem yang dirancang untuk memeperbaiki esimasi arah pandang dengan menambahkan posisi kepala sebagai salah satu acuannya. Tujuan dari tugas akhir ini adalah memperbaiki akurasi arah arah pandang dengan menggabungkan pergerakan mata dengan pergerakan dari kepala. Permasalahan pertama adalah mendeteksi pupil mata, yaitu proses mendeteksi pupil mata dengan kamera yang dirancang menghadap ke mata. Permasalahan kedua mendeteksi layar monitor, yaitu proses mendeteksi layar monitor dengan kamera yang dirancang di depan dari frame kacamata yang menghadap ke depan. Permasalahan ketiga mengkombinasi pergerakan kepala dan pergerakan pupil mata, yaitu proses perhitungan untuk mendapatkan estimasi arah pandang yang lebih akurat. Tugas akhir ini dirancang dengan enam proses metode citra HSV, citra ROI, grayscaling, smooting contour, dan citra mofologi. Metode perpotongan dua garis digunakan untuk mendeteksi titik tengah layar monitor yang menghasilkan koordinat titik tengah. Perhitungan persentase posisi pointer yang dikendalikan oleh pergerakan mata dan kepala dengan membandingkan titik aktual, yaitu titik yang telah disediakan di layar monitor dengan pembacaan pointer yang mengarah ke titik aktual tersebut. Hasil implementasi sistem menujukkan bahwa sistem tersebut dapat bekerja dengan baik di dalam ruangan dengan persentase error 6 % untuk koordinat x dan 22% untuk koordinat y. Error didapatkan dari membandingkan antara titik aktual dengan titik yang terbaca pada layar monitor. Kata Kunci Contour, Citra morfologi, Estimasi arah pandang, Grayscaling, Pergerakan mata, Posisi wajah, Titik potong dua garis, Smooting. I. PENDAHULUAN ata dan kepala merupakan dua komponen yang biasanya M digunakan dalam komuikasi, khususnya komunikasi secara visual antara dua ojek atau lebih. Mata mempunyai peran sangat penting terutama untuk mengenali objek objek yang sifatnya visual. Wajah kita juga tidak kalah penting untuk menentukan posisi kepala dan arah pandang. Dengan berbagai kegunaan dari mata dan posisi kepala, di era yang maju seperti sekarang informasi tersebut bisa digunakan sebagai alat bantu dalam berkomunikasi.dengan mengekstrak informasi yang ada, mata bisa digunakan untuk menentukan arah pandang. Arah pandang yang dihasilkan dari pergerakan mata ini kurang akurat, untuk itu perlu di tambah acuan lain agar arah pandang menjadi akurat. Posisi kepala bisa digunakan sebagai acuan untuk menentukan estimasi arah pandang agar lebih akurat. Informasi pergeseran kepala ketika menoleh baik ke kanan maupun ke kiri, kemudian di kombinasikan dengan arah pandang mata dapat digunakan untuk mendapatkan estimasi arah pandang yang akurat.untuk mengatasi masalah tersebut pada tugas akhir ini dirancang sebuah sistem yang dapat menyatukan kedua informasi tersebut. Untuk mendapatkan informasi dari citra mata digunakan kamera yang dirancang menghadap ke mata. Sedangkan untuk mendapatkan informasi posisi kepala menggunakan kamera yang menghadap ke layar monitor. Dua kamera ini diletakkan pada frame kacamata dengan posisi kamera dirancang sesuai dengan kebutuhan. Kedua kamera ini akan mengambil citra mata dan citra layar monitor kemudian dilakukan pengolahan citra dengan komputer untuk mendapatkan informasi titik koordinat mata dan titik koordinat kepala. Informasi tentang titik koordinat mata dan kepala digunakan untuk menggerakkan pointer pada layar monitor, setelah itu dikombinasikan dengan software keyboard virtual. Pengontrolan pointer dilakukan menggunakan estimasi arah pandang. Dengan demikian seseorang dapat menulis karakter huruf di layar monitor dengan menggerakan mata dan posisi kepala sebagai salah satu acuannya. II. LANDASAN TEORI A. Eye Traker Eye tracking adalah sebuah alat untuk memantau perilaku dari mata kita. Alat ini digunakan untuk mengukur pergerakan mata dan memprediksi titik pandang mata. Eye tracking digunakan untuk memonitoring apa yang orang lihat dengan mata mereka, mengamati apa yang mereka lihat, bagaimana mata bergerak, bagaimana mata menentukan objek visual yang mereka lihat. Banyak dari eye traking modern didasari dari kamera yang mengarah ke mata kita dan menghasilkan citra mata dengan resolusi tinggi. Untuk menambah pencahayaan biasanya ditambah LED Infrared.[1]

2 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2014) B. Eye Model Eye model di asumsikan sebuah bola mata dengan jari jari R. Dengan iris terletak di bagian depan bola mata, iris ini seperti cincin melingkar dengan jari jari r (lihat Gambar 1 (a)) jarak dari pusat mata ke iris adalah d hubungan R, r, dan d (lihat Gambar 1(d)). RR 2 = rr 2 + dd 2 (1) Jari jari iris mata sekita 7 mm dan jari jari bola mata berkisar 12 mm sampai 13 mm. Oleh karena itu rasio radius iris seseorang dan jari jari bola mata dalam bidang 3D memiliki perbedaan yang kecil. Dalam mata kita rasio dari rata rata jari jari iris seseorang dengan rata rata jari jari bola mata seseorang dalam ruang 3D yaitu R/r diasumsikan konstan. Jika r telah ditemukan, baik R dan d da pat dintentukan dengan cara manual dari urutan pelatihan.[6] Gambar 2 Metode deteksi pupil D. Titik Potong Dua Garis. Dua garis yang tegak lurus saling berpotongan di satu titik, untuk itu perlu di cari persamaanya agar titik tengahnya bisa di ketahui.pada Untuk menentukan titik potong kedua garis maka di buat persamaan Gambar 3 Perpotongan dua garis Gambar 1 Eye model C. Gaze Estimation. Untuk menganalisis pandang mata, mata harus dideteksi dan dilacak terlebih dahulu. Biasanya metode yang dipakai untuk mendeteksi mata adalah deformable template. Metode ini lebih cepat dalam eksekusinya tetapi kurang handal. Dalam sistem ini klasifikasi viola-jones akan mendeteksi mata ketika ketika deformable template gagal dalam mendeteksi bola mata. Fungsi klasifikasi viola- jones terdapat dalam pustakaopencv. OpenCVmencari lokasi pusat wajah diikuti dengan mencari lokasi pusat mata.menggunakan kombinasi antara deformable template dan Viola Jones metode, dan lokasi mata terdeteksi. Agar didapat lokasi pupil yang akurat pada kondisi yang berbeda perlu dilakukan treshold (T) nilai ini didapat dari rata rata nilai pixel (µ) dari citra I. Threhold ditentukan 27% di bawah rata rata.[5] NN 1 µ = 1 NN II ii ii=0 TT = 0,27 µ (2) Garis k persamaannya yy 1 = mm 1 xx + cc 1 (3) Garis l persamaannya yy 2 = mm 2 xx + cc 2 (4) Jika kedua persamaan bertemu di titik A(xx 0, yy 0 ) maka berlaku persamaan. yy 0 = mm 1 xx 0 + cc 1 (5) yy 0 = mm 2 xx 0 + cc 2 (6) Dari persamaan di atas maka diperoleh. mm 1 xx 0 + cc 1 = mm 2 xx 0 + cc 2 mm 1 xx 0 mm 2 xx 0 = cc 2 cc 1 xx 0 (mm 1 mm 2 ) = cc 2 cc 1 xx 0 = (mm 1 mm 2 ) (7) (cc 2 cc 1 ) mm 1 mm 2 0 Untuk memperoleh nilai yy 0 subtitusikan nilai xx 0 ke salah satu persamaan di atas. Nilai dari xx 0 dddddd yy 0 merupakan nilai tengah dari dua garis yang saling berpotongan dengan garis yang tidak sejajar.[3] E. Teorema Phytagoras Teori ini digunakan untuk memperoleh lebar dari layar monitor. dari lebar layar monitor ini bisa di ketahui jarak dari kemera ke layar monitor. Informasi ini nantinya akan digunakan untuk perhitungan dalam menentukan estimasi arah pandang.

3 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2014) H. Smooting. Proses ini bisa disebut juga proses blur. Fungsi dari smooting adalah untuk mengurangi noise pada citra. Dengan fungsi ini noise noise kecil akan terlihat melebur dengan dengan pixel pixel di sekitarnya sehingga kelihatan menghilang. Dengan metode ini pengolahan citra selanjutnya akan lebih mudah karena noise sudah tersamarkan. Gambar 4 Segitiga siku siku Untuk mencari panjang sisi a rumusnya aa 2 = cc 2 bb 2. (8) Untuk mencari panjang sisi b rumusnya bb 2 = cc 2 aa 2. (9) Sedangkan mencari sisi terpanjang menggunakan rumus cc 2 = bb 2 + aa 2. (10) F. Trigonometri Segitiga Siku Siku. Teori ini digunakan untuk mengetahui lebar simpangan dari posisi wajah terhadap titik acuan yaitu berupa titik tengah yang telah ditentukan. Dengan demikian kita dapat mengetahui berapa lebar simpangan kepala yang bisa di toleransi. I. Image Morfologi Dalam citra yang kita olah kadang mengandung ketidak sempurnaan. Seperti ketika kita melakukan tresholding masih timbul noise dalam citra. Dengan fungsi image morfologi citra diupayakan dihilangkan ketidak sempurnaanya dengan perhitungan bentuk dan struktur citra. Ini biasanya dilakukan pada teknik Grayscaling. J. Erosion Merupakan salah fungsi yang terdapat pada image mofologi. Dengan teknik erosi ini akan menghilangkan detail sekala kecil dari citra biner selain itu teknik ini akan mengurangi ukuran dari daerah objek. Pengurangan citra tersebut akan membuat citra lebih kecil bila dan lebih jelas. Kekurangannya detail dari citra akan hilang karena ukuran citra berubah. K. Dilation Teknik ini merupakan salah satu fungsi yang ada pada image morfologi. Teknik ini berkebalikan dengan teknik erosi. Pada teknik ini citra akan diperbesar dari kedua sisi yaitu dalam objek dan dari luar objek. Jika ada celah antara satu titik dengan titik berikutnya celah ini akan tertutup dan menyebabkan celeh tersebut menjadi bersatu. Gambar 5 Trigonometri segitiga siku siku Persaman rumus untuk menentukan sudutnya bisa ditulis sebagai berkut : L. Warna HSV Warna HSV (Hue Saturation Value) merupakan bentuk penskalaan selain dari RGB. VV = max(rr, GG, BB) SS = ((VV min( RR, GG, BB)) VV) Untuk V 0, selain itu S = 0 sin αα = yy rr cos αα = xx rr tan αα = yy xx (11) (12) (13) HH = (GG BB) 60 > VV = RR SS (BB RR) 60 > VV = GG SS (RR GG) 60 > VV = BB SS (15) G. Grayscalling Merupakan teknik untuk merubah citra warna dengan tiga kanal menjadi citra abu abu dengan satu kanal. Grayscalling dapat dirumuskan sebagai berikut. GGGGGGGG(xx, yy) = RR(xx,yy)+ GG(xx,yy)+ BB(xx,yy) 3 (14) Citra yang telah melewati proses Grayscalling ini menjadi lebih sederhana sehingga lrbih ringan dalam pemrosesan selanjutnya. Gambar 6 Skala warna HVS

4 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2014) M. Contour Merupakan teknik untuk menyatukan titik titik citra secara terus menerus dari citra yang memiliki warna atau intensitas citra yang sama. Dengan fitur ini kita dapat mengidentifikasi objek yang memiliki bentuk yang berbeda beda. di letakkan menghadap ke arah mata kemudian kamera kedua di letakkan menghadap ke luar menghadap ke layar monitor laptop. Disamping kamera mata ada infrared yang diletakkan menghadap ke mata sebagai cahaya tambahan agar pada daerah mata tidak dipengaruhi cahaya dari luar. Eye traker dipasang pada frame kacamata tanpa lensa dengan kemiringan ± 24. Dibuat miring agar tidak mengganggu mata sebelah kanan ketika memandang layar monitor nantinya. Gambar 7 (a) sebuah citra digital dari beberapa bentuk. (b) Contour III. PERANCANGAN SISTEM Secara umum sistem dari perangkat ini menggunakan kamera digital sebagai inputan data baik untuk inputan mata dan inputan arah kepala yang menghadap monitor. Data dari hasil inputan mata berupa koordinat pupil mata yang berupa titik x dan y. Sedangkan dari pergesetan kepala juga di dapat data berupa derajat simpangan kepala dari posisi tengahnya dan juga koordinat simpangan berupa data x dan y. Dari data tersebut kemudian diolah sehingga di dapat estimasi arah pandang mata. Gambar 9 Perancangan Hardware Eye Traker B. Perangkat Lunak Pada perancangan software tugas akhir ini menggunakan sotware visual studio 2010 dan bahasa pemrograman C++ dengan library open cv sebagai library dalam pengolahan citra. Software Visual studio 2010 menggunakan fasilitas windows form sebagai interface dengan pengguna. Gambar 8 Ilustrasi Penggunaan alat A. Perangkat Keras Komponen - komponen yang digunakan dalam sistem ini adalah sebuah motor Notebook. Notebook ini di gunakan untuk memproses citra dari kamera mata dan kamera monitor selain itu notebook ini digunakan untuk interface dengan pengguna. Kamera itech 5 MPX. Kamera ini digunakan untuk menangkap citra dari mata yang berupa pupil mata. Kamera ini cukup baik untuk menangkap citra jarak dekat dengan ± 8 cm. Agar dalam menangkap citra dari pupil mata dengan jelas ditambahkan LED infrared sebagai tambahan perangkat supaya daerah mata yang di ambil citranya lebih terang dan pengambilan citra tidak terganggu dengan cahaya di sekelilingnya. Kamera Logitech HD Webcam C270, 720p WideAngle. Kamera ini digunakan untuk mendeteksi posisi kepala dengan cara mengambi citra layar monitor yang sudah deberi marker dengan warna ungu. Marker ini digunakan untuk menentukan tepian dari monitor di layar sehingga membentuk persegi panjang dari layar monitor tersebut. Kamera yang digunakan harus mempunyai resolusi yang lebih tinggi dari kamera mata karena dibutuhkan penglihatan yang lebar. Jarak optimal yang dibutuhkan ± 55 cm. Perancangan eye traker dengan menggabungkan kedua kamera, satu kamera Gambar 10 Perancangan perangkat lunak Terdapat dua layar yang digunakan dalam perancangan software ini. Layar sebelah kiri untuk menampilkan citra dari mata sedangkan layar ke dua untuk menampilkan citra dari layar monitor. Pada menu software terdapat setingan manual berupa scroolbar. Menu ini digunakan sebagai setting manual baik untuk citra mata dan monitor. pada citra mata terdapat setting manual berupa scrrolbar tresholding sedangkan pada setting layar monitor terdapat settingan berupa nilai dari value, hue, tresholding, dan nilai saturation. Sedangkan ditengah tengah software terdapat tombol. Tombol ini digunakan untuk mencari titik tengah dari layar monitor. sehingga simpangan kepala bisa deketahui.

5 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2014) C. Sistem pendeteksi pola layar monitor E. Sistem pendeteksian pola mata D. Sistem pendeteksian simpangan kepala F. Sistem pendeteksian simpangan mata

6 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2014) G. Kamera calibration IV. PENGUJIAN DAN HASIL Pengujian yang dilakukan pada tugas akhir ini untuk mengetahui akurasi dari respon yang digunakan pada system. Pengujian dimulai dengan pengambilan data eye traker yaitu koordina titik sudut layar monitor dan titik sidut pupil mata. Pengujian meliputi pengujian eye traker, pengujian calibration, pengujian simpangan kepala, pengujian pointer. A. Pengujian eye traker Gambar 11 eye traker mampu mendeteksi tepian layar monitor H. Keyboard Virtual Gambar 11 Hasil citra setelah proses HSV B. Pengujian pointer pada layar monitor. Pengujian pointer dilakukan dengan mengikuti titik titik aktual yang ada di layar monitor. Error merupakan selisih antara titik acuan dan pointer pada layar monitor Gambar 12 Pengujian pointer dengan 20 titik

7 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2014) Tabel 1. Kepala menoleh ke kanan tanpa parameter sudut kepala. x_aktual y_aktual x_pointer y_pointer x_error y_error Tabel 2. Kepala menoleh ke kanan dengan parameter sudut kepala. x_aktual y_aktual x_pointer y_pointer x_error y_error x_aktual y_aktual x_pointer y_pointer x_error y_error Dari pengujian ini dapat diketahui bahwa eye traker mampu mendapatkan citra mata dengan kontras yang baik antara pupil dengan daerah sekitar mata. Eye traker mampu membedakan antara pupil dengan daerah sekitar mata yang tidak dibutuhkan. Dengan kepala bergeser geser eye traker cukup stabil untuk mengambil citra mata maupun layar monitor. pada Tabel 1 dan Tabel 2 bisa dibandingkan nilai dari selisih piksel antara pengujian dengan menggunakan posisi kepala dan pengujian yang mengabaikan posisi kepala. Pada Tabel 1 pengujian tanpa mengabaikan posisi kepala dengan rata- rata error x 26% dan error y 54% Sedangkan Tabel 2 pengujian yang menggunakan posisi kepala sebagai salah satu acuannya. Didapatkan error rata rata nilai x 6% dan error rata rata y 22%. Jadi dengan menambahkan posisi kepala bisa memperbaiki estimasi arah pandang dari pointer. V. KESIMPULAN Dalam Tugas Akhir ini, sistem dapat berjalan dengan baik terbukti dengan perangkar eye traket dapat membedakan pupil mata dengan daerah sekitarnya. Dengan menggunakan posisi kepala sebagai salah satu acuan dalam menentukan estimasi arah pandang dapat membuat akurasi arah pandang lebih lebih akurat. Error yang dihasilkan setelah menggunakan metode ini berkurang dari 26% menjadi 6% untuk sumbu x dan sumbu y dari 54% menjadi y 22%. DAFTAR PUSTAKA [1] LC Technologi, eye traker, <URL: [2] Rachman, Maulana, Pengembangan Robot Rubik Dengan Identifikasi Warna Menggunakan Sensor Kamera, Institut Sepuluh Nopember, [3] Bradski G dan Kaebler A, Learning OpenCV, O'Reilly Media Amerika Serikat, September [4] A.H. Bonnet, Cause and analysis of bearing failures in electrical motors, Petro. and Chem. Ind. Conference, pp , Sept [5] Arai, Kohei and Mardiyanto, Ronny, "Eye-based HCI with full specification of mouse and keyboard using pupil knowledge in the gaze estimation. Saga University, [6] Wang, Jian G dan Sung, Erik Eye Gaze Estimation From a Single Image of One Eye, Institute for Infokom Research2003. [7] Aminudin, Rancang Bangun Sistem Bantu Komunikasi Verbal Pada Pasien Penderita Stroke Berdasarkan Pergerakan Mata Institute Sepuluh Nopember, [8] Taksiono, M.A, Rancang Bangun Sistem Penghitung Laju Dan Klasifikasi Berbasis Pengolahan Citra, Institute Sepuluh Nopember, [9] OpenCV documentation dokumentasi opencv < URL : >,April