TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS-KANADE

Transkripsi

1 TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS-KANADE Affan Mahtarami 1, Moch. Hariadi 2 1,2 Jurusan Teknik Elektro, Fakultas Teknologi Industri, ITS Sukolilo, Surabaya Abstrak Kebutuhan akan metode interaksi dan komunikasi yang lebih alami antara user dan komputer adalah salah satu tuntutan dari perkembangan teknologi. Metode interaksi pada apilikasi Virtual Reality, Wearable Computer, dan Augmented Reality menyarankan bahwa perangkat interaksi tradisional seperti keyboard, mouse, dan joystik, tidak lagi nyaman digunakan. Teknik interaksi berbasis visi komputer menjadi kandidat teknik interaksi yang bersifat alami. Teknik ini tidak membutuhkan kontak langsung pengguna dengan peralatan input, melainkan komputer menangkap gerakan pengguna melalui kamera video dan menginterpretasikannya. Salah satu gerakan dari tubuh manusia yang sering digunakan sebagai alat komunikasi adalah gerakan tangan. Pada tesis ini dilakukan penelitian tracking gerak tangan berbasis kamera tunggal menggunakan algoritma Pyramidal Lucas-Kanade. Tracking dilakukan terhadap marker yang terpasang pada tiap posisi ujung jari dan telapak tangan. Dengan menggunakan tiga buah warna marker, yaitu merah, hijau, dan biru, hasil penelitian menunjukkan tidak terdapat perbedaan signifikan pada hasil tracking terhadap ketiga warna marker tersebut. Selain itu proses re-identifikasi corner dapat meningkatkan rata-rata marker yang dapat ditracking. Kata kunci : tracking gerak tangan, teknik interaksi, interaksi manusia dan komputer 1. Pendahuluan Seiring dengan terus meningkatnya kemajuan teknologi komputer, peranan teknologi komputer dalam mendukung kepentingan manusia juga semakin meningkat. Termasuk salah satunya adalah bidang interaksi manusia dan komputer (IMK), atau sering disebut Human Computer Interaction (HCI). Perangkat keras interaksi antara manusia dan komputer yang digunakan sekarang ini lebih bersifat mekanis, seperti: keyboard, mouse, dan joystick. Meskipun peralatan-peralatan tersebut akurat dan handal (reliable), tetapi model interaksi yang dilakukan tidak bersifat alami sebagaimana manusia berinteraksi dengan sesamanya. Penggunaan peralatan-peralatan tersebut untuk mengoperasikan komputer membutuhkan kontak langsung antara user dengan komputer. Kebutuhan akan komunikasi yang lebih alami antara user dan komputer adalah tuntutan dari perkembangan teknologi komputer itu sendiri. Ketika user berinteraksi dengan komputer tidak hanya di depan meja, melainkan dalam lingkungan virtual (Virtual Reality), menggunakan komputer yang terpasang di badan (Wearable Computer), ataupun dengan perangkat Augmented Reality, maka perangkat-perangkat interaksi tradisional tidak lagi handal untuk digunakan. Teknik interaksi berbasis visi komputer menjadi kandidat teknik interaksi yang bersifat alami. Teknik ini tidak membutuhkan kontak langsung pengguna dengan peralatan input, melainkan komputer menangkap gerakan pengguna melalui kamera video dan menginterpretasikannya. Input secara visual dapat memberikan kemampuan penginderaan pada komputer sebagaimana manusia melakukan penginderaan menggunakan mata. Interaksi antar manusia secara alami tidak membutuhkan mouse atau keyboard, melainkan diantaranya menggunakan tangan, mata, dan telinga untuk mendapatkan informasi dari lingkungan. Salah satu alternatif anggota badan manusia yang dapat dapat digerakan untuk menghasilkan beragam pose adalah tangan. Manusia secara alami terbiasa menggunakan tangan untuk melakukan komunikasi. Manusia menggerakkan tangan untuk mendapatkan beragam pose. Tiap pose memiliki maksud dan makna tersendiri sesuai dengan kesepakatan umum ataupun kesepakatan diantara personal yang melakukan komunikasi. Untuk dapat menangkap informasi yang diberikan, seseorang harus mampu melihat pose tangan dari lawan

2 komunikasinya secara benar, sebelum kemudian menginterpretasikan maknanya. Adopsi teknik interaksi menggunakan isarat tangan pada komputer menuntut hal serupa. Sebelum proses interpretasi, komputer pertama kali harus mampu menangkap pose tangan pengguna dengan benar. Metode tracking yang digunakan menjadi salah satu faktor penting untuk memastikan komputer dapat menangkap pose tangan pengguna dengan benar. Salah satu metode estimasi pose tangan berbasis visual adalah dengan menggunakan ujung jari sebagai fitur yang menjadi titik acuan proses tracking. Metode ini melakukan generalisasi pose tangan 3D menjadi 2D berdasarkan posisi ujung jari relatif terhadap posisi suatu acuan utama pada telapak tangan. Dari informasi tersebut maka sudut rotasi dari tiap-tiap sendi ruas tangan dapat diketahui dengan mengimplementasikan rumusan umum gerak ruas-ruas tangan (Lee, 1995). Terkait dengan metode tracking objek, terdapat beberapa algoritma yang dapat digunakan. Salah satunya adalah metode tracking berbasis optical flow dengan menggunakan algoritma Lucas-Kanade. 2. Rumusan Masalah, Tujuan, dan Manfaat Secara umum, permasalahan yang ingin dipecahkan pada penelitian ini adalah bagaimana melakukan tracking terhadap gerakan tangan pada sebuah sekuen video menggunakan metode optical flow. Dengan mengimplementasikan algoritma optical flow Pyramidal Lucas-Kanade, dan membatasi bagian tangan yang ingin diketahui adalah 6 posisi acuan, yaitu 5 acuan pada ujung jari, dan 1 acuan pada telapak tangan, maka rumusan masalahnya secara khusus adalah bagaimana melakukan tracking terhadap keenam acuan tersebut dengan menggunakan algoritma Optical Flow Pyramidal Lucas-kanade pada sebuah sekuen video. Gerakan tangan diambil menggunakan sebuah kamera, sehingga data yang diolah berupa sebuah sekuen video. informasi dari posisi-posisi titik acuan yang ditracking tersebut secara umum dapat digunakan sebagai dasar estimasi pose tangan pada tiap video. Hasil dari penelitian ini diharapkan dapat diimplementasikan sebagai salah satu teknik interaksi pada beberapa bidang aplikasi, seperti: virtual reality, augmented reality, game komputer, robotika, dan juga dapat dijadikan sebagai dasar aplikasi pengenalan gestur. 3. Kajian Pustaka Beberapa penelitian telah dilakukan berkaitan dengan deteksi ujung jari dengan implementasi pada beragam aplikasi. Deteksi ujung jari dengan pendekatan teknik korelasi dengan menggunakan mask berbentuk lingkaran dilakukan oleh Koike (Koike, 2001), Oka (Oka, 2001), dan Letessier (Letessier,2004). Sedangkan deteksi ujung jari menggunakan teknik template matching dilakukan oleh Crowley (Crowley, 1995), dan O Hagan (O Hagan, 1997). Pendekatan yang dilakukan oleh Malik (Malik, 2004), Segen (Segen, 1998), dan O Hagan (O Hagan, 2002) menggunakan localmaxima bentuk kurva dari batas-luar (boundary) silhuet tangan. Penggunaan marker dalam deteksi ujung jari juga dilakukan pada beberapa penelitian guna meningkatkan kecepatan pemrosesan. Maggioni et al. (Maggioni, 1998) menggunakan marker berbentuk ellips untuk melakukan estimasi terhadap tangan 3D. Metode serupa juga dilakukan oleh Usabiaga (Usabiaga, 2005), namun dengan menggunakan pendekatan multipleview. Sedangkan Kim dan Felner (Kim, 2004) menggunakan marker berwarna putih yang ditempelkan pada ujung jari dengan latar belakang hitam. 4. Model Tangan Manusia Tangan manusia adalah sebuah struktur mekanik kompleks yang terdiri atas beberapa segmen tulang, ligame-ligamen yang menghubungkan antar segmen tulang secara leluasa, otot-otot yang berperan sebagai motor gerak, tendon yang berperan untuk menghubungkan otot dengan tulang, dan kulit serta saraf-saraf halus yang menyelubungi otot dan tulang. Tulang-tulang saling terhubung pada pesendian dan tidak berubah ukurannya. Otot-otot menghasilkan tenaga penggerak dan menggerakkan sendi-sendi. Berdasarkan tipe gerakan dan rotasi yang mungkin dilakukan, sendi-sendi pada tangan manusia dapat diklasifikasikan sebagai flexion, twist, directive, atau spherical. Contoh sendi bertipe flexion dengan 1 DOF adalah lutut dan siku, sedangkan contoh sendi bertipe twist dengan 1 DOF adalah sendi pronation dari lengan bawah. Gerakan direktif dari sendi dengan 2 DOF menghasilkan gerakan flexion dengan arah lebih dari 2. Sendi spherical, sebagaimana pada sendi bahu, memiliki 3 DOF dan dapat melakukan gerakan directive dan twist secara simultan. Gambar 1 mengilustrasikan tipe-tipe sendi pada tangan manusia. Setiap jari (II-V) memiliki empat DOF (dua pada MP, satu pada PIP, dan sati DIP). Sedangkan ibu jari (I) memiliki lima DOF (dua pada MP, dua pada PIP, dan satu pada DIP). Sendi pada pergelangan tangan dilibatkan karena tangan dipandang sebagai bagian terpisah dari lengan bawah. Berdasar pada klasifikasi gerak sendi tersebut, secara keseluruhan tangan manusia memiliki 27 DOF, termasuk 6 DOF untuk memindah posisi dan mengubah orientasi tangan secara keseluruhan.

3 Gambar 2. Pyramidal Optical Flow Gambar 1. Model Persendian Tangan dan Tipe Gerakannya 5. Pyramidal Lucas-Kanade Penyelesaian algoritma Lucas-Kanade dengan pendekatan piramida, atau disebut pyramidal Lucas- Kanade diajukan pertama kali oleh Jean-Yves Bouguet (Bouguet, 2000). Pendekatan ini menggunakan prinsip piramida, yaitu bekerja dari detil citra paling rendah hingga detil citra paling tinggi (Gambar 2). Tujuannya adalah agar gerakan yang besar dapat diperhitungkan. Sementara asumsi yang digunakan pada algoritma Lucas- Kanade adalah gerakan yang kecil dan koheren, sehingga tidak dapat menangkap gerakan yang besar. Solusi untuk dapat menangkap gerakan yang besar pada algoritma Lucas-Kanade adalah dengan menggunakan window yang besar. Tetapi penggunaan window yang besar sering kali membuat gerakan yang ditangkap adalah gerakan yang tidak koheren. Algoritma Pyramidal Lucas- Kanade menyelesaikan permasalahan tersebut tanpa menghilangkan asumsi gerakan yang koheren. Algoritma Pyramidal Lucas-Kanade pertama bekerja pada layer piramida paling tinggi. Kemudian hasilnya digunakan sebagai titik awal untuk bekerja pada layer dibawahnya. Hal ini berlanjut hingga mencapai level paling rendah. Berdasarkan makalah yang diajukan oleh Bouquet (Bouquet, 2000), algoritma Pyramidal Lucas-Kanade dapat dijelaskan sebagai berikut: Misalkan I dan J adalah dua citra gray scale 2D. Dua nilai I(x) = I(x;y) dan J(x) = J(x;y) adalah nilai gray scale dari dua citra pada lokasi x = [x;y] T, dengan x dan y merupakan koordinat dua pixel dari point citra generik x. Citra I akan direferensikan sebagai citra pertama, dan citra J sebagai citra kedua. Anggap sebuah titik u = [u x u y ] T pada citra pertama I. Tujuan dari tracking fitur adalah untuk menemukan lokasi v = u + d = [u x +d x u y +d y ] T pada citra kedua J dengan I(u) dan J(v) adalah serupa. Vektor d = [d x d y ] T merupakan kecepatan citra pada x, juga diketahui sebagai aliran optis pada x. Hal ini penting untuk mendefinisikan dugaan kesamaan dalam ketetanggaan 2D. Misalkan x dan y dua integer yang mendefinisikan setengah ukuran dari window integrasi di atas x. Didefinisikan kecepatan citra d sebagai vektor yang meminimasi fungsi yang didefinisikan sebagai berikut: (1) Untuk menyelesaikan masalah tersebut, digunakan implementasi pyramidal dari algoritma klasik Lucas-Kanade. Implementasi iteratif dari komputasi aliran optis Lucas-Kanade memiliki keakuratan tracking lokal yang memuaskan. 6. Metode Penelitian Langkah-langkah yang dilakukan dalam penelitian ini secara umum dapat dibagi menjadi dua kegiatan utama, yaitu pengambilan data, dan pengolahan data. Pengambilan data adalah pekerjaan yang dilakukan pertama kali. Hasilnya adalah sekuen video gerak tangan. Sekuen video tersebt kemudian menjadi input bagi proses pengolahan data. Eksperimen dilakukan terkait dengan penggunaan beberapa warna marker, yaitu merah, hijau, dan biru. Alur pekerjaan diperlihatkan pada gambar Pengambilan Data Tahap pengambilan data dimulai dengan beberapa persiapan. Persiapan-persiapan tersebut meliputi persiapan alat dan tempat. Peralatan yang disiapkan antara lain: sarung tangan, marker, software, dan kamera web-cam. Sarung tangan yang digunakan adalah sarung tangan kain berwarna

4 putih. Sedangkan marker berwarna merah, hijau, dan biru. Marker dipasangkan pada sarung tangan pada posisi tiap ujung jari dan tengah-pangkal tangan pada bagian telapak. Seting tempat dilakukan berdasarkan kondisi pencahyaan dan latar. Kondisi pencahayaan yang digunakan adalah kondisi pencahayaan ruang (indoor). Sedangkan latar yang digunakan adalah latar dengan warna putih. Pemilihan warna marker ditentukan berdasarkan chanel-chanel warna RGB (Red, Green, Blue). Sedangkan posisi-posisi marker ditentukan pada ujung-ujung jari dan satu di telapak tangan karena dengan informasi lokasi posisi-posisi tersebut gerakan tangan secara keseluruhan dapat diestimasi. Sedangkan latar putih digunakan agar marker dapat teridentifikasi tanpa harus menggunakan proses segmentasi. Proses pengambilan data dilakukan beberapa kali sehingga didapatkan hasil yang paling memuaskan terkait dengan proses segmentasi dan tracking. Pada saat pengambilan data, tangan dengan memakai sarung tangan yang telah ditempeli marker digerakkan didepan kamera dengan telapak tangan menghadap kamera (Gambar 4). Gerakan yang dibuat meliputi gerakan bergeser, berotasi, jari-jari membuka dan menutup, serta mencengkram. tangan kamera Sotware video capture Sekuen video Identifikasi Corner Tracking Sekuen video Hasil tracking Gambar 3. Alur Kerja Penelitian Pengambilan data Pengolahan data 6.2 Pengolahan Data Dalam tahap ini dibuat sebuah program untuk melakukan tracking terhadap marker pada tiap ujung jari tangan dan satu pada pangkal telapak tangan. Metode tracking yang digunakan berbasis opticalflow, yaitu algoritma Pyramidal Lucas-Kanade. Proses tracking diawali dengan identifikasi marker sebagai corner dengan menggunakan algoritma Good Feature to Track Shi-Tomasi. Cornercorner yang teridentifikasi tersebut digunakan sebagai input bagi algoritma Pyramidal Lucas- Kanade untuk dicari area yang sesuai pada berikutnya. 7. Hasil dan Pembahasan 7.1 Pengambilan Data Output dari proses pengambilan data adalah tiga buah sekuen video gerakan tangan, masingmasing untuk marker berwarna merah, hijau, dan biru. Gerakan yang dilakukan tangan meliputi gerakan berputar, bergeser, membuka dan menutup jari, serta mencengkram. Gerakan dilakukan dengan telapak tangan menghadap kamera (frontal view). Gambar 5 memperlihatkan beberapa dari sekuen video tersebut. 7.2 Identifikasi Corner Identifikasi corner adalah proses yang mengawali proses tracking. Corner yang terdeteksi adalah bagian dari yang akan dicari lokasi perpindahannya pada berikutnya. Sebagai eksperimen dicoba tracking terhadap sekuen video gerakan tangan terbuka tanpa menggunakan marker. Hasil proses identifikasi corner pada tangan terbuka, tanpa memakai sarung tangan & marker, menunjukkan bahwa algoritma identifikasi corner Shi-Tomasi berhasil mendeteksi corner-corner hanya pada area tangan, walaupun dengan posisi yang tidak beraturan. Pada proses identifikasi corner yang dilakukan terhadap sekuen video gerakan tangan bermarker, seting variabel nilai maksimal corner yang dideteksi disesuaikan dengan marker yang digunakan, yaitu 6. Diagram pada Gambar 6 menampilkan corner yang terdeteksi tepat pada marker. Dari diagram-diagram tersebut tampak bahwa untuk keseluruhan corner yang terdeteksi tidak selalu tepat pada marker. Hasil deteksi corner tepat pada marker untuk sekuen video gerakan tangan bermarker warna merah memiliki rata-rata 5,68 tiap. Sedangkan untuk sekuen video gerakan tangan bermarker warna hijau memiliki rata-rata 5,64 tiap. Dan untuk sekuen video gerakan tangan bermarker warna biru memiliki rata-rata 5,51 tiap. Ketiga hasil tersebut tidak dapat saling dibandingkan secara

5 corner corner Gambar 4. Situasi Pengambilan Data corner Gambar 6. Jumlah corner yang terdeteksi pada tiap sekuen video langsung karena gerakan pada ketiga sekuen video tidak persis sama. Namun demikian kita dapat melihat tipe-tipe kesalahan deteksi corner. Beberapa deteksi corner yang tidak tepat pada marker jatuh pada area lain dari citra karena marker tidak tertangkap dengan jelas oleh kamera. Hal ini disebabkan karena gerakan yang dilakukan oleh tangan relatif cepat terhadap banyaknya per detik yang ditangkap oleh kamera. Selain itu juga disebabkan karena ada area lain dari citra yang memiliki nilai eigen (eigen value) yang lebih tinggi dibandingkan marker untuk diidentifikasi sebagai marker. 7.3 Tracking Gambar 5. Beberapa Frame Sekuen Video Gerak Tangan Tracking dilakukan terhadap titik-titik yang terdeteksi sebagai corner pada pertama. Gambar 7 menampilkan corner yang terdeteksi pada pertama dari ketiga sekuen video. Dari gambar terlihat bahwa ketidaktepatan deteksi corner

6 terjadi pada pertama sekuen video gerak tangan bermarker warna merah dan biru. Pada kedua tersebut marker pada posisi ujung jari tengah tidak terdeteksi. Deteksi corner pada pertama ini berpengaruh terhadap marker yang dapat ditracking dengan tepat. Jumlah marker yang dapat ditracking dengan tepat tiap-tiap pada ketiga sekuen video ditunjukkan oleh diagram pada 8. Perhitungan ketepatan tracking berdasarkan pada posisi titik hasil tracking. Jika posisi titik tersebut berada pada area marker maka tracking dianggap tepat pada marker (marker berhasil di tracking). Jika tidak maka tracking dianggap gagal. Dari ketiga diagram tersebut terlihat bahwa marker yang berhasil ditracking nya tidak tentu dan memiliki kecenderungan semakin sedikit nya seiring dengan bertambahnya yang ditracking. Jika dianalisa hal tersebut dapat disebabkan karena titik-titik hasil tracking pada suatu digunakan sebagai corner bagi proses tracking pada berikutnya. Sehingga kesalahan tracking suatu titik pada suatu akan berimbas kesalahan pula pada tracking berikutnya. Untuk itu, sebagai eksperimen, dilakukan proses tracking dengan menggunakan proses pengidentifikasian kembali (re-identifikasi) corner setelah proses tracking dilakukan pada se. Perbandingan rata-rata marker yang dapat ditracking tiap pada proses tracking menggunakan proses re-identifikasi setelah n ditampilkan pada Tabel 1 dan Gambar 9. Gambar 7. Hasil deteksi corner pada pertama tiap sekuen video marker marker marker Gambar 8. Jumlah marker yang dapat ditracking dengan tepat tiap-tiap pada ketiga sekuen video Rata-rata marker n Gambar 9. Rata-rata marker yang dapat ditracking pada ketiga sekuen video dengan proses re-identifikasi corner setelah n

7 Tabel 1. Rata-rata marker yang dapat ditracking pada ketiga sekuen video dengan proses re-identifikasi corner setelah n Corporation, Microprocessor Research Labs, n ~ Marker Merah Marker Hijau Marker Biru Kesimpulan Dari hasil penelitian yang telah dilakukan, tampak bahwa penggunaan proses re-identifikasi corner setelah tracking dilakukan pada n meningkatkan rata-rata marker yang berhasil ditracking jika dibandingkan tracking tanpa proses re-identifikasi corner. Rata-rata peningkatannya adalah 1,291 untuk marker merah, 1,418 untuk marker hijau, dan 0,747 untuk marker biru. Begitu pula ketika tracking dilakukan dengan berbasis pada identifikasi corner saja. Nilai rata-rata marker yang berhasil diidentifikasi juga lebih besar, yaitu rata-rata 5,610 dibandingkan 4,319 jika marker ditracking tanpa menggunakan proses reidentifikasi marker. Dengan demikian proses tracking dapat dilakukan hanya dengan menggunakan proses identifikasi corner saja. Sedangkan jika dibandingkan, penggunaan warna marker berbeda, yaitu merah, hijau, dan biru, pada proses tracking ini tidak membuahkan perbedaan hasil yang signifikan. Nilai selisih ratarata marker yang berhasil ditracking terbesar adalah antara marker warna biru dan hijau, yaitu 0,595. Jika dianalisa, perbedaan-perbedaan yang ada lebih disebabkan oleh gerakan-gerakan tangan pada ketiga sekuen video yang tidak persis sama. Daftar Pustaka: Baron, J.L., dan Thacker, N.A., (1995), Tutorial: Computing 2D and 3D Optical Flow, Tina Memo Internal No , Manchester, UK Barron, J., Fleet, D., Beauchemin, S., dan Burkitt, T., (1992), Performance of Optical Flow Techniques, Proc. of the IEEEon Computer Vision and Pattern Recognition, hal Black, M.J., (1992), Robust Incremental Optical Flow, Phd Thesis, Departement of Computer Science, Yale University, New Haven, CT, 1992 Bouguet, J.Y., (2000), Pyramidal Implementation of The Lucas-Kanade Feature Tracker, Intel Bowman, D.A., dan Hodges, L.F., (1999), Formalizing the Design, Evaluation, and Application of Interaction Techniques for Immersive Virtual Environments, Journal of Visual Languages and Computing, Vol. 10, Hal Crawford, C., (2003), Chris Crawford on Game Design, New Riders Publishing, USA. Crowley, J., Berard, F., dan Coutaz, J., (1995), Finger tracking as an input device for augmented reality, IWAGFR 95: International Workshop on Gesture and face recognition, 1995 Davis, J. dan Shah, M., (1994), Visual Gesture Recognition, Vision, Image, and Signal Processing, vol. 141, hal Erol, A. et. al., (2007), Vision-based Hand Pose Estimation: A Review, Computer Vision and Image Understanding, vol. 108, hal Galvin, et. al., (1998), Recovering Motion Fields: An Evaluation of Eight Optical Flow Algorithms, Proc. of British Machine Vision Conference, hal Horn, B.K.P. dan Schunk, B.G., (1980), Determining Optical Flow, AI Memo 572, Massachusetes Institute of Technology, USA Hu, C., Liang, L., Ma, S., dan Lu, H., (2000), Virtual Mouse Inputing Device by Hand Gesture Tracking and Recognition, Proceeding of Third International Conference, Beijing, Cina, 2000 Jo, K.H., Kuno, Y., dan Shirai, Y., (1998), Manipulative gesture recognition using task knowledge for human computer interaction, FG 98: 3 rd International Conference on Face and Gesture Recognition, IEEE Computer Society, Washington DC, USA, 1998 Kim, H., dan Felner, D.W., (2004), Interaction with hand gesture for a back projection wall, CGI 04: Computer Graphics International, IEEE Computer Society, Washigton, USA, 2004 Koike, H., Saito, Y., dan Ozawa, S., (2001), Integrating paper and digital information on

8 enhanceddesk: a method for realtime finger tracking on an augmented desk system, ACM Transaction on Computer Human Interface. Vol. 8(4), hal Lee, J., dan Kunii, T., (1995), Model-based Analysis of hand posture, IEEE Computer Graphics and Applications, Vol. 15, hal Letessier, J., dan Berard, F., (2004), Visual tracking of bare fingers for interactive surfaces, UIST 04: 17 th Annual ACM Symposium on User Interface Software and Technology, NewYork, USA, 2004 Lucas, B. dan Kanade, T., (1981), An Iterative Image Registration Technique With An Application to Stereo Vision, Proc. of DARPA IU Workshop, hal Maggioni, C., (2004), Gesturecomputer history, design, and application, Computer Vision and Human-Machine Interaction, Cambridge, hal Malik, S., dan Laszlo, J., (2004), Visual touchpad: a two-handed gestural input device, ICMI 04: 6 th International Conference on Multimodal Interfaces, ACM Press, NewYork, USA, 2004 Mo, Z., Lewis, J.P., dan Neumann, U., Smartcanvas: a gesture driven intelligent drawing desk system, IUI 05: 10 th International Conference on Intelligent User Interface, ACM Press, NewYork, USA, 2005 Moeslund, T.B. dan Granum E.,(2001), A Survey of Computer Vision-Based Human Motion Capture, Computer Vision and Image Understanding, Vol. 81, hal Noelker, C., dan Ritter, H., (2002), Visual Recognition of Continuous Hand Posture, IEEE Trans. Neural Networks, vol, 15, no. 4, hal O Hagan, R., dan Zelinsky, A.,(1997), Finger track a robust and realtime gesture interface, AI 97: 10 th Australian Joint Conference on Artificial intelligence, Springer-Verlag, London, UK, 1997 O Hagan, R., Zelinsky, A.,dan Rougeaux, S., (2002), Visual gesture interfaces for virtual environments, Interacting with Computers, Vol. 4, hal Oka, K., Sato, Y., dan Koike, H., (2002), Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems, FGR 02: Fifth IEEE International Conference on Automatic Face and Gesture Recognition, IEEE Computer Society, Washington DC, USA, 2002 Pernkopf, E., (1989), Pernkopf s Anatomy, Vol. 2, 2 nd ed., Urban & Schwarzenberg Segen, J., dan Kumar, S., (1998), Gesture VR: vision-based 3D interface for spatial interaction, Sixth ACM International Conference on Multimedia, ACM Press, NewYork, USA, 1998 Usabiaga, J.H., (2005), Global hand pose estimation using multiple camera ellipse tracking, Thesis Master, Department of Computer Science, University Of Nevada, Reno, 1995