TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS-KANADE

Transkripsi

1 TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS-KANADE Affan Mahtarami Game Technology NRP:

2 Pendahuluan Perkembangan teknologi menuntut teknik interaksi yang natural Virtual reality, augmented reality, wearable computer

3 Pendahuluan Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural Nonintrusiveness Kaya informasi Murah

4 Tujuan & Manfaat Tujuan: melakukan tracking gerak tangan berbasis marker menggunakan algoritma Pyramidal Lucas-Kanade Membandingkan berdasar warna marker (RGB) Tracking dengan re-identifikasi corner Manfaat:Hasil dari penelitian ini diharapkan dapat diimplementasikan sebagai salah satu teknik interaksi pada beberapa bidang aplikasi

5 Kajian Pustaka Tracking ujung jari Teknik korelasi menggunakan mask berbentuk lingkaran: Koike (Koike, 200), Oka (Oka, 200), dan Letessier (Letessier,2004). Teknik template matching: Crowley (Crowley, 995), dan O Hagan (O Hagan, 997). Menggunakan local-maxima bentuk kurva dari batas-luar (boundary) silhuet tangan: Malik (Malik, 2004), Segen (Segen, 998), dan O Hagan (O Hagan, 2002)

6 Kajian Pustaka Penggunaan marker dalam tracking ujung jari: Maggioni et al. (Maggioni, 998) menggunakan marker berbentuk ellips untuk melakukan estimasi terhadap frame tangan 3D. Usabiaga (Usabiaga, 2005) juga menggunakan marker berbentuk ellips namun dengan menggunakan pendekatan multi-kamera. Kim dan Felner (Kim, 2004) menggunakan marker berwarna putih yang ditempelkan pada ujung jari dengan latar belakang hitam

7 Skema Teknik Interaksi Berbasis Gestur

8 Optical Flow Optical flow adalah perkiraan gerakan suatu bagian dari sebuah citra berdasarkan turunan intensitas cahayanya pada sebuah sekuen citra. Seberapa jauh suatu piksel citra berpindah diantara dua frame citra yang berurutan.

9 Algoritma Lucas-Kanade Algoritma Lucas-Kanade bekerja berdasar pada informasi lokal yang diturunkan dari window kecil (patch) disekeliling titik yang diperhitungkan. Asumsi: Konsistensi pencahayaan Persistensi temporal Koherensi spasial.

10 Algoritma Lucas-Kanade

11 Algoritma Lucas-Kanade

12 Pyramidal Lucas-Kanade

13 Metoda Penelitian tangan kamera Sotware video capture Pengambilan data Sekuen video Identifikasi Corner Pengolahan data Tracking Sekuen video Hasil tracking

14 Pengambilan Data Marker berwarna merah, hijau, dan biru di posisikan pada ujung-ujung jari dan sebuah di pangkal telapak tangan Tangan menghadap kamera

15 Pengolahan Data Dibuat sistem dengan menggunakan software: Bahasa pemrograman: C++ Librari visi komputer :OpenCV Lingkungan pengembangan: Dev-C++

16 Sekuen Video Hasil & Pembahasan

17 Hasil & Pembahasan Identifikasi Corner

18 Hasil dan Pembahasan Deteksi corner pada frame pertama tiap sekuen video

19 Hasil & Pembahasan Tracking

20 Hasil & Pembahasan Rata-rata jumlah marker yang tepat dapat ditracking n ~ Marker Merah Marker Hijau Marker Biru ,000 6,000 5,000 4,000 3,000 2,000 Marker Merah Marker Hijau Marker Biru,000 0, ~

21 Hasil & Pembahasan Peningkatan jumlah marker rata-rata yang berhasil ditracking oleh tracking dengan reidentifikasi corner terhadap tracking tanpa reidentifikasi corner n rata2 Marker Merah Marker Hijau Marker Biru jumlah rata

22 Kesimpulan penggunaan proses re-identifikasi corner meningkatkan jumlah rata-rata marker yang berhasil ditracking jika dibandingkan terhadap tracking tanpa proses re-identifikasi corner Rata-rata peningkatannya adalah,29 untuk marker merah,,48 untuk marker hijau, dan 0,747 untuk marker biru

23 Kesimpulan Penggunaan warna marker berbeda, yaitu merah, hijau, dan biru, pada proses tracking ini tidak memiliki perbedaan hasil yang signifikan Nilai selisih rata-rata jumlah marker yang berhasil ditracking terbesar adalah antara marker warna biru dan hijau, yaitu 0,595