VIRTUAL POINTER UNTUK IDENTIFIKASI ISYARAT TANGAN SEBAGAI PENGENDALI GERAKAN ROBOT SECARA REAL-TIME M.Isa Iraan dan Edi Satriyanto bidang Ilmu Komputer- jur. Matematika FMIPA - ITS Politeknik Elektronika Negeri Surabaya (PENS) mii@its.ac.id edi@eepis-its.edu ABSTRAK Banyak penelitian sebelumnya berrhubungan dengan human robot interface interaksi manusia dengan robot menggunakan isyarat tangan sebagai bahasa tubuh manusia. Isyarat tangan yang digunakan dalam penelitian ini isyarat tangan bergerak yang berbentuk tangan menunjuk Untuk identifikasi isyarat tangan faktor yang paling penting adalah kemampuan membedakan tangan dengan obyek lain berdasarkan arna kulitnya. Metode untuk mendeteksi arna kulit tangan adalah Fuzzy C-Means(FCM) yang memiliki kemampuan memperbaiki pusat cluster dan nilai keanggotaan tiap data secara berulang dengan meminimumkan fungsi obyektif sehingga pusat cluster akan bergerak menuju lokasi yang tepat. Hasil metode moving detection 9.07944% dalam detik obyek bergerak mampu mendeteksi pergerakan obyek secara baik. Skin detection dengan Fuzzy C-Means(FCM) keberhasilan 90.834% mampu melakukan segmentasi arna kulit dan bukan kulit secara realtime.identifikasi isyarat pola tangan dengan rule base tingkat keberhasilannya 86.67%. Identifikasi hasil virtual hand riting menggunakan jaringan syaraf tiruan metode LVQ sebagai perintah untuk mengendalikan robot tingkat keberhasilannya mencapai 79.%. Keyord : Human robot Interface FuzzyC-Mean (FCM) Jaringan syaraf tiruan LVQ.. Latar Belakang Interaksi manusia dengan robot tidak harus dalam jarak yang dekat tetapi justru perkembangan robot saat ini harus mampu beriteraksi dengan manusia sebagai pengendalinya leat jarak yang cukup jauh [5]. Robot dikendalikan dengan jarak jauh dengan maksud agar keamanan manusia yang berinteraksi dengan robot dapat terjaga [5] selain itu memberikan kemudahan bagi manusia untuk mengendalikan robot yang dimilikinya tanpa terbatas jarak dan aktu. Suatu contoh robot penjinak bom atau robot perang maka interaksi manusia dengan robot harus dalam jarak yang cukup jauh sehingga jika terjadi salah deteksi tidak berakibat fatal bagi pengendalinya artinya robot robot yang memiliki resiko merusak kurang tepat jika dikendalikan dalam jarak dekat sebagai alat komunikasinya. Pengendalian robot masih banyak di operasikan secara manual atau masih sangat tergantung dari alat pengendalinya tanpa alat pengendali kebanyakan robot tidak bisa bekerja seperti yang diharapkan. Robot sulit berinteraksi dengan manusia secara langsung sehingga perlu dikembangkan bagaimana robot tetap bisa berinteraksi dengan manusia [7]. Salah satu alat komunikasi manusia adalah menggunakan isyarat tangan. Untuk tuna icara misalnya isyarat tangan sebagai alat komunikasi utama untuk bisa berinteraksi sehari-hari sebagai media komunikasi [7]. Isyarat tangan juga banyak digunakan sebagai kode isyarat atau sandi untuk mengirim berita atau sebagai system pengaturan seperti dalam system parkir pesaat terbang [9] ada rambu-rambu dari isyarat tangan begitu pula polisi dalam mengatur lalu lintas dan masih banyak lagi. Berdasarkan hal tersebut maka dalam penelitian ini dilakukan pengembangan system agar robot bisa berinteraksi dengan manusia berdasarkan isyarat tangan yang bergerak bukan pola tangan yang diam. Robot harus terlebih dahulu memahami isyarat tangan manusia sebagai symbol-simbol yang telah ditentukan sebagai pengendali robot
tersebut sehingga dibutuhkan pengolahan citra sebagai pembelajaran pola isyarat tangan yang berupa citra tangan dan nantinya digunakan sebagai serangkaian informasi bahasa isyarat sebagai pengendali robot. Indentifikasi isyarat tangan dilakukan secara real-time sehingga pertama-tama dibutuhkan metode untuk mendeteksi obyek yang bergerak akan tetapi obyek yang bergerak tidak hanya tangan sehingga harus diidentifikasi bentuk tangan. Membedakan tangan dan bukan tangan yang harus dilakukan adalah deteksi arna kulit tangan terlebih dahulu menggunakan Fuzzy C-Mean untuk clustering arna kulit tangan. Sedangkan pola bentuk tangan dapat digunakan integral proyeksi [9] untuk menentukan bentuk pola tangan sebagai bahasa isyarat yang telah ditentukan. Pergerakan identifikasi isyarat tangan akan menghasilkan suatu bentuk isyarat tangan yang disusun dalam bentuk gambar angka (virtual hand irting) sehingga hasil gambar angka tersebut bisa digunakan untuk mengendalikan robot baik dalam jarak dekat maupun jauh.. Perancangan System Perancangan dan pembuatan sistem identifikasi isyarat tangan sebagai pengendali telerobotik secara real-time dalam penelitian ini adalah sebagai berikut:.. Konfigurasi Sistem Dalam penelitian ini digunakan eb-cam untuk menangkap gambar secara on-line yang di hubungkan dengan komputer. Sebelumnya eb-cam harus memperhatikan intensitas pencahayaan ruangan sehingga arna obyek sesuai dengan arna sebenarnya. Obyek yang ditangkap oleh kamera obyek bergerak selain obyek diam.dalam penelitian ini obyek yang bergerak harus mampu diidentifikasi pergerakannya dengan membandingkan data piel-piel tetangganya.obyek yang bergerak yang digunakan dalam penelitian ini adalahobyek tangan.pertama-tama yang harus dilakukan adalah mendeteksi arna kulit tangan dengan menggunakan Fuzzy C- Means(FCM) keberhasilan deteksi arna kulit sangat penting karena sebagai dasar untuk mengetahui pola tangan yang digunakan untuk melakukan pergerakan tangan yang akan menghasilkan pola angka sampai 6 sebagai perintah pngendali robot secara jarak jauh. Ektrasi ci pola tangan menggunakan integral proyeksi hasil ektrasi dan training diperoleh batasan nilai minimum dan maksimum dari pola tangan menunjuk yang merupakan bentuk tangan yang digunakan dalam penelitian ini. Sehingga dengan rule base pola tangan menunjuk dapat diidentifikasi sesuai dengankriteria berdasarkan hasil training yang telah digunakan.hasil pergerakan tangan yang telah identifikasi menghasilkan pola angka sampai 6 pola angka tersebut di identifikasi dengan menggunakan LVQ salah satu dari metode neural netorkhasil identifikasi pola angka tersebut sebagai perintah gerakan robot sesuai dengan perintah angka sampai 6. Berikut ini adalah blok diagram identifikasi dari penelitian ini: Gambar. Blok diagram identifikasi isyarat tangan Gambar. merupakan blok diagram dari sistem identifikasi isyarat tangan sebagai pengendali telerobotik secara realtime. Dalam penelitian ini selain membuat softare identifikasi isyarat tangan secara real-time yang merupkan human computer interface juga digunakan hardare robot tangan yang telah dimodifikasi sehingga siap menerima perintah sesuai dengan tujuan dalam penelitian ini.
.. Deteksi Pergerakan (Moving Detection ) Penelitian ini menggunakan obyek yang bergerak. Obyek yang bergerak harus mampu terdeteksi pergerakaannya. Metode yang digunakan untuk mendeteksi pergerakan adalah menggunakan algoritma komputasi dengan membandingkan perbedaan antara data piel yang lalu dengan data piel tetangganya pada t aktu..3.fuzzy C-Means(FCM) Obyek yang bergerak dalam penelitian ini adalah tangan menunjuk.untuk mengidentifikasi tangan maka harus dilakukan pengenalan arna kulit tangan yang merupakan dasar dari pengenalan pola tangan menunjuk.metode yang digunakan untuk deteksi arna kulit adalah Fuzzy C- Means(FCM) dengan melakukan pengelompokan jenis arna-arna kulit yang menjadi target arna tangan yang akan diidentifikasi bentuk pola tangannya. FCM adalah suatu teknik pengclusteran data yang mana keberadaan tiap tiap data dalam suatu cluster di tentkan dalam nilai keanggotaan.teknik ini pertama kali di perkenalkan oleh Jim Bezdek pada tahun 98.Konsep dasar FCM pertama kali adalah menentukan pusat cluster.pada kondisi aal pusat cluter ini masih belum akurat.tiap data memiliki derajat keanggotaan untuk tiap tiap cluster.dengan cara memperbaiki pusat cluster dan nilai keanggotaan tiap data secara berulangmaka akan dapat dilihat baha pusat cluster akan bergerak menuju lokasi yang tepat.perulangan ini didasarkan pada minimisasi fungsi obyektif. Fungsi obyek yang di gunakan pada FCM adalah: J (UV;X)= ( ) ( ) d ik= d( k v i )= ( )... m X=...(.3) n... nm Dan V adalah matriks pusat cluster v... v m V= (.4) v c... vcm Nilai J terkecil adalah yang terbaik sehingga : J * (U* V *; X)=min Mfc J(UV;X)...(.5) Teorema. Jika d ik >0 i k; > dan X setidaknya mempunyai c element maka cp (UV) M R dapat meminimisasi J hanya jika: fc /( ) c ; = d ik µ ik = j d jk i c; k n. dan...(.6) n ( µ ik) V k= ij= n ( µ ik) k=..(.7) i c; j m Algoritma FCM diberikan sebagai berikut tentukan :.Tentukan : a. Matriks berukuran nm dengan n = jumlah data yang akan di cluster; dan m= jumlah vcariabel (criteria) b. Jumlah cluter yang akan di bentuk = n c c( ) µ ik dik...(.) c. Pangkat ( pembobot) = (>) k= i= d. Maksimum iterasi=maiter Dengan > e. Kriteria penghentian =ξ (nilai positif m yang sangat kecil) kj v ij (.) f. Iterasi aal t=dan =; j=. Bentuk matriks partisi aal U 0 sebagai adalah data yang akan di cluster berikut :. kj ; 3
U(t)= µ µ... µ c ( t) µ ( t)... µ in( t) ( t) µ ( t)... µ ( t) n... ( t) µ ( t)... µ ( t) c cn..(.8) (matriks partisi aal biasanya dipilih secara acak) 3. Hitung pusat cluster V untuk setiap cluster n ( µ ik) V k= ij= n ( µ ik) k=. kj (.9) 4. Hitung fungsi obyektif pada iterasi ke - t P t : n c m P t = ( ) ( ) ij V kj µ ik..(.) i= k= j= 5. Perbaiki derajat keanggotaan setiap data pada setiap cluster (Perbaiki matriks partisi) sebagai berikut : /( ) c ; = dik µ ik =...(.) j d jk dengan m d ik= d( k v i )= ( kj v ij ) j=..(.3) 6. Cek kondisi berhenti: Jika: ( P t -P t- <ξ) atau (t>maiter) maka berhenti. Jika tidak: t=t+ ulangi langkah 3. Data sample arna kulit yang berupa nilai RGB dilakukan pengelompokan menjadi beberapa kelompok sehingga diperoleh kelompok tangan yang menjadi sasaran dalam penelitian ini.beberapa sample arna kulit adalah sebagai berikut : Gambar : Sample arna kulit tangan.4. Integral Proyeksi Warna kulit tangan yang teridentifikasi selanjutnya harus dilakukan pengenalan bentuk pola tangannya.bentuk pola tangan menunjuk terlebih dulu dilakukan ektrasi ciri dengan integral proyeksi.integral proyeksi merupakan salah satu teknik ekstrasi ciri dari pola gambar dengan mengetahui besarnya itensitas dari piel pada lokasi (y) sehingga untuk melakukan ekstrasi ciri dari pola dilakukan secara vertikal dan horisontal.[9]. Integral proyeksi secara vertikal IPF v () dan integral proyeksi horisontal IPF h (y) dari suatu intentitas I(y) pada interval [y y ] dan [ ] dapat di di jabarkan sebagai berikut : y IPF ( ) = I( y) dy...(.3) v y IPF ( y) = I ( y) d...(.4) h Selain itu integral proyeksi secara vertikal dan horisontal bisa digunakan nilai rataratanya seperti di jabarkan sebagai berikut : y IPF v ( ) = I( y) dy...(.5) ( y y ) IPF h ( y) = I( y) d...(.6) ( ) Dari ekstrasi dengan integral proyeksi akan diperoleh beberapa sample ektrasi ciri dari pola tangan menunjuksehingga dengan menggunakan rule base berdasarkan nilai minimum dan maksimum dari masingmasing ektrasi ciri maka identifikasi isyarat tangan akan dapat diproleh..5. Learning Vektor Quantization (LVQ) Hasil pergerakan tangan yang dinamik menghasilkan suatu pola tulisan angka (virtual hand riting).pola angka sampai 6 y 4
tersebut dilakukan identifikasi dengan Learning Vektor Quantization (LVQ) sebagai perintah pendendali robot secara jarak jauh.. LVQ adalah suatu metode neural netork untuk melakukan pembelajaran pada lapisan kompetitif yang teraasi. Suatu lapisan kompetitif akan secara otomatis belajar untuk menklasifikasikan vektorvektor input. Kelas-kelas yang didapatkan sebagai hasil dari lapisan kompetitif ini hanya tergantung pada jarak antara vektorvektor input[]. Jika vektor input mendekati sama maka lapisan kompetitif akan meletakan kedua vektor input tersebut ke dalam kelas yang sama.arsitektur LVQ seperti pada gambar.8. Gambar 4. Arsitektur LVQ Neural Net Gambar 5. Deteksi Obyek Bergerak Secara visual pada gambar diatas obyek yang tidak bergerak tidak terlihat dalam eb kamera karena dianggap bukan target obyek akan tetapi untuk obyek yang bergerak seperti obyek tangan diatas dapat diidentifikasi pergerakannya. Akhurasi deteksi pergerakan obyek berdasarkan kecepatan pergerakan dengan banyaknya obyek yang bisa ditangkap oleh kamera table deteksi pergerakan seperti dalam table dibaah ini: Tabel : Deteksi pergerakan 3.Analisis Hasil dan Implementasi 3..Deteksi Pergerakan Yang pertama dilakukan dalam penelitian ini obyek yang bergerak yang akan menjadi dasar penelitian karena isyarat tangan yang akan diidentifikasi nantinya isyarat tangan yang bergerak. Bila ada obyek bergerak baik berupa tangan atau obyek yang lainnya maka perubahan dari piel saat itu dengan piel sebelumnya akan diperoleh suatu nilai yang menjadi deteksi pergerakan suatu obyek. Secara visual obyek yang bergerak dapat dilihat seperti pada gambar berikut: Dari table diatas maka rata-rata 9.07944% dalam kecepatan aktu detik obyek yang bergerak dapat ditangkap dalam kamera dengan baik dan rata-rata 63.639% obyek yang bergerak dapat dideteksi dalam aktu 5
0.5 detik 64.58486% rata-rata obyek yang bergerak dalam.5 detik dapat ditangkap pergerakkannya dan 44.9778% rata-rata obyek yang bergerak dalam detik dapat tertangkap pergerakannya oleh kamera. Sedangkan secara grafik deteksi pergerakan dari table diatas adalah sebagai berikut : Centroid Cluster untuk komposisi nilai RGB adalah sebagai berikut : Variabel R G B Cluster : 50.0985 77.377 5.793 Cluster : 50.7088 46.770 53.865 Cluster 3: 96.908 98.338 04.787 Cluster 4: 48.0088 49.6473 48.0593 Cluster 5: 7.7786 9.8867 35.5949 Prosentase Deteksi pergerakan 0 P ro s e n ta s e o b y e k g e r a k 00 80 60 40 0 Rata Min Ma 0 0.5.5 t(aktu) Gambar 6.. Grafik deteksi pergerakan 3..Deteksi arna kulit Obyek yang bergerak didepan aplikasi yang dibangun tidak hanya tangan sehingga setelah mendeteksi obyek yang bergerak maka untuk mengetahui obyek tangan dalam penelitian ini digunakan kulit tangan sebagai segmentasi obyek tangan.berdasarkan sample kulit tangan dan bukan kulit tangan dilakukan cluster menggunakan Fuzzy C-Mean Clustering untuk membedakan kulit tangan dan bukan tangan. Untuk mengetahui obyek yang dideteksi dekat dengan cluster tertentu maka digunakan ecluidean sebakai ukuran kesamaan. Dalam pengujian dilakukan pada semua obyek yang dianggap bukan kulit dan semua obyek yang dianggap kulit tangan sehingga prosentasi tiap piel RGB yang termasuk cluster kulit dapat diukur. Berdasarkan hasil percobaan maka dengan jumlah cluster sebanyak 5 diperoleh sebagai berikut: o Jumlah Cluster n=5 Gambar 7. Uji kulit pada 5 Cluster Dari hasil pengujian obyek bukan kulit kebenaran rata-rata 00% termasuk cluster bukan kulit dan 0% salah masuk ke cluster kulit. Sedangkan dari hasil pengujian obyek kulit maka rata-rata kebenaran masuk pada cluster kulit 90.834% dan 9.6956% salah cluster. Hasil cluster tersebut diaplikasikan untuk membedakan mana kulit dan bukan kulit sehingga semgmetasi obyek dapat diperoleh secara visual terlihat sebagai berikut : Gambar 8. Uji segmentasi kulit tangan Secara grafik hasil pengujian skin deteksi menggunakan jumlah cluster 5 sebagai berikut : 6
95 Hasil Skin Deteksi 9.97 9.975 9.97 9.975 9.975 Presentase deteksi 90 85 80.9 80 75 70 3 4 5 6 Sample : Gambar 9. Hasil skin deteksi cluster=5. 3.3.Deteksi pola bentuk tangan Dalam penelitian ini obyek yang tertangkap oleh eb camera yang termasuk arna kulit dimungkinkan juga ada obyek yang lain yang dekat dengan kulit tangan. Sehingga harus dibedakan obyek tangan tidak hanya berdasarkan arna kulitnya saja tetapi juga berdasarkan pola bentuk tangan. Menggunakan integral proyeksi pola bentuk tangan untuk tangan bertelunjuk dapat dilihat pola bentuk gambarnya baik yang dihasilkan secara integral proyeksi secara vertikal maupun secara horisontal. Hasil secara visual menggunakan integral proyeksi sebagai berikut : Berdasarkan tabel tersebut maka 86.67% deteksi pola tangan sesuai dengan target yang diharapkan. 3.4. Deteksi pola gambar pergerakan tangan sebagai pengendali robot Hasil identifikasi pergerakan tangan yang dimaksud menghasilkan suatu pola gambar angka yang ditampilkan dalam layar monitor sebagai virtual hand riting hasil dari virtual hand riting dilakukan identifikasi. Secara visual seperti sebagai berikut : Gambar : Virtual hand riting sebagai pola gambar angka dan Gambar 0: Integral proyeksi pada pola tangan bertelunjuk. Tabel. Hasil identifikasi pola tangan Gambar : Virtual hand riting sebagai pola gambar angka 3 dan 4 7
Gambar 3: Virtual hand riting sebagai pola gambar angka 5 dan 6 Berdasarkan pengujian terhadap angka yang belum dikenali seperti dalam tabel dibaah ini : Tabel 3.3.Pengujian terhadap pola angka Gambar 4. Hasil gerakan robot penelitian (a) membuka (b) memutar pergelangan tangan berlaan jarum jam (c) memutar pergelangan tangan searah jarum jam (d) mengangkat lengan (e) menurunkan lengan (f) Mengangkat bahu. Seperti dari hasil pengujian tersebut maka ada 79.% pola angka dapat dikenali sesuai dengan target yang dimaksud. sehingga dapat digunakan sebagai perintah untuk mengendalikan robot secara jarak jauh.hasil aplikasi pada robot untuk perintah pola gerakan tangan dalam angka tiga robot melakukan gerakan memutar pergelangan searah jarum jam. 4.. Kesimpulan Berdasarkan pada hasil analisa dan implementasi dapat disimpulkan sebagai berikut:. Hasil deteksi pergerakan obyek (moving detection) dalam area kamera yang mampu dideteksi dengan baik adalah aktu detik sebesar 9.07944%. Untuk aktu yang lebih kecil dari detik atau lebih besar dari detik tingkat keberhasilannya bertambah rendah.. Hasil deteksi arna kulit menggunakan Fuzzy C-Mean(FCM) pada jumlah cluster 5 mampu melakukan identifikasi arna kulit sebesar kulit 90.834% sedangkan dalam membedakan latar obyek dapat melakukan identifikasi 00% dengan latar obyek yang mendekati arna putih makin sedikit jumlah cluster maka latar belakang obyek makin 8
sedikit variasi yang mampu diidentifikasi sebaliknya makin banyak jumlah cluster maka makin banyak obyek masuk ke cluster latar obyek. 3. Hasil identifikasi pola tangan dimana ekstrasi cirinya digunakan integral proyeksi dengan metode rule base dapat diidentifikasi 86.67%. 4. Hasil gerakan tangan yang telah diidentifikasi menghasilkan virtual hand riting berupa pola gambar angka sampai 6. Dengan LVQ setelah dilakukan pengujian 79.% pola angka dapat dikenali sesuai dengan target 5. Robot dapat dikendalikan secara jarak jauh sesuai dengan pola pergerakan isyarat tangan yang berupa virtual hand riting sebagai perintah yang telah ditentukan. 5. Daftar Pustaka []......47:-3 004. [] / 004. [3]. - 004 [4] - - 005 [5]. 005. [6] ---- - - 999. [7]. - 3- - 004. [8]. * * ** - -- - - -3-5004 [9]. 9
004. [0]. -000. []. - - 998. [] 00. [3]. - 000. [4] 000 [5] - - - 004 0