FITUR LENGTH OF EDGE DAN MOMENT INVARIAN UNTUK GESTURE RECOGNITION DENGAN MENGGUNAKAN KINECT UNTUK KONTROL LAMPU

Transkripsi

1 Jurnal Teknologi Inforasi dan Ilu Koputer (JTIIK) Vol., No. 1, April 015, hl FITUR LENGTH OF EDGE DAN MOMENT INVARIAN UNTUK GESTURE RECOGNITION DENGAN MENGGUNAKAN KINECT UNTUK KONTROL LAMPU Rekyan Regasari MP, ST., MT. 1, Budi Dara Setiawan, S.Ko., M.Cs., Issa Arwani, S.Ko., M.Sc. 3 1,,3 Progra Teknologi Inforasi dan Ilu Koputer Universitas Brawaya Eail: 1 rekyan.rp@ub.ac.id, s.budidara@ub.ac.id, 3 issa.arwani@ub.ac.id (Naskah asuk: 9 Januari 015, diteria untuk diterbitkan: 17 Februari 015) Abstrak Teknologi Kinect adalah teknologi yang dikebangkan untuk gae. Kinect eungkinkan peain gae engontrol perainan dengan enggunakan gerakan dan suara. Hal ini dikarenakan di dala Kinect terdapat 3 hardware yang bekerja bersaa-saa. Tiga hardware tersebut yaitu color VGA video caera, sensor kedalaan, dan ulti array icrophones. Karena itu, penelitian ini encoba engebangkan sensor Kinect untuk keperluan endeteksi telapak tangan dan gesturnya untuk digunakan sebagai kontrol lapu. Hal ini dilakukan dengan enabahkan beberapa proses pengolahan citra. Pengenalan telapak tangan, enggunakan sensor VGA caera dan depth caera dala Kinect. Ketika seorang pengguna enjulurkan tangannya kearah sensor, keudian engangkat jarinya aka progra akan bereaksi. Jika jari yang diangkat aka progra akan engaktifkan saklar pada. Sedangkan jika 5 jari yang diangkat, aka progra akan engaktifkan saklar hidup. Dala penelitian ini ada fitur yang digunakan dan dibandingkan hasilnya. Fitur yang digunakan adalah fitur Moent Invariant dan Length of Edge. Hasil lebih baik diberikan jika pengenalan dilakukan dengan enggunakan Length of Edge. Dari seluruh data uji yang dipakai, untuk pengenalan dengan enggunakan fitur Length of Edge, akurasi aksial diperoleh sebesar 100%, sedangkan dengan enggunakan fitur Moent Invariant, akurasi aksial diperoleh sebesar 80%. Kata kunci: Moent Invarian, Length of Edge, gesture telapak tangan Abstract Kinect is a technology developed for gae. Kinect allows players to control gae play by using oveent and sound. This is because Kinect has 3 hardware that work together. The three hardware are VGA video caera, depth sensor and ulti-array icrophones. Therefore, this study attepts to use Kinect sensor for detecting the pal's gestures and use the as a light control. This is done by adding soe iage processing technique. The pal's gesture detection is done by using the VGA caera and depth caera in Kinect Sensor. When a user sticking his hand out and raise his fingers, then progra will gives response. If fingers are raised, progra will activate off switch, while if 5 fingers are raised, progra will activate on switch. There are two features are used in this study, and the results are copared. The features are Moent Invariant and Length of Edge. Better results given by recognition using the Length of Edge. Fro all the test data used, recognition using Length of Edge give 100% accuracy, while recognition using Moent Invariant features, give 80% in acuracy. Keywords: Moent Invarian, Length of Edge, pal gesture 1. PENDAHULUAN Kinect adalah perangkat yang dicipatakan untuk keperluan gae (perainan). Kinect dapat endeteksi gerakan pada tubuh anusia untuk engontrol perainan. Meskipun deikian, karena keapuannya untuk engenali gerakan tubuh itu, Kinect bisa digunakan untuk engontrol perangkat keras lainnya. Keapuan yang diiliki Kinect dikarenakan terdapat 3 inovasi hardware yang bekerja bersaa-saa di dala sensor Kinect. Sensor-sensir tersebut adalah color VGA video caera, sensor kedalaan, dan ulti array icrophones. 73 Beberapa penelitian yang enggunakan teknologi Kinect ini adalah penelitian oleh Irfan, 013, yang enggunakan Kinect untuk eandu robot huanoid yang telah dirancang. Seentara itu Achad Teguh Wibowo dkk pada tahun 013, eneliti jarak terbaik untuk enggunakan Kinect. Kinect dapat engenali gerakan tubuh dengan baik dengan jarak inial antara Kinect dengan tubuh adalah ± 0.84 dan jarak aksialnya adalah ± Di penelitiannya, Ia engunakan Kinect untuk enyalakan LED pada port yang diinginkan dengan enggunakan gerakan tubuh. Penelitian serupa yang sudah pernah dilakukan juga, yaitu penelitian enggunakan Kinect untuk endeteksi gerakan telapak tangan sebagai saklar

2 74 Jurnal Teknologi Inforasi dan Ilu Koputer (JTIIK), Vol., No. 1, April 015, hl lapu. (Regasari, 015). Dala penelitian tersebut, citra telapak tangan yang diabil dengan Kinect de ekstrak fiturnya dan keudian dilakukan klasifikasi. Fitur yang digunakan adalah Moent Invarian. Hasil yang diperoleh dari penelitian tersebut adalah akurasi sebesar 80%. Penelitian ini berusaha engebangkan pengenalan telapak tangan yang sudah pernah dilakukan sebelunya. Jika pada penelitian Regasari, 015 enggunakan fitur Moent Invarian, pada penelitian kali ini akan dibandingkan hasilnya jika enggunakan fitur Length of Edge. Ujicoba dilakukan dengan enggunakan prototype berupa software berbasis windows untuk ensiulasikan lapu pada dan enyala. Windows enyediakan SDK untuk ebuat kode progra yang terkoneksi dengan Kinect. Panduan ebuat progra berbasis windows untuk Kinect bisa dilihat pada (Catuhe, 01). Masalah yang diruuskan dala penelitian ini adalah: (1) Bagaiana endeteksi gestrur telapak tangan dengan enggunakan sensor Kinect. () Bagaiana hasil akurasi deteksi gesture dengan Kinect, ketika enggunakan fitur Moent Invariant dan Length of Edge.. KINECT Kinect adalah perangkata yang dibuat oleh Microsoft untuk erubah cara berain seseorang di dala perainan yang biasanya hanya enggunakan joystick, sekarang dapat berinteraksi dengan perainan dengan enggunakan gerakan badan (Zeng, 01). Kinect apu eningkatkan interkasi dengan peain karena eiliki 3 sensor, yaitu: depth sensor, color caera, dan, four-icrophone array. (Zeng, 01). Bentuk Kinect dapat dilihat dala Gabar MOMENT INVARIAN Moen Invarian dikenalkan oleh Hu pada tahun 196 yang erupakan fungsi nonlinear yang invarian terhadap rotasi, translasi dan skala. (Gonzales, R.and R. E. Wood. 00) Moen dapat enggabarkan area suatu objek, posisi, orientasi dan paraeter terdefinisi lainnya. Persaaan dasar dari oen suatu objek didefinisikan sebagai seperti di persaaan (1). x i y (1) (Flusser, Jan and Toas Suk, 009). Paraeter (i + j) adalah order dari oent, x dan y enyatakan koordinat titik pixel, sedangkan a xy enyatakan intensitas titik pada koordinat (x,y). Moen tingkat ke-0 (zero order oent dilabangkan dengan 00 ) dan ke-1 (first-order oents dilabangkan dengan 01 dan 10 ) didefinisikan sebagai persaaan (), (3), dan (4). 00 a xy () j a 10 x. a xy 01 y. a xy xy (3) (4) (Flusser, Jan and Toas Suk, 009) Pada citra biner, a xy akan bernilai 0 atau 1. Jika objek dari suatu citra bernilai 1, dan latar blakangnya bernilai 0, aka oent tingkat ke-0 ( 00 ) enggabarkan area dari objek. Untuk encari titik pusat dari area atau asa (centroid) digunakan persaaan (5). ' x 10 dan y ' (5) (Flusser, Jan and Toas Suk, 009) 01 dengan (x,y ) erupakan pusat koordinat dari objek. Moen pusat (central oent) adalah oen yang bersesuaian dengan pusat area, didefinisikan pada persaaan (6). ' i ' j x x y y axy (6) (Flusser, Jan and Toas Suk, 009) Gabar 1. Kinect untuk Xbox. (a) Kinect untuk Xbox 360. (b)beberapa sensor dala Kinect suber: Zeng, 01 dan oen pusat yang ternoralisasi dinyatakan dengan persaaan (7). 00 (7) (Flusser, Jan and Toas Suk, 009) i j 1, dengan dan (i+j) (oen tingkat ke-1 adalah selalu invarian).

3 Rekyan, dkk, Gesture Recognition Dengan Menggunakan Kinect Untuk Kontrol Lapu 75 Dari oen ternoralisasi pada persaaan (7), sekupulan oen-oen Invarian (invariant oents) dapat didefinisikan. Moen-oen ini sangat berguna dala ebuat vektor ciri untuk pengenalan objek. Ada 7 buah nilai oen yang dabarkan dari persaaan (8) hingga (14) (8) (9) (10) (Flusser, Jan and Toas Suk, 009) (11) (1) (13) (14) Tujuh nilai Moent Invarian tersebut adalah invarian terhadap transforasi citra terasuk di dalanya skala, translasi dan rotasi. Bagaianapun juga tujuh Moen Invarian ini tidak invarian terhadap perubahan kontras. 4. LENGTH OF EDGE Pada penelitian ini, diperkenalkan fitur Length of Edge, yaitu fitur yang enggabarkan panjang tepian dari sebuah objek pada citra. Satuannya adalah pixel. Fitur ini didapatkan dengan cara enghitung banyaknya pixel yang erupakan tepian objek, atau keliling dari sebuah objek. Penjelasannya bisa dilihat seperti dala Gabar Gabar. Fitur Length of Edge Pada Gabar, angka 1 enunjukkan tepian dari objek. pada gabar tersebut, fitur Length of Edge-nya sebesar 15. Fitur ini dipilih sebab gestur tangan yang digunakan elibatkan jari. Panjang tepian objek tangan dengan 5 jari terbuka akan eiliki panjang tepian yang lebih panjang jika dibandingkan dengan objek tangan yang digengga. Tentunya ukuran tangan yang digunakan harus saa, untuk itu perlu dilakukan penyekalaan objek tangan ke dala ukuran yang seraga. 5. METODE PENELITIAN Metode untuk endeteksi telapak tangan, enggunakan etode yang saa dala penelitian Regasari tahun 015, yaitu enggunakan sensor depth caera dan RGB caera pada Kinect. Depth caera dapat endeteksi tingkat kedalaan (jarak relatif) objek-objek yang ditangkap dala sensor ini. Sedangkan rgb caera adalah kaera biasa, yang enangkap gabar dan enterjeahkannya ke dala warna dasar yaitu: erah, hau dan biru. Dari kedua sensor tersebut akan diabil citra telapak tangan. Citra telapak tangan akan bisa terdeteksi pada progra, jika pengguna enjulurkan tangannya kearah sensor. Warna kulit dideteksi dengan enggunakan RGB caera. Dan agar yang terabil hanya telapak tangan saja, aka pengguna diharuskan enjulurkan telapak tangannya ke arah sensor, dan dideteksi dengan enggunakan depth caera. Prinsip kerjanya adalah, sensor akan enagkap warna kulit yang terdekat. Jika pengguna enjulurkan telapak tangannya, aka hanya tepak tangannya yang terlihat, wajah dan lengannya tidak akan terlihat, sebab posisinya lebih jauh dari telapak tangan. Setelah bentuk telapak tangan didapat, citra tersebut dipotong (crop) dan diubah ukurannya (resize) sehingga objek tangan akan eenuhi citra. Ketentuannya adalah: 1. Ukuran pixel dari citra yang digunakan harus tetap. Dala penelitian ini, ukurannya diubah enjadi 85 x 85 pixel.. Gabar tangan harus eenuhi citra (stretch). Artinya ujung atas tangan berada di ujung atas citra, ujung bawah tangan berada di ujung bawah citra, dan begitu juga dengan ujung kiri dan kanannya. Langkah selanjutnya adalah engekstraksi fitur Moent Invarian dan lengt of edge. Penelitian ini enggunakan dua aca gestur. Gesture tersebut bisa dilihat pada gabar 3. Dari citra telapak tangan yang diperoleh, keudian diolah, untuk endapatkan fitur. Fitur-fitur yang diperoleh digunakan untuk pengenalan bentuk. Dala penelitian ini, fitur yang digunakan adalah oent inverian, dan Length of Edge (panjang tepian objek).

4 76 Jurnal Teknologi Inforasi dan Ilu Koputer (JTIIK), Vol., No. 1, April 015, hl (a) (b) dikarenakan, walaupun wajah, leher, dan lengan eiliki warna yang saa dengan telapak tanga (warna kulit), tetapi letaknya jauh dibelakang telapk tangan. Gabar 3. Gabar gesture tangan yang digunakan dala penelitian; (a) gesture enyala; (b) gesture pada Pada tahap perancangan dibuat desain pengenalan gestur, dan desain software siulasi serta desain pengujian. Rancangan siste secara uu ditunjukkan oleh Gabar AKUSISI CITRA TELAPAK TANGAN Pada penelitian ini, sensor Kinect yang digunakan adalah sensor Kinect for Xbox. Di dala sensor Kinect ini terdapat beberapa sensor, dan yang dipergunakan dala penelitian ini adalah RGB caera dan depth caera. RGB caera digunakan untuk engabil gabar yang eiliki warna kulit. Referensi warna kulit yang digunakan, engabil hasil penelitian oleh Lin, Chiunhsiun tahun 005. Sedangakan depth caera digunakan untuk engabil gabar-gabar yang erupakan warna kulit, tetapi yang paling dekat dengan posisi Kinect berada. Ini berarti, jika seseorang enjulurkan tangannya kearah Kinect, aka wajah, leher, dan lengannya tidak akan tertangkap kaera. Hal ini 7. EKSTRAKSI FITUR Pada penelitian ini ada fitur yang digunakan, dan diujicoba secara terpisah, yang pertaa adalah fitur dengan enggunakan Moent Invariant, dan yang kedua adalah enggunakan Length of Edge atau panjang pixel dari tepian objek tangan Moent Invarian Dala proses engenali gesture, setiap gesture tangan akan dicari 7 nilai oen invariannya. Tujuh nilai oen ini keudian akan diukur jaraknya dengan nilai oent yang diiliki oleh data latih data latih yang sudah ada. Jarak diukur dengan enggunakan ruus Euclidean distance. Nilai data latih yang terdekat akan diadopsi sebagai hasil. Naun sebelu pengukuran jarak dilakukan. Setiap nilai oent dinoralisasi dulu dengan enggunakan nilai log absolute dari nilai aslinya. Persaaannya bisa dilihat pada persaaan (15) noral = log(abs(nilai oent)) (15) 7.. Length of Edge Pada pengukuran Length of Edge, yang diukur adalah julah pixel putih yang ada pada tepian tangan. Dasar peikirannya adalah jika 5 jari terangkat, aka panjang tepiannya akan seakin panjang, jika dibandingkan dengan ketika hanya jari yang terangkat. Metode ini eiliki batasan agar bisa berhasil diterapkan, antara lain: Gesture tangan diarahkan ke sensor Pengabilan citra tangan Gesture tangan Depth caera dan rgb caera pada kinect Ektraksi fitur dengan oent invarian NYALA/ PADAM Cocokkan dengan data training MOMENT INVARIAN: E E E E E E- Ekstraksi fitur dengan length of edge Cocokkan dengan threshold Length of edge: 1670 px Gabar 4. Bagan alir proses penelitian

5 Jurnal Teknologi Inforasi dan Ilu Koputer (JTIIK) Vol., No. 1, April 015, hl Ukuran pixel dari citra yang digunakan harus tetap. Dala penelitian ini, ukurannya diubah enjadi 85 x 85 px.. Gabar tangan harus eenuhi citra (stretch). Artinya ujung atas tangan berada di ujung atas citra, ujung bawah tangan berada di ujung bawah citra, dan begitu juga dengan ujung kiri dan kanannya. Dari beberapa kali percobaan, didapatkan bahwa, untuk ukuran citra 85 x 85, jika kelia jari diangkat, panjang tepiannya akan lebih besar dari 1550 px. Maka angka inilah yang enjadi nilai threshold. Artinya, jika sebuah citra tangan diukur fitur Length of Edge-nya, keudian didapatkan angka lebih dari 1550 px, aka artinya kelia jari terbuka. 8. IMPLEMENTASI Ada dua skenario yang dilakukan dala penelitian ini. Yang pertaa adalah skenario untuk enguji tentang jenis fitur yang digunakan. Hal ini untuk engetahui fitur ana yang enghasilkan hasil yang lebih baik, oen ivariant atau Length of Edge. Skenario yang kedua adalah dengan encoba tangan dari orang yang berbeda. Skenario kedua ini diujikan untuk hasil yang terbaik pada skenario pertaa, sehingga nanti kita bisa elihat, apakah fitur tersebut reliable terhadap perbedaan tangan. Persentase akurasi didapat dari persaaan (16) julah pengenalan yang benar julah total uji coba x 100% (16) Hasil ipleentasi progra untuk elakukan pengujian dapat dilihat pada gabar 5. Gabar 5 Hasil ipleentasi 1 Menyala Menyala 1 Pada Menyala 0 3 Meyala Menyala 1 4 Menyala Menyala 1 5 Menyala Menyala 1 6 Pada Pada 1 7 Pada Pada 1 8 Pada Pada 1 9 no coand Pada 0 10 Pada Pada Pengujian dengan Length of Edge Dari tabel terlihat bahwa hasil akurasinya adalah 13/13 x 100% = 100% benar. hal ini disebabkan karena eang dala beberapa kali percobaan, seua nilai Length of Edgenya berada diatas threshold untuk gesture ati, dan berada di bawah threshold untuk gesture enyala. Taber. Hasil pengujian dengan length of edge Length Noor of Hasil yang Hasil Gesture Edge diharapkan (pixel) Tabel 1. Hasil pengujian dengan Moent Invarian Noor Hasil Yang Kebenaran Hasil gesture Diharapakan Kebenaran Mati Mati Mati Mati Mati Mati Mati Mati Mati Mati Mati Mati Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala 1 9. HASIL DAN PEMBAHASAN 9.1. Pengujian dengan Moent Invarian Berdasarkan tabel 1, didapatkan akurasi sebesar 8/10 x 100% = 80%. Dari dua percobaan yang salah, salah satunya salah deteksi (gesture no ), dan yang satu lagi tidak dapat engenali (gesture no 9) Pengujian Length of Edge dengan orang yang berbeda. Untuk pengujian dengan orang yang berbeda, hasilnya dapat dilihat pada tabel 3. Ternyata tabel tersebut enunjukkan hasil yang baik. Percobaan dapat enghasilkan akutrasi yang baik karena nilai Length of Edgenya juga sesuai dengan yang diharapkan. Hal ini dapat terjadi karena proses resize yang dilakukan. Dengan adanya resizing, aka ukuran telapak tangan akan selalu saa, eskipun orangnya berbeda. Naun perlu dicatat bahwa gestur yang digunakan untuk ebedakan enyala dan

6 78 Jurnal Teknologi Inforasi dan Ilu Koputer (JTIIK), Vol., No. 1, April 015, hl pada, bentuknya berbeda jauh. Dua jari untuk enyala, dan lia jari untuk pada. Jika engangkat 4 jari, bisa jadi hasilnya akan berbeda, sehingga perlu dilakukan pengukuran ulang terhadap threshold yang digunakan. Tabel 1 Hasil pengujian fitur Length of Edge pada orang yang berbeda Length Noor Hasil yang Kebenaran of Hasil Gesture diharapkan Edge Mati Mati Mati Mati Mati Mati Mati Mati Mati Mati Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala Menyala 1 Keterbatasan dari fitur length of edge ini adalah sangat tergantung dengan ukuran citra yang digunakan. Ukuran citra yang berubah akan enyebebkan threshold yang digunakan juga berubah. Besarnya tentu harus elalui percobaan kebali. Hal ini berbeda dengan fitur Moent Invariant yang tidak dipengaruhi (infarian) dengan ukuran. 11. DAFTAR PUSTAKA Catuhe, D. 01. Prograing With the Kinect For Windows Software Developent Kit. Microsoft Press. Irfan, Shahrul, Juni 013, Kinect Controlled Huanoid Robot Based On Huan Body Gesture. Regasari, R., Setiawan, B.D., Arwani, I., 015, "Moent Invariant Untuk Pengenalan Citra Telapak Tangan Dari Kinect". Konferensi Nasional Siste Inforasi 015 (KNSI015), Manado. Wibowo, Achad Teguh, dkk, Juni 013, Teknologi Natural User Interface Menggunakan Kinect sebagai Peicu Kerja Perangkat Keras bebasis Fuzzy Inference Syste, Jurnal EECCIS vol 7 no 1. Flusser, Jan and Toas Suk Moent and Moent Invarian in Pattern Recognition. Prague, Czech Republic: WILEY. Gonzales, R.and R. E. Wood. 00. Digital Citra Processing, Second Edition., New Jersey: Prentice Hall, Inc. Zeng, W., 01, Microsoft Kinect Sensor and Its Effect, IEEE MultiMedia, April-June KESIMPULAN Dari ipleentasi dan percobaan yang telah dilakukan dapat disipulkan sebagai berikut: 1) Pada penelitian ini, untuk endapatkan gabar telapak tangan, digunakan sensor berupa RGB caera dan depth caera. Sedangakan fitur yang digunakan untuk engenali adalah fitur oen invarian untuk percobaan pertaa, dan fitur Length of Edge untuk percobaan kedua. ) Pada percobaan dengan fitur Length of Edge, ukuran gabar harus saa, sehingga perlu dilakukan resizing. Nilai threshold optial yang digunakan adalah sebesar 1550 pixel. Tingkat akurasi pengenalan gestur tangan untuk enyalakan lapu tergantung dari fitur pengenalan yang digunakan. jika enggunakan fitur oen invarian, nilai akurasi aksialnya adalah sebesar 80% dan dengan enggunakan Length of Edge tingkat akurasinya sebesar 100%.