KENDALI GERAK ROBOT BERDASARKAN ISYARAT TANGAN MENGGUNAKAN KOMUNIKASI NIRKABEL

KENDALI GERAK ROBOT BERDASARKAN ISYARAT TANGAN MENGGUNAKAN KOMUNIKASI NIRKABEL Akuwan Saleh 1, Haryadi Amran D 2, Suwito 3 1,2,3 Dept. Teknik Elektro, Prodi Teknik Telekomunikasi Politeknik Elektronika Negeri Surabaya Jl. Raya ITS Sukolilo, Surabaya 60111, Indonesia akuwan@eepis-its.edu, amran@eepis-its.edu, wito@eepis-its.edu Abstrak Pada umumnya pengendalian gerakan robot menggunakan tombol-tombol atau saklar sebagai perintah gerakan yang dikirimkan melalui kabel ataupun nirkabel. Seiring dengan meningkatnya teknologi komunikasi berkembang pula hardware untuk proses komunikasi nirkabel diantaranya adalah wireless access point dan PDA (Personal Digital Assistant). Pada penelitian ini dikembangkan software untuk mengendalikan robot PDA menggunakan isyarat tangan yang ditangkap oleh kamera (webcam). Obyek isyarat tangan yang ditangkap kamera diolah menggunakan image processing untuk dikenali, hasil pengenalan obyek tangan dibandingkan dengan data pada database. Ada empat macam simbol kode yang ada pada database yaitu isyarat tangan dalam bentuk jari tangan Gun, Thumb, Phone dan Devil. Masing-masing kode digunakan untuk menggerakan robot berjalan maju, mundur, kanan dan kiri dengan cara mengirim kode tangan tersebut ke PDA pada robot secara wireless menggunakan access point. Selanjutnya PDA memberikan kode ASCII kepada mikrokontroller agar bisa menggerakkan driver motor DC untuk menjalankan robot. Pengujian sistem pengendali robot untuk image processing yang terbaik adalah ketika jarak webcam dengan tangan 100cm. Isyarat tangan yang paling mudah terdeteksi adalah Gun untuk perintah jalan mundur dengan sensitivitas 90% pada intensitas cahaya 400lx. Sedangkan jarak maksimal user mengendalikan robot PDA adalah 20 meter. Kata kunci : robot PDA, isyarat tangan, image processing, komunikasi nirkabel. 1.Pendahuluan Identifikasi isyarat tangan merupakan suatu cara untuk menerjemahkan suatu pola yang dibentuk oleh bentuk tangan yang memiliki maksud dan tujuan tertentu dari setiap gerakan yang dilakukan. Dalam hubungannya dengan robot, agar dapat berinteraksi antara manusia dengan robot secara mudah maka robot harus memahami bentuk isyarat tangan manusia terlebih dahulu sebagai sumber pengendali robot sehingga dibutuhkan adanya pengolahan citra sebagai proses pengenalan pola bentuk tangan yang berupa citra tangan, Satriyanto E, (2006). Agar dapat digunakan dalam mengendalikan robot dengan baik, proses pengendalian dengan isyarat tangan harus dilakukan secara realtime, sehingga dibutuhkan metode untuk mendeteksi maksud dan tujuan dari obyek isyarat tangan tersebut yaitu metode humoments sebagai pembanding citra tangan hasil capture dengan data citra referensi. Sebuah aplikasi Sistem Kontrol Robot yaitu Rancang Bangun Robot PDA Berbasis Embedded Sistem Menggunakan Pocket PC, Subko E (2007). Aplikasi ini mampu memberikan kemudahan dalam membuat suatu robot yang dikontrol dan dikendalikan oleh PDA yang diinterfacekan dengan mikrokontroller. PDA mengirim data ke mikrokontroller kemudian data diproses oleh mikrokontroller untuk menjalankan perintah tertentu. Kontrol yang dijalankan oleh robot ini adalah kontrol untuk melakukan gerakan maju, mundur, belok kanan dan belok kiri. Selanjutnya Saleh A & Huda M, (2012) berhasil melakukan penelitian mengendalikan gerakan animasi manusia menggunakan isyarat tangan yaitu Gerakan Animasi Manusia Berdasarkan Isyarat Tangan Berbasis Pengolahan Citra. Animasi manusia dikendalikan bergerak maju, mundur, kanan dan kiri menggunakan isyarat tangan. Pada makalah ini telah dilakukan penelitian dengan menggabungkan kedua penelitian di atas, dimana isyarat tangan digunakan sebagai pengendali sebuah robot PDA untuk bergerak maju, mundur kanan dan kiri. Tujuannya adalah untuk membuat aplikasi pendeteksi bentuk tangan (Gesture Recognition) dengan menangkap bentuk isyarat tangan tersebut menggunakan webcam yang digunakan sebagai masukkan robot PDA untuk bergerak. Kode perintah dari isyarat tangan dikirimkan dari PC ke robot PDA tanpa menggunakan kabel (wireless) yang dapat diartikan sebagai komunikasi nirkabel (Wireless Communication). Bentuk isyarat tangan yang digunakan sebagai kendali robot PDA ini ada empat macam yaitu Thumb sebagai perintah gerak maju, Gun untuk gerak mundur, Devil perintah belok kiri A-73

dan Phone perintah belok kanan. Kode isyarat tangan yang dikirmkan secara wireless ke PDA pada robot adalah karakter A untuk bentuk Thumb, L bentuk Gun, Y bentuk Phone dan I Love You bila bentuk tangannya Devil. Sedangkan pengiriman data dari PDA ke mikrokontroler adalah data kode ASCII dari karakter A = 41 hex, L = 52 hex, Y = 65 hax, dan I = 51 hex untuk bentuk tangan Devil. 2.Dasar Teori 2.1 Pengenalan Citra Tangan Pengolahan citra pada penelitian ini digunakan sebagai pemroses pengenalan pola bentuk tangan yang berupa citra tangan. Citra tangan diolah dengan mengidentifikasi background untuk mengambil bagian obyek yang dibutuhkan. Proses segmentasi background ini dilakukan dengan menginisialisasi background menggunakan Averaging Background Method yang pada dasarnya mempelajari tentang rata-rata dan standar deviasi dari setiap pixel sebagai model dari background. Model dari background dibuat dengan mengumpulkan satu set frame dan membedakan antara frame dengan frame terakhir dengan cvacc dan cvabsdiff dari OpenCV library. Bentuk citra tangan menggunakan bahasa isyarat tangan yang mempunyai arti abjad A sampai dengan Z seperti gambar 1, Rakhman J. P, (2008). A.L3=0.000166968; A.H3=0.0005009093; Untuk mendapatkan hasil contour melalui OpenCV, dapat dilakukan dengan menuliskan fungsi cvfindcountour() dan cvdrawcontour(). Pada gambar 2 merupakan contoh hasil contour. Gambar 2. Hasil identifikasi contour Salah satu cara untuk membandingkan dua contour adalah dengan menghitung nilai contour moment. Perhitungan contour dilakukan dengan mengintregasikan atau menjumlahkan contour setiap piksel. Secara umum didefinisikan bahwa (p,q) contour seperti Persamaan 1, Mgr. Jan Kapoun, (2010). n i 1 p q m p, q I x, y x y (1) dimana: m = momen dua dimensi, orde(p,q); p = x-order momen; q = y-order momen; x = index dari baris; y = index dari kolom; n = batas contour Penjumlahan semua pixel dari batas contour akan berhenti ketika mencapai nilai n. Ketika nilai p dan q bernilai sama yaitu 0, maka saat m00 hanya menjelaskan mengenai panjang piksel dari contour. Adapun proses pengenalan obyek hingga penentuan hasil terjemahan isyarat tangan pada sistem diperlihatkan pada gambar 3. Running Aplication Learning Background Perubahan format warna (YUV Image) Penentuan nilai HuMoments Deteksi contour Deteksi object (Foreground) dalam ROI Gambar 1. Isyarat tangan (Alphabet) 2.2 Identifikasi Contour Setelah obyek terdeteksi dilakukan proses identifikasi contour dari obyek yang dimaksud, dan menkodekan hasil contour dengan proses HuMoment, sehingga dapat diterjemahkan dalam bentuk teks dalam karakter A-Z. Contoh: hasil nilai HuMoments alphabet A A.L1=0.162809; A.H1=0.198989; A.L2=0.00351815; A.H2=0.00820901; Pembandingan nilai HuMoments Gambar 3. Blok diagram pengenalan citra tangan 2.3 Komunikasi Nirkabel Penentuan hasil terjemahan Komunikasi yang digunakan pada sistem ini yaitu komunikasi simplex yaitu sebuah jenis komunikasi satu arah, dimana arah informasi hanya dari pengirim ke penerima saja dan tidak bisa sebaliknya, Ahnn Jong H. (2007). PC sebagai pengirim data meggunakan accesspoint dan PDA sebagai penerima. A-74

Gambar 4. Komunikasi simplex Accesspoint ataupun antena sebagai salah satu perangkat penghubung berfungsi sebagai jembatan antara komunikasi wired dan wireless. Kemudian pada sisi client juga harus mempunyai card interface wireless bisa berupa PCI, PCMCIA, ataupun USB. Pada perangkat laptop biasanya sudah diintegrasikan dengan wifi card di dalamnya. 2.4 Robot PDA PDA perangkat komunikasi yang memiliki teknologi terbaik, dapat dengan mudah diperluas melalui slot ekspansi. Serta dapat dibuat untuk pengendali robot yang sempurna, Douglas H. W, (2003). Robot PDA adalah salah satu jenis mobile robot sederhana yang dapat bergerak sesuai perintah yang diberikan dari remote kontrol dapat berupa maju, mundur, belok kiri, dan belok kanan. (b) Disain rancangan sistem Gambar 6. Sistematika perancangan sistem Sistem ini secara keseluruhan terdiri dari bagian software dan hardware yang saling terintegrasi membentuk sebuah sistem aplikasi pengolahan citra berbasis isyarat tangan sebagai pengendali robot PDA. 3.1. Disain Robot PDA Disain dari robot direncanakan sedemikan rupa sehinga mampu untuk melakukan hal sesuai dengan pengontrolan yang diberikan. Beban pada robot adalah sebuah PDA, rangkaian pengontrol (mikrokontroler), baterai, dan dua buah motor DC. Driver rangkaian H- Bridge yang umumnya digunakan sebagai driver motor DC, pada rangkaian H-Bridge ini tersusun dari beberapa transistor NPN (9012) PNP (9013) yang digunakan untuk men-drive polaritas dari motor DC. Gambar 5. Blok diagram robot PDA Robot PDA merupakan robot analog murni yang perintah geraknya dilakukan oleh pengendali (user) melalui remote kontrol yang dihubungkan dengan rangkaian elektronik dari robot. 3. Perancangan Sistem Sistematika perancangan sistem yang telah dibuat dalam bentuk blok diagram. Gambar 7. Rangkaian Driver Motor DC (a) Blok diagram sistem Gambar 8. Disain robot PDA Komunikasi PDA dengan mikrokontroler menggunakan komunikasi serial RS232. Rangkaian ini A-75

berfungsi untuk mengubah level keluaran tegangan level RS232 menjadi level tegangan TTL. Pada level TTL yang didefinisikan untuk kondisi 0, tegangannya 0 volt sampai 0,4 volt dan untuk kondisi 1, tegangannya 2,4 volt sampai 5 volt. Operating System : Microsoft Windows 2003 for Pocket PC Second Edition Processor: Samsung S3C2440 400 MHz Memori: 128 MB ROM / 64 MB RAM Batrey: 1440mAh Lithium-Ion Size: 114.3 x 71.2 x 16.3 mm Weight: 158 gram Bluetooth: + 3.2. Pengendali Robot PDA Mobile Algoritma pemgambilan citra isyarat tangan sebagai pengendali robot untuk mendeteksi apakah ada citra berupa tangan user. Start Learning Background Gambar 9. Rangkaian RS232 Rangkaian minimum sistem mikrokontroler terdiri dari rangkaian clok yang berupa kristal 11.0592 MHZ dan rangkaian reset. Rangkaian minimum sistem pada robot menggunakan ATMega 8535. Input terletak pada PORT D sedangkan outputnya terletak pada PORT A. PDA yang dihubungkan ke Mikrokontroler ATMega 8535 di PORT D.0 dan D.1dengan menggunakan kabel serial. Input Gambar Pengaktifan ROI Perubahan format RGB menjadi YUV Pendeteksian objek pada ROI Pendeteksian Contour Penentuan Nilai Humoments Membandingkan Nilai Humoments Rentang nilai Humoments Low sampai High Tidak Ya Kirim karakter Gambar 10. Rangkaian minimum sistem Perangkat PDA yang digunakan merek Ipaq rx 3000 dengan spesifikasi sebagai berikut : Gambar 11. PDA ipaq rx3000 pada robot End Gambar 12. Diagram alir Client (pengendali) Sebelum melakukan pendeteksian object dilakukan proses capturing object selanjutnya dilakukan proses learning background untuk mempermudah pencarian object tangan/jari (Foreground). Pendeteksian obyek hanya dibatasi oleh Rectangle ROI (Region of Interest), sehingga untuk pemrosesan selanjutnya hanya berada pada area ROI. Rectangle ROI akan selalu muncul pada aplikasi ini A-76

selama kamera berada pada posisi ON. Setelah itu, dilakukan pencarian contour dari foreground. (a) Rectangle ROI (b) Contour tangan dalam ROI Gambar 13. Deteksian objek tangan dalam ROI Dari hasil contour tersebut yang memiliki format warna RGB, akan diubah ke dalam format warna YUV, sehingga hasil output-nya akan berwarna putih untuk foreground dan background adalah hitam. Kemudian dilakukan pencarian nilai HuMoments dari contour yang telah didapatkan sebelumnya. Setelah itu, nilai HuMoments dari hasil capture akan dibandingkan dengan nilai HuMoments yang telah disimpan kedalam memori. Dimana hampir semua nilainya berada pada kisaran nilai antara 0 sampai 1. Jika, rentang nilainya dibatas low dan high, maka hasilnya akan dikirim ke sisi server berupa karakter tertentu. Isyarat tangan pengendali robot ada empat isyarat tangan statis yang memiliki bentuk sangat berbeda untuk mengendalikan gerak robot. Sehingga lebih mudah untuk dikenali bentuknya oleh program dan mengurangi resiko kesalahan deteksi obyek. A (Thumb) L (Gun) Y (Phone) Gambar 14. Bentuk isyarat tangan kendali robot Spesifikasi teknis dari laptop dan webcam yang digunakan dalam implementasi pengendali robot. Tabel 1. Spesifikasi laptop No Deskripsi Spesifikasi 1 Merek & Tipe Toshiba satellite L645 2 Processor Intel Core i3 M370 @2.40GHz 3 RAM 2.00 GB 4 HDD 500 GB 5 VGA ATI Mobility Radeon HD 5145 512 MB 6 OS Windows 7 Home Premium 7 DirectX DirectX versi 11 Tabel 2. Spesifikasi webcam No Deskripsi Spesifikasi 1 Merek & Tipe Logitech S5500 2 Sensor Citra CMOS 1/7 3 Resolusi 1280 x 1024 (1.3M Pixels) 4 Resolusi Max 4M Pixels I Love You (Devil) 5 Frame rate Up to 30 fps 6 Interface USB 2.0 Hi-Speed connection (compatible with USB1.1) 7 Microphone Terintegrasi dengan microphone 3.3. Algoritma pada Server Diagram alir aplikasi server di PDA sebagai penghubung antara client / pengontrol dan robot. PDA Start Inisialisasi Port Port open settings port Kirim data ke mikrokontroller End Gambar 15. Diagram alir Server (robot PDA) 4. Pengujian dan Analisa Mikrokontroller Start Tahapan pengujian terdiri dari pengujian perangkat lunak deteksi obyek tangan dan pengujian integrasi sistem secara keseluruhan. Pengujian dilakukan di dalam ruangan. 4.1 Pengujian dan Analisa Perangkat Lunak Pengolahan Citra Pengujian bagian ini meliputi pengujian terhadap intensitas cahaya dengan jarak dari webcam dan pengujian terhadap sensitivitas isyarat tangan. Pengujian terhadap intensitas cahaya Inisialisasi Port Port open settings port Terima data dari PDA Jalankan motor sesuai instruksi data End Pengujian pengenalan obyek tangan dilakukan pada intensitas 280lx dan 400lx dengan jarak 50cm, 100cm dan 150cm, masing-masing jarak dilakukan 10 kali. Hasilnya ditunjukkan pada tabel 3 dan 4. Tabel 3. Pengujian pada intensitas cahaya 400lx Waktu Rata-rata Jarak Deteksi Bentuk Tangan (detik) 50 3.1 2.4 8.3 7 100 2.8 1.5 8.9 11.6 150 9.5 2.4 15.1 13.5 Pada pengujian ini diperoleh hasil pada jarak 100cm obyek tangan dapat terdeteksi paling baik. Bentuk tangan yang paling cepat terdeteksi adalah bentuk tangan Gun. Sedangkan yang paling lama terdeteksi adalah bentuk tangan Phone. A-77

Tabel 4. Pengujian pada intensitas cahaya 280lx Waktu Rata-rata Jarak Deteksi bentuk tangan (detik) 50 5.2 3.3 15.8 14 100 3.4 2.6 13.3 13.6 150 9.8 3.3 18 15.7 Diperoleh hasil pada jarak 100cm dapat terdeteksi paling baik. Rata rata obyek tangan yang cepat terdeteksi adalah bentuk Gun.Sedangkan yang paling lama terdeteksi adalah bentuk tangan Phone. Pengujian terhadap sensitivitas isyarat tangan Tujuan pengujian ini untuk mengetahui prosentase obyek tangan dikenali oleh program pengolahan citra. Diuji dengan cara yang sama pada tahap sebelumnya. Hasilnya ditunjukkan pada tabel 5 dan 6. Tabel 5. Pengujian pada intensitas cahaya 400lx Jarak Bentuk tangan terdeteksi (%) 50 70 70 50 50 100 70 90 50 40 150 50 80 20 30 Pada jarak 100cm obyek tangan terdeteksi paling baik dengan prosentase tertinggi adalah bentuk Gun.Sedangkan yang paling rendah prosentase terdeteksi adalah bentuk tangan Devil. Tabel 6. Pengujian pada intensitas cahaya 280lx Jarak Bentuk tangan terdeteksi (%) 50 50 60 30 40 100 60 80 40 40 150 50 70 10 30 Pada jarak 100cm obyek tangan terdeteksi paling baik dengan prosentase tertinggi adalah bentuk Gun.Sedangkan yang paling rendah prosentase terdeteksi adalah bentuk tangan Phone dan Devil. 4.2 Pengujian dan Analisa Integrasi Sistem Pengujian sistem yang terintegrasi secara keseluruhan berupa pengujian user dalam mengendalikan robot atau pengujian komunikasi dari client (PC) ke server (robot PDA). Berdasarkan hasil pada pengujian sebelumnya (4.1), maka pengujian dilakukan dengan jarak antara obyek tangan dengan webcam 100cm pada intensitas 400lx. Tabel 7. Komunikasi dari client ke server Jarak (m) Pengiriman 5 Berhasil 10 Berhasil 15 Berhasil 20 Berhasil 25 Gagal Pengujian komunikasi dari client ke server (robot PDA) yang dilakukan didapatkan hasil jarak maksimal dari client ke server adalah 20 meter. Karena pada jarak tersebut koneksi antara client dan server terputus. 6. Kesimpulan Berdasarkan hasil pengujian dan anlisa, dapat disimpulkan bahwa : 1. Deteksi isyarat tangan yang paling mudah dan cepat untuk dideteksi adalah isyarat Gun. 2. Hasil pengenalan obyek pada intensitas cahaya 400lx (terang) lebih baik daripada intensitas cahaya 280lx (kurang terang). 3. Jarak maksimal user dapat mengendalikan robot adalah 20m. 4. Pengendali robot dengan isyarat tangan memiliki kelemahan yaitu delay rata-rata cukup tinggi 2 hingga 10 detik dengan sensitivitas maksimal 90%. Daftar Pustaka: Ahnn Jong H. (2007): The robot control using the wireless communication and serial communication, Desing project report master of electrical engineering program, Cornell University. Douglas H. W, (2003). PDA Robotics: Using Your Personal Digital Assistant to Control Your Robot, McGraw-Hill, USA. Mgr. Jan Kapoun, (2010). Static Hand Gesture Recognition Software. University of South Bohemia, České Budějovice. Rakhman J. P, (2008). Translasi Bahasa Isyarat, PENS-ITS, Surabaya. Saleh A, & Huda M. (2012): Gerakan Animasi Manusia Berdasarkan Isyarat Tangan Berbasis Pengolahan Citra, Prosiding Seminar Nasional Science, Engineering and Technology (SciETec) Vol 3, TE29-1 s.d 5, Program Magister dan Doktor Fakultas Teknik Universitas Brawijaya. Satriyanto Edi. (2006): Identifikasi Gerakan Tangan Sebagai Pengendali Telerobotik Secara Real Time. Tesis Program Pasca Sarjana, ITS. Subko E (2007). Rancang Bangun Robot PDA Berbasis Embedded System Menggunakan Pocket PC, PENS-ITS, Surabaya. A-78