IMPLEMENTASI KINECT PADA PENERJEMAH BAHASA ISYARAT Naskah Publikasi diajukan oleh Nuruddin Wiranda 09.11.2771 kepada SEKOLAH TINGGI MANAJEMEN INFORMATIKA DAN KOMPUTER AMIKOM YOGYAKARTA 2012
ii ii
IMPLEMENTATION KINECT ON SIGN LANGUAGE INTERPRETER IMPLEMENTASI KINECT PADA PENERJEMAH BAHASA ISYARAT Nuruddin Wiranda Jurusan Teknik Informatika Melwin Syafrizal STMIK AMIKOM YOGYAKARTA ABSTRACT Communication is important in our lives, where the good communication we will understand the purpose of such communications, as well as communications made by people who have a deficiency in one of them is to communicate with hearing impairment, for a normal person would have had difficulty communicating with patients deaf, as deaf people understand sign language only. Therefore, the author tries to make a solution to overcome the difficulty in communicating with deaf people, with the sign language translator application, which application is implemented on Kinect that allows us to detect motion and then translated into text and sound, so it will be easier for us to understand the meaning of the sign language. With the sign-language translators are expected to help deaf people communicate. Keywords: Kinect, Sign Language interpreter.
1. Pendahuluan Komunikasi merupakan hal penting dalam kehidupan kita, dimana dengan komunikasi yang baik kita akan mengerti maksud dari komunikasi tersebut, namun ada sebagian orang yang mengalami kesulitan dalam berkomunikasi dikarenakan kurang sempurnanya salah satu indera mereka. Komunikasi yang dilakukan oleh orang yang mempunyai kekurangan seperti penderita tuna rungu, mereka akan sangat sulit berbicara mengungkapkan maksud pembicaraan tersebut kepada orang normal, tak hanya itu bagi orang normal tentu akan mengalami kesulitan juga berkomunikasi dengan penderita tuna rungu. Untuk mengatasi hal tersebut biasanya mereka berkomunikasi melalui tulisan dan bahasa isyarat, hal ini membuat komunikasi mereka lama karena harus menuliskan terlebih dahulu maksud apa yang di inginkan, sedangkan jika dengan bahasa isyarat tidak semua orang normal mengerti. Hal tersebut mendorong penulis untuk membuat aplikasi penerjemah bahasa isyarat yang hasil keluarannya berupa teks dan suara sebagai pendukung pembelajaran berbentuk desktop based yang menyediakan fitur sesuai kebutuhan pengguna. Aplikasi ini dapat membantu pengguna mengetahui arti dari sebuah bahasa isyarat dan mempelajarinya, yang akan memudahkan pengguna dalam berkomunikasi dengan baik dan benar. 2. LandasanTeori 2.1 Sensor Kinect Kinect adalah motion sensing perangkat input oleh Microsoft untuk video game Xbox 360 konsol dan PC Windows. Berdasarkan suatu gaya webcam-add-on perangkat untuk konsol Xbox 360, memungkinkan pengguna untuk mengontrol dan berinteraksi dengan Xbox 360 tanpa perlu menyentuh game controller, melalui antar muka pengguna alam dengan menggunakan gerak tubuh dan perintah lisan. 1 2.1.1 ArsitekturKinect SDK Kinect sudah menyediakan software library dan tools untuk membantu mengembangkan suatu karya yang menggunakan input dari gerakan tubuh kita. Sensor kinect dan software library akan membantu kita dalam berinteraksi dengan aplikasi, dapat kita lihat pada gambar 2.1 1 "Project Natal" 101". Microsoft. June 1, 2009. Archived from the original on June 1, 2009. Retrieved June 2, 2009.
1. Hardware dansoftware berinteraksi dengan aplikasi Gambar2.1 Interaksi antara hardware dan software dengan aplikasi 2. Arsitektur SDK Kinect (Sumber : Kinect SDK Documentation) Gambar2.2 Arsitektur SDK Kinect (Sumber : Kinect SDK Documentation) a. Perangkat Keras Kinect (kinect hardware) Komponen perangkat keras, termasuk sensor kinect dan USB hub, di mana sensor tersebut terhubung ke computer.
b. Kinect Drivers Kinect Sensor's microphone array sebagai perangkat kernelmode audio yang dapat di akses melalui APIs audio standar pada Windows. Streaming gambar dan kedalaman data. Fungsi penghitungan perangkat yang memungkinkan aplikasi yang akan digunakan lebih dari satu sensor kinect yang terhubung ke computer. c. KinectAudio DirectX Media Object (DMO) Kinect DMO yang memperpanjang dukungan mikrofon larik untuk mengekspos fungsi lokalisasi balok pembentuk dan sumber. d. Windows 7 standard APIs Audio, ucapan, dan media API di Windows 7, seperti yang dijelaskan dalam Windows 7 SDK dan Microsoft Speech SDK. 2.1.2 NUI API NUI API adalah inti dari Kinect untuk Windows API. Mendukung gambar dasar dan fitur manajemen perangkat, termasuk yang berikut: Akses ke Kinect Sensor yang terhubung ke komputer. Akses kegambar dan depth data streams dari Sensor Kinect. Pengiriman versi di proses data gambar dan mendalam untuk mendukung skeletal tracking. SDK ini termasuk C + + dan C # versi dari sampel Skeletal Viewer. Skeletal Viewer menunjukkan bagaimana menggunakan API NUI dalam sebuah aplikasi yang menangkap data dari kamera NUI, menggunakan gambar rangka, dan proses data sensor. Untuk informasi lebih lanjut, lihat" Skeletal Viewer Walkthrough " pada situs SDK. 2.1.3 NUI Skeleton Tracking Para NUI Skeleton API menyediakan informasi tentang lokasi sampai dua pemain yang berdiri di depan Sensor Kinect, dengan informasi rinci tentang posisi dan orientasi. Data tersebut diberikan kepada kode aplikasi sebagai satu set poin, disebut posisi kerangka, yang membentuk kerangka, seperti yang ditunjukkan pada Gambar 3. Kerangka ini merupakan posisi saat pengguna dan berpose. Untuk menggunakan data
kerangka, sebuah aplikasi harus menunjukkan ini ketika menginisialisasi NUI, dan ia harus memungkinkan pelacakan kerangka. Gambar2.3 Skeleton relative terhadap posisi tubuh manusia (Sumber : Kinect SDK Documentation) 3. Analisis dan PerancanganSistem 3.1 PerancanganSistem Perancangan system yang akan dilakukan meliputi tiga tahap yaitu: 1. Perancangan proses 2. Perancangan basis data 3. Perancanganantarmuka (interface) Perancangan proses disajikan dalam bentuk logic model dengan menggunakan tools UML (Unified Modeling Language). UML digunakan untuk menggambarkan urutan proses yang terjadipada system berdasarkan actor dan fungsionalitas masing-masing aktor yang terlibat dalam system ini. Perancangan proses terjadi pada system ini menggunakan use case diagram yang menekankan pada apa yang diperbuat oleh system tersebut. Pada use case diagram akan digambarkan sebuah interaksi antara actor dengan system. Perancangan kedua adalah perancangan basis data. Perancangan ini digunakan untuk menentukan entitas, atribut, serta relasi yang terjadi diantara masing-masing entitas sehingga membentuk system basis data yang normal.
Perancangan ketiga adalah perancangan antar muka system dilakukan dengan membuat sketsatampilan antar muka system yang berfungsi sebagai alat komunikasi antar pengguna dengan system. 4. Implementasi dan Pembahasan 4.1 Implementasi Interface 4.1.1 Form Splash 4.1.2 Form Main Menu Gambar4.1 Form Splash Gambar4.2 Form Main Menu
4.1.3 Menu Scan Gambar4.3 Menu Scan 4.1.4 Menu Translate Gambar4.4 Menu Translate 5. Penutup 5.1 Kesimpulan Berdasarkan pembahasan dari materi diatas dengan adanya pembuatan laporan skripsi dengan judul Implementasi Kinect Pada Penerjemah Bahasa Isyarat secara umum dapat diambil kesimpulan sebagai berikut : Merancang aplikasi yang dapat dimanfaatkan oleh pengguna sebagai sarana penerjemah bahasa isyarat, penulis melakukan observasi ke sekolah sekolah SLB, dan melakukanan alisis permasalah yang ada dilapangan. Disini penulis mendapat kesimpulan bahwa bahasa isyarat masih sulit untuk dipelajari karena banyaknya standard dari bahasa isyarat membuat pengguna susah untuk menghafal dan mempelajarinya.
Penulis menawarkan solusi untuk mempermudah pembelajaran bahasa isyarat dengan membuat aplikasi penerjemah bahasa isyarat bernama Ishar sebagai pendukung pembelajaran bahasa isyarat. 5.2 Saran Setelah mengevaluasi laporan skripsi ini, penulis berharap skripsi ini dapat dikembangkan lebih lanjut dengan saran-saran pengembangan sebagai berikut : 1. Ishar harus di kembangkan lebihjauh lagi, terutama dalam pengalokasian memory dan render gambar. 2. Ishar dapat digunakan untuk tuna rungu sebagai alat untuk mempermudah mereka dalam berkomunikasi.
DAFTAR PUSTAKA "Project Natal" 101".Microsoft. June 1, 2009. Archived from the original on June 1, 2009.Retrieved June 2, 2009. A Suhendar.Visual Modeling Menggunakan UML danretional Rose. Bandung : Informatika, 2002, hal 30. Kinect SDK Documentation v1.0