Membangun Aplikasi Menggambar 2 Dimensi Memanfaatkan 3 Dimensi Depth of Kinect Dengan mengggunakan Metode Skeleton Tracking

Transkripsi

1 Membangun Aplikasi Menggambar 2 Dimensi Memanfaatkan 3 Dimensi Depth of Kinect Dengan mengggunakan Metode Skeleton Tracking SAMPUL HALAMAN TUGAS AKHIR Sebagai persyaratan Guna Meraih Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Oleh Mien Handry Hasta Sajiwo JURUSAN TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG TAHUN 2013

2 LEMBAR PENGESAHAN Membangun Aplikasi Menggambar 2 Dimensi Memanfaatkan 3 Dimensi Depth of Kinect Dengan mengggunakan Metode Skeleton Tracking TUGAS AKHIR Sebagai persyaratan Guna Meraih Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Disusun Oleh : Mien Handry Hasta Sajiwo Menyetujui Penguji I Penguji II Ali Sofyan Kholimi, S.Kom Saifuddin, S.Kom NIDN : NIDN : Mengetahui, Ketua Jurusan Teknik Informatika Eko Budi Cahyono, S.Kom, MT NIP :

3 KATA PENGANTAR Dengan memanjatkan puji syukur kehadirat Allah SWT. Atas limpahan rahmat dan hidayahnya-nya sehingga peneliti dapat menyelesaikan tugas akhir yang berjudul MEMBANGUN APLIKASI MENGGAMBAR 2 DIMENSI MEMANFAATKAN 3 DIMENSI DEPTH OF KINECT DENGAN MENGGGUNAKAN METODE SKELETON TRACKING Didalam tulisan ini disajikan pokok-pokok bahasan yang meliputi pengertian kinect, bagaimana cara kerja kinect jika di terapkan di windows pc, bagaimana cara mengintegrasikan metode Skeleton Traking dengan aplikasi menggambar pada kinect, Peneliti menyadari sepenuhnya bahwa dalam penulisan tugas akhir ini masih banyak kekurangan dan keterbatasan. Oleh karena itu peneliti mengharapkan saran yang membangun agar tulisan ini bermanfaat bagi perkembangan ilmu pengetahuan kedepan. Malang, 27 maret 2013 Mien Handry Hasta Sajiwo

4 DAFTAR ISI ABSTRAK... i ABSTRACT... ii LEMBAR PERSEMBAHAN... iii KATA PENGANTAR... iv DAFTAR ISI... v DAFTAR GAMBAR... viii DAFTAR TABEL... xi BAB I PENDAHULUAN LATAR BELAKANG RUMUSAN MASALAH BATASAN MASALAH TUJUAN PENELITIAN METODOLOGI PENYELESAIAN MASALAH SISTEMATIKA PENULISAN... 4 BAB II LANDASAN TEORI KINECT SENSOR DEPTH OF KINECT Measuring Depth SKELETON TRACKING MICROSOFT NET.FRAMEWORK MICROSOFT VISUAL STUDIO SOFTWARE DEVELOPMENT KIT KINECT DEVELOPER TOOKIT BAGAIMANA KINECT BISA MENDETEKSI GERAKAN REVIEW PENELITIAN SEBELUMNYA BAB III ANALISA DAN PERANCANGAN SISTEM ANALISA SISTEM Perangkat Keras a. Kinect... 19

5 Spesifikasi Aplikasi Spesifikasi User Funsionalitas Sistem a. Menentukan area menggambar user b. perintah suara c. posisi tubuh pada saat menggambar ARSITEKTUR SISTEM ARSITEKTUR SOFTWARE Microsoft Speech Platform Microsoft Speech Platform Runtime Microsoft Speech Platform SDK Language Pack PERANCANGAN INTERFACE PERANCANGAN PROSES Flowchart BAB IV. IMPLEMENTASI DAN PENGUJIAN IMPLEMENTASI Implentasi WPF aplication Implementasi Library Library Microsoft SDK Kinect Library Speech Platform SDK Implementasi Skeleton Tracking Implementasi Warna PENGUJIAN Pengujian Fungsionalitas Pengujian Skeleton Tracking Pengujian perintah suara Pengujian warna pada kanvas Pengujian koneksi kinect... 70

6 Pengujian Performa Keakuratan warna Keakuratan Skeleton Tracking Keakuratan pengenalan suara Mengukur kepekatan warna Mengukur kebisingan BAB V PENUTUP Kesimpulan Saran dan pengembangan DAFTAR PUSTAKA LAMPIRAN BIOGRAFI PENULIS

7 DAFTAR GAMBAR No Nomor Gambar Nama Gambar Halaman BAB I 1 Gambar 2.1 Hardware Kinect for Xbox Gambar 2.2 Sensor - Sensor yang dimilik Kinect (istlab,2012) 6 3 Gambar 2.3 Jarak kedalaman (Jarret Webb, 2012)- 2012) 7 4 Gambar 2.4 Metodologi Skeletal Tracking using Microsoft Kinect by Dr. Amitabha Mukerjee & Dr. Prithwijit 8 Guha (2012) 5 Gambar 2.5 Sendi - sendi tulang (James Ashley, 2012) 10 6 Gambar 2.6 Fiture - fitur pada Microsoft Kinect SDK(istlab,2012) 11 7 Gambar 2.7 Kinect Developer Toolkit Gambar 2.8 Output yang dihasilkan oleh Sensor IR Emiter (Jeff Kramer, 2012) Gambar 2.9 Sofa yang di terangi lampu (Rob Miles, 2012) Gambar 2.10 Sofa hasil Sensor infra merah (Nicolas Burrus, 2012) Gambar 2.11 Tampilan awal Kinect Paint Gambar 2.12 Kinect Paint saat menggunakan pen Gambar 2.13 Kinect Paint saat menggunakan paint brush Gambar 2.14 Cara menyimpan hasil gambar Gambar 2.15 Hasil penyimpanan gambar pada Kinect Paint 18 BAB II 16 Gambar 3.1 User bisa dilacak pada posisi berdiri dan duduk. (Microsoft Corporation, 2012) Gambar 3.2 Area menggambar user (Microsoft Corporation ) Gambar 3.3 Kinect track the loudest audio input (Microsoft Corporation ) Gambar 3.4 Rancangan posisi badan pada saat menggambar dengan menggerakkan tangan kanan untuk 23 menggambar. 20 Gambar 3.5 Ilustrated Skeleton Joints (Jarret Webb ) Gambar 3.6 Arsitektur Sistem Gambar 3.7 Rancangan interface aplikasi menggambar 2 dimensi Gambar 3.8 Flowchart system pelacakan suara manusia menggunakan Sensor Kinect 30

8 24 Gambar Gambar 3.10 Flowchart system Pelacakan kerangka pada tubuh manusia menggunakan Sensor Kinect Flowchart system Pelacakan dan pengenalan suara pada Sensor Kinect 26 Gambar 3.11 Tracking user with kinect Skeletal Tracking Gambar 3.12 Enable Skeleton Tracking Gambar 3.13 Accessing Skeletal Tarcking Information Gambar 3.14 Access Tracked Skeleton Tracking 43 BAB VI 29 Gambar 4.1 WPF Aplication pada bahasa pemrograman C# Gambar 4.2 WPF Build Pipeline Gambar 4.3 Library secara default pada Windows Presentation Foundation Gambar 4.4 Library tambahan yang digunakan untuk aplikasi menggambar 2 dimesi Gambar 4.5 Metode pengaturan suara menggunakan BeamAngleMode pada enumeration Gambar 4.6 metode kerangka menusia menggunakan struktur joint dan enumeration color image point Gambar 4.7 Metode sensorkinectxbox360 menggunakan class skeleton frame ready Gambar 4.8 Metode untuk mengimplementtasikan skeleton tracking Gambar 4.9 Method yang menggunakan fungsi dari MicrosoftSpeechRecognize Gambar 4.10 Method penganturan pengeluaran suara yang menggunakan kelas microsoft speech synthesizer Gambar 4.11 Method untuk mengimplementasikan Skeleton Tracking Gambar 4.12 Tampilan model Skeleton Tracking pada aplikasi menggembar 2 dimesi Gambar 4.13 Source code menentukan kuas untuk mengeluarkan warna Gambar 4.14 Source code mengacak warna Gambar 4.15 Tampilan Skeleton Tracking pada kanvas Gambar 4.16 Hasil perintah suara how dalam bentuk message box Gambar 4.17 Hasil pengujian warna pada kanvas Gambar 4.18 Hasil pengujian koneksi kinect tanpa listrik Gambar 4.19 Hasil pengujian program tanpa usb kinect Gambar 4.20 Pergerakan tangan secara pelan menghasilkan warna yang halus Gambar 4.21 Pergerakan tangan dengan gerakan tangan akan

9 menghasilkan warna yang putus-putus 50 Gambar 4.22 Ketika lebih dari satu user maka skeleton tracking yang lebih sempurna akan dipilih Gambar 4.23 Ketika berdiri pas depan lurus dengan sensor maka hasil kerangka yang dihasilkan 100% Gambar 4.24 Pada saat posisi duduk, jarak terbaik kinect dengan user adalah 2 meter sampek 3 meter Gambar 4.25 Posisi sensor kinect lurus dengan Spine Gambar cm sampai dengan 100 cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar cm Gambar 4.42 Posisi sensor kinect lurus dengan shoulder center Gambar 4.43 dengan jarak 20 cm sampai dengan 80 cm Gambar

10 dengan jarak 100 cm 73 Gambar 4.45 dengan jarak 120 cm Gambar 4.46 dengan jarak 140 cm Gambar 4.47 dengan jarak 160 cm Gambar 4.48 dengan jarak 180 cm Gambar 4.49 dengan jarak 200 cm Gambar 4.50 dengan jarak 220 cm Gambar 4.51 dengan jarak 240 cm Gambar 4.52 dengan jarak 260 cm Gambar 4.53 dengan jarak 280 cm Gambar 4.54 dengan jarak 300 cm Gambar 4.55 dengan jarak 320 cm Gambar 4.56 dengan jarak 340 cm Gambar 4.57 dengan jarak 360 cm Gambar 4.58 dengan jarak 380 cm Gambar 4.59 dengan jarak 400 cm Gambar 4.60 hasil deteksi ketika dalam keadaan sepi Gambar 4.61 Hasil deteksi saat menerima perintah suara pada situasi sepi Gambar 4.62 Hasil deteksi ketika dalam keadaan sedikit bising Gambar 4.63 Hasil deteksi pengenalan suara ketika suasana suara diluar ramai Gambar 4.64 Banyaknya suara ramai dari luar akan mengalahkan perintah suara dari user Gambar 4.65 Mengukur kepekatan warna menggunakan spine dengan jarak 2 meter Gambar 4.66 Hasil gambar kepekatan warna dengan warna pink jarak 2 meter Gambar 4.67 Hasil gambar kepekatan warna dengan warna 102

11 96 Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar 4.77 yellow jarak 2 meter. Hasil gambar kepekatan warna dengan warna gray jarak 2 meter. Hasil gambar kepekatan warna dengan warna cyan jarak 2 meter. Hasil gambar kepekatan warna dengan warna coral jarak 2 meter. Hasil gambar kepekatan warna dengan warna coklat jarak 2 meter. Hasil gambar kepekatan warna dengan warna brown jarak 2 meter. Hasil gambar kepekatan warna dengan warna purple jarak 2 meter. Hasil gambar kepekatan warna dengan warna red jarak 2 meter. Hasil gambar kepekatan warna dengan warna hitam jarak 2 meter. Hasil gambar kepekatan warna dengan perbedaan kapasitas pada masing-masing file Gambar deteksi kebisingan dengan convidence level 0,

12 DAFTAR TABEL Tabel Nama Halaman Tabel 4.1 Tabel class-class yang ada didalam SDK Kinect 50 Tabel 4.2 Tabel Strukture yang ada didalam SDK Kinect 52 Tabel 4.3 Tabel Enumeration yang ada didalam SDK Kinect 52 Tabel 4.4 Tabel nama warna dan diskripsi yang diterapkan dalam aplikasi menggambar 2 dimesi 61 Tabel 4.5 Tabel pengujian keakuratan skeleton tracking dengan kondisi sensor kinect lurus spine 82 Tabel 4.6 Tabel pengujian keakuratan skeleton tracking dengan kondisi sensor kinect lurus shoulder center 90 Tabel 4.7 Tabel perbandingan antara kondisi shoulder center dengan spine 93 Tabel 4.8 Tabel hasil pengujian pengenalan suara pada suasana sepi 96 Tabel 4.9 Tabel hasil pengujian pengenalan suara pada suasana bising 97 Tabel 4.10 Tabel hasil pengujian pengenalan suara pada suasana ramai 99 Tabel 4.11 Hasil pengujian kepekatan warna 106

13 DAFTAR GRAFIK No Nomor Grafik Nama Grafik Halaman 1 Gambar 4.1. Grafik hasil pengujian keakuratan Skeleton Tracking dengan kondisi sensor lurus dengan spine Gambar 4.2. Grafik hasil pengujian keakuratan skeleton tracking dengan kondisi sensor lurus dengan spine. 92

14 Daftar Pustaka [1] Jeff, Nicolas. (2012). Hacking the Kinect. New York : Springer Science & Business Media New York. [2] Jarret, James. (2012). Begining Kinect Programing With Microsoft Kinect SDK. New J [3] Erico. (2012). Pemrograman Dasar C-JAVA-C# Yang Susah Jadi Mudah (Edisi Pertama). Jakarta : INFORMATIKA. [4] Erico, Laurentius, (2012). PEMROGRAMAN BERORIENTASI OBJECT C# Yang Susah Jadi Mudah (Edisi Kedua). Jakarta : INFORMATIKA. [5] Efthimios, (2011). NIRTeam Natural Interaction Research Team, [Online]. Tersedia: yang direkam pada [31 Januari 2013]. [8] Greg Borenstein, (2012) "Making Things See 3D vision with Kinect, Processing, Arduino, and MakerBot", O'Reilly. [9] Valentino, (2012), Using Kinect for hand tracking and rendering in wearable haptics SIRSLab, Dipartimento di Ingegneria dell Informazione. [10] Peekb, (2010), Kinect Paint Aplication, diakses dialamat pada tanggal 1 Desember 2013 [11] Catuhe, David, (2012) Programing with the Kinect for Windows Microsoft Press : A Devision of Microsoft Corporation. [12] Dr. Amitabha, Dr. Prithwijit (2012) Sekeletal Tracking Using Microsoft Kinect. (Online).(