PENGEMBANGAN MOTION CAPTURE SYSTEM UNTUK TRAJECTORY PLANNING ELVA SUSIANTI 2209204802 Pembimbing: 1. ACHMAD ARIFIN, ST., M. Eng., Ph.D 2. Ir. DJOKO PURWANTO, M. Eng., Ph.D. Bidang Keahlian Teknik Elektronika Program Pasca Sarjana Teknik Elektro Institute Teknologi Sepuluh Nopember (ITS) 2012
Outline Pendahuluan Dasar TeoriLatar Belakang Metodologi Penelitian Hasil dan Pembahasan Penutup Chapter 12
Pendahuluan Latar Belakang Perumusan Masalah Batasan Masalah Maksud dan Tujuan Manfaat Penelitian Chapter 12
Latar Belakang Motion Capture System yang ada sekarang mahal Bipedal robot trajectory planning ditentukan manual Teknologi Motion capture yang low cost untuk bipedal robot trajectory planning secara online
Rumusan Masalah Penentuan metode pengolahan image menjadi image biner Pembacaan posisi marker untuk semua gerakan kaki berjalan Prosedur perhitungan posisi sudut hip, knee dan ankle untuk semua gerakan Pembuatan trajectory planning untuk kaki menggunakan simulator planar 3 dof
Kecepatan gerakan kaki harus dipertahankan agar marker tetap dideteksi kamera ketika kaki bergerak. Gerakan yang dilakukan tidak untuk gerakan ekstrim ketika sudut hip lebih besar dari sembilan puluh derajat. Batasan Masalah Kecepatan gerakan kaki harus dipertahankan agar marker tetap dideteksi kamera ketika kaki bergerak Gerakan yang dilakukan tidak untuk gerakan ekstrim ketika sudut hip lebih besar dari sembilan puluh derajat
Tujuan Penelitian Penelitian ini bertujuan untuk menggunakan kamera low cost dalam metode motion capture system untuk menangkap gerakan kaki manusia ketika berjalan. Melakukan pengolahan image menjadi image biner untuk mendapatkan data posisi dan besaran sudut hip, knee dan ankle. Hasil motion capture system digunakan untuk membuat trajectory planning robot.
Manfaat Penelitian Manfaat penelitian antara lain untuk mengembangkan image processing untuk menghasilkan motion capture system yang lowcost dengan menggunakan kamera webcam. Pengembangan dan penyempurnaan lebih lanjut terhadap sistem akan menambah variasi gerakan dan dapat ditampilkan dalam bentuk simulasi 3D.
Kajian Pustaka Lindequist (Reports from MSI, 2004 ) Capture image menggunakan satu kamera dan satu objek yang sudah dipasangi marker (Ultra Violet) Huang (IEEE Transactions On Robotics And Automation,2001) Pola berjalan pada biped robot, walking cycle, trajectory hip and foot.
Lindequist dan Huang Trajectory planning PENGEMBANGAN MOTION CAPTURE SYSTEM UNTUK HUMANOID ROBOT TRAJECTORY PLANNING
Dasar Teori Body Structure Analysis
Fase gaya berjalan Stance Phase Swing Phase 1. Initial Contact 2. Foot Flat 3. Mid Stance 4. Heel Off 1. Toe off 2. Mid-swing 3. Initial Contact
Sketsa Gait cycle
Trajectories joint angles pada level gait
Blok diagram Image processing Kamera webcam Normalisasi Filtering Threshold Tahap Persiapan Trajectory Planning Sudut hip, knee dan ankle Biner Kordinat marker (x,y) Chapter 12
Marker 1. Body 2. Hip 3. Knee 4. Ankle 5. Heel 6. Toe Sensor pasif (kertas merah) Bentuk Diameter 4cm Ditempelkan ke kostum putih
Spesifikasi peralatan 2 Kamera webcam portable dengan interface USB Tipe chip Color CMOS image sensor yang bisa menyimpan gambar hingga resolusi 640x480 Video formatnya 24bit RGB dengan frame rate 320x240 sampai 30 frame/s Chapter 12
Ruangan 3 m 4.5 m Jalur berjalan 2 m Ruangan ukuran 4.5m x 3m x 3m (p x l x t) Ditutupi kain putih Jarak kamera ke model 2.05m Kamera Batas berjalan
Capture Image Capture Image Processing Kamera
Antar Muka Sistem a) Image display citra asli yang ditangkap kamera b) Image display setelah image processing c) Image display plot stick figure berdasarkan posisi marker d) Image display tampilan kurva sudut hip e) Image display tampilan kurva sudut knee f) Image display tampilan kurva sudut ankle g) Botton normalisasi h) Botton filter gaussian i) Botton filter rata-rata j) Botton image biner k) Menu play file video manual dan otomatis l) Tampilan koordinat marker m) Menu pilihan tampilan stick figure, continious atau single model n) Simpan data sudut, tampilkan dan bersihkan grafik a c m g b h i j l d n f e Chapter 12
r-normalisasi Normalisasi
Filter Gaussian Rata-rata Chapter 12
Threshold RGB Image Binary Image
Penentuan Koordinat Start A Start B Baris = - 1 Kolom = 0 Scan baris and determine y min Baris = y min Kolom = 0 Scan baris and determine y max Baris = y min, Tinggi area = y max y min Kolom = 0 Scan kolom and determine x min Kolom = x min, Tinggi area = y max y min Baris = y min Scan kolom and determine x max x = (x max - x min )/2 + x min y = (y max - y min )/2 + y min Stop Baris = y max4, lebar area = lebar_canvas-x max4, Kolom = x max4 Scan baris and determine y min6 Baris = y min6, lebar area = lebar_canvas-x max4, Kolom = x max4 Scan baris and determine y max6 Baris = y max4 Kolom = x max4 Scan kolom and determine x min6 Baris = y max4 Kolom = x min6 Scan kolom and determine x max6 x 6 = (x max6 - x min6 )/2 + x min6 y 6 = (y max6 - y min6 )/2 + y min6 Stop A B
Mathematical skeletal model Body Hip θ1 : hip joint angle θ2 : knee joint angle θ3 : ankle joint angle 1 Knee 2 Heel Ankle 3 Toe Chapter 12
Pengujian bagian image processing Pengujian warna merah, orange, kuning dan biru Pengujian warna hijau, hitam, orange dan merah Chapter 12
Kalibrasi sudut S u d u t ( d e g ) 35 30 25 20 15 10 5 0 1 6 11 16 21 26 31 36 Jumlah data Chapter 12
Pengujian posisi gerakan dasar IC Mid Stance FF HO Chapter 12
Pengujian posisi gerakan dasar TO Mid Swing Chapter 12
Sudut gerakan berjalan satu cycle Hip Sudut (deg) Knee Ankle Waktu (s) Chapter 12
Trajectory Planning Sudut Hip (deg) 30.00 20.00 10.00 0.00-10.00-20.00 60.00 50.00 40.00 30.00 20.00 10.00 0 200 400 600 800 1000 1200 1400 0.00-10.00-20.00 t (ms) -30.00 Sudut Ankle (deg) 90.00 80.00 70.00 60.00 50.00 40.00 30.00 20.00 10.00 0.00 Sudut Knee (deg) 0 200 400 600 800 1000 1200 1400 t (ms) 0 200 400 600 800 1000 1200 1400 t (ms) Chapter 12
Contoh Simulasi Chapter 12
Kesimpulan Pengembangan motion capture system untuk bipedal robot trajectory planning dilakukan dengan menggunakan kamera low cost Saran Marker berbentuk bola agar gerakan lebih mudah ditangkap kamera Tambahan satu atau dua kamera untuk joint movement yang berbeda
TERIMAKASIH