VISUALISASI GERAKAN OBJEK 3D PADA AUGMENTED REALITY DENGAN DETEKSI TUMBUKAN BERBASIS BOUNDING BOX Adhi Arsandi 2208205734 PROGRAM MAGISTER BIDANG KEAHLIAN JARINGAN CERDAS MULTIMEDIA (TEKNOLOGI PERMAINAN) JURUSAN TEKNIK ELEKTRO FAKULTAS TEKNOLOGI INDUSTRI INSTITUT TEKNOLOGI SEPULUH NOPEMBER SURABAYA 2010
Ringkasan Latar Belakang Permasalahan Tujuan Batasan Masalah Teori Penunjang Rancangan Sistem Pengujian Sistem Kesimpulan dan Pengembangan
Latar Belakang
Teknologi game dan animasi 3D terus mengalami perkembangan Teknologi-teknologi library 3D pendukung ke arah itu secara kontinu dikembangkan (DirectX dan OpenGL)
Augmented Reality (AR) membawa suatu teknologi untuk menggabungkan apa yang kita lihat di dunia nyata dengan objek virtual hingga menghasilkan tampilan gabungan keduanya.
Trend AR meningkat dari tahun ke tahun AR merupakan 1 dari 10 teknologi yang diminati orang http://www.metaio.com
Agar AR menjadi lebih realistis, AR harus interaktif dan terlihat aspek physic (collision detection) ARToolKit memberikan kelebihan dalam pengembangan ke arah itu
Permasalahan
Menampilkan objek 3D lokal berikut tekstur dalam lingkungan AR Membangun AR yang interaktif dengan pengendalian animasi menggunakan kendali keyboard Membangun aspek physic deteksi tumbukan dalam AR
Tujuan
Mendesain dan mengimplementasikan artoolkit engine untuk: Mengimplementasikan bounding box collision detection pada objek 3D dalam lingkungan Augmented Reality yang interaktif Menampilkan animasi objek 3D lokal dengan teksture
Batasan Masalah
Objek 3D menggunakan file mqo untuk animasi Tekstur objek 3D menggunakan image bmp 24 bit Interaktif menggunakan keyboard Collision detection tipe bounding box
Teori Penunjang
Pustaka Grafis OpenGL OpenGL diawali dengan pengertian transformasi objek tiga dimensi ke sistem koordinat layar dalam OpenGL Dengan OpenGL dan library bantuan (GLU, GLUT, GLEW, OSG, SDL, dll)
Augmented Reality Ronald T. Azuma (1997) mendefinisikan augmented reality sebagai penggabungan benda-benda nyata dan maya di lingkungan nyata, berjalan secara interaktif dalam waktu nyata, dan terdapat integrasi antar benda dalam tiga dimensi, yaitu benda maya terintegrasi dalam dunia nyata.
ARToolKit ARToolKit adalah suatu software library dengan bahasa C yang memudahkan programmer mengembangkan berbagai macam aplikasi Augmented Reality Library yang diperlukan dalam ARToolKit
Sistem Koordinat ARToolKit
Mekanisme ARToolKit
Kamera menangkap gambar dari dunia nyata secara live dan mengirimkannya ke komputer. Perangkat lunak dalam komputer akan mencari marker pada masing-masing frame video. Jika marker telah ditemukan, komputer akan memproses secara matematis posisi relatif dari kamera ke kotak hitam yang terdapat pada marker. Apabila posisi kamera diketahui, maka model tersebut akan digambarkan pada posisi yang sama. Model obyek 3D akan ditampilkan pada marker, artinya obyek virtual tersebut ditambahan pada dunia nyata.
Marker Marker pada ARtookit dilambangkan dengan gambar yang terdiri atas border outline (tepian kotak) berwarna hitam dan pattern image (gambar di dalam marker) yang merupakan kombinasi warna hitam dan putih.
Langkah-langkah dalam ARToolKit Inisialisasi 1. Menginisialisasi video capture dan membaca file marker dan parameter kamera. 2. Ambil video frame input. Loop 3. Mendeteksi pola marker dan pola gambar dalam kotak hitam pada frame video.
Bounding Box Collision Detection Collision detection adalah proses pendeteksian tabrakan antara dua objek Berguna untuk menentukan posisi dari satu objek dengan objek yang lain sehingga tidak ada objek yang saling menembus Membuat menjadi lebih realistis Pendeteksian tabrakan menggukan bound dimana box atau kotaknya berbentuk 3D yang melingkupi setiap objek dalam scene.
Rancangan Sistem
Flowchart Sistem
FSM
Skenario Loading Objek Teknik yang diajukan, menggunakan metasequoia dengan ekstensi.mqo yang ditambahkan sebagai header dan di include kan pada sistem. Objek ada dua, cepot dan wall Animasi interaksi Menerapkan animasi sequence memanggil kumpulan frame tau file berupa pose-pose karakter yang akan dianimasikan dan interaksi menggunakan keyboard Deteksi tumbukan Satu objek ditampilkan dengan 1 marker, dua objek bercollision. Saat system telah menampilkan ke dua objek, karakter bergerak menuju objek wall dan terjadi boundng box collision detection.
Pengujian Sistem
Sistem telah dilakukan uji coba dengan menggunakan grafik card NVIDIA GeForce 7000M, 512 MB DDR2 series, OpenGL Version: 3.2.0, processor AMD Turion X2 2.0 GHz, DirectX 9.0, kamera webcam Marker yang digunakan kemudian ditraining oleh sistem
Uji Load Objek Attribute objek 3D yang digunakan: 1. Cepot: ukuran file 649 MQO file Dimension: X = 67.856 Y = 77.364 Z = 181.637 Vertices: 5245 Faces: 10250 Map teksture: batik.bmp 169 KB (dimension 1025 x 1024), CH01_11 copy.bmp 3073 KB (dimension 239 x 239) 2. Wall: ukuran file 2KB MQO file dimension: X = 87.35 Y = 95.716 Z = 51.779 Vertices : 8 Faces : 12 Map tekstur: bata merah.bmp 791 KB (Dimension 526 x 512), 00tex_master.BMP 769 KB (Dimension 512 x 512 ) (digunakan saat collision detection)
3. Nilai kamera parameter dengan ukuran sebagai berikut: Size 640, 480 Distortion factor = 318.500000 263.500000 26.200000 1.012757 700.95147 0.00000 316.50000 0.00000 0.00000 726.09418 241.50000 0.00000 0.00000 0.00000 1.00000 0.00000
Pengamatan fps waktu pengamatan Posisi Model diam Posisi model gerak 10 13.03383427 15.16223553 20 14.02639024 15.29050645 30 14.51396417 16.00628156 40 14.25054439 16.25819967 50 14.14173924 15.56837728 60 13.13505606 15.67060001 70 13.77665293 15.33649728 80 14.06011819 15.71345169 90 13.52839895 16.11181677 100 14.45665673 14.99264076 110 13.67527161 15.59310729 120 13.91381949 15.26891747 130 14.58249559 14.63317774 140 14.80060809 14.79357274 150 15.0265719 15.11295013 160 14.27165105 15.40167118 170 14.47505379 15.46874031 180 14.6837192 15.13839229 190 13.97833473 14.89069053 200 14.1422861 15.0040769 210 14.92877984 14.61790187 220 14.63405409 15.11328651 230 15.1824079 15.40849375 FPS 18 16 14 12 10 8 6 4 2 0 Grafik Uji FPS Objek 3D Cepot diam dan Gerak Satuan waktu pengamatan/sec Posisi Model diam Posisi model gerak
waktu pengamatan Posisi Model diam Posisi model gerak 10 12.29127898 14.54322117 20 13.47673911 14.43548355 30 14.38367954 15.76158509 40 13.69569163 15.64877135 50 13.96966043 15.02523024 60 13.03125628 15.14382112 70 13.25039708 15.23928526 80 13.56350864 14.88196726 90 13.11619949 15.98295745 100 13.69471805 14.76533361 110 13.37756459 14.81890357 120 13.75135453 14.86269148 130 13.74717301 13.99537334 140 14.36180668 14.05772102 150 14.2328969 14.59833834 160 13.7450684 15.76158509 170 14.18546705 15.64877135 180 13.73841292 15.02523024 190 13.58538053 14.01489824 200 13.7806067 14.00936922 210 14.55149656 14.55523326 220 13.7798749 14.17970962 230 14.35709214 14.46088547 Pengukuran FPS 18 16 14 12 10 8 6 4 2 0 Grafik Uji FPS Object 3D Wall Diam dan Gerak Satuan waktu Pengamatan/sec Posisi Model diam Posisi model gerak
waktu pengamatan Posisi Model diam Posisi model gerak 10 12.08770416 11.93584067 20 12.44338474 11.28085593 30 12.73269578 12.14210461 40 12.48360281 12.15884272 50 12.18240001 12.1601905 60 12.98882526 12.09469201 70 12.18850566 12.18131582 80 12.20803567 12.16348485 90 12.83645428 11.52525383 100 12.57795691 11.81566573 110 12.95400614 11.94869648 120 12.294838 12.07654225 130 12.47156336 9.433416978 140 12.78299467 9.789097557 150 12.80481038 10.0784086 160 12.24072425 9.829315627 170 12.67110609 9.528112828 180 12.63540016 10.33453808 190 12.8960194 9.534218478 200 12.82009248 9.553748487 210 12.22437826 10.1821671 220 12.35245887 9.923669731 230 12.14403843 10.29971896 Pengukuran FPS 14 12 10 8 6 4 2 0 Grafik Uji FPS Object 3D Gabungan Diam dan Gerak Satuan waktu Pengamatan/sec Posisi Model diam Posisi model gerak
Screenshot Loading objek dan Animasi Interaksi
Screenshot Collsion Detection
Kesimpulan Objekdapat tampil dengan baik dan dapat bernaimasi dengan baik lengkap dengan tekstur nya dengan cara menggunakan metasequiao Pencahayaan saat sistem berlangsung mempengaruhi, khususnya pendeteksian marker. Cahaya berlebih dapat menghadirkan refelksi dan menggangu sistem mengenali marker. Bounding Box Collision Detection sesuai untuk mendeteksi tumbukan 2 objek 3D dan bisa diterapkan juga dalam lingkungan AR Walaupun dengan menggunakan kamera yang berbeda, aplikasi AR ini akan berjalan baik apabila menggunakan resolusi keluaran 640x480 dengan frame rate rata-rata 14-15 fps.
DEMO
Terimakasih