PROCESSING AUGMENTED REALITY MENGGUNAKAN LIBRARY NYARTOOLKIT BERBASIS JAVA

PROCESSING AUGMENTED REALITY MENGGUNAKAN LIBRARY NYARTOOLKIT BERBASIS JAVA Faruk Alfiyan* Teknik Informatika, Sekolah Tinggi Ilmu Komputer PGRI, Banyuwangi, Indonesia * farukalfiyan@gmail.com Abstrak Pada era globalisasi ini, teknologi telah berkembang dengan sangat pesat. Salah satu contohnya yaitu Augmented Reality yang dapat diaplikasikan pada berbagai hal. Augmented Reality adalah kompbinasi antara objek virtual dengan objek nyata pada dunia nyata secara langsung. Objek virtual dapat menggunakan objek D, objek 3D, suara, dan lainnya. Penelitian ini mendiskusikan mengenai implementasi Augmented Reality menggunakan library dan marker. Metode yang digunakan adalah marker based tracking. Marker berwarna hitam dan putih dengan bingkai hitam dan background putih dan pola khusus ditengahnya. Marker dicetak pada kertas lalu objek virtual 3D akan tampil ketika marker diarahkan dan terdeteksi pada webcam. Konteks dari study ini menggunakan framework AR berbasis open source, yaitu NyarToolkit yang diimplementasikan kedalam bahasa Java. Hasil dari penelitian ini sebagai acuan dan dapat diterapkan untuk aplikasi selanjutnya. Kata Kunci 3D Object, Augmented Reality, C#, NyarToolkit.. Pendahuluan Dengan kemajuan teknologi yang sangat pesat belakangan ini banyak manusia yang semakin dimanjakan dengan kemudahan dan inovasi yang ditawarkan banyak inovator didunia. Para penggiat teknologi berlomba-lomba menampilkan inovasi dan kreasi teknologi terbaru Mulai dari hardware yang dulunya hanya sebuah Komputer Desktop berukuran sangat besar hingga semakin mengecil yang berbanding terbalik dengan kompabilitas yang sudah sangat jauh meninggalkan pendahulunya. Dan pada software, terutama pada teknologi computer vision yang merupakan cabang dari kecerdasan buatan atau artificial intelligence pun berkembang sangat cepat. Dengan memanfaatkan komputer, dapat dibuat sangat banyak produk-produk berbasiskan teknologi. Salah satunya yaitu teknologi Augmented Reality (AR). Secara harfiah, apabila diterjemahkan kedalam bahasa Indonesia, Augmented Reality terdiri dari dua kata yaitu Augmented yang berarti penambahan atau peningkatan, dan Reality yang berarti realitas atau kenyataan. Jadi pengertian umumnya yaitu realita yang ditambahkan atau realita tertambah (kato, 000). Augmented Reality merupakan teknologi dari cabang computer vision yang bertujuan untuk menggabungkan citra sintetis ke dalam dunia nyata menggunakan bantuan webcam. Gambar yang ditangkap kemudian diolah dan ditampilkan ke layar monitor. Augmented Reality merupakan suatu teknologi yang menambahkan objek virtual ke dalam lingkungan nyata secara real time sehingga batas diantara keduanya menjadi sangat tipis (Azuma, 03). Objek virtual yang ditambahkan adalah objek 3D yang terintegrasi ke dunia nyata (real world). AR merupakan kebalikan dari Virtual Reality (VR), dimana virtual reality menjadikan pengguna tergabung dalam sebuah lingkungan virtual secara menyeluruh. Sebaliknya, AR memungkinkan pengguna untuk melihat lingkungan nyata dengan objek virtual yang ditambahkan atau tergabung dengan lingkungan nyata. Tidak seperti VR yang sepenuhnya menggantikan lingkungan nyata, AR sekedar menambahkan atau melengkapi lingkungan nyata (Angga, 0). Dengan semakin berkembangnya penggunaan library yang telah tersedia untuk membangun AR, maka perlu adanya penelitian pada library NyarToolkit dengan penggunaan bahasa Java. Rumusan masalah pada penelitian ini adalah bagaimana pemanfaatan metode dalam library pada penerapan Augmented Reality serta bagaimana kemampuan, kehandalan, serta implementasi pada bahasa pemrograman pada library dalam penerapan Augmented Reality. Ruang lingkup pembahasan antara lain library yang digunakan dalam penelitian ini adalah NyarToolkit, bahasa Pemrograman yang digunakan pada NyarToolkit adalah C#, objek yang digunakan adalah objek 3D, marker berpola digunakan untuk me-render objek 3D, marker yang digunakan adalah marker Hiro, Kanji, dan marker custom, dan penelitian ini bersifat pemanfaatan dan kemampuan library yang ada dalam teknologi Augmented Reality. Tujuan penelitian ini adalah membuktikan perbandingan dan pemanfaatan metode library dalam penerapan Augmented Reality serta dapat mengetahui kemampuan, kehandalan, serta implementasi pada bahasa pemrograman pada library dalam penerapan Augmented Reality. 8

. Teori Penunjang.. Bahasa Pemrograman Java Java adalah bahasa pemrograman berorientasi objek murni yang dibuat berdasarkan kemampuankemampuan terbaik bahasa pemrograman objek sebelumnya (C++, Ada, Simula). Java diciptakan oleh James Gosling, developer dari Sun Microsystems pada tahun 99. Java adalah bahasa pemrograman serbaguna yang dapat digunakan untuk membuat sebuah program. Java merupakan sebuah bahasa pemrograman tingkat menengah. Salah satu kelebihan Java adalah ketidaktergantungan dengan platform, artinya Java dapat dijalankan pada sembarang komputer dan pada sembarang sistem operasi yang sering disebut dengan portabilitas. Yang menariknya portabilitas Java tidak terbatas pada program sumber (source code), melainkan juga pada tingkat bytecode. Dengan demikian suatu program yang sudah anda kompilasi dengan java di OS Windows dapat juga berjalan di Macintosh secara langsung tanpa kompilasi ulang. Java adalah bahasa pemrograman yang berorientasi objek (OOP). Java diciptakan oleh James Gosling, developer dari Sun Microsystems pada tahun 99. Perkembangan Java tidak hanya terfokus pada satu sistem operasi, tetapi dikembangkan untuk berbagai sistem operasi dan bersifat open source. Sebagai bahasa pemrograman yang berorientasi objek, Java menggunakan kelas untuk membentuk suatu objek. Java adalah bahasa yang dapat dijalankan dimanapun dan di sembarang platform apapun, di beragam lingkungan. Kelebihan Java di bandingkan dengan C++. Pembuat program java telah merancang java untuk menghilangkan pengalokasian dan dealokasi memori secara manual, karena java memiliki Garbage Collection. Diperkenalkannya deklarasi array yang sebenarnya dan menghilangkan aritmatika pointer. Hal ini yang sering menyebabkan memori overwrite. Dihilangkannya multiple inheritance, mereka menggantinya dengan interface... Augmented Reality Augmented Reality adalah teknologi yang menggabungkan benda maya dua dimensi dan ataupun tiga dimensi ke dalam sebuah lingkungan nyata tiga dimensi lalu memproyeksikan benda-benda maya tersebut dalam waktu nyata. Tidak seperti realitas maya yang sepenuhnya menggantikan kenyataan, namun Augmented Reality hanya menambahkan atau melengkapi kenyataan. (Kato, 000). Selain menambahkan benda maya dalam lingkungan nyata, Augmented Reality juga berpotensi menghilangkan benda-benda yang sudah ada. Menambah sebuah lapisan gambar maya dimungkinkan untuk menghilangkan atau menyembunyikan lingkungan nyata dari pandangan pengguna. Misalnya, untuk menyembunyikan sebuah meja dalam lingkungan nyata, perlu digambarkan lapisan representasi tembok dan lantai kosong yang diletakkan di atas gambar meja nyata, sehingga menutupi meja nyata dari pandangan pengguna. Augmented Reality dapat diaplikasikan untuk semua indera, termasuk pendengaran, sentuhan, dan penciuman. Selain digunakan dalam bidang-bidang seperti kesehatan, militer, industri manufaktur, Augmented Reality juga telah diaplikasikan dalam perangkat-perangkat yang digunakan orang banyak, seperti pada telepon genggam. Azuma dalam karya ilmiahnya berjudul A survey of Augmented Reality (007) menjelaskan bahwa Augmented Reality adalah teknologi yang menggabungkan obyek-obyek maya yang ada dan dihasilkan (generated) oleh komputer dengan bendabenda yang ada di dunia nyata sekitar kita, dan dalam waktu yang nyata..3. NyarToolKit NyARToolKit merupakan turunan langsung dari ARToolkit yang ditulis secara eksklusif di Java. Kemampuan NyarToolkit memang dibawah ARToolkit, tapi kemampuannya tidak diragukan dan bersifat independen. Seperti aslinya, NyARToolKit adalah library fungsi interpretasi visual dan integrasi data VR ke dalam lingkungan fisik, termasuk fungsi real-time kamera visi, 3D rendering obyek virtual, dan mengintegrasikan keduanya ke dalam aliran output. (Davison, 03). Penggunaan nama NyarToolkit memang terdengar aneh. Itu dikarenakan diciptakan oleh seorang pria Jepang yang dikenal sebagai Nyatla pada tahun 008, sehingga Ny harus ditambahkan ke nama toolkit. Meskipun berbasis java, akan tetapi perkembangan kemampuan NyarToolkit sehingga dapat berjalan pada bahasa C# dan sistem operasi Android. Fitur-fitur yang terdapat pada NyarToolkit antara lain: a. Sebuah kerangka sederhana untuk membuat real-time aplikasi Augmented Reality b. Hamparan 3D obyek virtual pada penanda nyata (Magic Symbol) c. Sebuah platform perpustakaan multi video dengan rangkaian: Beberapa sumber input (USB, Firewire, kartu capture) Beberapa Format (RGB/YUV0P, YUV) Pelacakan kamera pendukung Inisialisasi GUI Interface d. Pelacakan penanda yang cepat (real-time planner detection) e. Library grafis yang simple.. Marker Tahap pertama dalam membangun AR adalah dengan mengenal marker. Marker adalah sebuah gambar berpola khusus yang sudah dikenali oleh template library AR. Selanjutnya marker akan dibaca dan dikenali oleh kamera lalu dicocokkan dengan template ARToolkit, setelah itu baru kamera akan me-render objek 3D diatas marker (Angga, 0). Marker standar yang sering digunakan oleh para pemula adalah marker Hiro dan marker Kanji. Marker ini digunakan pada library ARToolkit. Pada umumnya, marker yang biasa dikenali hanya marker dengan pola berbentuk kotak dengan bingkai 8

hitam didalamnya. Tetapi banyak pengembang AR yang sudah bisa membuat marker tanpa bingkai hitam (custom marker) ataupun tanpa marker sama sekali (markerless). 3. Perancangan System Program 3. Metode Penelitian Langkah-langkah dalam menyelesaikan penelitian ini di perlihatkan pada gambar. Prinsip pengerjaannya menggunakan metode waterfall yaitu pengerjaan dari atas ke bawah secara berurutan, dengan rincian seperti pada gambar. Studi Literatur Membangun Augmented Reality Menggunakan Penanda (Marker) Analisa dan Desain Algoritma Kesimpulan terhadap aplikasi yang dibuat dan penulisan laporan dilakukan untuk mendokumentasikan semua kegiatan-kegiatan dan temuan-temuan selama pelaksanaan penelitian. 3. Marker Marker merupakan ilustrasi hitam dan putih berbentuk persegi dengan batas hitam tebal dan latar belakang putih. Secara default, marker memang menggunakan bingkai hitam dengan pola yang berada di bagian tengah bingkai, akan tetapi dalam perkembangannya, marker tidak harus hitam putih. Dalam persegi tersebut dapat dimasukkan simbol, gambar ataupun pola yang akan digunakan sebagai penanda (marker). Marker memiliki beberapa ketentuan yaitu harus persegi dan marker memiliki bentuk yang tetap (umumnya hitam atau putih) dan biasanya berada dengan latar belakang warna yang kontras (biasanya kebalikan dari perbatasan warna). Ketebalan batas marker adalah 5% dari panjang sebuah penanda tepi. Tetapi ada pula marker custom yang berbeda ukuran bingkai, ataupun marker berwarna Membangun Augmented Reality Dengan Menggunakan Marker Mengintegrasikan objek Virtual 3D Diatas Marker Uji Coba Dan Evaluasi Pada Library NyarToolkit Kesimpulan Dan Penulisan laporan Gambar : Langkah-Langkah Penelitian Studi literatur adalah mempelajari teori-teori yang perlu di pahami untuk mendukung kelancaran penelitian ini. Berikut adalah teori-teori yang pendukung yang dimaksud : a. Mempelajari tentang library NyarToolkit. b. Mempelajari tentang rancangan bahasa pemrograman yang digunakan. Rancangan algoritma pada penelitian ini bisa dilihat pada sub bab selanjutnya. Pengenalan pola marker dengan aplikasi yang dibuat. Gambar : Ukuran Marker 3.3 Marker Based Tracking Metode marker yang digunakan pada augmented reality ini menggunakan metode marker based tracking. Komputer akan mengenali posisi dan orientasi marker lalu menciptakan objek virtual 3D. Marker akan terekam melalui kamera real time. Kemudian marker digunakan untuk mengenali objek yang akan ditambahkan. Objek yang ditambahkan akan diproses menggunakan komputer dan webcam yang kemudian ditampilkan dalam layar maupun peralatan display khusus melalui pengenalan sebuah marker (penanda). Selanjutnya ARMedia akan menampilkan objek yang akan degenerate secara otomatis dan real time. Untuk lebih jelasnya dapat dilihat dalam diagram dibawah ini Intergrasi antara objek virtual 3D dengan marker ketika marker tertangkap oleh kamera dan dikenali, sehingga pada layar akan terlihat objek 3D sesuai marker yang ditampilkan. Uji coba dan evaluasi diperlukan untuk melihat tingkat keberhasilan dari metode library yang digunakan, yaitu NyarToolkit berbasis Java. 83

adalah menghitung posisi dan orientasi dari objek virtual. Kemudian objek virtual 3D tersebut akan ditranformasikan ke atas marker. 3. NyarToolKit NyarToolkit merupakan turunan langsung dari ARToolkit dengan pengembangan menggunakan bahasa pemrograman C# dan Java. Tetapi implementasinya tetap berbasiskan ARToolKit dengan penggunaan marker sebagai media untuk me-render objek 3D. dan cara kerjanya pun sama dengan ARToolKit. Gambar 3 : Desain Activity Diagram Marker Based Tracking Penjelasan dari alur diatas yaitu setelah image yang direkam oleh webcam adalah marker dengan bingkai hitam, selanjutnya adalah menghitung posisi dan orientasi marker. Selanjutnya adalah menemukan posisi dan orientasi dari marker 3D. Posisi dan orientasi marker tersebut secara relatif akan akan dihitung. Komputer akan mengenali posisi dan orientasi marker dan menciptakan dunia virtual 3D yaitu titik (0,0,0) dan 3 sumbu yaitu X, Y, dan Z. Gambar 5 : Desain Activity Diagram NyarToolKit Gambar : Sistem Koordinat Marker Setelah posisi dan orientasi dihitung, maka image marker yang terdapat ditengah bingkai hitam marker akan disesuaikan dengan image yang tersimpan dalam memory. Setelah marker terdeteksi, langkah selanjutnya adalah mendeteksi pattern yang terdapat di dalam bingkai. Kamera akan merekam pattern yang terdapat di dalam marker. Jika benar, maka pattern teridentifikasi sebagai penanda untuk menampilkan objek virtual. Hal selanjutnya yang akan dilakukan Penjelasan alur diagram diatas yaitu membuka video stream dari kamera. Kemudian menangkap image marker yang diarahkan di depan kamera. Selanjutnya aplikasi akan melakukan identifikasi, posisi, dan orientasi marker. Proses selanjutnya yaitu pencocokan pola marker dengan marker yang disimpan pada aplikasi. Ketika cocok, terapkan posisi dan orientasi marker yang selanjutnya me-render objek 3D pada video frame. hasil akhirnya yaitu menampilkan objek 3D tersebut pada layar.. Uji Coba Dan Pembahasan. Skenario Uji Coba Uji Coba dilakukan dengan menggunakan Laptop Dell Dengan spesifikasi processor Intel Core Duo T800.0GHz, kapasitas memory Gb, resolusi monitor yang digunakan 80x800 piksel. Perangkat lunak pendukung komputer adalah Windows 8. Perangkat 8

keras kamera menggunakan Laptop Integrated Webcam ver....0 dan WebCam Vista/Live! Cam Chat VF0330...0. Penggunaan NyarToolKit Java menggunakan library GSVideo 0.8, NyARpsg 0.3.0, OBJLoader, dan library tambahan lainnya, serta aplikasi menggunakan processing... Pola marker yang digunakan adalah marker Hiro, marker Kanji, dan marker Ples. Pattern-pattern dari ketiga marker ini akan dipergunakan dalam acuan menampilkan objek 3D pada aplikasi-aplikasi AR yang akan dibahas pada bab selanjutnya. Gambar 6 : Marker Hiro, Marker Kanji, Dan Marker Ples Skenario uji coba yaitu Buka aplikasi NyarToolKit C#, kemudian Cek driver kamera tersedia atau tidak. Jika tersedia, maka tampilkan gambar yang tertangkap oleh kamera. Hadapkan marker-marker yang telah dicetak didepan kamera. Saat marker dikenali, maka objek 3D akan tampil pada tiap-tiap marker tersebut. Gambar 9 : Tampilan Aplikasi MarkerObj Ketika Dijalankan. Pelaksanaan Dan Evaluasi Uji Coba Sesuai skenario diatas, maka proses awal adalah penempatan library ObjLoader, Lib, Nyar, dan GSVideo dalam satu folder. Kemudian penempatan file MarkerObj beserta folder data pattern dan objek 3D dalam folder Nyar. Selanjutnya membuka aplikasi Processing kemudian menjalankan aplikasi untuk menampilkan objek 3D pada layar. Gambar 0 : Hasil Aplikasi MarkerObj Gambar 7 : Pemasangan Library Dalam Folder Hasil uji coba untuk menampilkan objek 3D pada layar ketika marker-marker tertangkap pada kamera dengan kondisi cahaya stabil dan marker berdiri tegak lurus didepan kamera pada aplikasi-aplikasi yang telah dijalankan terlihat pada Tabel. Sedangkan hasil uji coba untuk menampilkan objek 3D pada layar ketika marker tertangkap pada kamera dengan kondisi sudut marker yang berbeda secara horizontal pada aplikasiaplikasi yang telah dijalankan terlihat pada Tabel. Yang terakhir adalah hasil uji coba untuk menampilkan objek 3D pada layar dengan kondisi pencahayaan yang berbeda-beda pada aplikasi-aplikasi yang telah dijalankan terlihat pada Tabel 3. Tabel : Objek 3D Objek 3D / Jarak (cm) * Uji Coba Marker 5 0 5 30 MarkerObj Hiro Kanji Ples Gambar 8 : Aplikasi MarkerObj.pde Dalam Folder 85

Tabel : Sudut Marker Terhadap Objek 3D Daftar Pustaka Uji Coba ARMarker Marke r Hiro Kanji Ples Sudut (Derajat) * 30 50 70 80 90 []. Nugroho, Adi, Algoritma Dan Struktur Data Dengan C#, Penerbit Andi, 009. []. Azuma, Ronald T, A Survey of Augmented reality, http://www.cs.unc.edu/~azuma/arpresence.pdf (diakses November 03). Tabel 3 : Objek 3D Terhadap Ruangan Dan Cahaya Kondisi Ruangan Aplikasi Cahaya Ruangan SimpleVRML Terang Redup Gelap Terang Mendung Gelap Tertutup Tertutup Tertutup Terbuka Terbuka Terbuka *Ket :. Muncul Stabil.. Muncul Tidak Stabil. 3. Jarang Muncul.. Tidak Muncul. [3]. Andriyadi, Angga, Augmented Reality With ARToolkit, Augmented Reality Team, 0. []. Prof. Dr. Butz, A, Interaction Technique For AR, LMU Munchen - Medieninformatik, 006. [5]. Kato, H, Inside ARToolkit, Hiroshima City University, 000. [6]. Kato, H., dan Billinghurst, M., Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System,Proceedings of nd Int. Workshop on Augmented Reality, 85-9, 999. [7]. Scheinerman, M, Exploring Augmented Reality, Haverford College Computer Science, 009.3 Analisa Hasil Dan Kelemahan Dari uji coba menampilkan objek 3D dengan penggunaan 3 marker dapat dilihat bahwa aplikasi pada MarkerObj stabil dalam menampilkan objek 3D dalam tiap-tiap jarak antara kamera dengan marker. Dan uji coba pengukuran sudut marker Hiro terhadap penampakan objek 3D pada layar dapat dilihat bahwa aplikasi MarkerObj mempunyai hasil yang baik. Yang terakhir uji coba pengukuran kondisi cahaya yang berbeda pada ruang yang berbeda pada marker Hiro dengan kondisi marker tegak lurus didepan kamera pada jarak terbaik, didapat hasil bahwa aplikasi ARMarker dapat membaca marker dengan baik, tetapi lebih baik saat dalam ruangan yang terbuka. 5. Kesimpulan Dari hasil penelitian yang dilakukan pada library yang digunakan untuk membangun aplikasi Augmented Reality didapatkan bahwa library tersebut mampu membangun suatu aplikasi untuk menampilkan objek 3D pada marker yang dikenali yang tertangkap pada kamera. Pada hasil implementasi menggunakan NyarToolKit menggunakan bahasa pemrograman Java dengan penggunaan aplikasi Processing, kemampuannya juga tidak diragukan karena diciptakan seperti ARToolkit serta implementasinya yang mudah dalam membangun aplikasi AR. Walaupun kemampuannya masih dibawah ArToolKit. 6. Future Work Dari semua hasil uji coba dan implementasi ini diharapkan dapat digunakan sebagai acuan dalam membangun aplikasi Augmented Reality yang selanjutnya yang dapat digunakan dalam kehidupan sehari-hari. library yang telah diteliti dapat diolah kembali lebih baik lagi sesuai kebutuhan yang hendak digunakan. Pada implementasi library NyarToolKit Java, Hasil sudah baik, hanya perlu pengembangan dalam pengimplementasian kedepan. 86