Rekontruksi Citra 3 Dimensi Menggunakan Voxel Coloring Umar maksum 1 Jurusan Teknik Elektro FTI Institut Teknologi Sepuluh November

Transkripsi

1 Rekontruksi Citra 3 Dimensi Menggunakan Voxel Coloring Umar maksum 1 Jurusan Teknik Elektro FTI Institut Teknologi Sepuluh November umar.maksum@yahoo.co.id Dosen Pembimbing: Ahmad Zaini, ST.,MT, Dr. I Ketut Eddy Purnama,ST.,MT Abstract Saat ini komputer grafis mengalami kemajuan yang luar biasa dalam pemodelan 3 dimensi, sehingga mendorong para peniliti untuk mengembangkan dan merancang berbagai teknik rekontruksi 3 dimensi. Rekontruksi 3 dimensi sangat membantu di dunia medis, pembuatan game dan animasi, karena akan cepat membantu dalam merekontruksi objek 3 dimensi daripada dikerjakan secara manual. Tetapi masih belum ada kamera ataupun scanner yang dapat mengambil image langsung secara 3D, sehingga banyak developer software yang mengembangkan aplikasi untuk membuat obyek 3D seperti 3D Max, Maya dan lain-lain. Namun apikasi tersebut masih memerlukan keahlian manusia untuk membuat obyek 3D yang menyerupai aslinya. Dalam tugas akhir ini dirancang aplikasi rekonstruksi citra 3 dimensi dengan menggunakan metode voxel coloring. Pengambilan citra dilakukan dengan menggunakan satu kamera web dan objek diputar dengan beberapa sudut untuk pengambilan citra. Metode ini dapat menghasilkan obyek 3D yang bersifat photorealistic dan dapat mengatasi masalah occlusion yang terjadi pada proses rekonstruksi. Hasil yang diperoleh dari percobaan untuk kubus dengan volume space (150 x 150 x 150) jumlah vokselnya voxel, waktu rekontruksi 227,797 detik. Untuk Prisma dengan volume space (150X150X150) jumlah vokselnya voxel, waktu rekontruksinya 215,859 detik. Untuk menghasilkan citra 3D yang lebih halus maka volume space-nya harus semakin besar. Keyword : occlusion, photorealistic, voxel coloring 1. Pendahuluan Mendapatkan bentuk citra objek 3D yang sesuai dengan bentuk objeknya merupakan hal yang komplek. Selama ini untuk mendapatkan gambar objek tiga dimensi dilakukan secara manual yaitu dengan melakukan pengukuran secara manual terhadap objek yang akan digambar dan kemudian menggambar objek tersebut secara manual. Proses ini memerlukan waktu yang cukup lama. Oleh karena itu diperlukan suatu prototype yang dapat menscanning bentuk benda dan dapat menggambar benda tersebut sesuai dengan aslinya. Oleh karena itu pada penelitian ini mencoba untuk membuat system rekontruksi citra 3 dimensi menggunakan Voxel Coloring. Metode Voxel Coloring (VC) yang dikemukakan oleh Slabaugh, dimana metode ini 1

2 kemudian dikembangkan oleh oleh Seitz dan Dyer. Metode Voxel coloring ini dapat menghasilkan obyek 3D yang bersifat sesuai dengan citra inputnya (photorealistic) dan dapat mengatasi masalah penutupan obyek (occlusion) yang terjadi pada proses rekonstruksi. Dengan adanya prototype ini dapat memudahkan untuk menggambar benda 3D.. 2. Dasar Teori 2.1 Voxel Coloring (VC) Voxel Coloring adalah sebuah algoritma untuk merekonstruksi bentuk 3D dari sejumlah masukan citra yang dikemukakan oleh Seitz dan Dyer [1]. Langkah awal metode ini ialah mendiskritkan obyek yang akan dimodelkan menjadi sekumpulan voksel, yang akhirnya membentuk suatu ruang yang disebut ruang voksel (voxel space). Kemudian dilakukan pengecekan secara berurutan terhadap ruang voksel dimulai dari posisi yang terdekat dengan kamera hingga posisi yang terjauh. Pengecekan ini dilakukan untuk mengidentifikasi voksel mana yang mempunyai warna yang unik dan konsisten. Sebuah voksel dianggap konsisten jika hasil proyeksi dari voksel tersebut ke citra input menghasilkan warna yang sama untuk semua citra dimana voksel tersebut terlihat. Masalah utama pada metode ini adalah bagaimana menandai sebuah voksel dengan warna pada volume tiga dimensi dan tetap mempunyai konsistensi terhadap sekumpulan citra, seperti ditunjukkan pada gambar 2.7. Dari hasil pewarnaan voksel tersebut diharapkan dapat merekonstruksi obyek sesuai dengan gambar input. Secara formal, ruang 3D scene (S) direpresentasikan sebagai sekumpulan voksel yang tidak tembus cahaya, dimana tiap voksel akan mencakup sebuah volume terbatas yang terpusat pada sebuah titik V S dan mempunyai isotropic radiance color(v,s). Asumsi yang digunakan adalah seluruh obyek tercakup dalam sebuah batasan yang diketahui yaitu finite bounding volume. Semua voksel yang terletak di dalam bounding volume disebut ruang voksel yang dilambangkan dengan simbol V. Sebuah citra I dispesifikasikan sebagai sekumpulan piksel dimana pikselpiksel tersebut terpusat pada titik p I dan mempunyai irradiance color(p,s)[5]. Gambar 2.7 Voxel coloring [5] Sebuah piksel p I dan scene S, terdapat voksel V S yang terlihat pada I dan terproyeksikan ke p oleh V=S(p). Scene S dikatakan lengkap terhadap sekumpulan citra jika untuk setiap citra I dan setiap piksel 2

3 p I terdapat sebuah voksel V S sehingga V=S(p). Sebuah scene yang lengkap disebut konsisten terhadap sekumpulan citra jika untuk setiap citra I dan setiap piksel p I, color(p,i)=color(s(p),s)[5]. 2.2 Invariant Warna Satu-satunya cara untuk mendapatkan informasi dari sebuah scene untuk memecahkan persoalan pewarnaan voksel adalah dengan menggunakan invariant, yaitu suatu sifat yang terdapat pada semua scene yang konsisten. Sebagai contoh dapat diperhatikan sekumpulan voxel yang terdapat di setiap scene yang konsisten. Laurentini telah mendefinisikan bagaimana cara untuk mendapatkan suatu invariants yang disebut hard points, dengan menggunakan perpotongan volume dari gambar silhouette. Dengan menggunakan hard points, informasi yang benar mengenai scene dapat dihasilkan, hanya saja, hard points ini jarang ditemukan, bahkan untuk beberapa gambar, tidak didapat hard points. Untuk itu, masalah invariant yang digunakan di sini bukan invariant yang berupa bentuk seperti hard points, tetapi invariant yang berupa warna. Sebuah voksel disebut invariant warna terhadap sekumpulan gambar jika memenuhi dua kondisi yaitu : terdapat dalam sebuah scene yang konsisten terhadap gambar dan untuk setiap pasangan scene yang konsisten S dan S 1, V S S 1 termasuk color(v,s)=color(v,s 1 ). Tidak seperti invariant bentuk, invariant warna tidak memerlukan sebuah titik harus terdapat di setiap scene yang konsisten. Sehingga sebagai hasilnya, invariant warna lebih umum daripada hard points. Gabungan dari invariant warna ini membentuk scene yang konsisten, sehingga permasalahan pewarnaan voksel dapat digambarkan sebagai permasalahan yang dapat diselesaikan dengan memecahkan masalah scene yang konsisten dan berhubungan dengan invariant warna. Tetapi untuk lebih mudahnya untuk menyelesaikan masalah tersebut dibutuhkan batasanbatasan lain [5]. 2.3 Batasan Ordinal Visibility Batasan ordinal visibility akan mengaktifkan identifikasi dari sekumpulan invariant warna sebagai titik batas dari ℵ, dimana ℵ adalah kumpulan semua scene yang konsisten. Diasumsikan P dan Q adalah titik scene dan I adalah citra dari kamera yang mempunyai pusat di C. P akan menutupi Q jika P terletak pada segmen garis CQ. Kamera input harus diletakkan pada posisi tertentu sehingga memenuhi batasan : sehingga untuk semua titik scene P dan Q, dan gambar input I, P menutupi Q pada I hanya jika P < Q [5]. Untuk memenuhi batasan ordinal visibility ini, maka penempatan kamera harus memenuhi konfigurasi seperti gambar di bawah ini dimana pada gambar 2.8a adalah posisi kamera jika obyek berupa benda solid, dan gambar 2.8b jika obyek berupa ruang. 3

4 (2.9) (3.0) (a) (b) Gambar 2.8 Posisi Kamera [5] 2.4 Color-Consistency Color-consistency diperlukan dalam proses rekontruksi citra 3D dari citra 2D. Color-consistency adalah proses untuk menentukan (evaluasi) apakah suatu bagian dari obyek pada citra 2D akan dimunculkan pada citra 3D. Dalam memproses sebuah voksel perlu dilakukan pengecekan bahwa voksel tersebut terlihat pada citra dan merupakan bagian dari objek, pengecekan apakah suatu voksel terlihat pada citra atau tidak, dapat dilihat dari hasil segmentasi citra. Apabila proyeksi V pada gambar mengenai bagian yang berwarna maka V tersebut adalah termasuk objek akan disimpan untuk selanjutnya dilakukan pengecekan warna. Proses pengecekan selanjutnya adalah untuk melihat apakah V terproyeksi pada gambar dan menunjuk obyek yang sama. Proses dilakukan dengan menghitung standard deviasi dari kumpulan warna piksel hasil proyeksi V kemudian dibandingkan dengan nilai threshold maka dapat dianggap bahwa proyeksi V menunjuk pada obyek yang sama. Berikut ini rumus yang di gunakan untuk mencari standard deviasi. (3.1) (3.2) (3.3) (3.4) (3.5) (3.6) Gambar 2.9 dapat dilihat bahwa titik A adalah konsisten karena terlihat pada kamera 1 dan 2 dan menunjuk titik yang sama, sedangkan titik B tidak konsisten karena tidak menunjuk pada piksel yang sama. Gambar 2.9 Color consistency check [2] 3. Perencanaan Sistem Pada bab ini menjelaskan desain dan implementasi sistem. Pada dasarnya sistem yang akan dibangun merupakan sebuah perangkat lunak untuk 4

5 merekontruksi gambar menjadi 3 dimensi. 3.1 Desain Sistem Secara garis besar sistem perangkat lunak ini terdiri dari beberapa bagian utama.yaitu: Input Proses input terdiri dari proses pengambilan citra chessboard pattern dan citra obyek dengan menggunakan kamera digital.citra yang didapatkan akan digunakan sebagai input pada proses selanjutnya. Segmentation Proses segmentation adalah proses untuk memisahkan obyek dengan lingkungan (latar belakang) sehingga memungkinkan sistem untuk mengenali obyek yang terdapat pada citra. Camera Calibration Proses camera calibration berfungsi untuk mencari parameter intrinsik kamera dan mencari matrik ekstrinsik tiap citra berdasarkan koordinat dunia. 3D Reconstruction 3D Reconstruction adalah proses utama dari perangkat lunak. yaitu proses rekonstruksi citra 3D dengan metode voxel coloring untuk mencari titik-tltik yang berkoresponden dengan citra 2D berdasarkan warna. Flowchart dan keseluruhan sistem kerja perangkat lunak rekonstruksi gambar 3D ini dapat dilihat pada Gambar 3.1. Gambar 3.1. Flowchart rekontruksi 3 dimensi Perangkat Pendukung Perangkat lunak dibangun dengan Mathlab 7.7 dan visual C++ dengan beberapa library yang open source yaitu opencv dan opengl. Berjalan pada system operasi Microsoft Windows XP SP2. Berikut spesifikasi perangkat keras sistem yang digunakan: Tabel 3.1 Perangkat pendukung No Deskripsi Spesifikasi 1 CPU Intel Core 2 Duo GHz 2 Memory 2 GB 3 VGA Sys672 series 3 Graphics 128MB 4 Kamera Webcam 1.3 MP 3.3 Algoritma Pseudo Program Voxel Coloring Berikut ini alur pemrograman menggunakan algoritma voxel coloring. 5

6 Create empty voxel space and partition it into layers For every voxel layer L do pixelsdoneinlayer for every voxel V in layer L do pixels for all images I do pixels pixels selectunmar ked(projectvoxel(v,i)) end for consistent consistencycheck(pixels) if pixels and consistent and not containsbackgroundpixel(pi xels) then colorvoxel(v,mean(pixels)) pixelsdoneinlayer pixels Else carvevoxel(v) end if end for mark(pixelsdoneinl ayer) end for Gambar 3.2. Algoritma Voxel Coloring[7]. Penjelasan gambar 3.2 adalah pertama membuat voxel space dan dipartisi kedalam bentuk layer L. Hitung consistency piksel dengan membandingkan hasil dari SD (Standard Deviation) dengan nilai T (threshold), bila SD < T maka voksel consistent. Periksa consistency piksel pada setiap voxel V di masing masing layer L. Jika consistent warnai voxel, jika tidak consistent lakukakan carved pada voksel. Kemudian dilakukan perulangan sampai semua voksel consistent. 4. Pengujian Dalam melakukan pengujian, perlu dilakukan berbagai persiapan, baik itu persiapan perangkat keras maupun perangkat lunak yang dibutuhkan. Karena aplikasi ini berhubungan dengan prediksi suatu nilai, maka pengujian sistem ini pun berkaitan erat dengan pencarian, pemrosesan serta analisa data.secara umum, hsi pegujian yang didapatkan bukan merupakan data yang betul-betul akurat, namun merupakan data prediksi 4.1 Prosedur Pengujian Prosedur pengujiannya adalah: a. Melakukan kalibrasi kamera agar nilai-nilai parameter hasil kalibrasi benar-benar akurat sehingga hasil rekontruksi lebih baik. Kalibrasi menggunakan citra pattern papan catur yang di capture dari 8 sudut yaitu : 0 0, 45 0, 90 0, 135 0, 180 0, 225 0, dan b. Melakukan capture objek dari 8 posisi sudut mulai dari sudut 0 0, 45 0, 90 0, 135 0, 180 0, 225 0, dan c. Segmentasi 8 citra input untuk diketahui apakah segmentasi berhasil dengan baik. d. Rekontruksi citra 3D dengan menggunakan voxel coloring. Citra yang diuji berupa bangun kubus dan prisma. Dengan memberikan pengjian volume space mulai dari 50X50X50, 100X100X100 dan 150X150X150 dihasilkan data berupa jumlah voksel dan waktu rekontruksi. 6

7 4.2 Pengujian Objek Objek Kubus Data citra diperoleh dari kamera webcam dengan format PNG. Objek pertama yang diuji adalah bangun kubus, tampak pada gambar 4.5. Objek kubus di capture dari 8 posisi sudut yaitu 0 0, 45 0, 90 0, 135 0, 180 0, 225 0, dan Posisi 0 0 Posisi 45 0 Posisi 90 0 Posisi Posisi Posisi Posisi Posisi Posisi 0 0 Posisi 45 0 Posisi 90 0 Posisi Gambar 4.7 Hasil Segmentasi Kubus Posisi Posisi Posisi Posisi Gambar 4.5 Bangun Kubus Posisi 0 0 Posisi 45 0 Posisi 90 0 Posisi Objek Prisma Posisi Posisi Posisi Posisi Posisi 0 0 Posisi 45 0 Posisi 90 0 Posisi Posisi Posisi Posisi Posisi Gambar 4.6 Bangun Prisma Objek selanjutnya yang diuji adalah bangun prisma, tampak pada gambar 4.6. Objek Prisma di capture dari 8 posisi sudut yaitu 0 0, 45 0, 90 0, 135 0, 180 0, 225 0, dan Proses ini dilakukan dengan memutar objek dengan jarak antar sudut Segmentasi Hasil segmentasi dari objek kubus dan prisma seperti pada gambar 4.7 dan gambar 4.8. Gambar 4.8 Hasil Segmentasi Prisma Gambar 4.7 menunjukan hasil segmentasi dari input citra sebanyak 8 citra kubus yang menunjukkan masing-masing sudut pengambilan citra dari sudut 0 0 sampai Gambar 4.8 menunjukan hasil segmentasi dari input citra sebanyak 8 citra prisma yang menunjukkan masing-masing sudut pengambilan citra dari sudut 0 0 sampai Warna background diubah menjadi warna hitam. 7

8 4.4 Rekontruksi a) Hasil Rekontruksi Prisma Data voxel: Voxel volume Space = 150 X 150 X 150 Banyak voxel = voxel waktu rekontruksi = 215,859 detik b) Hasil rekontruksi Kubus Gambar 4.9 Hasil Rekontruksi Prisma dengan voxel volume space (50X50X50) Data voxel: Voxel volume Space = 50 X 50 X 50 Banyak voxel = 2914 voxel Waktu rekontruksi = 19,687 detik Gambar 4.12 Hasil Rekontruksi Kubus dengan voxel volume space (50X50X50) Data voxel: Voxel volume Space = 50 X 50 X 50 Banyak voxel = 2370 voxel Waktu rekontruksi = 17,016 detik Gambar 4.10 Hasil Rekontruksi Prisma dengan voxel volume space (100X100X100) Data voxel: Voxel volume Space = 100 X 100 X100 Banyak voxel = voxel Waktu rekontruksi = 79,953 detik Gambar 4.13 Hasil Rekontruksi Kubus dengan voxel volume space (100X100X100) Data voxel: Voxel volume Space = 100 X 100 X 100 Banyak voxel = 8776 voxel Waktu rekontruksi = 83,000 detik Gambar 4.11 Hasil Rekontruksi Prisma dengan voxel volume space (150X150X150) Gambar 4.14 Hasil Rekontruksi Kubus dengan voxel volume space (150X150X150) 8

9 Data voxel: Voxel volume Space = 150 X 150 X 150 Banyak voxel = voxel Waktu rekontruksi = 227,797detik Berikut ini Tabel dari hasil percobaan. Tabel 1 Percobaan Kubus No VoxelVolume Space Jumlah Voksel Waktu Rekontruksi (dt) 1 50 X 50 X , X 100 X , X 150 X ,797 Tabel 2 Percobaan Prisma No Voxel Volume Space Jumlah Voksel Waktu Rekontruksi (dt) 1 50 X 50 X , X 100 X , X 150 X , Kesimpulan 5.1 Kesimpulan Sebagai penutup beberapa hal yang dapat disimpulkan dari tugas ahir ini: 1. Pada percobaan bangun Kubus dan Prisma bahwa semakin besar volume voxel space-nya maka semakin banyak jumlah voxel-nya dan semakin besar waktu yang dibutuhkan untuk melakukan rekontruksi. 2. Pada Kubus untuk volume voxel space (150X150X150) jumlah voxel-nya voxel, time reconstruction 27,797 detik. Untuk Prisma dengan volume voxel space (150X150X150) jumlah voxel-nya voxel, time reconstruction-nya 215,859 detik. 3. Hasil rekontruksi 3D dengan volume voxel space (50X50X50) lebih kasar karena jumlah voksel lebih sedikit, sehingga untuk menghasilkan citra yang lebih halus maka volume space-nya lebih besar. 5.2 Pengembangan Lebih Lanjut Untuk pengembangan lebih lanjut mengenai tugas akhir ini, penulis menyarankan : 1. Guna menunjang pengujian aplikasi ini, maka dukungan hardware harus memadai. Saat ini, replika hardware belum bisa meberikan hasil maksimal dalam pengujian. 2. Pengambilan gambar yang lebih banyak, agar rekontruksinya dapat sesuai seperti bentuk aslinya. 6. Referensi [1] Ahmad, Usman. Pengolahan Citra Digital dan Teknik Pemrogramannya. Penerbit Graha Ilmu,Yogyakarta, 2002 [2] Gregory G. Slabaugh. Novel Volumentric Scene Reconstuction Methods for New View Synthesis. USA: Georgia Institute of Technology, 2002 [3] Open CV Documentation by Intel Research. < 9

10 pencv/>, akses : 3 Desember 2009 [4] Roger Y. Tsai. A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the- Shelf TV Camera and Lenses. IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, August 198 [5] Steven M. Seitz dan Charles R. Dyer, Photorealistic Scene Reconstruction by Voxel Coloring, Proc. Computer Vision and Pattern Recognition Conf, pp , 1997 [6] Rudy Adipranata, Hwang- Kyu Yang and Tae-Soo Yun. Implementation of Photorealistic 3D Object Reconstruction Using Voxel Coloring. 19th Conference of Korean Information Processing Society, pp , 2003 [9] ses/ec7010/2004/agusbrreport.pdf, Perbandingan 3 Metode Iris Scan, diakses terakhir tanggal 3 nopember [10] el, Voxel, diakses terakhir tanggal 3 nopember [11] Pinhole Camera, Diakses terakhir tanggal 2 Februari [12] Mata, Diakses terakhir tanggal 2 Februari [7] van de Sande, Koen Erik Adriaan. A Practical Setup for Voxel Coloring using off-theshelf Components.Universitiet Van Amsterdam, Amsterdam [8] Zhang, Zhengyou. Flexible Camera Calibration by Viewing aplane from Unknown Orientation. In International Conf. on Computer Vision,