Endra Pitowarno 27 Inside the Robotic Vision Dr. Ir. Endra Pitowarno, M.Eng PENS-ITS Seminar New Concept Robotics: Robot Vision 22 Februari 27 Universitas Gunadarma - Jakarta Endra Pitowarno 27 Vision System Vision (penglihatan): referensi terbaik adalah sistem mata manusia: how the brain controls the eyes and organizes the images. Capturing/generating image: Melihat & Menangkap Image > adalah tugas utama kamera/mata. Low-level Image : menelisik fitur dan membedakan gambar obyek (yg dicermati) dengan latar belakang (yg tidak dicermati) > proses iconic
Endra Pitowarno 27 Vision System Intermediate-level Image : Proses berbasis algorithma/metoda pada image yg telah ditelisik fitur-fiturnya > proses iconic to symbolic High-level Image : Penerapan untuk keperluan apa image yg telah terdeskripsi ini (identifikasi/pembandingan, pengambilan keputusan berbasis image, diskritisasi/konversi data image ke satuan parameter siap hitung, dll.) Endra Pitowarno 27 Current Issues Speech Recognition Robotic Vision Stereo Vision Visual Servoing Visual-based Tracking (gesture motion tracking, etc.) 2
Endra Pitowarno 27 Image Applications Industrial Inspection: Printed Circuit Board (PCB) inspection, VLSI circuit mask checking, etc. Robot Vision: Autonomous mobile robot system, coordinating/swarm robot, humanrobot interaction (AIBO, ASIMO, etc) Interactive Biomedical Equip. System Etc. Endra Pitowarno 27 Image levels application scene Low-level Image (Iconic) Intermediate-level Image (Iconic to Symbolic) High-level Image Domain knowledge, thresholds, parameters, methods, etc. 3
Endra Pitowarno 27 (High Speed) Image (Vision Sensor) for Robotics application scene Low-level Image (Iconic) Intermediate-level Image (Iconic to Symbolic) High-level Image Domain knowledge, thresholds, parameters, methods, etc. Idealnya: <. detik Endra Pitowarno 27 Low-level Image Mengubah sebuah image menjadi image yg lain Frame selection (image quality): size/resize (memory based) Filtering/converting: color mode conversion (color or B/W & mode), color balancing, brightness, contrast, hue, sharp, blur, etc. Edge Detection: <feature seeking> Semua langkah ditempuh dalam soft programming Etc. 4
Endra Pitowarno 27 Contoh : Low-level Image Endra Pitowarno 27 Contoh 2: Low-level Image 5
Endra Pitowarno 27 Contoh 3: Low-level Image Endra Pitowarno 27 Contoh 4: Low-level Image 6
Endra Pitowarno 27 Intermediate-level Image Mendeskripsikan data image menjadi symbol yg kemudian dapat digunakan dalam high-level image processing sebagai komponen dasar untuk menyelesaikan tugas tertentu. Proses menggunakan berbagai metoda (matematik): perspektif, trigonometri, 2D-3D system, etc. Contoh: penggunaan algorithma A* atau Dijkstra untuk path planning berbasis image dari robot environment Semua langkah ditempuh dalam soft programming Endra Pitowarno 27 High-level Image Pemrosesan output simbol dari proses intermediate menjadi suatu keputusan : contoh, image marka jalan diproses menjadi nilai sensor posisi robot terhadap jalan. Output proses high-level image processing siap diumpankan ke (high-level) control pada sistem robot. Semua langkah ditempuh dalam soft programming 7
Endra Pitowarno 27 Contoh Kasus: Camera-based Line Tracer Perspective scene Jalur PUTIH di lantai GELAP Keterangan : PA dan PA adalah motor Kiri & Kanan Motor Kiri PA kamera Motor Kanan PA Camera-based Line Tracer Robot Endra Pitowarno 27 Contoh: Line Identification (Low-level process) 8
Endra Pitowarno 27 Contoh: Line Identification (Low-level process) 4 ref. frame 4 Endra Pitowarno 27 Contoh: Line Identification (Low-level process) 4 4 9
Endra Pitowarno 27 Contoh: Line Identification (intermediate-level process) 2 9 4 rescale Tabulasi & Deskripsi Aplikasi Endra Pitowarno 27 Contoh: Line Identification (high-level process) Klasifikasi Nilai Sensor Aksi ke Motor Kiri-Kanan D 9 D 8 D 7 D 6 D 5 D 4 D 3 D 2 D D Implementasi Fuzzy Rule Banting stir ke kiri Belok kiri banyak Belok kiri agak banyak Belok kiri sedikit Lurus Lurus Belok kanan sedikit Belok kanan agak banyak Belok kanan banyak Banting stir ke kanan
Endra Pitowarno 27 Contoh: High Speed Vision System for Robotic Color Tracking: Object Obstacle Avoidance Road mapping etc. Endra Pitowarno 27 END