Analisa dan Pemodelan Kerumunan Orang pada Video Digital

Transkripsi

1 Sidang Tugas Akhir Analisa dan Pemodelan Kerumunan Orang pada Video Digital Oleh: Nick Darusman ( ) Dosen Pembimbing Dr. Ir. Wirawan, DEA Jumat, 24 Januari 2012 Surabaya 1

2 Latar Belakang Angka kejahatan yang semakin meningkat karena kurangnya sistem pemantau yang memadai. Diperlukan sebuah sistem pengawasan yang memadai dengan menganalisa gerakan yang terjadi dan mengelompokkannya. Oleh karena itu sistem pengawasan terhadap kerumunan diciptakan. 2

3 Perumusan Masalah Bagaimana mendeteksi objek yang sedang bergerak dalam sebuah video. Bagaimana mengelompokan gerakan agar dapat dianalisa. 3

4 Batasan Masalah Video ditangkap menggunakan kamera pada telepon genggam. Latar belakang objek tidak berubah atau statis. Software yang digunakan adalah Matlab R2010a dan Microsoft visual C++ express Identifikasi objek tidak dilakukan. Video diambil dengan intensitas cahaya yang cukup terang. 4

5 Tujuan Tujuan Menciptakan suatu sistem keamanan dalam pemantauan berdasarkan gerakan-gerakan yang tertangkap oleh kamera yaitu berupa rekaman video. Menganalisa dan mengelompokkan gerakan tersebut berdasarkan gerakan yang terjadi. Mencari suatu keanehan dari suatu peristiwa. 5

6 Human Visual System 6

7 Feature Extraction Background Extraction Foreground Extraction Background & Foreground Extraction C Keterangan : = nilai-nilai yang diamati dalam sebuah adegan = objek bergerak = perpindahan kamera = latar belakang adegan yang ideal = latar belakang yang bergerak = kebisingan sistem = perubahan pencahayaan jangka panjang = suatu noise dari latar belakang yang dapat dianggap stabil 7

8 Gaussian Kernel Citra satu dimensi Citra dua dimensi Kernel Keterangan : x adalah jarak dari titik asal dalam sumbu horisontal σ adalah deviasi standar dari distribusi Gaussian. 8

9 Gabor Kernel Keterangan : (i, j) = konvolusi pixel E = peningkatan citra O = orientasi citra F = frekuensi ridge citra N = citra yang telah dinormalkan = lebar dari Gabor Kernel = tinggi dari Gabor Kernel 9

10 Spectral residual 1. Diberikan gambar input I(x) 2. fourier magnitude fourier phases log spectrum spectral residual 6. * g (x) = filter Gaussian dengan = 8 = sebuah matrik n x n yang didefinisikan spectral residual 10

11 Konvolusi M x M N h ( x, y) f ( u, v) g( x u, y v) y N contoh: (1*200) + (0*180) + (-1*160) + (2*160) + (1*160) + (-2*150) + (1*140) + (0*120) + (-1*120) =

12 Eye Movement Perbedaan penglihatan dalam satu gambar yang diamati Scanpaths eye-tracked berdasarkan probabilitas Sistem penglihatan manusia 12

13 Blok Diagram Pemodelan Lingkungan Background Camera Ekstraksi Aktivasi Tracking Normalisasi/ Kombinasi ekstraksi : mengekstrak fitur vektor pada lokasi permukaan gambar. aktivasi : membentuk sebuah "peta aktivasi" (atau beberapa peta) menggunakan fitur vektor. normalisasi / kombinasi: menormalkan peta aktivasi (atau beberapa peta, diikuti oleh kombinasi dari beberapa peta ke peta tunggal). 13

14 Pemodelan saliency berdasarkan penglihatan I = (r + g + b) / 3 untuk intensitas R = r - (g + b) / 2 untuk merah, G = g - (r + b) / 2 untuk hijau, B = b - (r + g) / 2 untuk biru, dan Y = (r + g) / 2 - r - g / 2 - b untuk kuning (nilai negatif diatur ke nol). Orientasi Gabor Kernel 14

15 Pemodelan saliency berdasarkan penglihatan (cont) 15

16 Pemodelan saliency berdasarkan penglihatan (cont) 16

17 Constrained Levy Exploration Sebelum mendeteksi setiap gerakan yang terjadi pada video, dilakukan pemahaman terlebih dahulu terhadap citra gambar tunggal yang merupakan matrik statis. Berikut adalah pengamatan yang menggunakan scanpaths eyetracked untuk menerapkan eye movement secara random walk yang langsung dipresentasikan dalam bidang matrik saliency. Random walk dapat diringkas dalam algoritma Constrained Levy Exploration algorithm (CLE). algorithm (CLE) 17

18 Scanpath pada matrik dinamis Untuk menilai masing-masing matrik yang disampelkan dari gambar yang dinamis, maka dilakukan scanpath yang menggunakan sistem probabilitas secara acak yang dilakukan beberapa kali secara seragam yaitu penarikan contoh pengacakan yang diulang beberapa kali untuk mengevaluasi peluang yang terjadi dengan nilai yang berubah-ubah. Perhitungan tersebut dilakukan dengan memperhitungkan jarak Kullback Leibler (KL) dimana matrik yang lebih baik memprediksi scanpath antar objek (misalkan manusia) dengan jarak yang lebih tinggi dibandingkan jarak-jarak lain pada scanpath. 18

19 Jarak Kullback Leibler (KL) Jarak KL = M(i, j) M(p, q), dimana M(i, j) adalah node pixel frame pertama dan M(p, q) adalah node pixel frame kedua. 19

20 Menghilangkan Noise dengan Entropy Keterangan : = sekumpulan koefisien independen berdasarkan lingkungan yang terpusat di j,k. = konteks di mana perkiraan probabilitas dari koefisien w yang didasarkan. w(s,t) = sejauh mana koefisien w pada koordinat s,t yang memberikan kontribusi untuk estimasi/perkiraan probabilitas. = output dari operasi ini yang mengkodekan dampak dari fungsi kernel dengan rata-rata pada nilai Gaussian Entropy Self-Information 20

21 Operasi Markovian P(D1) = a + b + c + d = ¼; P(D3) = i + j + k + l = ¼; P(D2) = e + f + g + h = ¼; P(D4)= m + n + o + p = ¼; Karena P(D1) = ¼, maka pengamatan ini membawa 2 P(D1) = 2 bit informasi Shannon S(D1, ) ) = P(M D1) S(D1,M) + P( D1) S(D1, ) + P(N D1) S(D1,N) + P(Ñ D1) S(D1, Ñ) = wow 21

22 Operasi Markovian (cont) 22

23 Pengujian perubahan nilai pixel 23

24 Pengujian terhadap kecepatan objek Video hasil rekaman yang terdiri dari gambar-gambar RGB dengan ukuran 320x pixel = 2.97 cm Frame rate = fps Durasi = 13 s Jumlah frame = 82 frame Waktu antar frame = 13/82 =0.165 s Kecepatan = jarak/waktu Karena gerakan dihasilkan dari perubahan nilai pixel dari frame 1 ke frame 2 yang dihubungkan dengan jarak Kullback-Leibler (KL), maka berdasarkan jarak tersebut kecepatan dapat diperhitungkan. 24

25 Pengujian terhadap kecepatan objek (cont) 25

26 Pengujian terhadap kecepatan objek (cont) frame 1 - frame 2 jarak (pixel) jarak (cm) t per frame (s) kecepatan objek (v) objek objek objek objek objek objek objek objek frame 2 - frame 3 jarak (pixel) jarak (cm) t per frame (s) kecepatan objek (v) objek objek objek objek objek objek objek objek

27 Pengujian terhadap kecepatan objek (cont) frame 3 - frame 4 jarak (pixel) jarak (cm) t per frame (s) kecepatan objek (cm/s) objek objek objek objek objek objek objek objek frame 4 - frame 5 jarak (pixel) jarak (cm) t per frame (s) kecepatan objek (cm/s) objek objek objek objek objek objek objek objek

29 Pengujian terhadap kecepatan objek (cont) Kecepatan total dari masingmasing objek pada perbandingan frame 1 sampai dengan frame 5 29

30 Simulasi Kerumunan Bola marble yang memiliki gumpalan berkosentrasi paling tinggi tersebut dikarenakan gerakannya yang lebih cepat dibandingkan gerakan bola marble yang lain, dan hal tersebut dapat dikatakan sebagai suatu adegan yang mencolok/tidak biasa dimana adegan tersebutlah yang akan dijadikan penganalisaan utama dalam sistem video surveillance. 30

31 Simulasi Kerumunan (cont) 31

32 Kesimpulan Dari hasil simulasi dan analisa dapat disimpulkan bahwa : Untuk menganalisa gerakan yang terjadi pada suatu video terdiri dari tiga tahap yaitu ekstraksi, aktivasi, dan normalisai. Gerakan dapat dideteksi dengan adanya perubahan dari nilai pixel dan menentukan jarak berdasarkan jarak Kullback-Liebler (KL). Pengelompokan gerakan dapat dilakukan dengan menerapkan sistem probabilitas terhadap jarak Kullback-Liebler (KL) yang diprediksi melalui scanpath eye movement dimana terdiri dari gumpalan-gumpalan berkosentrasi yang dihasilkan dari perbedaan Gaussian. Kejadian yang aneh/tidak biasa dapat diartikan sebagai suatu gerakan cepat yang terjadi di dalam kerumunan dimana gerakangerakan yang lain nilainya dibawah dari gerakan cepat tersebut. 32

33 Saran Dengan diselesaikannya Tugas Akhir ini diharapkan dapat digunakan guna mengembangkan sistem pendeteksian gerakan secara real time yaitu pendeteksian secara langsung secara live dari video. Dari pengembangan tersebut, nantinya dapat digunakan dalam beberapa aplikasi pendeteksian gerakan, seperti dalam pengawasan dengan menggunakan CCTV, digunakan untuk entertainment, digunakan untuk pembuatan robot yang dapat mendeteksi gerakan, menganalisa gerakan, dan sebagainya. 33

34 SEKIAN & TERIMA KASIH 34

35 Pertanyaan Yang dianalisa parameternya apa saja? Pemodelannya untuk apa? Aplikasinya bagaimana! Aplikasi dilapangan? (Pak Gatot) Aplikasi dalam kehidupan? (Bu Prima) Ini real time? Kalau ingin real time realisasinya bagaimana? Bagaimana caranya supaya prosesnya pergerakannya cepat? Kesulitannya apa kalau dikembangkan ke real time? (Pak Affandi) Model kerumunannya seperti apa? Pelan atau cepat? Secepat apa? (Bu Prima) Kenapa tidak ada karakterisasi dari putih-putih? Seharusnya dibuat identifikasi warna lain? Kalau putih semua seharusnya diameternya diatur! (Pak Affandi) Itu maksudnya satuan kecepatannya gimana? Itu 1 cm/detik gimana ngukurnya? Harusnya diukur! (Pak Affandi) Hubungannya kamera sama pixelnya apa? Jarak kamera dengan pixel? Skalanya? (Pak Gatot) 35

36 Parameter-parameter pengenalan objek Parameter dari analisa dan pemodelan kerumunan orang pada video digital adalah : Perubahan nilai pixel, orientasi, dan intensitas Jarak Kullback Liebler (KL) antara dua frame Probabilitas Pengelompokan gerakan 36

37 Perubahan nilai pixel dan orientasi 37

38 Jarak Kullback Leibler (KL) Jarak KL = M(i, j) M(p, q), dimana M(i, j) adalah node pixel frame pertama dan M(p, q) adalah node pixel frame kedua. 38

39 Jarak Kullback Leibler (KL) Objek1 = M(i, j) M(p, q) = = 33 pixel, atau Objek1(pada gambar) = = pixel. Objek2 = = 20 pixel, atau Objek2(pada gambar) = = 20 pixel. Objek3 = = 28 pixel, atau Objek3(pada gambar) = = 28 pixel. Objek4 = = 36 pixel, atau Objek4(pada gambar) = = pixel. 39

40 Probabilitas P(D1) = a + b + c + d = ¼; P(D3) = i + j + k + l = ¼; P(D2) = e + f + g + h = ¼; P(D4)= m + n + o + p = ¼; Karena P(D1) = ¼, maka pengamatan ini membawa 2 P(D1) = 2 bit informasi Shannon S(D1, ) ) = P(M D1) S(D1,M) + P( D1) S(D1, ) + P(N D1) S(D1,N) + P(Ñ D1) S(D1, Ñ) = wow 40

41 Probabilitas (cont) 41

42 Penerapan secara real time Pada tugas akhir ini aplikasi hanya untuk menganalisa suatu adegan yang telah terjadi (hasil dari rekaman video). Untuk lebih lanjut aplikasi dapat dikembangkan seperti dalam pengawasan dengan menggunakan CCTV, digunakan untuk entertainment, digunakan untuk pembuatan robot yang dapat mendeteksi gerakan, menganalisa gerakan, dan sebagainya. 42

43 Contoh Aplikasi 43

44 44

45 Simulasi Kerumunan Bola marble yang memiliki gumpalan berkosentrasi paling tinggi tersebut dikarenakan gerakannya yang lebih cepat dibandingkan gerakan bola marble yang lain, dan hal tersebut dapat dikatakan sebagai suatu adegan yang mencolok/tidak biasa dimana adegan tersebutlah yang akan dijadikan penganalisaan utama dalam sistem video surveillance. 45

46 Kerumunan 46

47 Kesulitan penerapan ke real time Pada tugas akhir ini proses pemodelan dilakukan secara non-real time dimana sebuah video digital diolah sehingga menjadi frame-frame gambar kemudian diturunkan sebagai fungsi matrik, dan proses pemodelannnya dilakukan bertahap. Apabila diterapkan secara real time maka proses harus dilakukan secara bersamaan atau secara paralel dengan mengandalkan kapasitas dari memori. Algoritma-algoritma yang digunakan sebagian besar hampir sama dengan proses secara real time seperti gabor kernel, normalisasi, konvolusi dan lain-lain. 47

48 Pemodelan saliency berdasarkan penglihatan (real time) 48

51 Kecepatan Berdasarkan jarak Kullback- Leibler (KL) dan waktu Validasi antara hasil perekaman dengan hasil nyata. Kecepatan ditentukan oleh jarak dan waktu. - Untuk validasi waktu antara hasil perekaman dengan hasil nyata terdapat kesamaan. - Untuk validasi jarak, terdapat perbedaan antara jarak melalui pengukuran langsung dengan jarak yang dihitung melalui koordinat video 51

52 Kecepatan Berdasarkan jarak Kullback-Leibler (KL) dan waktu (cont) Video hasil rekaman yang terdiri dari gambar-gambar RGB dengan ukuran 320x pixel = 2.97 cm Frame rate = fps Durasi = 13 s Jumlah frame = 82 frame Waktu antar frame = 13/82 =0.165 s Kecepatan = jarak/waktu Karena gerakan dihasilkan dari perubahan nilai pixel dari frame 1 ke frame 2 yang dihubungkan dengan jarak Kullback-Leibler (KL), maka berdasarkan jarak tersebut kecepatan dapat diperhitungkan. Kecepatan yang paling tinggi dihasilkan dengan cara membandingkan jarak Kullback-Leibler (KL), diman jarak perpindahan terjauh dapat diartikan memiliki kecepatan paling tinggi 52