V HASIL DAN PEMBAHASAN

Transkripsi

1 22 V HASIL DAN PEMBAHASAN 5.1 Karakteristik Video dan Ektraksi Frame Video yang digunakan di dalam penelitian ini merupakan gabungan dari beberapa cuplikan video yang berbeda. Tujuan penggabungan beberapa video yang berbeda adalah untuk lebih meragamkan konten citra/frame yang akan diekstraksi sehingga hasil temu kembali dapat lebih signifikan sesuai dengan tema video dan kueri yang diberikan. Pada penelitian ini digunakan lima cuplikan video iklan komersial produk antara lain iklan obat Fatigon, pasta gigi Pepsodent, minuman ringan Coca Cola, dan susu Frisian Flag. Video tersebut diambil dari situs dan disimpan ke dalam format *.mpeg dengan resolusi piksel. Gambar 13 memperlihatkan contoh cuplikan frame video yang digunakan pada penelitian. Iklan obat Fatigon (138 frame, piksel) Iklan pasta gigi Pepsodent #1 (342 frame, piksel) Iklan minuman CocaCola (434 frame, piksel) Iklan pasta gigi Pepsodent #2 (282 frame, piksel) Iklan susu Frisian Flag (448 frame, piksel) Gambar 13 Contoh cuplikan frame video yang digunakan pada penelitian. Video gabungan berdurasi 54 detik dengan frame rate 30 frame/detik dan jumlah total frame adalah 1644 frame. Ekstraksi frame video dilakukan dengan mengambil 3 frame/detik. Jumlah frame yang berhasil diekstraksi sebanyak 165 frame disimpan sebagai citra grayscale dengan format *.jpg beresolusi piksel. Tabel 1 menunjukkan rangkuman jumlah frame total yang terdapat di

2 23 setiap video dan jumlah frame yang berhasil diekstraksi dari masing-masing tema video tersebut. Detail frame video yang terekstraksi disajikan pada Lampiran 1. Gambar 14 memperlihatkan contoh frame yang berhasil diekstraksi dari setiap tema video. Tabel 1 Jumlah frame total dan jumlah frame yang berhasil diekstraksi Video Iklan Fatigon Pepsodent 1 Pepsodent 2 Coca Cola Susu Bendera Durasi (detik) Total frame Frame Terekstraksi Iklan obat Fatigon (14 frame, piksel) Iklan pasta gigi Pepsodent #1 (35 frame, piksel) Iklan minuman CocaCola (43 frame, piksel) Iklan pasta gigi Pepsodent #2 (29 frame, piksel) Iklan susu Frisian Flag (44 frame, piksel) Gambar 14 Contoh frame yang berhasil diekstraksi dari setiap tema video. 5.2 Ekstraksi Fitur SIFT Fitur SIFT diekstraksi dari seluruh citra frame grayscale (Gambar 14). Jumlah keypoint yang berhasil dideteksi dari setiap frame sangat beragam. Total keypoint yang terdeteksi dari seluruh citra frame adalah keypoint dengan sebaran seperti terlihat pada Gambar 15. Waktu yang diperlukan untuk melakukan ekstraksi fitur SIFT dari 165 frame adalah 720 detik (12 menit) dan waktu ratarata untuk mengekstraksi fitur SIFT dari sebuah frame adalah 4,3636 detik.

3 Keypoint Frame ke- Gambar 15 Sebaran keypoint pada seluruh frame yang berhasil diekstraksi. Dari setiap keypoint yang terdeteksi kemudian dilakukan ekstraksi deskriptor SIFT, dimana setiap frame akan menghasilkan sebanyak 128 k, k merupakan jumlah keypoint. Gambar 16 merupakan contoh deskriptor yang berhasil diekstraksi dari salah satu frame. Gambar 16 Visualisasi deskriptor yang berhasil diekstraksi dari sebuah frame. Seperti terlihat pada Gambar 16, jumlah keypoint yang berhasil dideteksi adalah 111 keypoint. Lingkaran menunjukkan region yang dicakup oleh deskriptor yang berhasil diekstraksi dari keypoint tersebut, ukuran lingkaran sebanding dengan magnitude piksel cakupan deskriptor.

4 25 Gambar 17 menunjukkan detail dari sebuah keypoint serta arah orientasi masingmasing piksel pada sebuah keypatch. Gambar 17 Visualisasi keypoint dan orientasi tiap piksel yang tercakup (4 4). Kemunculan keypoint pada frame sangat beragam tergantung pada variasi representasi ruang-skala (scale space) antar piksel yang menyusun frame tersebut. Jumlah keypoint berbanding lurus dengan variasi ruang-skala piksel, semakin banyak variasi ruang-skala antar piksel maka semakin banyak pula jumlah keypoint yang terdeteksi. Gambar 18 menunjukkan jumlah keypoint terbanyak yang terdeteksi ada pada frame ke-826 yaitu sebanyak 423 keypoint, dan pada beberapa frame tertentu keypoint tidak terdeteksi. Gambar 18 Frame ke-826, frame dengan jumlah keypoint terbanyak. 5.3 Pembentukan Kantong Kata Visual (Bag of "Visual" Words) Seluruh fitur SIFT yang sudah berhasil diekstraksi kemudian disimpan ke dalam sebuah matriks yang berukuran Pemilihan titik pusat dilakukan dengan memperhatikan kemunculan keypoint yang berhasil dideteksi dari setiap frame dimana rata-rata keypoint yang berhasil dideteksi di setiap frame adalah

5 26 sebanyak 115 keypoint. Kemudian dilakukan pembentukan kata visual dengan melakukan kuantisasi deskriptor keypoint menggunakan clustering k-means. Titik pusat cluster mewakili kata visual yang ada di dalam kantong kata visual, dimana pada penelitian ini jumlah titik pusat cluster dipilih sebanyak 100 buah. Hasil dari kuantisasi fitur dengan cluster k-means menghasilkan sebuah matriks baru yang mereduksi matriks semula elemen menjadi elemen. Matriks ini kemudian direduksi kembali menjadi sebuah vektor dengan ukuran Reduksi dilakukan dengan menghitung second norm setiap kolom matriks awal ( ). Gambar 19 merupakan sebaran deskriptor ( ) yang telah dikuantisasi menjadi sebuah vektor berukuran (matriks hasil kuantisasi ini disajikan pada Lampiran 2) Kata Visual Pusat ke- Gambar 19 Sebaran kata visual hasil kuantisasi fitur SIFT. Pembentukan kata visual memerlukan waktu 346,8 detik (5 menit 46 detik) dengan rata-rata waktu per frame adalah 2,1 detik. Clustering k-means dilakukan hingga konvergen (titik pusat cluster tidak mengalami perubahan) dengan rata-rata waktu per iterasi adalah 34,44 detik (40 kali iterasi).

6 27 Setelah kata visual (representasi dari kuantisasi fitur SIFT) berhasil diekstraksi, kemudian dilakukan penghitungan sebaran kata visual tersebut di setiap frame. Sebaran kata visual di setiap frame ditentukan dengan menghitung jarak Euclidean terdekat antara nilai titik pusat cluster dengan nilai tiap deskriptor pada frame tersebut. Gambar 20 dan 21 menunjukkan sebaran kata visual yang terdapat pada video serta sebaran kata visual pada sebuah frame (frame ke-826). 450 Frekuensi kemunculan kata visual Kata Visual Gambar 20 Sebaran kata visual pada video. 22 Kata visual Kata visual Gambar 21 Sebaran kata visual pada sebuah frame (contoh frame ke-826).

7 Temu Kembali Setelah kuantisasi fitur selesai dilakukan dan sebaran kata visual di setiap frame berhasil diperoleh, kemudian proses dilanjutkan pada pembentukan model Vector Space Model (VSM) sebagai tahap temu kembali. Model VSM dilakukan dalam beberapa tahap sebagai berikut: Pengideksan Dengan Inverse Document Frequency (idf t ) Indeks Inverse Document Frequency (idf t ) merupakan representasi peranan sebuah kata visual pada sebuah frame dari serangkaian frame yang ada pada video. idf t dihitung berdasarkan frekuensi frame yang mengandung setiap jenis kata visual ke-t, dimana sebanyak 100 buah kata visual yang tersebar di dalam 165 frame dengan nilai total frekuensi kemunculan kata visual ke-t di setiap frame adalah Gambar 22 dan 23 merupakan grafik nilai frekuensi frame dan idf t kata visual pada video (sebanyak 165 frame dengan frekuensi frame 7747). 120 Kata Visual Kata visual ke- Gambar 22 Sebaran frekuensi frame kata visual pada video.

8 idf Kata visual Gambar 23 Nilai idf t kata visual pada video. Pada Gambar 22 dan 23 dapat dilihat bahwa kata visual dengan frekuensi frame yang besar akan memiliki nilai idf t yang rendah. Hal ini sesuai dengan kaidah Persamaan 7, dimana frekuensi kemunculan kata visual pada seluruh frame video berbanding terbalik dengan bobot kata visual tersebut pada frame yang bersangkutan. Misalnya pada kata visual ke-93 muncul sebanyak 418 kali di 114 frame memiliki nilai idf t terendah, yaitu 0,1606. Kata visual ke-72 memiliki nilai idf t tertinggi yaitu 0,6612 dengan kemunculan sebanyak 145 kali pada 36 frame (nilai frekuensi frame dan idf t disajikan pada Lampiran 3) Pembobotan tf*idf Pembobotan tf*idf menghasilkan bobot komposit untuk tiap kata visual yang ada di setiap dokumen. tf*idf memberikan bobot pada kata visual ke-t di frame ke-i. Tabel 2 memperlihatkan hubungan antara nilai tf*idf dengan frekuensi kemunculan kata visual di setiap frame (detail nilai tf*idf disajikan pada Lampiran 3).

9 30 Tabel 2 Hubungan nilai bobot tf*idf dengan frekuensi kemunculan kata visual pada frame Frekuensi Frekuensi Kata Visual Kemunculan kata Dokumen ke- (tf) (df) idf t tf*idf Log(165/49)= 0, , Log(165/70)= 0, , Log(165/61)= 0, ,84 Sesuai Tabel 2, dapat dilihat bahwa: 1 Nilai tf*idf t bernilai paling tinggi ketika sebuah kata visual (kata visual ke-20) muncul berulang kali (304 kali) hanya di sedikit frame saja (49 frame), sehingga kata visual ini dapat menjadi penciri dari frame-frame tersebut. 2 Nilai tf*idf t bernilai rendah ketika kemunculan sebuah kata visual pada sebuah frame relatif jarang atau muncul pada beberapa frame. Dengan demikian kata visual tersebut memberikan ciri yang sedikit terhadap sebuah dokumen. Seperti pada Tabel 2, kata visual ke-38 dengan frekuensi kemunculan sebanyak 165 kali pada 70 frame. 3 Nilai tf*idf t bernilai paling rendah ketika kata visual muncul di hampir semua frame, sehingga kata visual yang demikian tidak memberikan ciri sama sekali pada frame tersebut. Seperti kata visual ke-1 yang muncul sebanyak 76 kali pada 61 frame Temu Kembali Ada dua jenis temu kembali yang diterapkan, yaitu temu kembali objek dan temu kembali frame. Temu kembali ini dibedakan berdasarkan kueri yang diberikan pada sistem. Frame yang ditemukembalikan pada proses temu kembali adalah 10 frame dengan nilai skor tertinggi untuk tiap-tiap kategori video iklan Temu Kembali Objek Temu kembali objek adalah temu kembali yang dilakukan dengan memberikan kueri berupa cuplikan objek tertentu yang akan ditemukembalikan dari video. Cuplikan objek tersebut dapat berupa citra kemasan produk yang ada di dalam video iklan, citra logo

10 31 produk tertentu atau cuplikan citra wajah model pemeran iklan tersebut. Citra tersebut dapat diambil dari citra yang bukan merupakan bagian dari video yang akan ditemukembalikan. Gambar 24 memperlihatkan contoh kueri untuk melakukan temu kembali objek, citra ini bukan merupakan bagian dari video yang digunakan. Gambar 24 Contoh kueri untuk temu kembali objek. Frame relevan yang berhasil diekstraksi dari setiap kategori video pada proses ekstraksi fitur SIFT untuk temu kembali objek adalah seperti ditunjukkan pada Tabel 3. Frame relevan untuk kueri objek disajikan pada Lampiran 4. Tabel 3 Daftar jumlah frame relevan untuk temu kembali objek Frame Relevan Frame Terekstraksi No. Objek

11 32 Gambar 25 merupakan hasil temu kembali objek 10 frame dengan skor tertinggi dari setiap kategori video iklan. Citra Kueri a. b. c. d. Hasil Temu Kembali Gambar 25 Hasil temu kembali objek. Sesuai dengan hasil temu kembali objek yang terlihat pada Gambar 25, objek b dan d berhasil ditemukembalikan dengan sempurna dimana seluruh frame yang ditemukembalikan sesuai dengan frame relevan yang ada. Untuk objek a dan c tidak dapat ditemukembalikan dengan sempurna, terdapat beberapa frame yang tidak relevan dengan objek kueri Temu Kembali Frame Temu kembali frame adalah sistem ditugaskan untuk menemukembalikan frame-frame yang sesuai dengan kueri yang

12 33 diberikan. Kueri yang digunakan adalah contoh cuplikan frame yang berhasil diekstraksi dari video tersebut dan bukan citra/frame yang diambil dari luar video. Gambar 26 merupakan frame-frame yang dipakai sebagai kueri. Gambar 26 Contoh kueri untuk temu kembali frame. Frame relevan yang berhasil diekstraksi dari tiap-tiap kategori video pada proses ekstraksi fitur SIFT untuk temu kembali frame adalah seperti terlihat pada Tabel 4. Frame relevan untuk kueri frame disajikan pada Lampiran 5. Tabel 4 Daftar jumlah frame relevan untuk temu kembali frame Frame Relevan Frame Terekstraksi No. Frame Gambar 27 merupakan hasil temu kembali frame, terlihat 10 frame dengan skor tertinggi dari tiap-tiap kategori video iklan.

13 34 Citra Kueri a. b. c. Hasil Temu Kembali d. Gambar 27 Hasil temu kembali frame. Sesuai dengan hasil temu kembali frame yang terlihat pada Gambar 27, frame b, c dan d berhasil ditemukembalikan dengan sempurna dimana seluruh frame yang ditemukembalikan sesuai dengan frame relevan yang ada. Untuk frame a tidak dapat ditemukembalikan dengan sempurna, terdapat frame yang tidak relevan dengan kueri. Kegagalan sistem menemukembalikan objek/frame kueri dengan benar disebabkan objek/frame yang tidak relevan tersebut memiliki kemiripan skor dengan citra kueri. Hal ini berarti terdapat beberapa nilai fitur pada frame yang tidak relevan dikelompokkan ke dalam fitur yang mirip dengan fitur pada frame relevan. 5.5 Evaluasi Penilaian tingkat efektivitas proses temu kembali ditentukan dengan menggunakan nilai precision dan recall serta nilai F-measure dari proses temu

14 35 kembali objek dan temu kembali frame relevansinya berdasarkan hasil pada Tabel 3 dan 4 serta Gambar 25 dan 27. Nilai precision dan recall serta F-measure dihitung sesuai dengan hasil temu kembali yang diperoleh pada sub bab di atas. F-measure merupakan parameter yang menggabungkan nilai precision dan recall sebagai ukuran tunggal keberhasilan temu kembali. Interpolated precision dihitung berdasarkan 11 titik nilai recall (0, 0.1, 0.2,, 1). Nilai recall ini menunjukkan jumlah bagian frame dari seluruh frame yang ditemukembalikan untuk perhitungan nilai precision Precision dan Recall serta F-measure Temu Kembali Objek Tabel 5 merupakan nilai precision dan recall serta F-measure hasil temu kembali objek. Terlihat bahwa temu kembali objek dengan kueri-2 dan kueri-4 memberikan nilai F-measure yang cukup baik sedangkan kueri-1 dan kueri-3 memberikan hasil yang sebaliknya. Tabel 5 Hasil perhitungan precision dan recall serta F-measure untuk temu kembali objek #frame yang dikembalikan Kueri-1 Fatigon #frame relevan Precision Recall F-measure Kueri-2 Pepsodent #frame relevan Precision Recall F-measure Kueri-3Coca-cola #frame relevan Precision Recall F-measure Kueri-4 Susu Bendera #frame relevan Precision Recall F-measure Gambar 28 memperlihatkan gambaran nilai F-measure untuk setiap kueri sampai dengan temu kembali frame ke-10. Untuk kueri-2 dan kueri-4

15 36 memberikan nilai F-measure yang baik, yaitu 63% (kueri-2) dan 87% (kueri-4). Kueri-1 menunjukkan nilai yang fluktuatif mencapai 35% dan kueri-3 memberikan nilai F-measure mencapai 42% Kueri-1 Fatigon Kueri-2 Pepsodent Kueri-3 Coca Cola Kueri-4 Susu Bendera # frame relevam Gambar 28 Nilai F-measure hasil temu kembali objek. Untuk mengetahui nilai precision (Tabel 5) pada setiap titik recall dapat dilakukan dengan menginterpolasi nilai precision pada 11 titik recall. Pada Tabel 6 dapat dilihat bahwa nilai rataan precision mengalami penurunan pada tingkat nilai recall yang berbeda-beda untuk setiap kueri. Penurunan nilai ini disebabkan pada tingkat nilai recall tersebut sistem sudah tidak dapat menemukembalikan frame yang relevan dengan kueri yang diberikan. Untuk kueri-1 penurunan rataan precision terjadi pada tingkat recall 0,4 dengan nilai rataan precision mencapai 0,45. Kueri-2, penurunan rataan precision terjadi pada tingkat recall 0,5 dengan nilai rataan precision pada tingkat recall tersebut 0,55, sedangkan untuk kueri- 3 rataan precision hanya mencapai 0,33 pada tingkat recall 0,3. Untuk kueri-4 penurunan nilai rataan precision mencapai 0,82 terjadi pada tingkat recall 0,8.

16 37 Tabel 6 Nilai precision hasil temu kembali objek yang diinterpolasikan pada 11 titik nilai recall Interpolated Precision Fatigon Pepsodent Coca-cola Susu Bendera Rataan Recall Recall 0,0 1,00 1,00 1,00 1,00 1,00 0,1 1,00 1,00 1,00 1,00 1,00 0,2 1,00 1,00 0,83 1,00 0,96 0,3 1,00 1,00 0,80 1,00 0,95 0,4 1,00 1,00 0,00 1,00 0,75 0,5 0,00 1,00 0,00 1,00 0,50 0,6 0,00 0,00 0,00 1,00 0,25 0,7 0,00 0,00 0,00 1,00 0,25 0,8 0,00 0,00 0,00 1,00 0,25 0,9 0,00 0,00 0,00 0,00 0,00 1,0 0,00 0,00 0,00 0,00 0,00 Rataan Precision 0,45 0,55 0,33 0,82 0,54 Trade off nilai Interpolated precision pada 11 tingkat nilai recall yang paling baik ada pada hasil temu kembali objek dengan kueri-4, dimana sebanyak 82% frame relevan berhasil ditemukembalikan dengan benar. Nilai rataan precision yang paling buruk ada pada hasil temu kembali objek dengan kueri-3, dimana frame relevan yang berhasil ditemukembalikan mencapai 33% Precision dan Recall, F-measure Temu Kembali Frame Tabel 7 merupakan nilai precision dan recall serta F-measure hasil temu kembali frame. Terlihat bahwa temu kembali frame memberikan nilai precision, recall dan F-measure yang baik pada seluruh kueri, dimana pada kueri-1 dan kueri-4 nilai F-measure mencapai nilai 90% dan 100%. Nilai F-measure yang demikian mengindikasikan temu kembali frame menunjukkan hasil yang sangat baik.

17 38 Tabel 7 Hasil perhitungan precision dan recall serta F-measure untuk temu kembali frame #frame yang dikembalikan Kueri-1 Fatigon #frame relevan Precision Recall F-measure Kueri-2 Pepsodent #frame relevan Precision Recall F-measure Kueri-3 Coca-cola #frame relevan Precision Recall F-measure Kueri-4 Susu Bendera #frame relevan Precision Recall F-measure Kueri-1 Fatigon Kueri-2 Pepsodent Kueri-3 Coca-cola Kueri-4 Susu Bendera #frame relevan Gambar 29 Nilai F-measure temu kembali frame. Gambar 29 memperlihatkan gambaran nilai F-measure untuk tiaptiap kueri hingga temu kembali frame ke-10. Untuk kueri-1 dan kueri-4 memberikan nilai F-measure yang baik, yaitu mencapai 90% (kueri-1) dan

18 39 100% (kueri-4). Kueri-2 dan kueri-3 mempunyai nilai F-measure mencapai 67% dan 74%. Tabel 8 Nilai precision hasil temu kembali frame yang diinterpolasi pada 11 titik nilai recall Interpolated Precision Recall Fatigon Pepsodent Coca-cola Susu Bendera Rataan Recall 0,0 1,00 1,00 1,00 1,00 1,00 0,1 1,00 1,00 1,00 1,00 1,00 0,2 1,00 1,00 1,00 1,00 1,00 0,3 1,00 1,00 1,00 1,00 1,00 0,4 1,00 1,00 1,00 1,00 1,00 0,5 1,00 1,00 1,00 1,00 1,00 0,6 1,00 0,00 1,00 1,00 0,75 0,7 1,00 0,00 0,00 1,00 0,50 0,8 1,00 0,00 0,00 1,00 0,50 0,9 1,00 0,00 0,00 1,00 0,50 1,0 0,00 0,00 0,00 1,00 0,25 Rataan Precision 0,91 0,55 0,64 1,00 0,77 Untuk mengetahui nilai precision (Tabel 7) pada setiap titik recall dilakukan dengan menginterpolasi nilai precision pada 11 titik recall. Pada Tabel 8 dapat dilihat bahwa nilai rataan precision mengalami penurunan pada tingkat nilai recall yang berbeda-beda untuk tiap-tiap kueri. Untuk kueri-1, penurunan rataan precision terjadi pada tingkat recall 0,9, dengan nilai rataan precision mencapai 0,91. Kueri-2, penurunan rataan precision terjadi pada tingkat recall 0,5 dengan nilai rataan precision pada tingkat recall tersebut 0,55, sedangkan untuk kueri- 3 rataan precision mencapai 0,64 pada tingkat recall 0,6. Untuk kueri-4 nilai rataan precision mencapai 1,00, dimana seluruh dokumen relevan berhasil ditemukembalikan oleh sistem. Trade off nilai interpolated precision pada 11 tingkat nilai recall yang paling baik ada pada hasil temu kembali frame dengan kueri-4, yaitu 100% frame relevan berhasil ditemukembalikan dengan benar. Nilai rataan precision yang paling buruk ada pada hasil temu kembali frame

19 40 dengan kueri-2, dimana frame relevan yang berhasil ditemukembalikan mencapai 55% Temu kembali objek Temu kembali frame ,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 Tingkat Recall Gambar 30 Perbandingan rataan recall hasil temu kembali objek dan temu kembali frame. Secara umum temu kembali frame menunjukkan hasil yang sangat bagus jika dibandingkan dengan temu kembali objek. Gambar 30 menunjukkan perbandingan rataan recall temu kembali objek dan temu kembali frame. Temu kembali frame memberikan rataan recall yang lebih baik daripada hasil temu kembali objek. 5.6 Pembahasan Secara umum temu kembali frame (rataan precision 77% untuk keempat jenis kueri) memberikan hasil evaluasi yang lebih baik jika dibandingkan dengan hasil temu kembali objek (rataan precision 54% untuk keempat jenis kueri). Hal ini disebabkan oleh kueri yang diberikan kepada sistem, dimana kueri untuk temu kembali frame diambil secara langsung dari hasil ekstraksi frame video yang bersangkutan sehingga properti yang terdapat pada citra frame tersebut tidak jauh berbeda dengan komponen frame yang lainnya. Untuk temu kembali objek, citra yang digunakan sebagai kueri murni berasal dari luar video sehingga properti citra tersebut akan sangat beragam jika dibandingkan dengan citra frame yang

20 41 diekstraksi dari video. Hal ini menunjukkan beberapa keterbatasan pada model VSM antara lain: 1 Frame dengan objek yang banyak dan rumit akan direpresentasikan kurang bagus sehingga hasil temu kembali menjadi kurang baik dimana frame yang demikian akan menghasilkan scalar product yang rendah sedangkan dimensinya sangat besar. 2 Kata visual yang terekstraksi dari citra kueri harus sesuai/cocok dengan kata visual yang terdapat pada frame. Adanya substring kata visual akan menghasilkan "false positive match" sehingga dapat menurunkan precision. 3 Sensitivitas semantik, frame dan kueri dengan konteks yang mirip tetapi dengan kata visual yang berbeda tidak akan memberikan hasil temu kembali yang baik dan menghasilkan "false negative match" hal ini akan menurunkan nilai recall. 4 Urutan/peran kata visual yang muncul pada frame/kueri hilang ketika direpresentasikan didalam ruang vektor. 5 Kata visual yang terekstraksi diasumsikan bersifat bebas satu sama lain. Faktor lainnya yang mempengaruhi hasil temu kembali objek ini adalah hanya digunakannya satu buah detektor saja untuk mendeteksi keberadaan keypoint di dalam frame dan kueri. Operator Gaussian di dalam difference of Gaussian (DoG) yang digunakan pada SIFT kurang sensitif dan tidak dapat mendeteksi kemunculan sudut (corner) meskipun detektor DoG dapat mendeteksi keberadaan tepi (edge). Hal ini berpengaruh pada temu kembali objek dengan bentuk yang rumit (dengan keberadaan sudut relatif banyak) seperti pada contoh Gambar 31, keypoint yang terdeteksi dari citra logo produk Coca-cola. Gambar 31 Keypoint pada objek dengan bentuk yang rumit.

21 42 Keypoint yang berhasil dideteksi oleh SIFT pada citra kueri tersebut sebanyak 257 keypoint. Setelah dilakukan temu kembali, frame relevan yang berhasil ditemukembalikan hanya 3 frame saja seperti terlihat pada Gambar 32 pada rangking ke-7, rangking ke-9 dan ke-10. Gambar 32 Hasil temu kembali objek dengan bentuk yang rumit. 5.7 Pengembangan Sistem Sistem dibangun dengan menggunakan MATLAB versi 7 dan dilengkapi dengan Graphical User Interface (GUI) agar dapat lebih mudah digunakan dan user friendly. Rancangan dibuat sedemikian rupa sehingga dapat lebih mudah dioperasikan, Gambar 33 merupakan interface yang dikembangkan: Gambar 33 Interface sistem. Interface tersebut terdiri dari 5 modul utama antara lain modul untuk operasi dasar video (play & stop), modul untuk ekstraksi fitur SIFT, modul VSM untuk temu kembali, modul untuk mencocokkan frame hasil temu kembali dengan citra/frame kueri dan modul untuk menampilkan hasil temu kembali.

22 43 Berikut detail interface sistem sesuai dengan Gambar 33, 1 Merupakan menu untuk melakukan operasi sistem, terdiri atas dua menu dengan sub menu sebagai berikut (Gambar 34): a. b. Gambar 34 Tampilan menu bar. a Menu File, terdiri atas 3 submenu antara lain submenu Open video yang berfungsi mengambil video yang akan diproses, submenu Open query yang berfungsi mengambil citra/frame yang akan dijadikan sebagai kueri dan menu Exit berfungsi keluar dari sistem. b Menu Action, terdiri atas 3 submenu antara lain submenu pertama Process video, submenu ini dibagi lagi menjadi 3 sub submenu, yaitu sub submenu Extract feature untuk melakukan ekstraksi fitur SIFT dari video input, sub submenu Generate model merupakan modul yang berfungsi melakukan kuantisasi fitur SIFT dan membangun model VSM dan sub submenu Do all merupakan modul gabungan antara sub submenu Extract feature dan sub submenu Generate model. Submenu kedua Retrieved frames, merupakan menu yang berfungsi melakukan temu kembali objek/frame berdasarkan kueri yang diberikan. Submenu Match berfungsi melakukan pencocokan fitur yang terdeteksi pada frame dengan fitur yang ada pada citra objek/frame. 2 Merupakan jendela untuk menampilkan cuplikan frame video ketika user melakukan playback video dan temu kembali (Gambar 36 a). 3 Merupakan interface yang merangkum semua fungsi yang terdapat pada menu bar (poin 1). Fungsi dari tombol tersebut sama dengan fungsi yang terdapat pada menu bar (Gambar 35).

23 44 Gambar 35 Interface untuk mengakses modul penting pada sistem. 4 Jendela ini berfungsi menampilkan citra objek/frame yang dijadikan sebagai kueri ke dalam sistem (Gambar 36 b). a. b. Gambar 36 Interface untuk menampilkan frame video (a) dan frame kueri (b). 5 Merupakan jendela yang berfungsi menampilkan hasil temu kembali, dimana frame yang ditampilkan adalah 5 frame dengan skor tetinggi (Gambar 37). Untuk menampilkan 10 frame dengan skor tertinggi dapat dilakukan dengan menekan tombol Show other (Top10) (tombol pada poin 3) (Gambar 39). Gambar 37 Jendela untuk menampilkan hasil temu kembali.

24 45 Fitur SIFT hasil temu kembali dapat dicocokkan dengan fitur SIFT yang terdeteksi pada citra/frame kueri, pencocokan fitur ini dapat dilakukan dengan menggunakan fungsi Match (Gambar 35) atau dengan mengakses sub menu Match dari menu bar Action. Gambar 38 merupakan contoh pencocokan fitur yang berhasil dilakukan oleh modul Match. Gambar 38 Contoh hasil pencocokan fitur antara citra kueri dengan frame yang berhasil ditemukembalikan. Gambar 39 berikut memperlihatkan 10 frame dengan skor tertinggi untuk citra kueri yang diujikan pada Gambar 38. Gambar 39 Frame dengan skor tertinggi (10 frame) yang berhasil ditemukembalikan oleh sistem.