EVALUASI KINERJA SISTEM PENYARINGAN INFORMASI MODEL RUANG VEKTOR

Transkripsi

1 Yogyakara, 7 Juni 006 EVALUASI KINERJA SISTEM PENYARINGAN INFORMASI MODEL RUANG VEKTOR Rila Mandala Kelompok Keahlian Informaika, Sekolah Teknik Elekro dan Informaika, Insiu Teknologi Bandung Jalan Ganesha 0 Bandung, Indonesia rila@if.ib.ac.id ABSTRAKSI Penyaringan Informasi (Informaion Filering) adalah sebuah kajian mengenai pemfileran suau aliran informasi dinamis dalam volume besar dan menyampaikannya kepada pengguna erenu unuk memenuhi kebuuhan informasinya. Kajian ini berkerja pada informasi idak ersrukur. Aliran informasi yang dikaji merupakan sekumpulan dokumen mengenai berbagai opik dan kebuuhan informasi dinyaakan dalam benuk profil pengguna. Makalah ini membahas sisem Informaion Filering yang menggunakan meode Model Ruang Vekor unuk memodelkan dokumen dan profil pengguna. Tiap dokumen dan profil akan direpresenasikan dalam benuk vekor-vekor. Elemen vekor adalah erm-erm yang erdapa pada dokumen dan profil dan dilengkapi dengan bobo masing-masing erm. Evaluasi performansi dilakukan dengan menggunakan sebuah koleksi dokumen sebagai aliran informasi dan sebuah kumpulan profil sebagai pemfiler. Dengan mengamai hasil pemfileran, dokumen yang disampaikan sisem kepada pengguna cukup sesuai dengan kebuuhan informasinya. Performansi lebih lanju diukur dengan kalkulasi nilai Recall dan Precision dengan menggunakan daa penilaian manusia akan relevansi dokumen erhadap profil. Kaa kunci: informaion filering, model ruang vekor, Evaluasi Performansi.. PENDAHULUAN Dalam kehidupan masyaraka saa ini, informasi elah menjadi kebuuhan yang sanga pening. Informasi menjadi salah sau sumber daya yang dapa memberikan nilai ambah bagi pemilik informasi ersebu. Dengan adanya inerne, penyebaran informasi semakin cepa dan murah. Siapa saja dapa dengan mudah mengakses informasi yang diampilkan dalam benuk halamanhalaman web maupun . Namun semakin besarnya jumlah informasi yang erdisribusi membua pengguna suli menemukan dan memanfaakan informasi yang beul-beul dibuuhkannya. Hal ersebu juga disebabkan oleh kurangnya perangka yang dapa dimanfaakan pengguna unuk mengelola aliran informasi ersebu. Oleh karena iu perlu adanya suau mekanisme yang membanu pengguna dalam mendapakan informasi mengenai opik-opik yang sesuai dengan kebuuhannya. Informaion Filering (IF) adalah salah sau meode yang secara cepa berkembang unuk mengelola aliran informasi yang daang kepada pengguna. Tujuan dari Informaion Filering adalah membawa pengguna kepada hanya informasi yang relevan erhadap kebuuhan mereka. Sisem IF elah dikembangkan beberapa ahun erakhir ini unuk berbagai domain aplikasi. Beberapa conoh dari aplikasi pemfileran adalah pemfileran personal berdasarkan profil personal, pemfiler browser yang memblok informasi yang idak sesuai, filer yang dirancang agar anak-anak hanya dapa mengakses informasi yang sesuai bagi mereka, dan lain-lain. Secara umum ujuan uama dari IF adalah mengarahkan informasi yang paling berharga (relevan) kepada pengguna secara oomais dan membanu pengguna memanfaakan waku membaca dokumen yang erbaas secara lebih opimal. Informaion filering, seperi juga Informaion Rerieval (sisem emu balik informasi), menangani ruang informasi idak ersrukur dan kebuuhan pengguna akan informasi spesifik[won97]. Sisem emu balik informasi menangani ruang informasi yang sabil dan kebuuhan pengguna akan informasi yang bervariasi / dinamis, sedangkan Informaion Filering menangani ruang informasi yang dinamis dan kebuuhan pengguna akan informasi yang relaif sabil. Permasalahan dalam Informaion Filering dengan demikian dapa dinyaakan sebagai beriku: erhadap sejumlah objek informasi dinamis, sisem Informaion Filering mencocokkan karakerisik dari objek informasi ersebu dengan profil pengguna, yaiu deskripsi dari kebuuhan informasi pengguna, unuk mendapakan perkiraan relevansi anara objek informasi ersebu erhadap kebuuhan informasi. Sisem profil akan menunjukkan keerarikan dan pilihan pengguna, dan penggunaannya membanu pengguna unuk melakukan akses erkendali erhadap bagian yang relevan dari informasi[won97]. Sisem profil ersebu akan berindak sebagai inermediaor anara pengguna dan objek informasi. Dalam penenuan relevansi ersebu, pendekaan yang digunakan adalah pendekaan binary classificaion sysem dimana dokumen hanya akan diklasifikasikan sebagai dokumen relevan aau idak, dan idak dilakukan penguruan peringka (ranking)[lew96]. G-5

2 Yogyakara, 7 Juni 006. KONSEP INFORMATION FILTERING Bahasa adalah benuk yang memungkinkan manusia mengekspresikan ide, dan eks adalah benuk dimana bahasa paling mudah diangani oleh sisem kompuer saa ini. Informasi dalam jumlah besar disimpan dalam benuk eks. Informaion Filering adalah sebuah kajian mengenai pemfileran suau aliran informasi dinamis dalam volume besar dan menyampaikannya kepada pengguna erenu unuk memenuhi kebuuhan informasinya[oar96]. Kajian mengenai perolehan informasi yang elah banyak dikenal adalah Temu Balik Informasi (Informaion Rerieval). Kemudian kajian mengenai Informaion Filering, yang bersama kajian emu balik informasi disebu sebagai keping maa uang dengan dua sisi, mulai berkembang. Informaion filering, seperi juga Informaion Rerieval (Temu Balik Informasi), menangani ruang informasi idak ersrukur dan kebuuhan pengguna akan informasi spesifik[won97]. Hal ini yang membedakan keduanya dengan konsep basis daa yang menangani query dan kumpulan daa bersrukur erenu. Kajian Temu Balik Informasi menangani ruang informasi yang sabil dan kebuuhan pengguna akan informasi yang bervariasi/dinamis, sedangkan Informaion Filering menangani ruang informasi yang dinamis dan kebuuhan pengguna akan informasi yang relaif sabil. Permasalahan dalam Informaion Filering dengan demikian dapa dinyaakan sebagai beriku: erhadap sejumlah objek informasi dinamis, sisem Informaion Filering mencocokkan karakerisik dari objek informasi ersebu dengan profil pengguna, yaiu deskripsi dari kebuuhan informasi pengguna, unuk mendapakan perkiraan relevansi anara objek informasi ersebu erhadap kebuuhan informasi. Sisem profil akan menunjukkan keerarikan dan pilihan pengguna, dan penggunaannya membanu pengguna unuk melakukan akses erkendali erhadap bagian yang relevan dari informasi[won97]. Sisem profil ersebu akan berindak sebagai inermediaor anara pengguna dan objek informasi. Dalam penenuan relevansi ersebu, pendekaan yang digunakan adalah pendekaan binary classificaion sysem dimana dokumen hanya akan diklasifikasikan sebagai dokumen relevan aau idak, dan idak dilakukan penguruan peringka (ranking)[lew96]. Seiap pendekaan yang dilakukan unuk Informaion Filering maupun Informaion Rerieval memiliki empa komponen dasar:. Teknik unuk merepresenasikan dokumen. Teknik unuk merepresenasikan kebuuhan informasi (misalnya: konsruksi profil) 3. ara unuk membandingkan profil dengan represenasi dokumen 4. ara unuk menggunakan hasil dari pembandingan ersebu Perbedaan sisem Informaion Filering dan Informaion Rerieval pada umumnya dapa diliha pada Gambar. Koleksi Dokumen sais Koleksi Dokumen dinamis Query dinamis Sisem IR Query/Profil sais Sisem IF Kumpulan dokumen relevan erhadap query eruru berdasarkan ranking Kumpulan dokumen relevan erhadap query/ profil Gambar. Perbandingan Sisem Informaion Filering dengan Informaion Rerieval Objekif dari konsep yang dikaji adalah unuk mengoomasi proses pemeriksaan dokumen dengan melakukan kompuasi perbandingan anara represenasi kebuuhan (profil) dengan represenasi dokumen. Proses yang dioomasi ini disebu berhasil apabila memberikan hasil yang mirip dengan hasil perbandingan secara manual oleh manusia. Model sisem Informaion Filering dapa digambarkan seperi pada Gambar. Ruang Mina Pengguna Fungsi Akuisisi Profil Kebuuhan Informasi Profil Relevan / idak Penilaian Manusia Fungsi Pembanding Relevan / Tidak Dokumen Represenasi Fungsi Represenasi Dokumen Ruang Dokumen Gambar. Model Sisem Informaion Filering 3. MODEL RUANG VEKTOR Model Ruang Vekor merupakan suau meode yang cukup banyak digunakan dalam sisem Informaion Rerieval. Namun karena konsep Informaion Filering memiliki prinsip yang mirip dengan Informaion Rerieval, maka Model Ruang Vekor ini juga dapa diimplemenasikan pada aplikasi Informaion Filering. Kakas-kakas G-6

3 Yogyakara, 7 Juni 006 pendukung Model Ruang Vekor seperi unuk semming juga eap dapa dimanfaakan. Dengan menggunakan Model Ruang Vekor, dokumen-dokumen yang ada dan profil pengguna akan dipeakan menjadi n dimensi vekor[gro98]. Profil pengguna akan menjadi query yang relaif eap bagi dokumen-dokumen yang berubah secara dinamis. Banyaknya dimensi dari ruang vekor akan dienukan oleh jumlah kaa signifikan yang erdapa dalam dokumen aaupun profil/query. Diasumsikan erdapa buah erm yang berbeda, yang disebu vocabulary aau erm index, pada koleksi dokumen dan profil. Kumpulan erm ersebu akan dibenuk menjadi sebuah ruang vekor dengan dimensi = = vocabulary. Tiap dokumen aau profil akan direpresenasikan sebagai sebuah vekor. Panjang dari iap vekor akan bervariasi sesuai dengan bobo dari masing-masing erm yang menjadi elemen vekor. Seiap erm i, dalam dokumen aau profil, j, diberi bobo beripe real, w i,j. Represenasi dokumen dan profil dalam benuk vekor berdimensi digambarkan seperi pada Gambar 3 dan dengan represenasi maemais: d j = ( w j, w j,, w j ) () conoh: D = T + 3T + 5T3 D = 3T + 7T + T3 Q = 0T + 0T + T3 Koleksi dari n buah dokumen dapa direpresenasikan dalam Model Ruang Vekor dengan sebuah mariks erm-dokumen sebagai beriku: D D : : D n T T. T w w w w w w : : : : : : w n w n w n Gambar 3. Represenasi Vekor dokumen dan query Sebuah enri dalam mariks erm-dokumen berkorespondensi dengan bobo sebuah erm dalam dokumen erenu. Nilai 0 berari keberadaan erm ersebu idak signifikan dalam dokumen aau erm ersebu idak erdapa dalam dokumen. Pemboboan erm unuk Model Ruang Vekor dapa dilakukan dengan konsep Term Frequency (Tf) dan Inverse Documen Frequency (Idf). Term frequency suau erm adalah jumlah erm ersebu dapa diemukan dalam dokumen aau profil. Semakin banyak suau erm diemukan dalam dokumen berari erm ersebu semakin pening dan semakin indikaif erhadap suau opik. Documen Frequency suau erm adalah banyaknya dokumen dalam koleksi, yang mengandung kemunculan erm ersebu. Inverse Documen Frequency suau erm adalah invers dari Df, yaiu /Df. Nilai Idf suau erm yang inggi menunjukkan bahwa erm ersebu pening/signifikan karena idak banyak dipakai di dokumen-dokumen dalam koleksi. Sebaliknya nilai Idf suau erm yang rendah menunjukkan bahwa erm ersebu idak pening karena banyak dipakai di dokumen-dokumen dalam koleksi. Sebuah erm yang sering muncul dalam sebuah dokumen, namun jarang muncul di sisa dokumen dalam koleksi, akan memperoleh bobo yang inggi. Profil/query diperlakukan sama seperi dokumen dalam pembenukan vekor dan diberi bobo dengan pemboboan Tf-Idf yang sama. Relevansi anara query dengan suau dokumen (dikenal juga dengan isilah similarias) adalah suau ukuran kemiripan anara represenasi dokumen dengan represenasi kebuuhan pengguna (profil). Ukuran kemiripan (Similariy Measure) adalah sebuah fungsi unuk menenukan deraja kemiripan (degree of similariy) anara dua buah vekor. Penggunaan ukuran kemiripan anara query dan dokumen-dokumen memungkinkan:. Perankingan dokumen-dokumen yang diperoleh sesuai uruan relevansi. Pembuaan nilai ambang (hreshold) erenu agar ukuran himpunan dokumen yang diperoleh dapa dikendalikan. Ukuran kemiripan yang sering digunakan adalah do produc dan osine Similariy Measure. Ukuran kemiripan dengan do produc adalah perhiungan yang cukup sederhana dalam menenukan similarias suau dokumen dengan query. Do produc memberikan ingka kemiripan anara vekor dokumen d i dan query q dengan menghiung do produc anara dua vekor: w. ij wiq sim(d j,q) = d j q = () dimana d j adalah vekor dokumen j, q adalah vekor query, w ij adalah bobo erm i dalam dokumen j, dan w iq adalah bobo erm i dalam query. onoh perhiungan: D = T + 3T + 5T3 D = 3T + 7T + T3 Q = 0T + 0T + T3 sim(d, Q) = *0 + 3*0 + 5* = 0 sim(d, Q) = 3*0 + 7*0 + * = G-7

4 Yogyakara, 7 Juni 006 Pada Model Ruang Vekor, penenuan kemiripan yang lebih epa didasarkan pada perhiungan besarnya sudu yang dibenuk oleh vekor query dan vekor dokumen ersebu. Sudu yang semakin kecil menunjukkan deraja relevansi yang semakin besar. Unuk mengaasi kesulian menenukan besar sudu anar vekor, dapa digunakan konsep kosinus dimana sudu yang kecil memiliki nilai kosinus besar dan sudu yang besar memiliki nilai kosinus yang kecil. osine Similariy Measure memberikan ingka kemiripan anara vekor dokumen d i dan query q dengan melakukan perhiungan besar kosinus dari sudu yang dibenuk oleh dua vekor. onoh dua vekor dokumen dan sebuah vekor query diampilkan pada Gambar 4 beriku ini: dibandingkan dengan konsep Do Produc. Normalisasi ini dilakukan karena dokumen yang panjang cenderung mengulang-ulang penggunaan erm-erm sehingga nilai f erm-erm ersebu akan sanga inggi. Akibanya pemboboan dengan do produc akan menjadi kurang adil dimana hasil dari pencocokan(maching) akan cenderung lebih menguamakan dokumen-dokumen yang panjang. Model Ruang Vekor memiliki kelemahan dimana erm-erm yang memiliki makna yang sama (misalnya: walk, walked, walking) bisa dianggap sebagai elemen vekor yang berbeda. Unuk iu diperlukan kakas pendukung yaiu kakas semming yang akan merepresenasikan erm-erm demikian ke dalam sau benuk (misalnya: walk, walked, walking semuanya dibenuk menjadi walk). D θ θ 3 Q 4. EKSPERIMEN Pengukuran performansi dari sisem Informaion Filering dapa dilakukan dengan besaran-besaran pengukuran erenu. Krieria yang digunakan unuk mengevaluasi keakuraan sisem Informaion Filering adalah:. Semua dokumen yang relevan dengan kebuuhan informasi pengguna didisribusikan pada pengguna yang epa.. Tidak ada sau pun dokumen idak relevan yang didisribusikan pada pengguna yang idak menginginkannya. D Gambar 4. onoh iga vekor dan sudu yang erbenuk Q dan D adalah vekor query dan dokumen. Perkalian dalam (Inner Produc) dari kedua vekor ersebu adalah: Q D = Q D cosθ sedangkan D = n D i Q = n Q i (3) dan (4) merupakan panjang vekor aau jarak Euclidean suau vekor dengan iik nol. Dengan demikian, ukuran kosinus sudu anara kedua vekor dapa dinyaakan sebagai: ossim(d j,q)= ( wij. wiq ) w ij. w iq (5) Perhiungan osine Similariy Measure ersebu memperhiungkan normalisasi dari panjang dokumen dengan adanya penyebu d j dan q, bila Kumpulan seluruh dokumen A B A B Kumpulan dokumen yang didisribusikan oleh sisem Kumpulan dokumen yang relevan dengan kebuuhan informasi Kumpulan dokumen yang didisribusikan oleh sisemdan relevan dengan kebuuhan informasi pengguna Gambar 5. Model Kumpulan Dokumen Dua besaran pengukuran yang sering digunakan dalam sisem emu balik informasi adalah Recall dan Precision. Dengan mengamai Gambar 5, perhiungan nilai Recall dan Precision adalah: Recall = B, 0 Recall (6) Precision = A, 0 Precision (7) Sisem ideal adalah sisem dengan Recall= dan Precision=. Recall dan Precision cenderung memiliki nilai yang saling berbanding erbalik. Kedua besaran pengukuran ersebu juga dapa dierapkan pada sisem Informaion Filering. Recall merupakan jawaban unuk krieria keakuraan sisem yang perama, sedangkan Precision G-8

5 Yogyakara, 7 Juni 006 merupakan jawaban unuk krieria kedua. Recall dan Precision dihiung dengan membandingkan hasil pemfileran/pe-rerieve-an oleh sisem dengan hasil pemfileran/pe-rerieve-an oleh manusia. Hasil pemfileran/pe-rerieve-an oleh manusia ersebu ersimpan sebagai penilaian relevansi (relevance judgemen) anara dokumen dan query/profil. Perhiungan Recall dan Precision berlaku unuk se measure aau perhiungan dalam model himpunan seperi pada pendekaan binary classificaion sysem ini. Hasil pengujian ingka performansi IFVecor menunjukkan bahwa nilai Recall IFVecor cukup baik pada kisaran nilai ambang 0,05-0, yaiu sekiar 0,75-0,97. Nilai Recall ersebu semakin menurun dengan semakin ingginya nilai ambang yang digunakan. Nilai Precision juga menunjukkan hasil yang cukup baik yaiu berkisar pada nilai 0,69-0,93. Peningkaan nilai ambang menyaakan semakin ingginya ingka similarias anara dokumen dan profil yang diinginkan. Hal ersebu berakiba pada semakin sedikinya jumlah dokumen yang lolos dari pemfileran daripada seharusnya (Recall mengecil) dan makin sediki pula dokumen idak relevan yang dierima pengguna (Precision membesar). Demikian juga sebaliknya dimana penurunan nilai ambang menyaakan semakin rendahnya unuan ingka similarias anara dokumen dan profil yang diinginkan. Hal ersebu berakiba pada semakin banyaknya jumlah dokumen relevan yang lolos dari pemfileran (Recall membesar) dan makin besar pula kemungkinan dokumen idak relevan iku dierima pengguna (Precision mengecil). sg/papers/paper3.pdf Tanggal akses: 5 Mare 004 [FRA9] Frakes, William B., Riardo Baeza- Yaes (99). Informaion Rerieval Daa Srucures & Algorihms. Prenice Hall. [GRO98] Grossman, David A., Ophir Frieder (998). Informaion Rerieval: Algorihms and Heurisics. Kluwer Academic Publisher. [RIJ79] Rijsbergen,.J. van (979). Informaion rerieval. hp:// hml. Tanggal akses: 4 Mare 004 [WON97] Wondergem, B..M., P. van Bommel, T.W.. Huibers and T.P. van der Weide (997). Towards an Agen- Based Rerieval Engine (Profile Informaion Filering Projec). Briish ompuer Sociey. hp://ewic.bcs.org/conferences/997/ir sg/papers/paper3.pdf Tanggal akses: 5 Mare 004 [OAR96] Oard, Douglas W., Gary Marchionini (996). A oncepual Framework for Tex Filering. hp:// er.hml Tanggal akses: 5 Mare KESIMPULAN Makalah ini membahas enang sisem penyaringan informasi dengan menggunakan model ruang vekor. Performansi dari sisem ini juga diukur dengan menggunakan besaran recall dan precision. Hasil evaluasi menunjukkan bahwa model ruang vekor dapa memberikan performansi yang baik. DAFTAR PUSTAKA [GRO98] Grossman, David A., Ophir Frieder (998). Informaion Rerieval: Algorihms and Heurisics. Kluwer Academic Publisher. [LEW96] Lewis, David D. (996). The TRE-4 Filering Track. hp://rec.nis.gov/pubs/rec4/4_procee dings.hml Tanggal akses: 7 Februari 003 [WON97] Wondergem, B..M., P. van Bommel, T.W.. Huibers and T.P. van der Weide (997). Towards an Agen- Based Rerieval Engine (Profile Informaion Filering Projec). Briish ompuer Sociey. hp://ewic.bcs.org/conferences/997/ir G-9

6 Yogyakara, 7 Juni 006 G-0