EVALUASI SISTEM TEMU KEMBALI INFORMASI MODEL RUANG VEKTOR DENGAN PENDEKATAN USER JUDGEMENT

Transkripsi

1 J. Sains MIPA, Desember 2010, Vol. 16, No. 3, Hal.: ISSN EVALUASI SISTEM TEMU KEMBALI INFORMASI MODEL RUANG VEKTOR DENGAN PENDEKATAN USER JUDGEMENT Didik Kurniawan Jurusan Matematika Program Studi Ilmu Komputer FMIPA Universitas Lampung ABSTACT The performance measure of a back-finding system usually determined by precision values, recall, fallout, F-measure, precision averages, precision mean and some other assesments. This research take a difference perspective to those mentioned method, i.e. by evaluating the system based on the user perspective. By analyzing the interaction between the users against system on a back-finding system, the information is build with vector space model indicated that the model satisfy the users toward the information needed by the back-finding system which is marked by the system is able to recover the document deemed relevant by the users in the sequence above the average score of the recalled document. Keywords: information back-finding system, uses interaction ABSTAK Ukuran performansi suatu sistem temu kembali informasi biasanya ditentukan oleh nilai-nilai presisi, recall, fall-out, F-messure, rata-rata presisi, nilai tengah rata-rata presisi dan beberapa penilaian lainnya. Penelitian ini mengambil sudut pandang berbeda dengan metode pengukuran tersebut, yaitu dengan melakukan evaluasi sistem dari sudut pandang pengguna. Dengan melakukan analisis interaksi pengguna terhadap sistem pada suatu sistem temu kembali informasi yang dibangun dengan model ruang vektor didapatkan bahwa model ini dapat memenuhi kebutuhan penguna akan informasi yang diinginkan dari sistem temu kembali informasi ditandai dengan sistem dapat mengembalikan dokumen yang dianggap relevan oleh pengguna pada urutan di atas rata-rata score dokumen yang direcall. Kata kunci: sistem temu kembali informasi, interaksi pengguna 1. PENDAHULUAN Secara teoritis sistem temu kembali informasi atau information retrieval merupakan cabang ilmu yang menfokuskan pada pencarian atau menemukan dokumen relevan sesuai dengan permintaan user terhadap kumpulan dokumen yang kompleks 1-4). Salah satu aplikasi umum dari sistem temu kembali informasi adalah mesin pencari (search engine) yang terdapat di internet. Pengguna dapat mencari halaman-halaman web yang dibutuhkan melalui mesin tersebut. Ukuran performansi suatu sistem temu kembali informasi ditentukan oleh nilai-nilai presisi, recall, fallout, F-messure, rata-rata presisi, nilai tengah rata-rata presisi dan beberapa penilaian lainnya. Akan tetapi dalam penelirian ini tidak akan membahas tentang performansi kinerja sistem terhadap nilai-nilai pengukuran tersebut, akan tetapi lebih memfokuskan pada evaluasi sistem berdasarkan persepsi dari pengguna, dengan melakukan user judgement terhadap informasi yang dikembalikan oleh sistem berdasarkan kueri yang dimasukan. Model-model sistem temu kembali informasi secara garis besar dibagi menjadi empat kategori, yaitu set theoritic models, algebraic models, probabilistic models dan machine learned ranking models. Pada penelitian dilakukan evaluasi terhadap model ruang vektor yang merupakan salah satu dari algebraic models. Model ini dipilih dengan beberapa pertimbangan, diantaranya 5) : - Model sederhana yang berdasarkan aljabar linear - Pengembalian informasi berdasarkan pembobotan term bukan binari - Memungkinkan penghitungan tingkat kemiripan kueri dan dokumen secara kontinu - Memungkinkan perangkingan dokumen sesuai dengan tingkat relevansinya - Memungkinkan untuk melakukan pencocokan sebagian FMIPA Universitas Lampung 155

2 Didik Kurniawan... Evaluasi Sistem Temu Kembali Informasi Model Ruang Vektor Tujuan melakukan penelitian ini adalah untuk mengetahui apakah informasi yang dikembalikan oleh sistem temu kembali informasi dengan menggunakan model ruang vektor dapat merangkingkan dokumen sesuai tingkat relevansinya berdasarkan persepsi pengguna. Selain itu juga dalam penelitian ini dilakukan analsisis interaksi pengguna terhadap sistem temu kembali informasi, tujuan dari analisis ini adalah menilai pengaruh model yang digunakan oleh sistem terhadap persepsi pengguna terhadap sistem. Dengan melakukan penilaian yang dilakukan oleh pengguna, nantinya akan diketahui performansi sebuah sistem temu kembali informasi, yang dilihat dari informasi yang dikembalikan oleh sistem. Sehingga dapat menjadi pertimbangan untuk pengembangan suatu sistem temu kembal informasi yang baik 6) Sistem Temu Kembali Informasi Information retrieval (IR) atau temu kembali informasi adalah menemukan materi (biasanya dokumen) dari sebuah kumpulan data yang tidak terstruktur (biasanya teks) untuk memenuhi kebutuhan informasi dari koleksi yang besar 3). Aplikasi yang melibatkan proses temu kembali informasi pada awalnya digunakan untuk membantu pustakawan untuk megorganisir koleksi referensi pustaka dan digunakan oleh paralegal. Sejak berkembangnya internet dan menyebabkan informasi yang terdapat di internet semakin lama semakin besar, maka aplikasi temu kembali informasi secara tidak disadari sering digunakan oleh hamper setiap user internet. Sebagai contoh aplikasi yang sering digunakan adalah mesin pencari (Search Engine) dan mesin pencari arsip . Kualitas relevansi hasil pencarian tanpa perangkingan dokumen ditentukan oleh dua nilai yaitu recall dan precision. Recall adalah perbandingan jumlah dokumen relevan yang terambil sesuai dengan query yang diberikan dengan total kumpulan dokumen yang relevan dengan query (Persamaan 1). Precision adalah perbandingan jumlah dokumen yang relevan terhadap query dengan jumlah dokumen yang terambil hasil pencarian (Persamaan 2). #( rir) r = = P( ret rel) #( ri) (1) #( rir) p = = P( rel ret) #( ri) (2) Dimana, r: recall p: precision rir: relevan items retrieved ri: relevan items ret: retrieved rel: relevan Keterhubungan relevansi dokumen dengan eksekusi query dapat dilihat dari data yang terambil dan tidak, hubungan ini dibagi menjadi empat kondisi yaitu false negative, false positive, true negative dan true positve yang digambarkan dalam Tabel 1. Tabel 1. Hubungan relevansi keterambilan dokumen Relevan Tidakrelevan Terambil True positve (tp) False negative (fn) Tidak Terambil False negative (fp) True negatif (tn) Dengan demkian maka nilai recall dan precision dapat dihitung dengan: tp recall = tp + fp (3) FMIPA Universitas Lampung

3 J. Sains MIPA, Desember 2010, Vol. 16, No. 3 tp precision = tp + fn (4) Akurasi berdasarkan tabel di atas didapat dengan: tp + fp accuracy = tp + fn + tn + fn (5) Alasan untuk tidak menggunakan nilai akurasi sebagai parameter yang tepat untuk mengatasi masalah temu kembali informasi. Kenyataannya pada umumnuya terdapat 99.99% dokumen tidak relevan. Jika sistem dirancang untuk mendapatkan akurasi yang tinggi, maka sistem akan menganggap semua dokumen tidak relevan untuk setiap query. Kedua nilai recall dan precision juga tidak menjamin dapat mengatasi masalah pada sistem temu kembali informasi. Sebagian user khususnya web surfer menginginkan menemukan dokumen relevan pada halaman pertama pencarian. Untuk itu diperlukan proses perangkingan dokumen sesuai dengan bobot relevansi terhadap query, pada sub judul berikutnya dibahas mengenai teori perangkingan dengan pembobotan dokumen Model Ruang Vektor Model ruang vektor mempresentasikan sejumlah n term yang ada pada kamus term atau indeks term sebagai ruang vektor berdimensi n 5). Sehingga query maupun dokumen merupakan vektor berdimensi n. Jika t mewakili setiap term dalam indeks term, maka query Q adalah vektor Q(t1,t2,...,tn) dengan t1 dimana i=1,2,3,n merupakan term yang ada pada indeks term, dokumen D adalah vektor D(t1,t2,...,tn) untuk setiap Di dengan j=1,2,,m. Dimana m merupakan banyak dokumen yang ada pada koleksi dokumen. Sebagai contoh terdapat tiga buah term (t1,t2,dan t3 serta dua buah dokumen D1 dan D2 serta sebuah query Q. Masing-masing dokumen dan query direpresentasikan dalam persamaan berikut : D1=2t1 + 3t2 + 5t3 D2=3t1 + 7t2 + 0t3 Q=0t1 + 0t2 + 2t3 Maka secara grafis dapat direpresentasikan pada Gambar 1 Gambar 1. Representasi dokumen dan query pada ruang vektor Secara geometris, sudut yang merentang antara vektor Q dan vektor D dapat diukur. Semakin kecil sudut diantara keduanya, semakin tinggi derajat kesamaan. Cosinus dari sudut tersebut merupakan koefisien yang dapat mewakilinya, seperti tergambar dalam Gambar 2 berikut : 2010 FMIPA Universitas Lampung 157

4 Didik Kurniawan... Evaluasi Sistem Temu Kembali Informasi Model Ruang Vektor Gambar 2. Representasi grafis sudut vektor dokumen dan query Jika Q adalah vektor query dan D adalah vektor dokumen, dimana vektor-vektor tersebut merupakan vektor dalam ruang dimensi-n, dan θ adalah sudut yang dibentuk oleh kedua vektor, maka : Q D = Q D cos θ (6) dimana Q D adalah hasil inner product kedua vektor. Cos θ adalah Similarity Coefficient antara Q dan D. Q D cosθ = Q D (7) Panjang dokumen cenderung mempunyai pengaruh terhadap nilai derajat kesamaan. Dokumen yang lebih panjang mengakibatkan mempunyai nilai yang lebih besar. Maka jarak Euclidean (panjang) kedua vektor dijadikan sebagai faktor pembagi atau faktor normal. Menurut Euclid panjang vektor merupakan akar dari jumlah kuadran elemen-elemennya sehingga, n n 2 2 Q = Q i D = D i i= 1 dan i= 1 (8) Perhitungan kesamaan kedua vektor adalah sebagai berikut : n Q D 1 SC ( Q, D) = cos( Q, D) = = Q D Q D Q D i i=1 (9) Dimana, SC = Similarity Coefficient (Derajat Kesamaan) i 2. METODE PENELITIAN Metode yang digunakan untuk menganalisa sistem temu kembali informasi ini dengan merancang sebuah aplikasi sistem temu kembali dengan menggunakan model ruang vektor lalu menganalisis statistik log sistem. Log yang disimpan oleh sistem adalah, sebagai berikut: 1. Data-data statistik hasil pencarian yang meliputi kueri, jumlah data yang ditemukan, statistik deskriptif score dokumen terhadap kueri dan waktu yang dibutuhkan sistem untuk menemukan dokumen yang dianggap releval terhadap sistem. 2. Data penilaian user terhadap hasil pencarian yang dianggap relevan, dan 3. Data aktivitas perilaku pengguna sistem temu kembali informasi. Gambar 3.1 merupakan diagram sequence yang menggambarkan kinerja sistem yang dibangun. Dari diagram ini, dapat dilihat aktivitas pengguna, meliputi: 1. Memasukan term atau kata kunci pencarian, lalu sistem merespon dengan class analyzer untuk membangun sebuah kueri standar yang dikenali sistem. 2. Lalu sistem mengembalikan daftar dokumen yang dianggap relevan oleh sistem kepada pengguna sekaligus menyimpan hasil pencarian ini di dalam basis data. 3. Pengguna melakukan penandaan dokumen yang dianggap relevan terhadap hasil yang dikembalikan oleh sistem dan sistem menyimpan informasi ini di dalam basis data. 4. Sistem melakukan penyimpanan aktivitas pengguna ketika berinteraksi dengan sistem FMIPA Universitas Lampung

5 J. Sains MIPA, Desember 2010, Vol. 16, No. 3 Gambar 3. Diagram sequence sistem temu kembali informasi Dari data yang direkam oleh sistem ini, lalu akan dievaluasi kinerja sistem temu kembali model ruang vektor dengan menganalisis bagaimana sistem mengembalikan informasi kepada pengguna dengan melakukan perangkingan, apakah perangkingan yang dilakukan sistem ini sesuai dengan keinginan pengguna (relevan dari sudut pandang pengguna). 3. HASIL DAN PEMBAHASAN Penelitian ini dilakukan di laboratium komputasi FMIPA Universitas Lampung, data yang diindek oleh sistem adalah konten dari website yang di download dengan menggunakan webcrawler pada bulan April Field-field yang diindekan oleh sistem adalah content, path, dan title dari dokumen. Dari proses pengindekan didapatkan data-data sebagai berikut, jumlah dokumen ada dan jumlah term yang berbeda untuk semua dokumen ada term. Dari ujicoba yang dilakukan pada bulan Mei 2010 selama 3 hari, pengguna disarankan untuk mengakses intranet pada ip pada lingkungan jaringan FMIPA Universitas Lampung. dari analisis log penggunaan sistem setidaknya terdapat 35 sesi pengguna. Setelah user melakukan submit term pada halaman search.jsp, terdapat 27 sesi pengguna melakukan aktivitas dengan hasil pencarian dan sisanya apatis terhadap sistem. Dari 27 sesi pengguna yang mendapatkan hasil pencarian terdapat 17 sesi pengguna yang melakukan penandaan dokumen yang relevan dan pengguna melakukan submit kueri pada sistem sebanyak 4.46 kali dalam satu sesi 7). Berikut adalah hasil analisis dari kinerja sistem yang dibagi menjadi 3 bagian, statistik hasil pencarian, interaksi pengguna pada penandaan dokumen relevan dan interaksi pengguna saat menggunakan sistem FMIPA Universitas Lampung 159

6 Didik Kurniawan... Evaluasi Sistem Temu Kembali Informasi Model Ruang Vektor Tabel 2. Statistik deskriptif hasil pencarian kueri pada sistem IR Jumlah Pencar ian numhits Mean Median Max Min Stdev Waktu (detik) MAX MIN Rerata Sim. Baku Dilihat dari Tabel 2 didapatkan bahwa rata-rata score dokumen terhadap kueri yang didapat adalah 0.16, maksimum rata-rata score dokumen adalah 0.85 dan minimum rata-rata score dokumen adalah Statistik ini menggambarkan respon sistem terhadap kueri yang diinputkan oleh pengguna. Semakin kecil score kueri pada suatu dokumen maka relevansi dokumen terhdap kueri akan semakin kecil. Kata kunci term yang diinputkan user juga sangat beragam, hal ini diindikasikan nilai variasi atau simpangan baku nilai maksimum score sangat besar yaitu 0.66, jika dilihat dari skla score suatu dokumen antara 0 dan 1, maka simpangan baku nilai maksimum score dokumen ini relatif besar. Keragaman koleksi dokumen digambarkan oleh nilai simpangan baku score dokumen terhadap kueri. Jika dilihat pada tabel yang sama keragaman dokumen terhadap kueri relatif kecil hal ini diindikasikan dengan nilai rata-rata simpangan baku score dokumen terhadap kueri yaitu sebesar Penandaan dokumen relvan oleh user scoremax scoremean score Relevan Sesi1 Sesi2 Sesi3 Sesi4 Sesi5 Sesi6 Sesi7 Sesi8 Sesi9 Sesi10 Sesi11 Sesi12 Sesi13 Sesi14 Sesi15 Sesi16 Sesi17 Sesi Gambar 4. Grafik posisi score dokumen yang dianggap relevan Dilihat dari Gambar bahwa user menandai dokumen relevan relatif terhadap score kueri tersebut, ini diindikasikan bahwa dokumen yang dianggap relevan berada di atas score rata-rata, kecuali dua penandaan relevan oleh pengguna yang score-nya berada dibawah garis rata-rata score yaitu sesi 2 dan sesi 3. Ini mengindikasikan perangkingan yang dilakukan dengan metode ruang vektor dapat menghasilkan dokumen relevan pada urutan dokumen yang terambil pada posisi teratas FMIPA Universitas Lampung

7 J. Sains MIPA, Desember 2010, Vol. 16, No Total Hit Hit Menu Sistem Hit Hasil Hit M enu Sistem Hit Hasil Sesi Gambar 5. Perbandingan jumlah hit dalam sistem IR Dari data yang diperlihatkan Gambar 5 bahwa dari 142 hit dalam 27 sesi terdapat 57.75% hit yang mengakses hasil pencarian dan 42.25% hit yang mengakses menu sistem IR. Yang termasuk dalam menu disini adalah berupa komponen sistem IR, yaitu pencarian dasar, pencarian lanjut dan penelusuran halaman sistem IR. Dari Gambar 5 didapatkan bahwa dari total 27 sesi pengguna, terdapat 9 sesi yang tidak melakukan hit hasil pencarian, hal ini mengindikasikan tidak menemukan dokumen relevan dalam daftar yang ditampilkan oleh sistem. Rata-rata pengguna dalam setiap sesi melakukan hit sebanyak 5.26 kali. Dengan maksimum hit sebanyak 29 kali dan minimum 1 kali, jika dilihat dari jumlah hit dalam sistem temu kembali dapat diambil suatu hipotesis bahwa semakin besar jumlah hit rata-rata dalam setiap sesi menggambarkan kepuasan pengguna dalam sistem. 4. KESIMPULAN Dari analisis yang dilakukan terhadap statistik log sistem temu kembali informasi dapat diambil kesimpulan sebagai berikut: 1. Dokumen relevan yang ditandai oleh pengguna sebagian besar di atas score rata-rata kueri terhadap dokumen yaitu 15 dari 17 sesi atau sebesar 88,24% sesi pengguna yang memilih dokumen relevan berada di atas score rata-rata. Hal ini mengindikasikan perangkingan yang dilakukan dengan model ruang vektor dapat memenuhi kebutuhan informasi bagi pengguna. 2. Pada evaluasi interaksi pengguna sistem temu kembali informasi yang dibangun dengan model ruang vektor didapatkan bahwa kecenderungan pengguna akan meninggalkan sistem ketika sudah mendapatkan dokumen yang dianggap relevan, hal ini ditandai dengan 57.75% pengguna memilih dokumen hasil penelusuran dibandingkan dengan persen dimana pengguna melakukan penelusuran halaman hasil pencarian dan komponen pada sistem. DAFTAR PUSTAKA 1. Hiemstra, D Using Language Models for Information Retrieval, Center for telematics and Information Technology. AE Enschede. Netherlands. 2. Ingwersen, P Information retrieval interaction. Taylor graham publishing. London FMIPA Universitas Lampung 161

8 Didik Kurniawan... Evaluasi Sistem Temu Kembali Informasi Model Ruang Vektor 3. Manning, C. D., Raghavan, P. and Schütze, H Introduction to Information Retrieval, Cambridge University Press. 4. Grossman, D.A. and Ophir, H Information retrieval: Algorithms and Heuristics, Kluwer Academic Publisher. Massachutetts. USA. 5. Salton, G., Wong, A., Yang. C. S A vector space model for automatic indexing. Communications of the ACM, 18 (11): Shneiderman, B Designing the User Interface: Strategies for Effective Human-Computer Interaction. Addison-Wesley Publishers. 7. Luhn, H. P A statistical approach to mechanized encoding and searching of literary information. IBM Journal of Research and Development, 1(4). (p. 47, p. 76) FMIPA Universitas Lampung