TEMU KEMBALI INFORMASI

Transkripsi

1 JULIO ADISANTOSO Departemen Ilmu Komputer IPB Pertemuan 4 TOLERANCE RETRIEVAL

2 Tugas Extended Boolean Pelajari Extended Boolean Mengapa dikembangkan model ini? Bagaimana prinsip dasar model ini? Bagaimana teknis komputasi model ini? Kerjakan soal pada Manning et al (2008) nomor 2.9, 6.8, 6.9, 6.10, 6.11, 6.19

3 Extended Boolean Extended Boolean Maka... Model Boolean yang baku tidak menghasilkan pemeringkatan dokumen Operator Boolean dalam model Boolean yang baku terlalu strict Dikembangkan model Boolean yang memungkinkan memberi pemeringkatan dokumen... extended Boolean Ada 3 model: 1 Mixed Min and Max (MMM) Model 2 Paice Model 3 P-norm Model

4 Extended Boolean Extended Boolean Diketahui matrik term-document: w 11 w w 1n w i1 w i2 w in w t1 w t2 w tn sedangkan w ij adalah bobot term i pada dokumen j, untuk i = 1, 2,..., t dan j = 1, 2,..., n

5 MMM Model Extended Boolean Misalkan terdapat query: Q OR = (T 1 or T 2 or... or T t ) Q AND = (T 1 and T 2 and... and T t ) Maka ukuran kemiripan dokumen j dengan query adalah: sim(q OR, j) = α max(w 1j, w 2j,..., w tj )+ (1 α) min(w 1j, w 2j,..., w tj ) sim(q AND, j) = β min(w 1j, w 2j,..., w tj )+ (1 β) max(w 1j, w 2j,..., w tj ) Hasil percobaan Lee & Fox (1988): nilai α > 0.2 dan β [0.5, 0.8]

6 Paice Model Extended Boolean Ukuran kemiripan dokumen j dengan query adalah: sim(q, j) = n i=1 ri 1 d i n i=1 ri 1 sedangkan d i adalah urutan menurun untuk query OR dan menaik untuk AND. Percobaan Lee & Fox (1988) menghasilkan nilai r yang optimum adalah 1.0 untuk query AND, dan 0.7 untuk query OR.

7 P-norm Model Extended Boolean Ukuran kemiripan dokumen j dengan query adalah: sim(q OR, j) = p w p 1j +wp 2j + +wp tj t sim(q AND, j) = 1 p (1 w 1j ) p +(1 w 2j ) p + +(1 w tj ) p Misal query Q = (T 1 and T 2 ) or T3, maka untuk p = 2, ukuran kemiripan Q dengan dokumen j adalah: ( ) 2 (1 w 1 1j ) 2 +(1 w 2j ) 2 + w 2 3j sim(q, j) = 2 t

8 Retrieval Retrieval Bagaimana metode matching antara term pada query dengan term pada inverted index (dictionaries)? terkait ekspansi query?

9 Phonetic Problem Retrieval

10 Retrieval Beberapa metode Retrieval: WordNet and Thesaurus Wildcard queries Spelling correction 1 Jarak edit (edit distance) 2 n-gram Phonetic Sangat situasional

11 Wildcard Queries Retrieval Mengapa Wildcard Queries?: User tidak tahu pasti spelling dari suatu term. Misalnya Sydney vs Sidney, University Stuttgart vs Universitet Stuttgard, etc. User khawatir pada sistem yang memiliki ragam spelling. Misalnya colour vs color, center vs centre, etc. User ingin mencari beberapa varian dari term. Misalnya pertanian, bertani, petani, dsb. Alternatif: Menggunakan wildcard queries, misalnya s*dney, universi* stuttg*, colo*r, etc. Menggunakan aturan RE. Misalnya [ a][mad$],

12 Spelling Correction Retrieval Bedanya dengan Wildcard Queries? User mengetik query, namun mungkin ada kesalahan. Misalnya Information Sistem Menggunakan teknik ekspansi query, artinya term pada query disempurnakan oleh sistem. : Memberi alternatif query pada user berupa term yang mirip. Ukuran kemiripan ditentukan dengan banyak metode, antara lain jarak edit dan n-gram.

13 n-gram Retrieval Berbasis karakter: Merupakan potongan n karakter dari suatu string (kata/term). Contoh: kata komputer Nama n-gram karakter uni-gram k,o,m,p,u,t,e,r bi-gram k,ko,om,mp,pu,ut,te,er,r tri-gram k, ko,kom,omp,mpu,put,ute,ter,er,r dst.

14 n-gram Retrieval Berbasis kata: Merupakan potongan n kata dari suatu kalimat. Contoh: musim kemarau, bogor mulai kering Nama uni-gram bi-gram dst. n-gram karakter musim, kemarau, bogor, mulai, kering musim kemarau, kemarau bogor, bogor mulai, mulai kering Dapat dikembangkan juga n-gram berbasis kalimat... antara lain digunakan dalam QAS (Question Answering System)

15 Ukuran Kemiripan Retrieval Misalkan S 1 dan S 2 adalah himpunan n-gram dari string 1 dan 2. Ukuran kemiripan dapat diukur dengan berbagai cara, antara lain menggunakan koefisien Jaccard, yaitu: J(S 1, S 2 ) = S 1 S 2 S 1 S 2 Contoh (bi-gram) kata achmad dan ahmad S achmad = { a, ac, ch, hm, ma, ad, d } S ahmad = { a, ah, hm, ma, ad, d } Maka: J(S achmad, S ahmad ) = 5 8 = 0.625

16 Jarak Edit Retrieval Pengukuran berdasarkan kesalahan ketik: (1) penyisipan, (2) penghilangan, (3) penukaran karakter Jarak edit (edit distance) sering dikenal sebagai Levenshtein distance. Misalkan S 1 dan S 2 adalah himpunan karakter dari string 1 dan 2. Jarak edit S 1 dan S 2 menggunakan dynamic programming algorithm sbb: Jika S 1 [i] = S 2 [j], maka: m[i, j] = min(m[i 1, j 1], m[i 1, j] + 1, m[i, j + 1] + 1) Jika S 1 [i] S 2 [j], maka: m[i, j] = min(m[i 1, j 1] + 1, m[i 1, j] + 1, m[i, j + 1] + 1)

17 Algoritme Jarak Edit Retrieval 1: m[i, j] 0 2: for i 1 to S 1 do 3: m[i, 0] i 4: end for 5: for j 1 to S 2 do 6: m[0, j] j 7: end for 8: for i 1 to S 1 do 9: for j 1 to S 2 do 10: m[i, j] = min(m[i 1, j 1] +X, m[i 1, j]+1, m[i, j+1]+1) 11: end for 12: end for 13: return m[ S 1, S 2 ]

18 Contoh Retrieval S 1 = {f, a, s, t} dan S 1 = {c, a, t, s} Jarak edit S 1 dan S 2 adalah 3.

19 Phonetic Correction Retrieval Pengukuran berdasarkan kemiripan bunyi pengucapan. Menggunakan algoritme Soundex, mengubah string menjadi 4 karakter dengan aturan: 1 Ambil karakter pertama 2 Ubah setiap karakter menjadi angka dengan aturan sbb: A, E, I, O, U, H, W, Y 0. B, F, P, V 1. C, G, J, K, Q, S, X, Z 2. D,T 3. L 4. M, N 5. R 6. 3 Ubah angka sama bersebelahan menjadi satu angka 4 Hapus semua angka 0

20 Implementasi dalam IR Retrieval