TEMU KEMBALI INFORMASI

Transkripsi

1 JULIO ADISANTOSO Departemen Ilmu Komputer IPB Pertemuan 3 MODEL IR

2 Konsep IR Model IR Konsep Boolean Model

3 Pemodelan IR Model IR Konsep Boolean Model Model IR didefinisikan sebagai empat komponen, yaitu: D, F, Q, R(q, d j ) Keterangan: dengan D adalah kumpulan dokumen, Q adalah query, F menunjukkan pemodelan dokumen dan query, dan R(q, d j ) adalah fungsi peringkat yang dikaitkan dengan suatu fungsi R, dimana q Q dan d j D.

4 Model IR Konsep Boolean Model

5 Konsep Boolean Model Remember: Matrik Term-Document Matrik untuk mengabstraksikan inverted index: t 1 w 11 w 12 w w 1N t 2 w 21 w 22 w w 2N t T w T1 w T2 w T3... w TN dengan w ij adalah bobot term ke-i pada dokumen ke-j untuk i = 1, 2,..., T (term) dan j = 1, 2,..., N (dokumen).

6 Standard Boolean Model Konsep Boolean Model Exact match, pencocokan secara tepat sama. Query berbentuk ekspresi boolean. Dokumen bisa cocok atau tidak cocok dengan query yang diberikan. Hasilnya berupa sekumpulan dokumen yang cocok. Tidak ada peringkat dokumen sesuai dengan query yang diberikan. Bobot w td {0, 1} Query q terdiri dari kata, frase, atau konsep yang dihubungkan dengan operator Boolean AND, OR, atau NOT. Contoh: q = [t a (t b t c )] = t a AND (t b OR!t c )

7 Contoh: Model IR Konsep Boolean Model Korpus: d 1 And the angels, all pallid and wan, d 2 Uprising, unveiling, affirm d 3 That the play is the tragedy, Man d 4 Angel and its hero the Conqueror Worm. Hasil tokenisasi: affirm man unveil angel pallid uprise conqueror play wan hero tragedy worm

8 Boolean Konsep Boolean Model Contoh query: hero AND (angel OR NOT man) Formulasi query: = [t 4 {t 2 t 5 }] = [(0101) {(1000) (0010)}] = (0101) Hasil query (tidak ada urutan): d 2 dan d 4

9 Model (VSM) Model Prinsip dasar: Dokumen sebagai vektor token Terdapat T kumpulan token Query sebagai dokumen kecil (sebagai juga vektor token) Kesamaan vektor dokumen dan query dihitung berdasarkan jarak atau kesamaan antar vektor Jadi, VSM adalah model berbasis token, yang memungkinkan partial matching dan pemeringkatan dokumen. Cenderung sebagai best matching.

10 Metode Model IR Model Pertanyaannya, apa yang digunakan sebagai nilai elemen vektor dokumen d j = (w 1j, w 2j,..., w Tj )? VSM tidak memberikan ketentuan mengenai nilai yang digunakan sebagai elemen vektor (w ij ). Nilai elemen vektor term ke-i pada dokumen ke-j (w ij ) menunjukkan ukuran kepentingan term ke-i pada dokumen ke-j. Sering disebut sebagai metode pembobotan dalam IR.

11 Metode Model IR Model Metode pembobotan melibatkan 3 komponen: 1 Lokal, menunjukkan bobot suatu term pada suatu dokumen. Tidak memperhatikan dokumen lainnya. Misalnya: TF. 2 Global, menunjukkan bobot suatu term di seluruh dokumen dalam korpus. Misalnya: IDF. 3 Normalisasi, menunjukkan apakah panjang vektor dinormalisasi atau tidak Bobot term ke-i pada dokumen ke-j (w ij ) merupakan hasil kali ketiga komponen tersebut. Metode pembobotan yang melibatkan 3 komponen tersebut telah dibakukan dalam bentuk SMART Notation (Manning et.al 2009)

12 Model SMART Notation (Manning et.el 2009) Sebagai contoh, pembobotan TF.IDF dinotasikan sebagai pembobotan ntn. TF dinotasikan sebagai pembobotan nnn.

13 Jarak 2 Vektor Model IR Model Jarak 2 vektor d 1 dan d 2 didefinisikan sebagai (Jarak Euclidean): ( d1 J( d 1, d 2 ) = d ) ( d1 2 d ) 2 = (x 1 x 2 ) 2 + (y 1 y 2 ) 2

14 Ukuran Jarak Model IR Model Semakin besar nilai jarak 2 vektor dokumen, maka 2 dokumen tersebut dikatakan semakin tidak mirip. Sebaliknya, 2 dokumen dikatakan mirip jika memiliki jarak yang kecil. Dokumen dengan ukuran besar cenderung memiliki vektor yang panjang, sebaliknya dokumen dengan ukuran kecil cenderung memiliki vektor yang pendek. Kosekuensinya, walaupun dua vektor tersebut berdekatan, akan memiliki jarak yang cukup besar missleading. Ukuran jarak tidak cocok digunakan untuk dokumen yang memiliki ukuran beragam perlu normalisasi (jadikan sebagai vektor satuan), atau menggunakan ukuran kemiripan.

15 Ukuran Kemiripan Cosine Model Ukuran kemiripan sebagai nilai Cosinus dari sudut θ. Perhatikan gambar samping: cos(θ) = cos(θ 2 θ 1 ) = cos(θ 1 )cos(θ 2 ) + sin(θ 1 )sin(θ 2 ) = x 1 x 2 + y 1 y 2 = x 1x 2 +y 1 y 2 d 1 d 2 d 1 d 2 d 1 d 2 = d 1 d2 d 1 d 2 cosine similarity dengan d adalah panjang vektor = d d

16 Prosedur IR secara Umum Model

17 Contoh SE dengan TF.IDF Model

18 Contoh SE dengan TF.IDF Model Query diperlakukan sebagai sebuah dokumen kecil. Panjang vektor: Q = 0.912, D 1 = 0.615, D 2 = 0.748, D 3 = 1.126, D 4 = Ukuran kesamaan Cosine sim(d 1, Q) = sim(d 2, Q) = sim(d 3, Q) = sim(d 4, Q) = Urutan hasil: D 4 D 1 D 2 D 3

19 Latihan Kelas 1 Model IR Model Diketahui dokumen: d 1 : Shipment of gold damaged in a fire d 2 : Delivery of silver arrived in a silver truck d 3 : Shipment of gold arrived in a truck Query: gold silver truck Asumsi: N=1000 Bagaimana urutan hasil jika menggunakan pembobotan TF.IDF dengan ukuran kesamaan cosine?

20 Latihan Kelas 2 Model IR Model Diketahui corpus XML yang digunakan pada latihan kelas pertemuan sebelumnya. Dengan menggunakan R, lakukan hal-hal berikut: Buat matrik Term Document untuk semua term yang ada seperti sebelumnya, dan hitung nilai IDF setiap term. Buat matrik Term Document hanya untuk term yang memiliki nilai IDF 1.0 dan panjang kata [3,15], serta bobot elemen matrik menggunakan TF.IDF (ntn).