KOM341 Temu Kembali Informasi

Ukuran: px

Mulai penontonan dengan halaman:

Download "KOM341 Temu Kembali Informasi"

Johan Tedja
6 tahun lalu
Tontonan:

1 KOM341 Temu Kembali Informasi KULIAH #3 Inverte Inex?? o Apa persamaan pokok bahasan antara Rijbergen Ch.2 engan Manning Ch.2? o Apa perbeaannya? 1

2 Inverte inex construction perkebunan, pertanian, an kehutanan Kumpulan okumen Token Tokenizer perkebunan pertanian kehutanan Linguistic moules Moifikasi token kebun tani hutan Inexer hutan 2 4 Inverte inex. kebun tani Inexing o Pengineksan secara manual (oleh manusia) Menentukan kata kunci ari suatu okumen berasarkan perbenaharaan kata yang aa (controlle vocabulary) Oleh ahli i biangnya Lama an mahal o Pengineksan secara otomatis Program komputer untuk menentukan kata atau frase tertentu ari teks paa okumen Prosesnya cepat 2

3 Inexing Controlle vocabulary Manual Catalogization Automatic Categorization Free text Inexing Search engine Tahap Pengineksan Otomatis o Perhatikan struktur okumen (i, tanggal, author, title, text, sb) o Tokenisasi o Buang stopwors o [proses pemotongan imbuhan (stemming)] o Pembobotan kata o Pembuatan ineks 3

4 1. Struktur Dokumen o Tergantung jenis okumen o Format umum : SGML o Perlu pemisahan antar elemen okumen? o Bagian mana saja ari okumen yang akan iineks? 2. Tokenisasi o Kata atau konsep? Kata seerhana (tunggal) Frase Konsep à Thesaurus o Teknik: segmentasi, memilah o Tokenisasi :: Frase Contoh frase : tusuk jarum Banyak menggunakan metoe statistika Berasarkan frekuensi kemunculan POS-tagger 4

5 3. Stopwors o Kata buangan, aftar kata umum yang mempunyai fungsi tapi tiak mempunyai arti o Contoh : an, atau, yang o Dari pengalaman, frekuensinya sangat banyak o Dibuang, untuk efisiensi o Timbul masalah, misalkan : Yang Mulia Yang Maha Kuasa Ekspresi DAN bernilai benar jika keua operan bernilai benar 4. Stemming o Proses pembuangan prefiks an sufiks (secara morfologi) ari suatu kata berimbuhan menjai kata asar. o Contoh: menyelesaikan à selesai (stem) o Stemming ilakukan atas asar asumsi bahwa kata-kata yang memiliki stem yang sama memiliki makna yang serupa pula. o Banyak riset menunjukkan bahwa stemming tiak mempengaruhi kinerja temu kembali secara nyata. 5

6 Tujuan Stemming o Efisiensi, mengurangi jumlah kata-kata unik alam ineks sehingga mengurangi kebutuhan ruang penyimpanan untuk ineks an mempercepat proses pencarian. o Efektivitas, meningkatkan okumen yang itemu-kembalikan (recall) engan mengurangi varian kata menjai bentuk kata asarnya (stem). Masalah Stemming o Umum ilakukan alam IR walaupun hasilnya banyak bermasalah. o Contoh: kaaluarsa à ngaaluarsa mencapai à capa o Stemming akan menghilangkan variasi morfologi. kabar : berkabar, mengabarkan, terkabar, perkabaran, pengabaran 6

7 Teknik Stemming Teknik stemming apat ikategorikan menjai tiga jenis: o Berasarkan aturan sesuai bahasa tertentu, o Berasarkan kemunculan bersama, o Berasarkan kamus. Porter Stemmer o Stemmer untuk bahasa Inggris yang teriri ari beberapa aturan, ikembangkan oleh Martin Porter. o Dasar algoritme Porter berasarkan pemotongan awalan (prefix) an akhiran (suffix): Penghitungan ukuran kata Aturan pemotongan. 7

8 Ukuran kata o Setiap kata/bagian kata apat memiliki salah satu ari empat bentuk: KVKV... K KVKV... V VKVK... K VKVK... V o Bentuk umum: [K]VKVK... [V] atau [K] (VK) m [V] imana m melambangkan ukuran kata Ukuran kata o Contoh: makan an bentuk : m=2 presentasi an imanakah : m=4 o Fungsi penghitung ukuran kata igunakan untuk mencegah stemming menghasilkan stem yang terlalu penek (overstemming). o Diasumsikan minimal stem berukuran ua, kecuali jika kata berukuran kurang ari ua. 8

9 Aturan pemotongan o Aturan: P1 (konisi) S1 P2 S2 o Artinya jika kata memiliki prefiks P1 an sufiks S1, an bagian kata setelah P1 an sebelum S1 memenuhi konisi atau aturan yang iberikan, maka P1 an S1 akan iganti menjai P2 an S2. o Konisi apat menggunakan operator AND, OR, atau NOT untuk menyatakan aturan yang kompleks. Contoh (m>1) wan o berarti S1 aalah wan, an S2 aalah null (kata kosong). o Contoh: kata ermawan ipotong menjai erma karena erma berukuran 2 (m>1). 9

10 Program Stemmer o Berbagai implementasi Porter Stemmer untuk bahasa Inggris: o Untuk bahasa Inonesia, lihat : UI : Neil Siregar (1995) UI : Ariani & Nazief (1996) IPB : Ahma Riha (2002), Julio Aisantoso (2009) o Bantuan kamus. Teknik stemming o Periksa semua kemungkinan bentuk kata: prefiks1+prefiks2+katadasar+sufiks3+sufiks2+sufiks1 o Lakukan pemotongan berurutan : prefiks1, prefiks2, sufiks1, sufiks2, sufiks3 (kalau aa), an KATADASAR. o Setiap tahap pemotongan iikuti engan pemeriksaan i kamus kata asar). Jika aa maka proses inyatakan selesai. o Contoh : kata mempermainkannya : o Jika sampai paa pemotongan sufiks3 masih belum aa i kamus, maka ilakukan proses kombinasi. 10

11 Kombinasi kata o Kata Dasar o Kata Dasar + Akhiran 3 o Kata Dasar + Akhiran 3 + Akhiran 2 o Kata Dasar + Akhiran 3 + Akhiran 2 + Akhiran 1 o Awalan 1 + Awalan 2 +Kata Dasar o Awalan 1 + Awalan 2 +Kata Dasar + Akhiran 3 o Awalan 1 + Awalan 2 +Kata Dasar + Akhiran 3 + Akhiran 2 o Awalan 1 + Awalan 2 +Kata Dasar + Akhiran 3 + Akhiran 1 o Awalan 2 + Kata Dasar o Awalan 2 + Kata Dasar + Akhiran 3 o Awalan 2 + Kata Dasar + Akhiran 3 + Akhiran 2 o Awalan 2 + Kata Dasar + Akhiran 3 + Akhiran 2 + Akhiran 1 Awalan me- o tetap, jika huruf pertama kata asar aalah l, m, n, q, r, atau w. Contoh: me- + luluh meluluh, me- + makan memakan. o me- mem-, jika huruf pertama kata asar aalah b, f, p*, atau v. Contoh: me- + baca membaca, me- + pukul memukul*, me- + vonis memvonis, me- + fasilitas + i memfasilitasi. o me- men-, jika huruf pertama kata asar aalah c,, j, atau t*. Contoh: me- + atang menatang, me- + tiup meniup*. o me- meng-, jika huruf pertama kata asar aalah huruf vokal, k*, g, h. Contoh: me- + kikis mengikis*, me- + gotong menggotong, me- + hias menghias. o me- menge-, jika kata asar hanya satu suku kata. Contoh: me- + bom mengebom, me- + tik mengetik, me- + klik mengeklik. o me- meny-, jika huruf pertama aalah s*. Contoh: me- + sapu menyapu*. 11

12 Sifat khusus o Dilebur jika huruf keua kata asar aalah huruf vokal. Contoh: me- + tipu menipu, me- + sapu menyapu, me- + kira mengira. o Tiak ilebur jika huruf keua kata asar aalah huruf konsonan. Contoh: me- + klarifikasi mengklarifikasi. o Tiak ilebur jika kata asar merupakan kata asing yang belum iserap secara sempurna. Contoh: me- + konversi mengkonversi. Masalah paa stemming o Unerstemming jumlah kata/imbuhan yang ipotong terlalu seikit Misal: pengorbanan menjai korbanan o Overstemming jumlah kata/imbuhan yang ipotong terlalu banyak Misal: mencapai menjai capa 12

13 5. Pembobotan o Perlunya suatu kata iberi bobot Makin sering suatu kata muncul paa suatu okumen, maka iuga semakin penting kata itu untuk okumen tsb. o Beberapa penekatan: tf tf.if BM25 sb. Term frequency (tf) o Frekuensi kemunculan suatu term t paa okumen è tf t, o Contoh: term ari atabase engan informasi komputer struktur yang

14 Term frequency (tf) o Mana yang lebih memberikan informasi sebagai penciri ari suatu okumen? (kasus paa ok-1) Kata komputer yang muncul sebanyak 10 kali Kata yang yang muncul sebanyak 35 kali Kata ari yang muncul sebanyak 20 kali o Kata yang muncul i semua okumen engan frekuensi yang besar. Apa akibatnya? Document frequency (f) o Banyaknya okumen i alam koleksi yang menganung kata tertentu. o Mana yang lebih informatif bagi suatu kata untuk mencirikan okumen? Seberapa jarang suatu kata muncul i seluruh okumen? Seberapa sering suatu kata muncul i seluruh okumen? o Contoh: ari atabase engan informasi komputer struktur yang

15 Inverse ocument frequency (if) o Banyaknya okumen imana suatu term t muncul : 1 f t o Dikoreksi engan banyaknya seluruh okumen alam koleksi (N), menjai : if t = log N f t Bobot tf.if o Hasil kali : tf t x if t o Maka bobot setiap term t paa okumen aalah: w t, = tf t N. log f t o Kecenerungan nilai bobot: Berbaning lurus engan frekuensi kemunculan term t paa suatu okumen. Berbaning terbalik engan banyaknya okumen yang menganung suatu term t. 15

16 Beberapa alternatif tf.if Sublinear tf scaling wf sehingga t, 1 + log( tft, ) tft, > 0 = 0 selainnya wf. if. ift, = wft, t Beberapa alternatif tf.if Maximum tf normalization Untuk setiap okumen, misalkan tf, max ( ) = maxτ tfτ imana τ aalah banyaknya setiap term alam maka ntf t, tf = a + (1 a) tf max t, ( ) 16

17 Boolean o Kemunculan suatu term t paa okumen è b t, à [0,1] o Contoh: term ari atabase engan informasi komputer struktur yang Contoh kasus: N=10000 Hitung bobot tf.if normal o Daftar kata an kemunculannya harga saham unia turun investor rugi D D D D o Banyaknya okumen yang menganung kata harga saham unia turun investor rugi #oc

dokumen-dokumen yang mirip

JULIO ADISANTOSO - ILKOM IPB 1

JULIO ADISANTOSO - ILKOM IPB 1 KOM341 Temu Kembali Informasi KULIAH #3 Inverted Index Inverted index construction Kumpulan dokumen Token Modifikasi token Tokenizer Linguistic modules perkebunan, pertanian, dan kehutanan perkebunan pertanian