JULIO ADISANTOSO - ILKOM IPB 1

Transkripsi

1 KOM341 Temu Kembali Informasi KULIAH #3 Invere Inex Invere inex consrucion Kumpulan okumen Token Moifikasi oken Tokenizer Linguisic moules perkebunan, peranian, an kehuanan perkebunan peranian kebun ani huan kehuanan Inexer huan 2 4 Invere inex. kebun ani Inexing Pengineksan secara manual (oleh manusia) Menenukan kaa kunci ari suau okumen berasarkan perbenaharaan kaa yang aa (conrolle vocabulary) Oleh ahli i biangnya Lama an mahal Pengineksan secara oomais Program kompuer unuk menenukan kaa aau frase erenu ari eks paa okumen Prosesnya cepa Inexing Conrolle vocabulary Manual Inexing Auomaic Caegorizaion Free ex Inexing Search engine Tahap Pengineksan Oomais Perhaikan srukur okumen (i, anggal, auhor, ile, ex, sb) Tokenisasi Buang sopwors [proses pemoongan imbuhan (semming)] Pemboboan kaa Pembuaan ineks 1. Srukur Dokumen Terganung jenis okumen Forma umum : SGML Perlu pemisahan anar elemen okumen? Bagian mana saja ariokumenyang akan i- ineks? 1

2 2. Tokenisasi Kaa aau konsep? Kaa seerhana (unggal) Frase Konsep Thesaurus Teknik: segmenasi, memilah Tokenisasi :: Frase Conoh frase : usuk jarum Banyak menggunakan meoe saisika Berasarkan frekuensi kemunculan POS-agger 3. Sopwors Kaa buangan, afar kaa umum yang mempunyai fungsi api iak mempunyai ari Conoh : an, aau, yang Dari pengalaman, frekuensinya sanga banyak Dibuang, unuk efisiensi Timbul masalah, misalkan : Yang Mulia Yang Maha Kuasa Ekspresi DAN bernilai benar jika keua operan bernilai benar 4. Semming Proses pembuangan prefiks an sufiks (secara morfologi) ari suau kaa berimbuhan menjai kaa asar. menyelesaikan selesai (sem) Semming ilakukan aas asar asumsi bahwa kaa-kaa yang memiliki sem yang sama memiliki makna yang serupa pula. Banyak rise menunjukkan bahwa semming iak mempengaruhi kinerja emu kembali secara nyaa. Tujuan Semming Efisiensi, mengurangi jumlah kaa-kaa unik alam ineks sehingga mengurangi kebuuhan ruang penyimpanan unuk ineks an mempercepa proses pencarian. Efekivias, i meningkakan okumen yang iemu-kembalikan (recall) engan mengurangi varian kaa menjai benuk kaa asarnya (sem). Masalah Semming Umum ilakukan alam IR walaupun hasilnya banyak bermasalah. kaaluarsa ngaaluarsa mencapai capa Semming akan menghilangkan variasi morfologi. kabar : berkabar, mengabarkan, erkabar, perkabaran, pengabaran Teknik Semming Teknik semming apa ikaegorikan menjai iga jenis: Berasarkan auran sesuai bahasa erenu, Berasarkan kemunculan bersama, Berasarkan kamus. 2

3 Porer Semmer Semmer unuk bahasa Inggris yang eriri ari beberapa auran, ikembangkan oleh Marin Porer. Dasar algorime Porer berasarkan pemoongan awalan (prefix) an akhiran (suffix): Penghiungan ukuran kaa Auran pemoongan. Ukuran kaa Seiap kaa/bagian kaa apa memiliki salah sau ari empa benuk: KVKV... K KVKV... V VKVK... K VKVK... V Benuk umum: [K]VKVK... [V] aau [K] (VK) m [V] imana m melambangkan ukuran kaa Ukuran kaa makan an benuk : m=2 presenasi an imanakah : m=4 Fungsi penghiung ukuran kaa igunakan unuk mencegah semming menghasilkan sem yang erlalu penek (oversemming). Diasumsikan minimal sem berukuran ua, kecuali jika kaa berukuran kurang ari ua. Auran pemoongan Auran: P1 (konisi) S1 P2 S2 Arinya jika kaa memiliki prefiks P1 an sufiks S1, an bagian kaa seelah P1 an sebelum S1 memenuhi konisi aau auran yang iberikan, ik maka P1 an S1 akan igani menjai P2 an S2. Konisi apa menggunakan operaor AND, OR, aau NOT unuk menyaakan auran yang kompleks. Conoh (m>1) wan berari S1 aalah wan, an S2 aalah null (kaa kosong). kaa ermawan ipoong menjai erma karena erma berukuran 2 (m>1). Program Semmer Berbagai implemenasi Porer Semmer unuk bahasa Inggris: hp:// Unuk bahasa Inonesia, liha : UI : Neil Siregar (1995) UI : Ariani & Nazief (1996) IPB : Ahma Riha (2002), Julio Aisanoso (2009) Banuan kamus. 3

4 Teknik semming Periksa semua kemungkinan benuk kaa: prefiks1+prefiks2+katadasar+sufiks3+sufiks2+sufiks1 Lakukan pemoongan beruruan : prefiks1, prefiks2, sufiks1, sufiks2, sufiks3 (kalau aa), an KATADASAR. Seiap ahap pemoongan iikui engan pemeriksaan i kamus kaa asar). Jika aa maka proses inyaakan selesai. Conoh : kaa mempermainkannya : Jika sampai paa pemoongan sufiks3 masih belum aa i kamus, maka ilakukan proses kombinasi. Kombinasi kaa Kaa Dasar Kaa Dasar + Akhiran 3 Kaa Dasar + Akhiran 3 + Akhiran 2 Kaa Dasar + Akhiran 3 + Akhiran 2 + Akhiran 1 Awalan 1 + Awalan 2 +Kaa Dasar Awalan 1 + Awalan 2 +Kaa Dasar + Akhiran 3 Awalan 1 + Awalan 2 +Kaa Dasar + Akhiran 3 + Akhiran 2 Awalan 1 + Awalan 2 +Kaa Dasar + Akhiran 3 + Akhiran 1 Awalan 2 + Kaa Dasar Awalan 2 + Kaa Dasar + Akhiran 3 Awalan 2 + Kaa Dasar + Akhiran 3 + Akhiran 2 Awalan 2 + Kaa Dasar + Akhiran 3 + Akhiran 2 + Akhiran 1 Awalan me- eap, jika huruf perama kaa asar aalah l, m, n, q, r, aau w. Conoh: me- + luluh meluluh, me- + makan memakan. me- mem-, jika huruf perama kaa asar aalah b, f, p*, aau v. Conoh: me- + baca membaca, me- + pukul memukul*, me- + vonis memvonis, me- + fasilias + i memfasiliasi. me- men-, jika huruf perama kaa asar aalah c,, j, aau *. Conoh: me- + aang menaang, me- + iup meniup*. me- meng-, jika huruf perama kaa asar aalah huruf vokal, k*, g, h. Conoh: me- + kikis mengikis*, me- + goong menggoong, me- + hias menghias. me- menge-, jika kaa asar hanya sau suku kaa. Conoh: me- + bom mengebom, me- + ik mengeik, me- + klik mengeklik. me- meny-, jika huruf perama aalah s*. Conoh: me- + sapu menyapu*. Sifa khusus Dilebur jika huruf keua kaa asar aalah huruf vokal. Conoh: me- + ipu menipu, me- + sapu menyapu, me- + kira mengira. Tiak ilebur jika huruf keua kaa asar aalah huruf konsonan. Conoh: me- + klarifikasi mengklarifikasi. Tiak ilebur jika kaa asar merupakan kaa asing yang belum iserap secara sempurna. Conoh: me- + konversi mengkonversi. Masalah paa semming Unersemming jumlah kaa/imbuhan yang ipoong erlalu seiki Misal: pengorbanan menjai korbanan Oversemming jumlah kaa/imbuhan yang ipoong erlalu banyak Misal: mencapai menjai capa 5. Pemboboan Perlunya suau kaa iberi bobo Makin sering suau kaa muncul paa suau okumen, maka iuga semakin pening kaa iu unuk okumen sb. Beberapa penekaan: f f.if BM25 sb. 4

5 Term frequency (f) Frekuensi kemunculan suau erm paa okumen f, erm ari aabase engan informasi kompuer srukur yang Term frequency (f) Mana yang lebih memberikan informasi sebagai penciri ari suau okumen? (kasus paa ok-1) Kaa kompuer yang muncul sebanyak 10 kali Kaa yang yang muncul sebanyak 35 kali Kaa ari yang muncul sebanyak 20 kali Kaa yang muncul i semua okumen engan frekuensi yang besar. Apa akibanya? Documen frequency (f) Banyaknya okumen i alam koleksi yang menganung kaa erenu. Mana yang lebih informaif bagi suau kaa unuk mencirikan okumen? Seberapa jarang suau kaa muncul i seluruh okumen? Seberapa sering suau kaa muncul i seluruh okumen? ari aabase engan informasi kompuer srukur yang Inverse ocumen frequency (if) Banyaknya okumen imana suau erm muncul : 1 f Dikoreksi engan banyaknya seluruh okumen alam koleksi (N), menjai : if = log N f Bobo f.if Hasil kali : f x if Maka bobo seiap erm paa okumen aalah: N w = f,. log f Kecenerungan nilai bobo: Berbaning lurus engan frekuensi kemunculan erm paa suau okumen. Berbaning erbalik engan banyaknya okumen yang menganung suau erm. Beberapa alernaif f.if Sublinear f scaling wf sehingga, 1 + log( f, ) f, > 0 = 0 selainnya li wf. if. if, = wf, 5

6 Beberapa alernaif f.if Maximum f normalizaion Unuk seiap okumen, misalkan f f max ( ) = maxτ τ, imana τ aalah banyaknya seiap erm alam maka f, nf, = a + (1 a) fmax ( ) Boolean Kemunculan suau erm paa okumen b, [0,1] erm ari aabase engan informasi kompuer srukur yang Conoh kasus: N=1000 Hiung bobo f.if normal Dafar kaa an kemunculannya harga saham unia urun invesor rugi D D D D Banyaknya okumen yang menganung kaa harga saham unia urun invesor rugi #oc