STEMMING FIRDAUS SOLIHIN UNIVERSITAS TRUNOJOYO. Firdaus Solihin (unijoyo) 2008

Transkripsi

1 STEMMING FIRDAUS SOLIHIN UNIVERSITAS TRUNOJOYO Stemming menghapus variasi kata untuk mendapatkan kata dasar sebagai term pembeda, yang mengacu pada morfologi kata Contoh Himpunan {kerja, bekerja, pekerja, dikerjakan, memperkerjakan} akan dihitung sebagai term pembeda dengan frekuensi 5. Diperdengarkannya = Di per dengar kan nya Memperlakukan = mem per laku kan

2 Conflation Methods Manual Automatic (stemmers) Succesor Variety N-gram Stemmers Affiks Removal Stemmers Simple Removal Longest Match Table Look up SUCCESOR VARIETY 2

3 Succesor Variety Dikembangkan Hafer and Weiss 974 Didasarkan pada struktur bahasa untuk memisahkan kata dari dokumen dengan melihat distribusi dari fonem dalam suatu dokumen Contoh Corpus {apus, asbak, april, abu, anggur, apel} Succesor variety untuk kata apel Huruf pertama a Kumpulan huruf berikutnya setelah a dari corpus adalah p, s, b, n SV u/ Substring ap Kumpulan huruf berikutnya setelah ap adalah u, r, e SV Untuk substring a memiliki 4 succecor variety Untuk substring ap memiliki 3 succecor variety 3

4 Contoh 2 Corpus { menjadi, dijadikan, terjadi, jadilah, jadikan, menjahit, menjenguk, menjemur} Succesor variety untuk kata menjadikan adalah : M Me Men Menj Substring Menja Menjad Menjadi Menjadik Menjadika Menjadikan SV e n j a,e d,h i k,- a n - Huruf Berikutnya Contoh 3 Corpus {jadi, jadikan, jadikanlah, dls} akan diwakili dengan index pada kata jadi Simpulan Metoda stemming ini hanya cocok untuk mencari kata jadian berbahasa inggris dan tidak cocok untuk bahasa Indonesia Metoda ini berjalan maksimal pada kata yang memiliki akhiran saja. 4

5 N-GRAM STEMMERS N-gram Stemmers Dikembangkan : Adam dan Boreham (974) Menjelaskan stemming menggunakan metoda digram yang selanjutnya berkembang dengan sebutan N-Gram Methods Menghitung persamaan term yang didasarkan pada jumlah uniq digram yang dipakai bersama antar kata 5

6 Digram Definisi substring yang diambil 2 karakter secara berurutan dalam suatu kata Contoh Pendudukan Digram : pe en nd du ud du uk ka an Uniq digram : pe en nd du ud uk ka an Diduduki Digram : di id du ud du uk ki Uniq digram : di id du ud du uk ki Dice s coefficient Rumus: Kemiripan antar kata didasarkan pada persamaan tersebut, sehingga Pendudukan = 9 digram dan 8 unik digram Diduduki = 7 digram dan 6 unik digram Menghasilkan Dice = 2*3/(8+6) = 6/4 6

7 AFFIKS REMOVAL Affiks Removal Stemmer Dilakukan untuk menghilangkan awalan dan atau akhiran dari kata yang distem Dalam banyak kasus affiks removal biasanya menggunakan Longest Match Stemmers yaitu: Sebuah iterasi dilakukan dengan penghilangan string terpanjang yang mungkin dari sebuah kata dengan mengacu pada kumpulan aturan tertentu. Proses ini akan diulangi sampai mendapatkan hasil yang diiginkan (kata dasar) atau tidak adanya substriing yang bisa dihapus lagi. 7

8 Longest Match Stemmer Ahli pengembang LMS Salton (968) Dawson (974) Porter (980) Lawins (986) Paice (990) Porter Stemmers Melakukan pemotongan dengan aturan dan format tertentu Format *S = kata stem diakhiri dengan huruf S *v* = kata stem mengandung vowel *d = kata stem diakhiri double consonant ex SS *o = kata stem diakhiri cvc dimana c kedua bukan termasuk W, X atau Y 8

9 Aturan a Aturan b 9

10 Aturan b (cont) Aturan c 0

11 Aturan 2 Aturan 2 (cont)

12 Aturan 3 Aturan 4 2

13 Aturan 4 (cont) Aturan 5 3

14 Contoh 4