IMPLEMENTASI N-GRAM DALAM PENCARIAN TEKS SEBAGAI PENUNJANG APLIKASI PERPUSTAKAAN KITAB BERBAHASA ARAB. Ahmad Najibullah ( )

Transkripsi

1 IMPLEMENTASI N-GRAM DALAM PENCARIAN TEKS SEBAGAI PENUNJANG APLIKASI PERPUSTAKAAN KITAB BERBAHASA ARAB Ahmad Najibullah ( )

2 Latar Belakang (1) Penerapan Information Retrieval pada teks Berbahasa Arab Banyak program pendidikan yang menggunakan kitab sebagai literatur utama, antara lain: bidang studi sastra arab, Institut atau Sekolah Tinggi Agama Islam, dan Pondok Pesantren. Kurangnya aplikasi yang mendukung untuk pencarian informasi dari kitab-kitab tersebut

3 Tujuan Membuat aplikasi perpustakaan kitab berbahasa arab dan Mengimplementasikan metode N-gram untuk pencarian teks sebagai penunjang Aplikasi tersebut.

4 Permasalahan Bagaimana cara mereduksi term agar proses perbandingan semakin cepat dan tempat penyimpanan term semakin kecil? Bagaimana menerapkan metode n-gram untuk pencarian pada kitab? Bagaimana cara mengevaluasi keberhasilan sistem dalam pencarian teks berbahasa arab?

5 Batasan Masalah Aplikasi dibangun sebagai aplikasi web dengan menggunakan bahasa pemrograman Java dengan library Google Web Toolkit dan database server MySQL. Kitab-kitab yang digunakan sebagai data diambil dari website Daftar kata dasar dan stop word diambil dari Dr. Sheren Khoja.

6 Rancangan Program

7 Stemming Term weighting - Normalisasi - filtering Stopword Removal

8 Normalisasi & filtering penghilangan karakter-karakter selain huruf ) ا, ب, ت ( hijaiyah Penghilangan karakter-karakter yang termasuk diacritics (harokat) Normalisasi teks arab ke bentuk dasar. ا menjadi ا,ا : Misalnya

9 Stopword Removal Pembuangan kata-kata yang termasuk dalam stopword bahasa arab ا ل ي ه م ن,ف ي, contoh: : dari م ن di dalam :ف ي : kepadanya ا ل ي ه

10 Term Weighting Formula: w tf.log 2 ij ij N df j Keterangan: W ij = bobot term i pada dokumen j Tf ij = frekuensi term i pada dokumen j N = jumlah dokumen

11 Stemming Khoja stemmer dengan tambahan beberapa rule baru

12 Konsep Khoja Stemmer start check for prefixes check definite article Is two letters? check prefix waw check pattern Is tree letters? check pattern end Is four letters? check for suffixes

13 Ilustrasi Khoja Stemmer start درس end مدرس والمدرسة المدرس والمدرس

14 Digram (n=2) Trigram (n=3) Quadgram (n=4)

15 Kata ا لص. ة P e m b u a n g a n D i a c r i t i c s الصالة d i g ra m ال لص صل ال اة

16 Kata ا لص ال ة P e m b u a n g a n D i a c r i t i c s الصالة t r i g ra m الص لصل صال الة

17 Kata ا لص ال ة P e m b u a n g a n D i a c r i t i c s الصالة q u a d g ra m الصل لصال صالة

18 Penghitungan similaritas Koefisien Dice : Keterangan S : nilai similaritas A w : jumlah N-gram unik Kamus B q : jumlah N-gram unik query C wq : jumlah N-gram unik antara kamus dan query

19 Evaluasi Conflation Precision (CR) CP = AV/TV Conflation Recall (CP) CR = AV/TAV Keterangan: TAV = jumlah term yang relevant pada corpus AV = jumlah term hasil query yang relevant TV = jumlah total term hasil query

20 Skenario Uji Coba Uji coba dan Evaluasi Stemming Uji coba dan Evaluasi N-gram Matching untuk menentukan kombinasi dari varian digram, threshold dan penggunaan stemming. Menerapkan hasil yang ditemukan pada skenario sebelumnya pada pencarian dokumen

21 Skenario I Perbaikan Stemming Tipe perbaikan input output Sebelum sesudah كتب كبي ا ل م كت ب ات ات dan akhiran ال Awalan Huruf awal seperti, ل khofadz, huruf kedua dan bersifat jama بلغ غين ب ال غ و ن Awalan ال dan huruf tengah باب لبب ا لب اب ا خاف خوف ي خ اف ا Huruf tengah Awalan س dan ي serta يكون ساك س ي ك و ن ا huruf tengah (stopword)

22 no word Hasil Uji Coba th > 0.4 th > 0.5 th > 0.6 th > 0.7 CR CP CR CP CR CP CR CP احتمالين باي ع فقال المتعاقدين يجاب بالنعمات النكاح الظ اهر اوصحابه ولالمام 10 rata-rata Nilai F-measure terbaik : 0.97

23 Hasil Uji Coba 1,2 1 Nilai kinerja 0,8 0,6 0,4 0,2 0 0,4 0,5 0,6 0,7 Threshold similarita CR CP

24 Kesimpulan Algoritma n-gram dapat diimplementasikan untuk penghitungan string matching. Semakin tinggi nilai threshold yang ditentukan, maka nilai Conflation Precision semakin tinggi, tetapi nilai Conflation Recall semakin rendah. Dari vairan n-gram yang digunakan pada tugas akhir ini, performa yang paling baik adalah digram, threshold 0.6 dengan proses stemming dengan nilai Conflation Precision 1.00 dan conflation recall Algoritma khoja stemmer berhasil diimplementasikan dengan beberapa tambahan rule baru dan mampu mereduksi hingga 27.5% jumlah terms dari total keseluruhan terms pada data uji coba dan lebih presisi. Penggunaan stemmer dapat dapat mengurangi proses pembandingan string dalam penghitungan similaritas string. Juga dapat memperkecil term yang harus disimpan dalam database.

25 Daftar Pustaka Mustafa, S.H., 2004, "Character Contiguity in N- gram-based Word Matching: the Case for Arabic Text Searching". Department of Computer Information System Faculty of Information Technology Yarmouk University Jordan. Mustafa, S.H. & Alradaideh, Q. A., (in press), 2004, "Using N-gram for Arabic Text Searching", Journal of the American Society for Information Science & Technology (JASIST) Khoja, S., 2001, APT: Arabic part of speech tagger, Proc. of the Student Workshop at NAACL.

26 Terimakasih