PERANCANGAN INFORMATION RETRIEVAL SYSTEM UNTUK DOKUMEN BERBAHASA INDONESIA DENGAN MENGGUNAKAN EXTENDED BOOLEAN

Transkripsi

1 PERANCANGAN INFORMATION RETRIEVAL SYSTEM UNTUK DOKUMEN BERBAHASA INDONESIA DENGAN MENGGUNAKAN EXTENDED BOOLEAN Steven Teknik Informatika Universitas Tarumanagara Jl. S. Parman No.1, Jakarta Inonesia steven_crs7@yahoo.com ABSTRACT Information retrieval system is a system that is esigne to fin ocuments that satisfies user s information nees. User represents his information nees in wors. The wor will represent the same wor in ocuments an it s calle query. System will retrieve all relevant ocuments an show it to the user. This paper will escribe an information retrieval system using extene boolean metho. There are two methos in this system, boolean metho for retrieval process an vector space metho for ranking process. Key wors : Boolean, extene booelan, information retrieval system, vector space. 1. Penahuluan Information retrieval atau IR aalah ilmu tentang pencarian informasi, khususnya alam bentuk teks yang ianggap memenuhi kebutuhan informasi penggunanya. Paa awalnya information retrieval hanya ilakukan oleh orang-orang engan pekeraan tertentu, seperti pustakawan, asisten penegak hukum, an pekeraan lainnya. Namun sekarang utaan orang apat terlibat alam aktivitas information retrieval ketika menggunakan search engine berbasis web. IR seniri terus berkembang seiring engan meningkatnya kebutuhan manusia akan informasi. Peningkatan kebutuhan informasi ini menorong munculnya sistem-sistem pencari informasi untuk memenuhi kebutuhan informasi penggunanya. Sistem information retrieval menggunakan moel untuk mengukur tingkat kemiripan antara kueri yang imasukkan engan isi okumen. Di alam moel tersebut terai proses komputasi yang akan memberikan penilaian bagi sistem mengenai seberapa ekat kemiripan antara isi okumen engan kueri pengguna. Beberapa moel yang telah ikembangkan aalah moel Vector Space, moel Boolean, an moel probabilistic. Setiap moel mempunyai karakteristik an cara pengukuran kemiripan yang berbea [5]. Berasarkan latar belakang i atas, maka irancanglah suatu sistem information retrieval menggunakan moel Extene Boolean. Perancangan sistem information retrieval ini bertuuan untuk menemukan sebanyak mungkin okumen yang relevan i alam suatu koleksi okumen, yang sesuai engan kueri pengguna. 2. Information Retrieval Information Retrieval System aalah sistem yang irancang untuk menemukan okumen yang memenuhi kebutuhan informasi penggunanya. Terapat prosesproses yang ialankan paa sistem. Proses-proses yang ialankan aalah preprocessing, pencarian menggunakan Extene Boolean, an pemeringkatan menggunakan Vector Space Preprocessing Preprocessing merupakan salah satu cara yang igunakan untuk meningkatkan hasil pengambilan okumen-okumen relevan yang terapat i alam koleksi okumen. Proses ini ilakukan paa isi okumen paa koleksi an kueri yang imasukkan oleh pengguna. Preprocessing teriri ari beberapa proses, yaitu : 1. Lexical Analysis Lexical Analysis aalah proses pengkonversian term menai sekumpulan token. Proses ini uga isebut engan tokenisasi. Paa proses ini umumnya karakter non-huruf seperti tana baca, tana hubung, angka, an lainnya akan ihilangkan an seluruh huruf akan iubah menai huruf kecil. Tuuan ari proses ini aalah mengubah term sehingga apat ikenali oleh sistem. 2. Stopwors removal Tuuan ari proses ini aalah menghilangkan katakata yang sering muncul an ianggap tiak berguna. Proses ini uga bermanfaat untuk mengurangi waktu yang iperlukan untuk proses inexing an pembobotan istilah. 3. Stemming Stemming aalah proses pemotongan imbuhan suatu kata, agar kata tersebut irepresentasikan oleh sistem alam bentuk kata asar. Operasi ini bertuuan agar alam proses pencarian okumen yang relevan 183

2 engan kueri, sistem mampu mengambil lebih banyak okumen-okumen ari koleksi okumen yang i alam isinya menganung kata asar ari kata yang aa alam kueri. Stemming untuk bahasa Inonesia yang akan igunakan aalah Jelita Asian Stemmer. Stemmer ini merupakan stemmer yang ikembangkan ari stemmer Nazief an Ariani. Proses stemming yang ilakukan melibatkan kamus kata asar tiap akhir proses pemotongan imbuhan [1] Moel Extene Boolean Moel Boolean merupakan moel paling seerhana untuk iimplementasikan i antara moel-moel retrieval lainnya. Moel ini bergantung paa penggunaan operator Boolean alam melakukan retrieval. Moel ini uga sering igunakan paa search engine i internet karena pemrosesan kueri yang cepat [9] serta retrieval berasarkan semantik kueri [7]. Moel ini merepresentasikan term paa kueri yang imasukkan ke alam sistem sebagai ekspresi Boolean an term ini apat ikombinasikan engan operator Boolean AND, OR, an NOT [6]. Menggabungkan kata-kata paa kueri engan operator AND akan memunculkan koleksi okumen yang berisi kata-kata paa kueri tersebut. Seangkan ika operator OR igunakan untuk menggabungkan kata-kata paa kueri, maka koleksi okumen yang berisi salah satu kata atau seluruh kata paa kueri itu yang akan imunculkan an ika operator NOT yang igunakan maka koleksi okumen yang tiak berisi kata paa kuerilah yang muncul [4]. Namun moel ini inilai belum cukup untuk memenuhi kebutuhan akan sistem information retrieval yang membutuhkan proses matching yang fleksibel, seperti pencarian kata yang beraa paa arak tertentu engan kata yang lain serta aanya pemeringkatan agar pengguna apat memperoleh hasil yang terbaik ari pencarian yang ilakukan oleh sistem [2]. Moel boolean lalu ikembangkan menai extene boolean. Moel ini mengenal pemeringkatan hasil okumen [4] an penambahan proximity operator [6]. Proximity operator yang igunakan paa moel ini aalah operator NEAR an WITH. Penggunaan proximity operator seperti NEAR paa kueri akan memunculkan set okumen yang berisi katakata paa kueri yang memiliki arak tertentu an penggunaan proximity operator WITH paa kueri akan memunculkan set okumen yang berisi kata-kata paa kueri yang terletak bersebelahan an berurutan sesuai engan kuerinya Moel Vector Space Moel ini iasarkan paa usulan yang iaukan oleh Peter Luhn. Ia mengusulkan agar ketika mencari okumen paa sebuah koleksi okumen, pengguna sebaiknya mempersiapkan terlebih ahulu sebuah okumen yang mirip engan okumen yang ibutuhkan. Tingkat kemiripan antara okumen yang ipersiapkan an okumen yang iapat ari koleksi okumen igunakan untuk melakukan pemeringkatan paa hasil pencarian [4]. Pengukuran kemiripan moel ini kini telah berkembang menai pengukuran kemiripan antara vektor yang merepresentasikan kueri engan vektor yang merepresentasikan okumen. Jika salah satu kata apat mewakili kata-kata lainnya i alam sebuah okumen engan menggunakan sebuah vektor, maka sangat memungkinkan pembaningan okumen engan kueri untuk melihat seberapa mirip isi okumennya. Metoe traisional untuk menentukan keekatan antara ua buah vektor engan menggunakan koefisien kemiripan (similarity coefficent) alam hal ini moel vector space menggunakan cosine similarity karena operasi vektor paa sistem biasanya beraa paa kuaran positif engan iasumsikan tiak aa term yang bernilai negatif [4]. Seperti moel sistem information retrieval lainnya, moel vector space menggunakan struktur ata inverte list untuk mempermuah proses pencarian okumen. Inverte list memungkinkan akses yang cepat terhaap aftar okumen yang menganung sebuah term tertentu bersama informasi lainnya, seperti bobot setiap istilah yang terapat alam masing-masing okumen, posisi term alam masing-masing okumen, an lain sebagainya. Kelemahan moel ini aalah okumen yang memiliki lebih banyak kata ialamnya akan cenerung menai okumen yang ianggap relevan [7]. Proses pengukuran kemiripan antara vektor kueri engan setiap vektor okumen paa metoe vector space secara umum ilakukan engan beberapa tahap, yaitu [6] : 1. Membuat inverte list terhaap setiap term unik alam okumen maupun kueri. 2. Menghitung nilai inverse ocument frequency atau if masing-masing term engan menggunakan persamaan : if = log f (1) Keterangan : :Jumlah seluruh okumen alam koleksi f :Jumlah okumen yang menganung term-. f apat isebut sebagai ocument frequency 3. Menghitung nilai bobot setiap istilah yang imiliki oleh setiap okumen menggunakan perkalian antara if terhaap tf (term frequency) untuk merepresentasikan vektor okumen. Teknik pembobotan ini isebut engan tf-if. Nilai ari tf-if iperoleh engan menggunakan persamaan : w i, = tf i if (2) 184

3 Keterangan : w i, : Bobot term- paa okumen-i tf i : frekuensi kemunculan term- paa okumen-i 4. Menghitung koefisien kemiripan (similarity coefficient)engan persamaan : sim engan. q (,q) = t = = wi w 1,. q, t = 1 = w i q = 2, t 2 = w 1 q,.q. q Keterangan : sim(, k ) : Suut kosinus atau koefisien kemiripan antara vektor okumen engan vektor kueri : Seluruh bobot term yang terkanung i alam vektor okumen- q : Seluruh bobot term yang terkanung i alam vektor kueri Panang vektor okumen- q w i, w q, Panang vektor kueri Bobot term- paa okumen-i Bobot term- paa kueri (3) (4) (5) (6) Cara yang igunakan untuk mengukur kemampuan suatu sistem alam mengambil okumen-okumen yang relevan aalah engan menggunakan precision an recall [5]. Recall aalah perbaningan ari umlah okumen relevan yang terambil engan umlah seluruh okumen relevan yang aa alam koleksi atau peluang acak terambilnya sebuah okumen relevan ari okumen yang terambil. Seangkan precision merupakan perbaningan ari umlah okumen relevan yang terambil engan umlah okumen yang terambil. Nilai precision ini apat menginikasikan kualitas sistem alam menyaikan hasil [5]. Persamaan untuk menapatkan nilai precision an recall aalah sebagai berikut [5]: umlah okumen yang terambil an relevan Pr ecision= umlah okumen yang terambil Recall = umlah okumen yang terambil an relevan umlah okumen yang relevan paa kueri (7) (8) 3.Perancangan Sistem Information Retrieval Sistem yang irancang aalah sistem information retrieval menggunakan moel extene boolean. Flowchart sistem information retrieval itunukkan paa gambar 2 berikut Evaluasi Sistem Paa saat sistem information retrieval melakukan operasi pencarian, sistem akan mengambil seumlah okumen ari koleksi okumen. Dokumen yang iambil oleh sistem teriri ari okumen yang relevan an okumen yang tiak relevan engan kueri yang telah imasukkan sebelumnya. Konisi ini iilustrasikan paa gambar 2 berikut Gambar 1 Diagram Hasil Pencarian Dokumen Gambar 2 Flowchart Sistem Information Retrieval Yang Dirancang 185

4 Sistem akan menerima input ari pengguna berupa kueri an berasarkan kueri tersebut, sistem akan melakukan pencarian i alam koleksi okumen terhaap okumen-okumen yang ianggap sistem relevan engan kueri. Dokumen-okumen yang ianggap relevan aalah okumen-okumen yang i alam isinya menganung kata-kata yang terapat paa kueri. Sebagai output, sistem akan membuat aftar okumen-okumen yang ianggap relevan. Tahapan-tahapan pemrosesan okumen paa sistem ini yaitu: 1. Mengumpulkan seluruh okumen untuk iaikan ineks. 2. Melakukan proses tokenisasi paa okumen menai sekumpulan token. 3. Melakukan proses preprocessing, yaitu stopwor removal an stemming sehingga menghasilkan token-token okumen yang telah ternormalisasi. 4. Membuat inverte inex ari token-token yang suah ternormalisasi. Ineks ibuat engan cara mengelompokkan token menurut urutan an letak kata-kata paa kumpulan okumen. Tahapan-tahapan pemrosesan kueri paa sistem ini yaitu : 1. Melakukan tokenisasi paa kueri yang telah imasukkan ke alam sistem. 2. Melakukan preprocessing, yaitu stemming sehingga menghasilkan token-token kueri yang telah ternormalisasi. 3. Melakukan pencarian token kueri paa inverte inex okumen. 4. Melakukan retrieval paa ineks okumen yang sesuai engan kueri 5. Melakukan interseksi ika operator boolean terapat paa kueri Batasan Rancangan Batasan rancangan sistem ini antara lain : 1. Dokumen berupa artikel berbahasa Inonesia yang iambil ari situs berita resmi i internet an suah iubah menai format file teks. 2. Sistem mengenali term sebagai sebuah kata. 3. Kueri yang imasukkan apat berupa kata berimbuhan. 4. Stemmer menggunakan algoritma Nazief an Ariani untuk Bahasa Inonesia yang telah ikembangkan oleh Jelita Asian. 5. Operator yang igunakan paa moel Extene Boolean ini aalah AND, OR, NOT, WITH, an NEAR. 6. Pemeringkatan okumen menggunakan moel Vector Space, yang berasarkan paa bobot an frekuensi kata. 7. Sistem memunculkan sebanyak mungkin okumen relevan engan kueri yang imasukkan. 8. Jumlah okumen yang iproses berumlah 500 okumen Rancangan Moul Sistem Information retrieval system engan extene boolean teriri ari 4 moul utama, yaitu : 1. Moul Inexing Moul ini merupakan moul yang igunakan untuk melakukan proses-proses preprocessing sebelum ilakukan retrieval. Teriri ari : a) Form Input Document. Digunakan untuk menyimpan 1 okumen yang akan iproses b) Form Batch Input. Digunakan untuk menyimpan beberapa okumen yang terletak paa sebuah foler. c) Menu Database. Menu ini igunakan untuk menyimpan an menghapus aftar stopwor, stemwor, an okumen. Teriri ari : I. Form Document Form ini igunakan untuk melihat atau menghapus aftar koleksi okumen yang suah imasukkan an iproses ke alam sistem. II. Form Stopwor Form ini igunakan untuk menambah atau menghapus aftar stopwor untuk proses stopwor removal. III. Form Stemwor Form ini igunakan untuk menambah atau menghapus aftar kata asar atau stemwor untuk proses stemming. 2. Moul Retrieval Moul ini aalah form yang igunakan alam pencarian okumen 3. Moul Help Moul ini berisi petunuk bagaimana mengoperasikan sistem information retrieval. 4. Moul About Moul ini berisi tentang informasi program. Keempat moul tersebut apat iakses melalui menu utama Tampilan Program Tampilan program aalah sebagai berikut : 1. Menu Utama Gambar 3 Tampilan Menu Utama 186

5 2. Menu Input Document 6. Menu Database, Submenu Stemwor 3. Menu Batch Input Gambar 4 Tampilan Menu Input Document Gambar 5 Tampilan Menu Batch Input 4. Menu Database, Submenu Document Gambar 8 Tampilan Menu Database, Sub-menu Stopwor 7. Moul Retrieval Gambar 6 Tampilan Menu Database,Sub-menu Document 5. Menu Database, Submenu Stopwor 8. Form Hasil Gambar 9 Tampilan Moul Retrieval Gambar 7 Tampilan Menu Database, Sub-menu Stopwor Gambar 10 Tampilan Form Hasil 187

6 9. Moul Help penguian an perhitungan precision an recall aalah sebagai berikut Tabel 1 Nilai Rata-rata Precision an Recall Berasarkan Tingkatan Urutan Dokumen Hasil Penguian 50 Kueri 10. Moul About Gambar 11 Tampilan Moul Help Tingkatan Dokumen Rata-rata Precision Rata-rata Recall 5 okumen okumen Program memiliki tingkat akurasi yang lebih baik untuk mencari okumen paa peringkat 5 besar ika ibaningkan engan pencarian okumen paa peringkat 10 besar. Hal ini isebabkan karena paa penguian hanya itemukan kurang ari 10 okumen yang ianggap relevan engan beberapa kueri yang imasukkan. Selain itu terapat pula perbeaan okumen yang terambil karena perbeaan operator yang igunakan paa kueri, contohnya aalah penggunaan operator AND an WITH paa kueri penyiik kpk. Terapat okumen yang ianggap tiak relevan ketika operator WITH igunakan seangkan okumen tersebut relevan ketika operator AND igunakan. Hal ini isebabkan karena perbeaan sifat ari keua operator tersebut. 5. Kesimpulan 4. Penguian Sistem Gambar 12 Tampilan Moul About Penguian paa program information retrieval system untuk okumen berbahasa Inonesia engan menggunakan extene boolean ini ilakukan engan menggunakan metoe Black Box Testing. Metoe Black Box Testing aalah salah satu metoe untuk melakukan penguian terhaap fungsi-fungsi yang imiliki oleh program information retrieval system untuk mengetahui apakah output yang ihasilkan suah sesuai engan yang iharapkan. Penguian program information retrieval system ini ilakukan engan memberikan serangkaian kueri, lalu kueri tersebut iproses untuk ilakukan pencarian okumen-okumen yang relevan Jumlah kueri yang igunakan berumlah 50 kueri Evaluasi Sistem Perhitungan rata-rata precision an recall ilakukan untuk 5 an 10 peringkat okumen teratas. Hasil Dari hasil percobaan, iapat bahwa sistem memiliki tingkat akurasi sebesar untuk pencarian okumen paa 5 peringkat okumen teratas an akurasi sebesar untuk pencarian okumen paa 10 peringkat okumen teratas. Akurasi apat itingkatkan engan menambah umlah koleksi okumen agar umlah okumen relevan bertambah. Pemilihan operator paa kueri uga apat mempengaruhi hasil perolehan okumen relevan. REFERENSI [1] Asian, Jelita; Williams, Hugh E.; Tahaghogi, S.M.M, 2005, Stemming Inonesian, ACSC 05 Proceeings of the Twenty-eighth Australasian conference on Computer Science, Vol. 38, Australian Computer Society, Inc, Darlinghurst. [2] Chang, Kevin Chen-Chuan; Molina, Hector Garcia; Paepcke, Anreas, 1996, Boolean Query Mapping Across Heterogeneous Information Sources. IEEE Transactions On Knowlege An Data Engineerin,. Vol. 8, Nomor 4, IEEE Computer Society, Los Alamitos. [3] Frakes, William B. an Yates, Ricaro Baeza, 1992, Information Retrieval : Data Structures & Algorithms, Prentice Hall, Upper Sale River. [4]Goker, Ayse. Davies, John, 2009, Information Retrieval : Searching in the 21 st Century, John Wiley an Sons, New Jersey. [5] Grossman, Davi A. Dan Fireer, Ophir, 2004, Information Retrieval Algorithms an Heuristics, 2 th Eition, Dorrecht, Springer [6] Maning, Christopher D.; Raghavan Prabhakan an Schutze, Hinrich, 2009, An Introuction to Information Retrieval, Cambrige University Press, Cambrige. 188

7 [7] Manwar, A. B.; Mahalle, Hemant S.; Chinchkhee, K. D.; Chavan, Vinay, 2012, A Vector Space Moel For Information Retrieval: A Matlab Approach, Inian Journal of Computer Science an Engineering. Vol. 3, No. 2, Engg Journals Publications, Chennai. [8] Pohl, Stefan; Zobel, Justin; Moffat, Alistair, 2010, Extene Boolean Retrieval for Systematic Biomeical Reviews. ACSC 10 Proceeings of the Thirty-Thir Australasian Conference on Computer Science, Vol. 102, Australian Computer Society, Inc, Darlinghurst. [9] THOR Center for Neuroinformatics, 2012, Boolean Retrieval, ng/noe2.html. Steven, mahasiswa Program Stui Teknik Informatika Fakultas Teknologi Informasi Universitas Tarumanagara, Jakarta. 189