IMPLEMENTASI QUESTION ANSWERING SYSTEM DENGAN METODE RULE-BASED PADA BANYAK DOKUMEN BERBAHASA INDONESIA ROMAIDA DOLAROSA SIANTURI

Transkripsi

1 IMPLEMENTASI QUESTION ANSWERING SYSTEM DENGAN METODE RULE-BASED PADA BANYAK DOKUMEN BERBAHASA INDONESIA ROMAIDA DOLAROSA SIANTURI DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2008

2 Sebab Aku ini mengetahui rancangan-rancangan apa yang ada pada-ku mengenai kamu, demikianlah firman TUHAN, yaitu rancangan damai sejahtera dan bukan rancangan kecelakaan, untuk memberikan kepadamu hari depan yang penuh harapan. Dan apabila kamu berseru dan datang untuk berdoa kepada-ku, maka Aku akan mendengarkan kamu; apabila kamu mencari Aku, kamu akan menemukan Aku; apabila kamu menanyakan Aku dengan segenap hati, Aku akan memberi kamu menemukan Aku, demikianlah firman TUHAN Yeremia 29 : 11-14a Kupersembahkan untuk Yesus Kristus, Bapak, Mama, serta Adik-adikku tercinta

3 IMPLEMENTASI QUESTION ANSWERING SYSTEM DENGAN METODE RULE-BASED PADA BANYAK DOKUMEN BERBAHASA INDONESIA Skripsi Sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor Oleh: ROMAIDA DOLAROSA SIANTURI G DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2008

4 ABSTRAK ROMAIDA DOLAROSA SIANTURI. Implementasi Question Answering System dengan Metode Rule-Based pada Banyak Dokumen Berbahasa Indonesia. Dibimbing oleh JULIO ADISANTOSO DAN SONY HARTONO. Question Answering System (QAS) menggunakan metode rule-based dapat diterapkan untuk membangun sistem temu kembali atas pertanyaan dari banyak dokumen berbahasa Indonesia. Dengan memasukkan kueri berupa pertanyaan ke dalam sistem, maka sistem akan mengembalikan suatu kalimat sebagai nya. Proses penemukembalian dimulai dengan memecah (parsing) suatu dokumen menjadi kalimat-kalimat. Kalimat-kalimat tersebut dipecah dan di-stem menjadi token-token. Begitu pula dengan kalimat pertanyaan pada kueri dipecah dan di-stem menjadi token-token. Token-token dari setiap kalimat dokumen maupun kalimat kueri diproses dalam rule sesuai dengan tipe pertanyaannya. Dalam penelitian ini digunakan lima tipe pertanyaan, yaitu: APA, SIAPA, KAPAN, MANA, dan MENGAPA. Proses di dalam rule itu memberikan nilai untuk masingmasing kalimat dokumen. Kalimat yang memiliki nilai tertinggi akan dikembalikan sebagai kalimat. Semakin besar hasil persentase jumlah kalimat relevan yang ditemukembalikan terhadap jumlah kalimat yang ditemukembalikan, maka kinerja sistem akan semakin baik. Kalimat yang dikembalikan bisa lebih dari satu karena ada kemungkinan beberapa kalimat yang memiliki nilai yang sama. Dari evaluasi sistem, kinerja sistem sangat berbeda satu sama lain. pertanyaan KAPAN, MANA dan SIAPA, kinerja sistem tertinggi dicapai dengan penggunaan nilai ambang batas 26, akurasi rata ratanya adalah 67,88%. Sementara untuk kueri pertanyaan MENGAPA kinerja sistem tertinggi yitu 64,19% dicapai dengan penggunaan nilai ambang batas 7 dan untuk kueri pertanyaan APA kinerja sistem tertinggi yitu 25,88% dicapai dengan penggunaan nilai ambang batas 9. Dari evaluasi berdasarkan rule, rule KAPAN mempunyai kinerja paling tinggi dengan nilai Recall Precision tertinggi sebesar 0,93. Kata kunci: Information Retrieval, Question Answering, Rule-based

5 Judul : Implementasi Question Answering System dengan Metode Rule-Based pada Banyak Dokumen Berbahasa Indonesia Nama : Romaida Dolarosa Sianturi NRP : G Menyetujui: Pembimbing I Pembimbing II Ir. Julio Adisantoso, M.Kom. NIP Sony Hartono Wijaya, S.Kom. NIP Mengetahui: Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor Dr. drh. H. Hasim, DEA. NIP Tanggal lulus:

6 RIWAYAT HIDUP Penulis dilahirkan di Balimbingan pada tanggal 13 Mei 1986 sebagai anak pertama dari empat bersaudara, anak pasangan Bapak Romulus Sianturi dan Ibu Damaris br. Purba. Tahun 2003, penulis lulus dari SMUN 1 Tanah Jawa dan pada tahun yang sama, melalui jalur Undangan Seleksi Masuk IPB, menjadi mahasiswa Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Pada tahun 2006, penulis menjalankan praktek lapangan di Pusat Informasi Konservasi Alam Bogor selama kurang lebih dua bulan dengan bidang kajian Sistem Informasi Laporan Kawasan Konservasi (SILKK) Lingkup Direktorat Jendral Perlindungan Hutan dan Konservasi Alam. Selama mengikuti perkuliahan, penulis pernah aktif di Persekutuan Mahasiswa Kristen (PMK), Komisi Pembinaan dan Pemuridan (KPP) dan Tim Kelompok Kecil Pemuridan (KKP).

7 PRAKATA Puji dan syukur penulis panjatkan ke hadirat Allah Bapa atas segala rahmat dan karunia-nya sehingga tugas akhir dengan judul Implementasi Question Answering System dengan Metode Rule- Based pada Banyak Dokumen Berbahasa Indonesia ini dapat diselesaikan. Penulis menyadari bahwa selesainya penulisan karya ilmiah ini tidak terlepas dari pihak-pihak yang telah banyak membantu. Oleh karena itu penulis ingin mengucapkan terima kasih kepada : 1. Bapak, Mama, Adek Iman, Adek Uli, adek Jaya serta keluarga besarku yang selalu mendoakan, memberikan kasih sayang, dan dukungannya kepada penulis. 2. Bapak Ir. Julio Adisantoso, M.Kom. selaku pembimbing I, Sony Hartono Wijaya, S.Kom. selaku pembimbing II yang telah memberikan bimbingan, wawasan, saran, dan kritik yang membangun bagi penulis selama pengerjaan tugas akhir ini, serta Ibu Dr. Ir. Sri Nurdiati, M.Sc. yang telah menjadi penguji. 3. Pegawai Tata Usaha Departemen Ilmu Komputer yang sudah banyak membantu saya dalam mengurus seminar dan sidang, Pak Yadi, Pak Pendi, Pak Soleh dan Bapak/ Ibu yang namanya tidak dapat Saya sebutkan satu persatu. 4. Robinhot Dapinardo Purba, atas doa, kesabaran, cinta kasih dan dukungan yang selalu diberikan kepada penulis. 5. Kak Dikta yang udah sabar banget ngajarin aku VB.Net. Semangat untuk nyelesain skripsinya yah Kak. Good Luck! 6. Anak-anak Kelompok Kecilku, Jane, Riris, Veranova. Aku mengasihi kalian dan trimakasih untuk banyak hal yang telah kalian berikan dan kita alami bersama-sama. 7. Saudara Kelompok Kecilku, Besty dan Junika. I love u, sist. Mom, K Olly & K Ochi. Bersama kalian membuatku semakin dewasa dalam Dia. Thanx for all. 8. Tim KKP, Lenny, Jim s, Iwan, Ance, Yohana, Fitri, Dony, Ricky dan yang baru-baru. Trim s untuk kerjasama selama dalam Tim. It s sweet to serve The Lord. KKP selamanya yah. 9. Keluarga PERKANTAS Bogor dan semua pengurus PMKB atas dukungan doa dan pengertian yang diberikan selama menyelesaikan skripsi ini. 10. Seluruh anggota PMK IPB (teman-temanku angkatan 40, kakak-kakak,abang-abang dan adik-adik kelas), KPPers (Pengurus 40 dan adik-adik yang pernah aku layani). Trimakasih atas kebersamaan selama ini. Pembentukan yang Tuhan izinkan lewat pelayanan, pembinaan dan banyak hal yang kualami bersama-sama dengan kalian. 11. Mega, Ines, Duma, Freddy, Tono, Tumpal, atas kasih persaudaraan yang sudah terjalin diantara kita. 12. Teman-teman di Wisma Milenium: Vivi cayang, Arti, Mba Pita, Mba Erni, Mba Erna, Essa, Arma, Anin, Angela, dan semua anak kosan, atas canda tawa, dukungan dan kebersamaan selama ini. Sukses buat semuanya. 13. Chita, Amel, Teh Arum, Gibhta, Risa, Tera dan semua Ilkomerz Dan pihak-pihak lain yang tidak dapat disebutkan satu persatu. Sebagaimana manusia yang tidak luput dari kesalahan, penulis menyadari bahwa karya ilmiah ini jauh dari sempurna. Namun penulis berharap semoga tulisan ini dapat bermanfaat, amin. Bogor, Juli 2008 Romaida Dolarosa Sianturi

8 vii DAFTAR ISI Halaman DAFTAR TABEL... ix DAFTAR GAMBAR... ix DAFTAR LAMPIRAN... ix PENDAHULUAN... 1 Latar Belakang... 1 Rumusan Masalah... 1 Tujuan... 1 Ruang Lingkup... 1 Manfaat... 2 TINJAUAN PUSTAKA... 2 Temu Kembali Informasi... 2 Kalimat... 2 Question Answering... 2 QUARC (Question Answering System for Reading Comprehension)... 2 Parsing... 3 Stemming... 3 Ambang Batas Nilai (Treshold of Score)... 3 Recall Precision... 3 METODE PENELITIAN... 4 Gambaran Umum Sistem... 4 Identifikasi Tipe Pertanyaan... 4 Pengelompokan Tipe Jawaban... 5 Temu Kembali Jawaban... 5 Evaluasi Question Answering System... 5 Asumsi... 5 Lingkungan Implementasi... 6 HASIL DAN PEMBAHASAN... 6 Koleksi Dokumen Pengujian... 6 Indexing... 6 Algoritme Rule... 7 Parsing dan WordMatch... 8 Hasil Percobaan... 8 Evaluasi Question Answering System Berdasarkan Ambang Batas Nilai (Treshold of Score)... 8 Evaluasi Sistem Berdasarkan Rule... 9 Kelebihan dan Kekurangan Sistem KESIMPULAN DAN SARAN Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN... 12

9 ix DAFTAR TABEL Halaman 1 Struktur tabel tb_dokumen Struktur tabel tb_kalimat Struktur tabel tb_kata... 7 DAFTAR GAMBAR Halaman 1 Pengukuran Ketepatan Sistem Gambaran Umum Sistem Persentase Hasil yang Benar Recall Precision... 9 DAFTAR LAMPIRAN Halaman 1 Relevance Judgement Hasil Indexing sebagai basis data dan data uji sistem Antarmuka prototipe Question Answering System... 41

10 PENDAHULUAN Latar Belakang Sistem temu kembali informasi saat ini sudah sangat berkembang. Berbicara mengenai temu kembali informasi sangat erat kaitannya dengan search engine. Google menjadi salah satu search engine yang paling populer karena berbagai kemudahan yang ditawarkan kepada pengguna misalnya kueri yang hanya menggunakan kata atau kalimat dalam pencarian informasinya. Namun kadang kala, informasi yang ditemukembalikan kurang relevan dengan kebutuhan pengguna. Berbeda dengan Google, saat ini juga sudah banyak dikembangkan search engine yang memiliki fitur kueri berupa pertanyaan atau yang sering dikenal dengan Question Answering System misalnya dan Pengguna memasukkan kueri berupa pertanyaan bukan berupa kata atau kalimat saja. Dengan adanya fitur kueri berupa pertanyaan, informasi yang dikembalikan dapat lebih spesifik sesuai dengan kebutuhan pengguna. Question Answering System (QAS) dapat diterapkan untuk membangun sistem temu kembali atas pertanyaan dalam suatu bacaan. Dengan memasukkan kueri berupa pertanyaan, akan diperoleh sebuah kalimat sebagai nya. Misalnya dengan kueri Apa komputer itu?, kalimat yang mungkin akan dikembalikan sebagai adalah : Komputer adalah alat yang dipakai untuk mengolah informasi menurut prosedur yang telah dirumuskan. Kalimat sesuai dengan bacaan yang dipilih. Dengan bacaan yang berbeda, tentu yang dikembalikan akan berbeda. Ballesteros & Xiaoyan-Li (2007) telah mengimplementasikan Question Answering yang digunakan untuk monolingual English dan Chinese QA. Dalam mengembalikan kalimat atau informasi yang relevan, pemberian skor pada koleksi dokumen dilakukan secara heuristic dan bergantung pada syntactic factor yang didefenisikan sebagai aturan-aturan untuk mengidentifikasi kandidat kalimat relevan atau kalimat. Berbeda dengan penelitian yang dilakukan oleh Ballesteros & Xiaoyan-Li (2007), penelitian sebelumnya juga sudah dilakukan oleh Riloff & Thelen (2000). Mengacu pada penelitian yang dikembangkan oleh Riloff & Thelen (2000) yaitu A Rule-based Question Answering System for Reading Comprehension Tests, Ikhsani (2006) telah mengimplementasikan QAS untuk menemukan dari kueri pertanyaan dengan hanya menggunakan satu dokumen bacaan yang diberikan dan dokumen bacaan yang diberikan adalah dokumen yang menggunakan kalimat yang sudah baku. Padahal QAS seharusnya diterapkan untuk membangun sistem temu kembali atas kueri pertanyaan terhadap banyak dokumen dan tidak hanya untuk dokumen yang kalimatnya sudah menggunakan bahasa yang baku. Selain itu, Anggraeny (2007) mengimplementasikan QAS dengan menggunakan surat Al-Baqarah yang terdiri dari beberapa ayat sebagai koleksi dokumen sehingga rule yang digunakan tidak bersifat umum. Rumusan Masalah Penelitian lebih jauh dibutuhkan untuk menjawab beberapa hal yang masih menjadi masalah pada penelitian sebelumnya, yaitu : 1. Bagaimana QAS berbasis aturan (rulebased) dapat diimplementasikan pada banyak dokumen (multidocument)? 2. Sejauh mana aturan yang disusun dalam rule tersebut dapat digunakan pada dokumen bahasa Indonesia yang tidak hanya menggunakan bahasa yang baku (sesuai dengan EYD)?. Misalnya menggunakan dokumen dari internet, dokumen dari media koran, dokumen dari media majalah, dan lain-lain. Tujuan Tujuan penelitian ini adalah : 1 Mengimplementasikan sistem temu kembali informasi menggunakan kueri pertanyaan (Question Answering) untuk banyak dokumen berbahasa Indonesia. 2 Menelaah kinerja sistem yang akan dibangun dalam mengembalikan yang relevan dari banyak dokumen bahasa Indonesia yang tidak hanya menggunakan bahasa yang baku. Ruang Lingkup Ruang lingkup penelitian ini adalah: 1 Korpus terdiri atas beberapa dokumen bidang pertanian berbahasa Indonesia.

11 2 2 Proses pengembalian hanya terbatas pada menemukembalikan kalimat yang sesuai dengan kueri pertanyaan yang diberikan dan koleksi dokumen yang dimiliki. Manfaat Dari penelitian ini terbentuk suatu Question Answering System (QAS) yang dapat menemukembalikan atas beberapa kueri pertanyaan dari koleksi dokumen yang ada dan membuat korpus untuk yang relevan dari beberapa kueri pertanyaan standar yang dibuat oleh penulis. TINJAUAN PUSTAKA Temu Kembali Informasi Temu kembali informasi berkaitan dengan representasi, penyimpanan, pengorganisasian, dan pengaksesan informasi. Sistem temu kembali informasi menyediakan kemudahan akses informasi bagi pengguna. Pengguna harus menerjemahkan kebutuhan informasinya ke dalam bentuk kueri. Dengan adanya kueri yang diberikan pengguna, tujuan utama dari sistem temu kembali informasi adalah mengembalikan informasi yang relevan dengan kueri dan informasi yang tidak relevan sesedikit mungkin (Baeza-Yates & Ribeiro- Neto 1999). Kalimat Kalimat adalah gugusan kata bersistem (beraturan) yang mampu menimbulkan makna sempurna atau makna yang dapat diterima oleh orang lain sesuai dengan maksud pembuat kalimat. Kumpulan kata akan dimaknai sebagai kalimat jika memiliki strukstur minimal Subjek (S) dan Predikat (P). Suatu kalimat dapat memiliki unsur-unsur sebagai berikut : - Subjek adalah sesuatu (kata atau frase atau gabungan kata) yang menjadi pokok pembicaraan penulis dalam kalimat sementara. Adapun yang menjadi ciri dari subjek yaitu : berkelas kata benda, bukan merupakan kata tugas, bukan kata ganti tanya, dapat dicari dengan menggunakan kata tanya APA dan SIAPA dan pada umumnya berada di awal kalimat. - Predikat adalah kata atau kelompok kata yang menjelaskan subjek. Ciri predikat yaitu umumnya berada di sebelah kanan subjek, berkelas kata kerja, mengisyaratkan perlu tidaknya kata lain di sebelah kanannya agar kalimat lebih lengkap dan biasanya dicari dengan menggunakan kata tanya BAGAIMANA. - Objek adalah sesuatu (kata atau frase atau gabungan kata) yang dikenai sesuatu oleh Subjek. Ciri objek adalah berada di samping kanan Predikat, berkelas kata benda, dapat berpindah menjadi Subjek bila Predikatnya diubah menjadi pasif dan dapat diganti dengan akhiran nya. - Keterangan dicirikan oleh letaknya yang bisa berpindah-pindah, bisa dihilangkan di sebuah kalimat, biasanya kata atau kelompok kata didahului oleh kata depan. Contoh : keterangan tempat, orang dan waktu. Contoh kalimat lengkap yang mengandung unsur-unsur di atas : Mahasiswa Agribisnis melaksanakan S P praktik lapangan di Cikabayan. O Ket. Question Answering Question Answering merupakan aplikasi nyata dari teknologi Natural Language Processing (NLP). Tujuan utama dari Question Answering (QA) adalah menampilkan atas pertanyaan yang diberikan pengguna. Ide utama QA adalah (Lin 2004) : - menentukan tipe semantik yang. - menentukan dokumen-dokumen yang memiliki keywords seperti pada pertanyaan. - mencari entitas dengan tipe yang sesuai dengan pertanyaan, yang dekat dengan keywords. QUARC (Question Answering System for Reading Comprehension) QUARC (Question Answering System for Reading Comprehension) adalah QAS dengan metode rule-based yang dikembangkan oleh Riloff & Thelen (2000). Cara kerjanya suatu dokumen diberi kueri pertanyaan, kemudian sistem akan menghitung nilai dari masing masing kalimat pada dokumen tersebut. Pemberian nilai berdasarkan pada jumlah nilai hasil perbandingan kata yang sama antara

12 3 kueri dengan kalimat dan nilai pada masing masing rule berdasarkan tipe pertanyaan. Suatu rule dapat memberikan empat kemungkinan nilai, yaitu : clue (+3), good_clue (+4), confident (+6), dan slam_dunk (+20). Kalimat yang memiliki nilai tertinggi akan dikembalikan sebagai atas kueri yang diberikan. Ikhsani (2006) telah melakukan implementasi QAS untuk dokumen bacaan berbahasa Indonesia dengan menggunakan rule yang dibuat oleh Riloff & Thelen (2000). Ikhsani (2006) melakukan modifikasi terhadap rule yang sudah ada dengan melakukan penyesuaian terhadap kaidah tata bahasa Indonesia. Adapun algoritme rule yang dibuat oleh Ikhsani (2006) mencakup pertanyaan dengan menggunakan kata tanya KAPAN, MANA, MENGAPA, SIAPA, dan APA, seperti yang dituliskan di bawah. 1 KAPAN Score(S) += WordMatch(Q,S) If contains (S, WAKTU) and contains (S,{saat,ketika,kala,semenjak,sejak, waktu, setelah,sebelum}) then Score(S) += slam_dunk If contains (S,WAKTU) then Score(S) += good_clue If contains(s,{saat,ketika,kala, semenjak, sejak, waktu, setelah, sebelum} then Score(S) += good_clue 2 MANA Score(S) += WordMatch(Q,S) If contains (S,TEMPAT) and contains (S,{dalam,dari,pada }) then Score(S) += slam_dunk If contains (S,{dalam,dari,pada}) then Score(S) += clue If contains (S,TEMPAT) then Score(S) += good_clue 3 MENGAPA Score(S) += WordMatch(Q,S) If contains (S,{karena,sebab,akibat, maka}) then Score(S) += confident 4 SIAPA Score(S) += WordMatch (Q,S) If ~contains (Q, ORANG) and contains (S, ORANG) then Score(S) += slam_dunk 5 APA Score(S) += WordMatch (Q,S) If contains (Q, {tujuan,manfaat}) and contains (S,{untuk,guna}) then Score(S) += confident Elseif contains (Q,maksud) and contains (S,{adalah,ialah}) then Score(S) += slam_dunk Elseif contains (S,{adalah,ialah}) then Score(S) +=confident Keterangan: S = sentence (kalimat dokumen) Q = query (kalimat kueri) Parsing Untuk pemrosesan, dokumen dipilah menjadi unit-unit yang lebih kecil misalnya berupa kata, frasa, atau kalimat. Unit pemrosesan tersebut disebut sebagai token. Proses ini memerlukan pengetahuan bahasa untuk menangani karakter-karakter khusus, serta menentukan batasan satuan unit dalam dokumen. Dalam proses ini biasanya juga digunakan sebuah daftar kata buang (stoplist) yakni daftar kata-kata yang tidak digunakan (dibuang) karena tidak signifikan dalam membedakan dokumen atau kueri, misalnya: yang, hingga, dan dengan (Ridha 2002). Stemming Menurut Porter (1980), stemming adalah proses pemotongan imbuhan dari kata untuk mendapatkan kata dasarnya. Penggunaan utama dari stemming adalah sebagai bagian penting dalam proses normalisasi yang biasanya dilakukan ketika membangun sistem temu kembali informasi. Dengan proses stemming, kata mencanangkan akan dipotong menjadi men-canang-kan, sehingga didapatkan kata dasarnya canang. Ambang Batas Nilai (Treshold of Score) Ambang batas nilai berguna untuk membatasi nilai terendah dari skor yang harus dimiliki oleh kalimat dokumen yang ditemukembalikan. Skor yang dimaksud dalam penelitian ini adalah nilai keseluruhan yang diperoleh suatu kalimat dokumen berdasarkan pembobotan yang diberikan kepada kalimat dokumen melalui proses WordMatch dan rule. Penentuan ambang batas nilai tergantung dari nilai yang dimasukkan oleh pengguna pada sistem. Recall Precision Keakuratan suatu sistem dalam mengembalikan informasi yang relevan dapat diukur dengan menghitung nilai Recall

13 4 Precision. Menurut Grossman (2008), Recall adalah jumlah kalimat atau informasi yang relevan yang dikembalikan oleh sistem dibandingkan dengan jumlah kalimat atau informasi relevan yang seharusnya dikembalikan oleh sistem. Sementara Precision adalah jumlah kalimat atau informasi yang relevan yang dikembalikan oleh sistem dibandingkan dengan jumlah kalimat atau informasi keseluruhan (relevan dan tidak relevan) yang dikembalikan oleh sistem (Gambar 1). Dokumen relevan Dokumen relevan yang dikembalikan oleh sistem Dokumen yang dikembalikan oleh sistem Recall = Precision = Gambar 1 Pengukuran Ketepatan Sistem Keterangan : ArS = Dokumen relevan yang dikembalikan oleh sistem Ar = Dokumen relevan A = Dokumen yang dikembalikan oleh sistem METODE PENELITIAN Gambaran Umum Sistem Gambaran umum Question Answering System (QAS) yang dikembangkan dapat dilihat pada Gambar 2. Proses awal pada QAS adalah dengan mengambil dokumen-dokumen berekstensi text (*.txt) yang terdapat pada satu direktori dan menyimpan nama masing-masing dokumen dalam tabel penyimpanan dokumen. Kemudian, dokumen-dokumen tersebut dipecah menjadi kalimat-kalimat yang dimasukkan ke dalam tabel penyimpanan kalimat. Pemecahan menjadi kalimat-kalimat dilakukan dengan proses parsing dokumen. Pada masing-masing kalimat dokumen dilakukan parsing kalimat dan stemming hasil parsing yang akan menghasilkan token-token kalimat. Token-token dari kalimat dokumen disimpan dalam tabel penyimpanan kata. Gambar 2 Gambaran Umum Sistem. Selanjutnya, pengguna memasukkan kueri berupa kalimat pertanyaan. Kalimat kueri juga mengalami parsing dan stemming yang akan menghasilkan token token kueri. Token-token pada setiap kalimat dokumen dan kalimat kueri dibandingkan dalam proses WordMatch, kemudian masuk ke dalam rule sesuai dengan tipe kueri yang diberikan. Rules yang dibuat berbeda satu sama lain sesuai dengan tipe pertanyaan. Dari proses tersebut, masing-masing kalimat akan memperoleh nilai berdasarkan nilai hasil WordMatch dan rule. Kalimat-kalimat akan dikembalikan sesuai dengan nilai ambang batas yang digunakan dan terurut dari yang memiliki skor paling tinggi. Untuk kalimat yang memiliki skor yang sama maka sistem akan mengembalikan berdasarkan urutan dokumen pada basis data. Identifikasi Tipe Pertanyaan Ada beberapa tipe pertanyaan yang digunakan dalam Bahasa Indonesia, yaitu: 1 APA, yang menanyakan suatu pengertian, tujuan, manfaat, kata benda, baik abstrak

14 5 maupun konkret (tidak termasuk di dalamnya yes/no question). 2 SIAPA, yang menanyakan orang atau makhluk hidup lain yang melakukan sesuatu. 3 KAPAN, yang menanyakan waktu terjadinya suatu peristiwa. 4 MANA, yang menanyakan tempat. 5 MENGAPA, yang menanyakan tujuan atau sebab terjadinya sesuatu. Dalam penelitian ini, tipe pertanyaan BAGAIMANA tidak diikutsertakan karena nya adalah suatu penjelasan. Begitu pula dengan tipe pertanyaan MANA yang menanyakan suatu pilihan. Pengelompokan Tipe Jawaban Untuk dapat menemukan yang tepat, perlu dilakukan pembelajaran terhadap sistem, di antaranya adalah pengelompokan tipe. Tipe ini disusun dalam suatu kamus. 1 ORANG, dari pertanyaan SIAPA, yang dapat diidentifikasi dengan adanya gelar, panggilan (misalnya Bapak), dapat pula menyatakan suatu pekerjaan (misalnya penulis). Tipe ini disimpan dalam kamus bernama kamus_orang.txt. 2 WAKTU, dari pertanyaan KAPAN, terdiri dari hari dan bulan. Tipe ini disimpan dalam kamus bernama kamus_waktu.txt. 3 TEMPAT, dari pertanyaan MANA, terdiri dari beberapa nama kota di Indonesia dan beberapa nama negara. Tipe ini disimpan dalam kamus bernama kamus_tempat.txt. Selain mengelompokkan tipe, untuk memperoleh yang akurat tentu saja disertai implementasi rules. Untuk dari pertanyaan MENGAPA dan APA langsung diimplementasikan dalam sistem. Untuk MENGAPA dilakukan dengan cara mengidentifikasi kata sebab, karena, dan sejenisnya dari proses tokenizer. Temu Kembali Jawaban Pembobotan terhadap kalimat dilakukan dengan proses WordMatch dan rule. Dalam WordMatch, setiap token pada kalimat dokumen yang sama dengan token pada kueri akan diberi nilai clue(+3). Sementara tiap petunjuk pada kalimat dalam dokumen akan mendapatkan nilai berdasarkan rules yang ada. Penelitian ini menggunakan empat tingkatan nilai, yakni (Riloff & Thelen 2000): clue (+3) good-clue(+4) confident (+6) slam_dunk(+20). Kalimat yang mendapatkan nilai tertinggi akan dikembalikan sebagai dari kueri pertanyaan yang diberikan. Namun kalimat yang ditemukembalikan bisa jadi tidak hanya satu, karena ada kemungkinan beberapa kalimat memiliki skor yang sama. Banyaknya kalimat yang ditemukembalikan oleh sistem juga bergantung pada nilai ambang batas yang dimasukkan oleh pengguna. Evaluasi Question Answering System Evaluasi Question Answering System ini dilakukan dengan melihat banyaknya kalimat yang ditemukembalikan dan banyaknya hasil yang benar maupun yang salah. Semakin banyak hasil yang benar, tentu kinerja sistem akan semakin tinggi. Setiap kueri bisa memiliki satu atau lebih kalimat atau tidak sama sekali sehingga akan dilihat persentase berapa yang relevan untuk beberapa nilai ambang batas. Penulis juga melakukan evaluasi menggunakan Recall Precision untuk melihat perbandingan yang relevan yang dikembalikan oleh sistem dengan relevan yang seharusnya dikembalikan oleh sistem. Asumsi Asumsi-asumsi yang dibuat oleh penulis dalam membangun sistem adalah sebagai berikut : 1. pertanyaan dibuat sendiri oleh penulis, 2. Kamus yang digunakan dibuat secara manual oleh penulis, 3. Rules yang digunakan dibuat sendiri berdasarkan asumsi penulis dengan mengacu pada rules yang dibuat oleh Riloff & Thelen (2000) dan Ikhsani (2006). Satu kueri pertanyaan dapat memiliki lebih dari satu kalimat yang relevan atau tidak ada sama sekali. Daftar kueri yang digunakan dan yang benar (relevance judgement) dapat dilihat pada Lampiran 1.

15 6 Lingkungan Implementasi Lingkungan implementasi yang digunakan adalah sebagai berikut : Perangkat lunak : Sistem operasi Windows XP Professional Microsoft Visual Basic.NET 2005 SQL Srever 2000 Perangkat keras : Prosesor AMD Turion, 2.2 GHz RAM 512 MB Harddisk dengan kapasitas 80 GB HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian Dokumen yang digunakan sebagai dokumen uji diambil dari korpus yang sudah tersedia di Laboratorium Temu Kembali Informasi Departemen Ilmu Komputer IPB. Sumbernya adalah media koran, media majalah, media internet, dan lain-lain. Dari 958 dokumen dan 30 topik yang dibicarakan dalam dokumen, penulis hanya mengambil 60 dokumen dan 5 topik (bencana kekeringan, pertanian organik, flu burung, gagal panen dan kelangkaan pupuk) yang dibicarakan di dalamnya sebagai koleksi dokumen. Pengambilan dokumen dan topik dilakukan secara acak atau tidak memiliki aturan tertentu. Dokumen sebagai koleksi memiliki format teks (*.txt) dan terdapat struktur tag XML didalamnya. Dokumen disimpan dalam satu direktori. Nama dokumen berdasarkan sumber data dan tanggal data tersebut diterbitkan, misalnya Gatra txt yang berarti data berasal dari majalah Gatra dan diterbitkan oleh Gatra pada tanggal 07 bulan Februari tahun Satu dokumen dapat berisi beberapa artikel bacaan. Satu dokumen berisi minimal satu kalimat dan sebuah kalimat harus diakhiri dengan tanda titik (.). Sementara untuk kalimat yang diakhiri dengan tanda tanya (?), tanda seru (!) dan tidak berhubungan dengan kalimat sesudahnya maka dilakukan penambahan tanda titik (.) secara manual. Indexing Hal yang pertama dilakukan pada saat Indexing adalah menyimpan nama dokumen yang digunakan sebagai dokumen uji ke tabel tb_dokumen. Struktur tabel tb_dokumen dapat dilihat pada Tabel 1. Tabel 1 Struktur tabel tb_dokumen Nama Kolom Tipe Data Keterangan iddok INT Primary key namadok VARCHAR (100) Proses penyimpanan nama dokumen tidak berurutan karena pengambilan nama dokumen oleh sistem dilakukan secara acak. Kolom iddok merupakan urutan penyimpanan dokumen berdasarkan jumlah dokumen yang digunakan. Nama dokumen disimpan dalam kolom namadok. Parsing yang dilakukan pada dokumen diawali dengan memisahkan kalimat-kalimat dokumen berdasarkan separator titik (.). Hasil proses ini berupa array kalimat yang kemudian disimpan dalam tabel tb_kalimat. Struktur tabel tb_kalimat dapat dilihat pada Tabel 2. Tabel 2 Struktur tabel tb_kalimat Nama Tipe Data Keterangan Kolom idkal INT Primary key iddok INT Primary key kalimat VARCHAR(8000) - score INT - Kolom idkal menunjukkan urutan kalimat pada dokumen bersangkutan. Kolom iddok mengacu ke kolom iddok pada tabel tb_dokumen. Kolom kalimat berisi array kalimat yang dihasilkan oleh proses parsing. Kolom score digunakan untuk menyimpan nilai yang diperoleh masing-masing kalimat dari proses WordMatch dan pembobotan berdasarkan rule. Pada Indexing dokumen dan awal proses pengolahan terhadap kueri pengguna, kolom score masing-masing kalimat diberi nilai nol (0). Parsing pada kalimat diawali dengan proses case folding (membuat semua huruf pada teks yang akan diparsing menjadi huruf kecil). Penelitian ini tidak melakukan penghilangan stopwords karena semua kata dianggap penting dan masih akan mengalami proses stemming. Penulis memanfaatkan algoritme parsing Ikhsani (2006). Proses ini akan menghasilkan token-token yang disimpan pada array sementara untuk -

16 7 kemudian dilanjutkan dengan proses stemming. Stemming dilakukan pada setiap token hasil parsing kalimat dengan menggunakan algoritme stemming Ikhsani (2006). Dalam prosesnya, stemming menghasilkan beberapa kata yang tidak sesuai dengan tata bahasa baku misalnya kata leta. Proses stemming melakukan penghilangan huruf k di awal dan akhir kata. Sehingga kata letak menjadi leta. Padahal ketika menjadi kata leta, kata tersebut menjadi tidak memiliki makna apaapa. Tetapi hal tersebut tidak mempengaruhi sistem yang dibangun karena setiap kueri pertanyaan yang akan diproses oleh sistem juga mengalami proses parsing dan stemming. Proses selanjutnya, hasil stemming dimasukkan ke dalam tabel tb_kata. Struktur tabel tb_kata dapat dilihat pada Tabel 3. Tabel 3 Struktur tabel tb_kata Nama Tipe Data Keterangan Kolom idkata INT Primary key idkal INT - kata VARCHAR(100) - Kolom idkal mengacu pada kolom idkal pada tabel tb_kalimat. Hasil parsing dan stemming untuk masing-masing kalimat pada tabel tb_kalimat disimpan di kolom kata pada tabel tb_kata. Setelah proses Indexing selesai dilakukan diperoleh hasil seperti yang ada di Lampiran 2. Algoritme Rule Mengacu pada algoritme yang dibuat Riloff & Thelen (2000) dan algoritme yang diimplementasikan oleh Ikhsani (2006), penulis membuat algoritme rule dengan melakukan beberapa modifikasi. Algoritme rules yang dibuat dan diimplementasikan ke dalam sistem adalah algoritme APA, SIAPA, KAPAN, MANA dan MENGAPA. Seperti yang dituliskan di bawah. 1 KAPAN Score(S) += WordMatch(Q,S) If contains(s,{saat, ketika, kala, semenjak, sejak, waktu, setelah, sebelum, sesudah,selama, pada}) and contains(s, TIME) then Score(S) += slam_dunk If contains(q,time) Or containss(s, TIME) then Score(S) += good_clue If contains(s,{saat, ketika, kala, semenjak, sejak, waktu, setelah, sebelum}) then Score(S) +=good_clue Untuk algoritme rule menggunakan kata tanya KAPAN, juga memiliki perbedaan dengan algoritme rule yang sudah dibuat oleh Ikhsani (2006). Selain pada pemberian nilai score, untuk kondisi if yang pertama, penulis menambahkan kata sesudah, selama dan pada. 2 MANA Score(S) += WordMatch(Q,S) If contains(s,location) and contains(s,{dalam, dari, pada}) then Score(S) += slam_dunk If contains(s,{dalam, dari, pada}) then Score(S) += clue If contains(s,location) then Score(S) += good_clue 3 MENGAPA Score(S) += WordMatch(Q,S) If contains(s,{karena, sebab, akibat, maka, agar, supaya}) then Score(S) += clue Untuk kueri pertanyaan dengan menggunakan kata tanya MANA algoritme rule yang dibuat sama dengan yang sudah dibuat oleh Ikhsani (2006). Sementara untuk kueri pertanyaan dengan menggunakan kata tanya MENGAPA, perbedaannya terletak pada kondisi if yaitu pemberian nilai score untuk dan penambahan kata agar dan supaya. 4 SIAPA Score(S) += WordMatch(Q,S) If contains(q,human) then Score(S) += confident Berbeda dengan kueri pertanyaan dengan kata tanya APA, algortima rule untuk kueri pertanyaan dengan kata tanya SIAPA yang diimplementasikan pada sistem yang dibangun oleh penulis berbeda dengan algoritme rule yang telah diimplementasikan oleh Ikhsani (2006). Perbedaannya terletak pada pemberian nilai score. 5 APA Score(S) += WordMatch(Q,S) If contains(q,{tujuan, manfaat}) and contains(s,{untuk, guna}) then Score(S) += confident

17 8 Elseif contains(q,{maksud}) and contains(s,{adalah, ialah, yaitu}) then Score(S) += slam_dunk Elseif contains(s,{adalah, ialah}) then Score(S) += confident Algortima rule untuk kueri pertanyaan dengan kata tanya APA yang diimplementasikan pada sistem yang dibangun oleh penulis sama dengan algoritme rule yang telah diimplementasikan oleh Ikhsani (2006). Fungsi dan notasi yang digunakan dalam rules tersebut adalah sebagai berikut : tasi S = sentence (kalimat dokumen). tasi Q = query (kalimat kueri). Fungsi contains adalah fungsi untuk memeriksa kalimat dokumen dan kalimat kueri pertanyaan, apakah mengandung kata yang telah ditentukan. Fungsi WordMatch adalah fungsi untuk memeriksa kesamaan kata. Fungsi score adalah fungsi pemberian nilai pada kalimat dokumen. Parsing dan WordMatch Algoritme parsing dokumen menjadi kalimat-kalimat berdasarkan separator titik (. ) dibuat sendiri oleh penulis. Namun untuk parsing kalimat-kalimat dokumen dan kalimat kueri menjadi token-token serta algoritme stemming, penulis memanfaatkan algoritme yang sudah ada di Laboratorium Temu Kembali Informasi, Departemen Ilmu Komputer, Institut Pertanian Bogor (IPB). Algoritme WordMatch memanfaatkan algoritma yang sudah digunakan pada penelitian yang dilakukan oleh Ikhsani (2006). Algoritme WordMatch membandingkan token-token pada setiap kalimat dokumen dengan token-token pada kalimat kueri, yang telah melalui proses stemming. Setiap token yang sama akan menambahkan nilai clue (+3) pada kalimat dokumen tersebut. Hasil Percobaan Percobaan dilakukan pada seluruh dokumen yang ada. Dokumen yang digunakan sebanyak 60 dokumen. Seluruh dokumen diberi lima tipe kueri pertanyaan yang kalimat pertanyaannya menggunakan kata tanya APA, SIAPA, KAPAN, MENGAPA dan MANA. Untuk masing-masing tipe pertanyaan diberikan empat kueri pertanyaan yang sudah dibuat sebelumnya oleh penulis. Antarmuka prototipe Question Answering System dapat dilihat pada Lampiran 3. Penghitungan persentase hasil yang benar yang berhasil dikembalikan oleh sistem dilakukan untuk masing-masing tipe pertanyaan. Penghitungan dilakukan dengan cara membandingkan jumlah kalimat yang benar yang ditemukembalikan oleh sistem dengan jumlah keseluruhan kalimat yang ditemukembalikan oleh sistem pada masingmasing nilai ambang batas yang ditentukan. Yang dimaksud dengan hasil yang benar adalah jika ada yang relevan yang berhasil dikembalikan walaupun tidak memiliki nilai tertinggi. Hasil percobaan berdasarkan nilai ambang batas dapat dilihat pada Gambar 3 dan berdasarkan Recall Precision dapat dilihat pada Gambar 4. Evaluasi Question Answering System Berdasarkan Nilai Ambang Batas Tujuan dari temu kembali informasi yaitu menemukembalikan informasi yang relevan dan sesedikit mungkin menemukembalikan informasi yang tidak relevan. Hasil dari Gambar 3 dapat diuraikan sebagai berikut : 1 Tipe pertanyaan KAPAN, terlihat bahwa kinerja sistem paling tinggi dicapai saat pemakaian nilai ambang batas 26. Dengan ambang batas 26, persentase hasil yang benar mencapai 94,44 % dan nilai persentase yang paling kecil dicapai saat pemakaian ambang batas 3 yaitu 14,67 %. 2 Tipe pertanyaan MANA, terlihat bahwa kinerja sistem yang tinggi dicapai saat pemakaian nilai ambang batas 13, 15 dan 26. Dengan ambang batas 13, 15, persentase hasil yang benar mencapai 64,95% dan ambang batas 26 mencapai 76,8 %. Nilai persentase yang paling kecil dicapai saat pemakaian ambang batas 3 yaitu 21,55 %. 3 Tipe pertanyaan MENGAPA, terlihat bahwa kinerja sistem paling tinggi dicapai saat pemakaian ambang batas 7. Dengan ambang batas 7, persentase hasil yang benar mencapai 64,19% dan nilai persentase yang paling kecil dicapai saat pemakaian ambang batas 3 yaitu 7,22%. 4 Tipe pertanyaan SIAPA, terlihat bahwa kinerja sistem paling tinggi dicapai saat pemakaian ambang batas 26 dan 29.

18 9 Persentase Relevansi (%) 100,0% 90,0% 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% Treshold of score Gambar 3 Persentase hasil yang benar KAPAN MANA MENGAPA SIAPA APA Precision 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 KAPAN MANA MENGAPA SIAPA APA Recall Gambar 4 Recall Precision Dengan ambang batas 26 dan 29, persentase hasil yang benar mencapai 50% dan nilai persentase yang paling kecil dicapai saat pemakaian ambang batas 3 yaitu 7,22 %. 5 Tipe pertanyaan APA, terlihat bahwa kinerja sistem kurang baik dengan nilai persentase yang sangat kecil. Nilai tertinggi yaitu sebesar 25,88% dicapai saat pemakaian ambang batas 9. Nilai persentase untuk ambang batas 3 sangat kecil karena sistem mengembalikan sedikit yang benar dari semua kalimat yang terdapat pada relevance judgement dan mengembalikan semua kalimat pada basis data yang memiliki score = 3. Evaluasi Sistem Berdasarkan Rule Setiap rule yang dibuat pasti tidak memiliki kinerja yang sama dengan rule yang lain. Gambar 4 menunjukkan perbedaan

19 10 kinerja sistem untuk masing-masing rule menggunakan rumus Recall Precision. Berdasarkan Gambar 3 dan Gambar 4 terlihat bahwa kinerja sistem yang paling buruk adalah kueri pertanyaan dengan menggunakan kata tanya APA. Berbeda dari sistem yang telah diimplementasikan oleh Ikhsani (2007), rule APA memiliki kinerja yang paling baik dibandingkan dengan rules yang lain yaitu mencapai 81,94%. Sementara untuk sistem ini, persentase hasil yang benar hanya mencapai 25,88% dan nilai Recall Precision tertinggi mencapai Hal ini disebabkan oleh rule APA yang hanya membatasi kalimat yang dikembalikan mengandung kata ialah, adalah, maksud, untuk, guna, manfaat dan tujuan. Sementara di dokumen yang digunakan sebagai dokumen uji jarang sekali ditemukan kalimat yang mengandung kata-kata tersebut. Dengan demikian sistem akan mengembalikan kalimat yang relevan lebih sedikit. dibandingkan dengan kalimat yang tidak relevan. Selain itu koleksi dokumen yang menggunakan bahasa yang tidak baku (tidak sesuai dengan EYD) juga mempengaruhi kinerja rule APA. Kinerja sistem yang paling tinggi dicapai oleh kueri pertanyaan KAPAN. Terlihat bahwa nilai persentase hasil yang benar mencapai 94,44 % dan nilai Recall Precision mencapai 0,93. Kenaikan cukup drastis dicapai pada nilai ambang batas 26 dan membuat nilai Recall Precision mencapai nilai tertinggi. Hal ini disebabkan oleh karena sistem mengembalikan kalimat yang relevan lebih banyak dibandingkan dengan kalimat yang tidak relevan dan rule yang digunakan sudah cukup baik. Kinerja sistem untuk kueri pertanyaan MANA sudah cukup baik dengan nilai Recall Precision tertinggi sebesar 0,88 dan nilai ambang batas tertinggi sebesar 76,86 %. Dengan menggunakan nilai ambang batas tertinggi yaitu 26, sistem mengembalikan cukup banyak kalimat yang relevan yang membuat nilai Recall Precision cukup tinggi. Untuk kueri pertanyaan MENGAPA, nilai Recall Precision yang dicapai sebesar 0.65 dan dicapai saat pemakaian nilai ambang batas = 7. pertanyaan SIAPA, nilai Recall Precision yang dicapai sebesar 0,84 dan nilai tersebut dicapai ketika menggunakan nilai ambang batas = 26. Masih banyak kalimat yang tidak relevan yang dikembalikan oleh sistem. Hal ini mungkin disebabkan rule yang masih belum sempurna. Kelebihan dan Kekurangan Sistem Kelebihan dan kekurangan Question Answering System (QAS) yang telah dibangun adalah sebagai berikut : Kelebihan: Indexing dokumen hanya dilakukan satu kali yaitu di awal pembangunan sistem. pertanyaan menggunakan bahasa yang alami. Penggunaan nilai ambang batas yang memudahkan pengguna untuk menentukan sendiri score minimal yang harus dikembalikan dan memutuskan sendiri kalimat yang relevan menurut pengguna. Kekurangan: Jika terdapat penambahan dokumen, maka harus dilakukan pengindeksan ulang. Tidak dilakukan kajian terhadap makna semantik dalam dokumen. Kamus yang digunakan belum dibuat otomatis tapi secara manual dibuat penulis. Masih harus ada penyempurnaan untuk algoritme rule agar dokumen yang dikembalikan nilai persentasenya lebih bagus. KESIMPULAN DAN SARAN Kesimpulan Berdasarkan penelitian yang dilakukan, dapat disimpulkan bahwa metode rule-based dapat diterapkan untuk implementasi QAS (Question Answering System) untuk temu kembali banyak dokumen berbahasa Indonesia. Kinerja sistem sangat berbeda satu sama lain. Kinerja sistem tertinggi dengan penggunaan nilai ambang batas 23, yang mengembalikan rata rata 0,5 atau sebagian kalimat yang relevan dari keseluruhan kalimat yang relevan yang seharusanya dikembalikan oleh sistem. Berdasarkan evaluasi menggunakan KAPAN, MANA, MENGAPA, SIAPA dan APA, rule KAPAN memiliki kinerja tertinggi.

20 11 Saran Melihat pencapaian dari sistem yang sudah dibuat, ada beberapa hal yang harus ditambahkan atau diperbaiki untuk penelitian ke depan seperti : - Indexing dapat dilakukan tidak hanya sekali yaitu dengan cara setiap sistem pertama kali dijalankan, maka hal pertama yang dilakukan oleh sistem adalah merefresh database atau mengosongkan semua isi tabel dalam basis data dan kemudian mengambil kembali data yang akan digunakan dari sumber data pada directory yang telah ditentukan. Kelemahannya, proses loading awal akan sangat lambat sehingga untuk mengatasinya harus didukung dengan perangkat keras yang memadai, - Menambahkan Part of Speech Tagging (POS Tagging) untuk mengidentifikasi jenis kata (kata kerja, kata benda, kata sifat, dan sebagainya), agar kinerja sistem dapat ditingkatkan walau menggunakan dokumen yang kompleks, - Membuat kamus otomatis agar hasil yang dicapai lebih objektif, - Membuat WordMatch yang tidak hanya simple matching, misalnya dengan ukuran kesamaan, - Menyempurnakan kinerja sistem misalnya dengan melakukan ekspansi kueri. DAFTAR PUSTAKA Anggraeny M Implementasi Question Answering System dengan Metode Rule- Based pada Terjemahan Al-Qur an Surat Al-baqarah [skripsi]. Bogor. Fakultas Matematika dan Ilmu Pengetahuan Alam. Institut Pertanian Bogor. Baeza-Yates R, Ribeiro-Neto B Modern Information Retrieval. Addison- Wesley. Ballesteros, L. A, Xiaoyan-Li Heuristic and Syntactic Scoring for Cross-language Question Answering NTCIR-6 Workshop Meeeting. Grossman D. IR Book. _book/ [12 Februari 2008]. Ikhsani N Implementasi Question Answering System dengan Metode Rule- Based untuk Temu Kembali Informasi Berbahasa Indonesia [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Krishnawati H, dkk Bahasa Indonesia. Bogor: Institut Pertanian Bogor Lin J An Introduction to Information Retrieval and Question Aswering. College of Information Studies University of Maryland. Porter M The Porter Stemming Algorithm. mmer/ index-old/ [12 Februari 2008]. Ridha A Pengindeksan Otomatis dengan istilah Tunggal untuk Dokumen Berbahasa Indonesia [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Riloff E, Thelen M A Rule-based Question Answering System for Reading Comprehension Tests. ANLP/NAACL Workshop on Reading Comprehension Tests as Evaluation for Computer-Based Language Understanding System.

21 LAMPIRAN

22 13 Lampiran 1 Relevance Judgement Tipe Pertanyaan KAPAN Kalimat yang 1 Kapan panen gagal? 2 Kapan merebak flu burung? Tahun lalu kekeringan telah menyebabkan gagal panen di beberapa tempat, yang mengharuskan Indonesia mengimpor beras satu juta ton lebih. Jambi - Dalam kurun waktu satu tahun terakhir ini tercatat 643,13 hektar lahan pertanian rusak akibat banjir, 356,5 hektar tanaman padi gagal panen, dan 286,63 hektar diantaranya mengalami puso. Di balik berita kekeringan dan gagal panen yang dialami ribuan petani Indonesia akhir-akhir ini, sejatinya tersimpan tragedi yang jauh lebih dalam dan tragis. Pada bagian lain diperoleh keterangan, tanaman padi seluas hektare di Jawa Tengah sejak awal tahun ini hingga 17 Februari 2004 puso atau gagal panen akibat terlanda banjir karena hujan terus-menerus di daerah ini. Karena hanya dalam waktu kurang dari enam bulan, bencana ini telah membuat puluhan ribu hektar sawah dan empang gagal panen. Mawardi di Sampit, Selasa mengatakan sebanyak 17 ribu ekor ayam ras yang mati diduga terserang flu burung itu sejak Desember Pakistan pertama kali terserang flu burung pada "Saya mendengar sejak akhir Juli, flu burung sudah terdeteksi di Medan," kata Ketua Pusat Informasi Unggas Indonesia, drh. Hartono, kepada Rini Anggraini dari GATRA. mediaindonesia indosiar kompas suarakarya indosiar gatra gatra300104

23 14 Lampiran 1 Lanjutan Tipe Pertanyaan KAPAN Kalimat yang 3 Kapan bencana kekeringan? Ini teramati pertama kali pada serangan virus flu burung di Hong Kong tahun Kasus serangan flu burung pada manusia paling anyar terjadi Januari ini, ketika tes laboratorium di Vietnam Utara menyimpulkan, H5N1 telah menelan enam nyawa. Pertengahan Desember, ada anggota tim yang mengatakan virus itu AI, tapi ada juga yang menyebut flu burung. Bencana kekeringan selama musim kemarau hingga pertengahan tahun 2003 juga Banyumas - Musim kemarau yang akan terjadi pada pertengahan bulan Juni mendatang akan mengakibatkan sekitar hektare lahan pertanian di Kabupaten Banyumas, Jateng mengalami kekeringan. Bencana kekeringan tahun ini yang melanda hampir diseluruh Pulau Jawa, meski dinilai masih normal, namun cukup membuat masyarakat terutama petani waswas. Sementara itu, menurut Sutarto luas areal persawahan yang terkena bencana kekeringan pada tahun ini lebih rendah jika dibandingkan periode yang sama Selama Januari-Mei 2004 bencana kekeringan melanda lahan pertanian hingga seluas 12. BELUM hilang dari ingatan masyarakat, bencana kekeringan pada 2002 yang memukul sebagian besar sentra produksi tanaman pangan dan daerah marginal di Indonesia. gatra indosiar indosiar indosiar mediaindonesia mediaindonesia160603

24 15 Lampiran 1 Lanjutan Tipe Pertanyaan KAPAN Kalimat yang Tahun lalu kekeringan telah menyebabkan gagal panen di beberapa tempat, yang mengharuskan Indonesia mengimpor beras satu juta ton lebih. Sejak masa pemerintah kolonial, catatan panjang yang dihimpun Quinn dkk (1978) untuk periode menunjukkan 93% bencana kekeringan di Indonesia memang terjadi pada masa El Nino. Di era modern kini, Indonesia pernah terkena dampak paling buruk dari bencana El Nino Southern Oscillation (ENSO) itu pada 1997/1998 dan 1992/1993, berupa kekeringan amat hebat dan penurunan produksi lebih dari 30%. Bencana kekeringan terparah terjadi pada Oktober 2002 yang melanda 40. Di balik berita kekeringan dan gagal panen yang dialami ribuan petani Indonesia akhir-akhir ini, sejatinya tersimpan tragedi yang jauh lebih dalam dan tragis. Jumlah ini mengalami peningkatan yang cukup menonjol, karena dua pekan sebelumnya, lahan yang terkena kekeringan hektare. Menurut Dedi, ancaman kekeringan itu, muncul saat perkiraan kemarau panjang tahun ini, menjadi kenyataan 4 Kapan terjadi banjir? Selama musim hujan 2002/2003 diperkirakan hektar (ha) areal persawahan di tanah air mengalami rusak berat (puso) akibat bencana banjir. Sedangkan berdasarkan waktunya, tambahnya, kerusakan berat akibat banjir terjadi selama Januari mediaindonesia gatra Kompas mediaindonesia republika gatra070203

25 16 Lampiran 1 Lanjutan Tipe Pertanyaan KAPAN Kalimat yang Menyinggung potensi kehilangan hasil akibat bencana banjir selama MH 2002/2003, Sutarto menyatakan, diperkirakan dari luas areal yang terkena serangan lebih kurang 80. Menurut Sutarto, meskipun secara prosentase areal persawahan yang mengalami kerusakan berat akibat bencana banjir selama MH 2002/2003 relatif kecil namun pemerintah tetap mengupayakan berbagai langkah antisipasi. gatra Jambi - Dalam kurun waktu satu tahun terakhir ini tercatat 643,13 hektar lahan pertanian rusak akibat banjir, 356,5 hektar tanaman padi gagal panen, dan 286,63 hektar diantaranya mengalami puso. indosiar Bencana banjir yang terjadi di Provinsi Jambi sejak 10 April hingga vember 2003, telah mengakibatkan kerusakan tananam padi seluas 643,13 hektar, dengan kerugian mencapai 1 milyar rupiah. Jumlah area pertanaman padi musim tanam 2002/2003 yang terkena banjir hingga 11 Februari 2003 mencapai hektare. Sementara itu, Menteri Pertanian (Mentan) Bungaran Saragih mengakui, banjir yang terjadi pada tahun ini relatif masih kecil jika dibandingkan pada tahun 2002 lalu. mediaindonesia Menyinggung potensi kehilangan hasil akibat bencana banjir selama musim hujan 2002/2003, Sutarto mengatakan, diperkirakan dari luas areal yang terkena serangan lebih kurang ton sedangkan untuk sawah yang puso sekitar ton.

26 17 Lampiran 1 Lanjutan Tipe Pertanyaan KAPAN Kalimat yang Departemen Pertanian memperkirakan selama musim hujan (MH) 2003/2004 hampir 50 ribu hektar (ha) sawah tanaman padi mengalami rusak berat atau puso akibat banjir. Menurut dia, meskipun luas areal pertanaman yang tergenang banjir maupun puso tahun ini meningkat dibanding MH 2002/2003, namun hal itu tidak menurunkan target produksi padi secara nasional untuk Selain Kabupaten Karawang, menurut Jafar, selama MH 2003/2004 areal persawahan di wilayah lain di Jawa Barat, khususnya kawasan Pantai Utara (Pantura) yang terkena banjir yakni Indramayu, Subang dan Bekasi. suarakarya Dirjen Bina Produksi Tanaman Pangan Deptan, Jafar Hafsah di Kabupaten Karawang Jawa Barat, Jumat, menyatakan secara keseluruhan selama MH 2003/2003 atau dari Oktober 2003-Februari 2004 areal sawah yang tergenang banjir mencapai 197 "Luas areal yang terkena banjir maupun puso tahun ini memang meningkat dibanding tahun lalu karena intensitas curah hujang yang lebih tinggi," katanya ketika meninjau areal persawahan yang terkena banjir di Kabupaten Karawang 138 hektare di Jawa Tengah sejak awal tahun ini hingga 17 Februari 2004 puso atau gagal panen akibat terlanda banjir karena hujan terus-menerus di daerah ini