HASIL DAN PEMBAHASAN. Menggunakan nilai Mean Reciprocal Rank (MRR) untuk melihat kinerja sistem dalam mengambil passage yang relevan.

Transkripsi

1 4 dan Thelen (2000) karena disesuaikan terhadap kaidah bahasa Indonesia. Rule yang dibuat Sianturi (2008) dan digunakan oleh Sanur (2011) memiliki notasi S sebagai sentence atau passage serta Q sebagai kueri. Contohnya adalah: 1 SIAPA 2 Score(S) += WordMatch(Q,S) 3 If ~contains(q, {NAME, ORGANIZATION}) and contains (Q, {NAME, ORGANIZATION}) 4 then score(s) += slam_dunk 1 KAPAN 2 Score(S) += WordMatch(Q,S)) 3 If contains(s, {DATE, TIME} and contains (S,{saat,ketika,kala,semenjak,sejak, waktu, setelah, sebelum}) 4 then Score(S) += slam_dunk 5 If contains(s, {DATE, TIME}) then Score(S) += good_clue 6 If contains(s,{saat, ketika, kala, semenjak, sejak, waktu, setelah, sebelum}) then Score(S) +=clue 1 DI MANA 2 Score(S) += WordMatch(Q,S) 3 If contains(s, LOCATION) and contains (S,{dalam,dari, pada}) then Score(S) += slam_dunk 4 If contains(s, LOCATION) then Score(S) += good_clue 5 If contains(s,{dalam, dari, pada}) then Score(S) += clue Menggunakan nilai Mean Reciprocal Rank (MRR) untuk melihat kinerja sistem dalam mengambil passage yang relevan. Lingkungan Pengembangan Lingkungan pengembangan yang digunakan pada penelitian ini adalah: Prosesor Intel Core i5 2500K 3.3 GHz. RAM 4 GB DDR3. Windows 7 64 bit. Harddisk 2 TB. HASIL DAN PEMBAHASAN Pemrosesan Dokumen Dokumen yang terkumpul diberikan penamaan entitas (tagging) menggunakan hasil penelitian Citraningputra (2009). Hal ini diperlukan sebagai penanda entitas jawaban sesuai dengan pertanyaan yang diberikan. Entitas yang digunakan dalam tagging ialah NAME, ORGANIZATION, DATE, TIME, NUMBER, CURRENCY, dan LOCATION. Kata yang terdeteksi oleh aplikasi tagging akan diapit oleh notasi <TAG> sesuai dengan jenis entitas katanya. Sebagai contoh jika terdapat entitas tanggal seperti 1998, setelah diproses oleh aplikasi hasil penelitian Citraningputra akan menjadi <DATE>1988</DATE>. 1 BERAPA 2 Score(S) +=WordMatch (Q,S) 3 If contains(q, {NUMBER, CURRENCY})and contains (S, {NUMBER, CURRENCY}) then Score(S) += slam_dunk 4 If contains(s, {NUMBER, CURRENCY})then Score(S) += confident Ekstraksi Jawaban Proses ekstraksi jawaban akan mengolah top passage untuk mendapatkan entitas jawaban. Entitas jawaban dihitung dengan mencari selisih jarak entitas dengan semua kueri. Entitas yang memiliki jarak terpendek menjadi entitas jawaban. Evaluasi Hasil Percobaan Tahap evaluasi dilakukan secara objektif dengan cara: Membandingkan jawaban dengan hasil penelitian milik Sanur (2011). Membandingkan dua metode retrieval BM25 dan Proximity yang tersedia pada Sphinx. Pembentukan Passage Pembentukan passage dilakukan menggunakan dua metode. Metode pertama membentuk passage sebelum indexing dan metode kedua membentuk passage sesudah indexing. Passage dibentuk berdasarkan jumlah kata dan kalimat serta sifat overlapping dan non-overlapping. Semua kombinasi jenis passage dilakukan untuk mendapatkan jenis passage yang terbaik. Penentuan jenis passage dapat dilihat di antarmuka pada Lampiran 1. Dokumen tersebut akan dipecah menjadi passage berdasarkan jenisnya. Untuk jenis overlapping passage dua kalimat, passage pertama berisi kalimat pertama dan kedua. Passage kedua berisi kalimat kedua dan ketiga. Kalimat kedua terdapat pada passage pertama dan kedua karena menggunakan tipe overlapping passage. Jika yang digunakan adalah non- overlapping passage, kalimat kedua hanya berada pada passage pertama saja. Passage yang sudah terbentuk akan diproses lebih lanjut untuk mendapatkan entitas jawaban sesuai dengan tipe pertanyaannya. Berikut adalah pembentukan overlapping passage

2 5 menggunakan dua kalimat. Semua informasi dokumen pada passage yang berada dalam satu dokumen memiliki isi yang sama kecuali bagian content. Bagian content adalah bagian yang akan dibentuk passage untuk proses ekstraksi jawaban. Sebagai contohnya dokumen awal sebagai berikut: 5 <content>kuala LUMPUR - Menteri Luar Negeri (Menlu) Australia Alexander Downer menegaskan, kapasitas kelompok militan Asia berhubungan dengan jaringan Al- Qaeda bisa berkembang baik dan walaupun jumlah mereka tidak bertambah. Sikap ekstremisme mereka merupakan suatu ancaman. "Ini merupakan suatu masalah besar bagi kawasan ini," ujar Menlu Downer di sela-sela pertemuan Forum Ekonomi Dunia di Kuala Lumpur, Senin,7/10. Passage pertama: 5 <content>kuala LUMPUR - Menteri Luar Negeri (Menlu) Australia Alexander Downer menegaskan, kapasitas kelompok militan Asia berhubungan dengan jaringan Al- Qaeda bisa berkembang baik dan walaupun jumlah mereka tidak bertambah. Sikap ekstremisme mereka merupakan suatu ancaman. Passage kedua: 5 <content> Sikap ekstremisme mereka merupakan suatu ancaman. "Ini merupakan suatu masalah besar bagi kawasan ini," ujar Menlu Downer di sela-sela pertemuan Forum Ekonomi Dunia di Kuala Lumpur, Senin,7/10. Terdapat juga passage yang dibentuk menggunakan jumlah kata. Berikut adalah contoh overlapping passage yang menggunakan jumlah 30 kata pada dokumen yang sama. Passage pertama: 5 <content>kuala LUMPUR - Menteri Luar Negeri (Menlu) Australia Alexander Downer menegaskan, kapasitas kelompok militan Asia berhubungan dengan jaringan Al- Qaeda bisa berkembang baik dan walaupun jumlah mereka tidak bertambah. Sikap ekstremisme Passage kedua: 5 <content> mereka merupakan suatu ancaman. "Ini merupakan suatu masalah besar bagi kawasan ini," ujar Menlu Downer di sela-sela pertemuan Forum Ekonomi Dunia di Kuala Lumpur, Senin,7/10. Pemrosesan kueri Jenis pertanyaan yang digunakan dalam penelitian ini adalah SIAPA, KAPAN, BERAPA, dan DI MANA. Untuk setiap tipe pertanyaan diberikan sepuluh macam pertanyaan. Lampiran 2 untuk daftar pertanyaan Siapa, Lampiran 3 untuk daftar pertanyaan Kapan, Lampiran 4 untuk daftar pertanyaan Di mana, dan Lampiran 5 untuk daftar pertanyaan Berapa. Untuk menentukan tipe

3 6 pertanyaannya, kalimat tanya akan dilakukan proses parsing. Proses ini memisah kalimat menjadi kata-kata yang disimpan dalam sebuah array. Kata dengan indeks ke-0 akan menentukan jenis pertanyaannya. Jenis pertanyaan ini akan menentukan tag entitas yang akan dicari saat menentukan jawaban pertanyaan seperti pada Tabel 1. Contohnya untuk kueri Kapan dilakukan penelitian di rumah kaca Balittro?. Kata Kapan akan ditempatkan pada indeks ke-0. Kata tersebut menentukan jenis target entitas jawabannya. Kata Kapan berdasarkan Tabel 1 merujuk pada tag <DATE> dan <TIME> sehingga entitas dengan tag tersebut yang akan dicari dalam passage. Sisa kata akan ditempatkan pada indeks selanjutnya. Kata penelitian, rumah, kaca dan balittro akan ditempatkan berurutan dalam indeks array. Kata dilakukan dan kata di tidak termasuk kueri karena dianggap sebagai stopwords. Semua kata akan diubah ke huruf kecil untuk normalisasi saat pencarian. Semua kata pada array, kecuali kata pertama, akan menjadi kueri untuk mendapatkan dokumen atau passage yang relevan. Perolehan Top Passage Proses retrieval pada penelitian ini menggunakan dua metode yang telah tersedia pada Sphinx, yaitu BM25 dan Proximity. BM25 menggunakan metode statistik, sedangkan Proximity menggunakan metode dengan memeriksa urutan kata pada dokumen atau passage berdasarkan kueri. Contoh ialah kueri Siapa Marty Natalegawa?. Kata Marty dan Natalegawa akan menjadi kueri. Pada retrieval yang menggunakan BM25, setiap kata dicari bobotnya untuk masing-masing dokumen. Setiap bobot kueri pada dokumen dijumlahkan untuk mendapatkan bobot keseluruhan untuk dokumen. Bobot tersebut setelah dinormalisasi nilainya dikalikan berdasarkan bobot setiap field untuk meranking dokumennya. Proses perhitungannya dapat dilihat pada Tabel 2. Nilai BM25 final adalah nilai bobot terakhir dokumen terhadap kueri. Setelah itu, bobot tersebut di-ranking berdasarkan mode yang ditelah ditentukan pada konfigurasi Sphinx. Penelitian ini menggunakan mode SPH_RANK_BM25 yang menggunakan rumus: 1 field_weights = 0 2 foreach (field in matching_fields){ 3 field_weights += user_weight(field)} 4 weight = field_weights* integer(doc_bm25*999) Tabel 2 Contoh proses perhitungan BM25 Variabel / Kueri Marty Natalegawa n N k idf tf BM25 (awal) BM BM25 Final FIELD_WEIGHT adalah field yang mengandung kueri. Kata Marty Natalegawa hanya terdapat pada field CONTENT, sehingga nilai FIELD_WEIGHT ialah 1. Bobot yang memiliki nilai tertinggi untuk kueri Siapa Marty Natalegawa ialah dokumen republika txt dengan nilai bobot Metode yang menggunakan Proximity dilihat urutan katanya untuk semua dokumen atau passage yang mengandung kueri. Sebagai contoh, untuk kueri Di mana terjadi masalah sempitnya lahan pertanian, inefisiensi, produktivitas rendah, dan fluktuasi harga produk pertanian?, kata yang menjadi kueri setelah dihilangkan stopwords-nya ialah masalah, sempitnya, lahan, pertanian, inefisiensi, produktivitas, fluktuasi, harga, produk. Dari kueri tersebut, dokumen kompas txt memiliki bobot 5 karena di dalam dokumen terdapat kalimat yang cocok dengan kueri secara berurutan, yaitu sempitnya lahan pertanian, inefisiensi, produktivitas. Proses retrieval di atas tidak memperhatikan passage yang memiliki target entitas jawaban. Passage yang relevan tidak semuanya mengandung entitas jawaban. Passage tersebut disaring berdasarkan entitas jawaban yang diperlukan sesuai jenis pertanyaannya. Jika pertanyaannya adalah Kapan, entitas yang dibutuhkan adalah tag <DATE> dan tag <TIME>. Passage yang tidak memiliki entitas jawaban tidak akan masuk ke proses selanjutnya. Sistem akan mencari passage yang hanya memiliki tag sesuai dengan tipe pertanyaan. Setelah terkumpul passage yang memiliki calon entitas jawaban, dilakukan proses pembobotan passage untuk menentukan passage yang memiliki kemungkinan tertinggi memiliki jawaban.

4 7 Pembobotan Rule Based Pembobotan Rule Based mengacu pada rule yang terdapat dalam Riloff dan Thelen (2000) serta penelitian Sianturi (2008) dan Sanur (2011). Terdapat dua fungsi yang digunakan dalam pembobotan Rule Based yaitu wordmatch dan contain. WordMatch adalah nilai banyaknya kata yang sama pada kueri dalam passage. Algoritme WordMatch dilakukan dengan cara menghitung banyaknya semua token kueri pada setiap passage. Hasilnya disimpan dalam variabel WordMatch. Contain adalah nilai pembobotan berdasarkan kata pada passage yang mencirikan passage tersebut sesuai jenis target entitasnya. Nilai bobot passage yang memiliki kata yang terdapat dalam daftar kamus HUMAN, akan bertambah. Kamus terdiri atas empat macam sesuai dengan banyaknya tipe pertanyaan yang ada dalam penelitian. Berikut adalah contoh algoritme rule-based yang digunakan sebagai acuan dalam penelitian ini untuk jenis pertanyaan KAPAN : 1 KAPAN 2 Score(S) += WordMatch(Q,S)){ 3 If contains(s, {DATE, TIME} and contains (S,{saat,ketika,kala,semenjak,sejak, waktu, setelah, sebelum}) then Score(S) += slam_dunk 4 If contains(s, {DATE, TIME}) then Score(S) += good_clue 5 If contains(s,{saat, ketika, kala, semenjak, sejak, waktu, setelah, sebelum}) then Score(S) += good_clue Fungsi dan notasi yang digunakan dalam rules tersebut adalah: Notasi S = sentence (kalimat dokumen / passage). Notasi Q = query (kalimat kueri). Fungsi contains adalah fungsi untuk memeriksa kata dalam passage apakah memiliki kata dalam kamus atau tidak. Fungsi WordMatch adalah fungsi untuk menghitung frekuensi kueri pada dokumen. Fungsi score adalah fungsi penjumlahan nilai bobot pada passage. Setelah diperoleh nilai dari Wordmatch dan pembobotan rule-based, bobot setiap passage dihitung. Passage yang memiliki bobot terbesar akan menjadi top passage. Sebagai contoh, dari kueri Kapan dilakukan penelitian di rumah kaca Balittro? diperoleh 10 passage dari 3 dokumen teratas dan yang menjadi top passage adalah passage dengan id ke-8 dari dokumen wartapenelitian txt. Isi passage tersebut adalah: Untuk itu telah dilakukan penelitian di rumah kaca Balittro Bogor pada tahun 1997/1998 dan dilanjutkan penelitian di lapang di IP Sukamulya (Sukabumi) pada tahun 1998/1999. Pada percobaan rumah kaca, tujuh jenis bakteri antagonis baik secara sendirisendiri maupun gabungan yang diformulasikan dalam suatu pembawa, yaitu bakteri antagonis P. Passage tersebut memiliki 2 kata penelitian, 2 kata rumah, 2 kata kaca, dan 1 kata balittro sehingga score wordmatch-nya ialah 7. Langkah selanjutnya adalah memeriksa kata pada kueri dengan kata dalam passage yang terdapat dalam kamus DATE & TIME. Kamus DATE & TIME ditentukan secara manual. Semakin rinci isi kamus DATE & TIME, kemungkinan mendapatkan passage yang relevan semakin besar. Kamus DATE & TIME berupa file.txt yang berisi kata-kata yang mengandung DATE & TIME. Contohnya januari, senin, tahun, dan bulan. Dalam contoh ini, kamus DATE & TIME dan passage memiliki kata tahun sehingga score bertambah 4 karena salah satu syarat dalam rule dan mengakibatkan penambahan nilai variabel good_clue pada total bobot passage sehingga jumlah bobot passage menjadi 11. Dari 10 passage yang relevan, passage ini memiliki bobot paling tinggi sehingga menjadi top passage. Ekstraksi Jawaban Ekstraksi jawaban dilakukan setelah sistem mendapatkan top passage. Top passage akan dipecah menjadi kata-kata, kecuali entitas yang memiliki tag, maka pemecahannya berdasarkan tag. Hasil pemisahan tersebut disimpan dalam sebuah array untuk dihitung jarak antara entitas kueri dan entitas jawaban. Sebagai contoh, dari kueri Kapan dilakukan penelitian di rumah kaca Balittro? diperoleh 10 passage dari 3 dokumen teratas dan yang menjadi top passage ialah passage dengan id ke-8 dari dokumen wartapenelitian txt. Sistem akan mencari kandidat jawaban sesuai dengan tipe pertanyaannya. Untuk contoh ini tipe pertanyaan adalah KAPAN, sehingga tipe entitas yang dicari adalah entitas <DATE> dan <TIME>. Dari top passage, terdapat dua buah entitas yang bertipe tersebut, yaitu: [DATE]1997/1998[/DATE] [DATE]1998/1999[/DATE]

5 8 1997/1998 memiliki nilai paling rendah (1.57) sehingga kata tersebut menjadi jawaban. Gambar 5 Kinerja passage terbaik mode BM25. Gambar 6 Kinerja passage terbaik mode Proximity. Kandidat tersebut akan dihitung jaraknya dengan kueri yang terdapat dalam passage. Kueri dalam pertanyaan ini ialah kata penelitian, rumah, kaca, dan balittro sehingga kata tersebut menjadi acuan untuk mencari selisih jarak dengan kandidat jawaban. Kandidat jawaban dalam contoh ini adalah entitas dengan indeks array nomor 12 dan 24. Dihitunglah jarak untuk masing-masing entitas jawaban terhadap entitas kueri yang berada dalam passage. Jarak yang terkecil akan menjadi jawabannya. Kandidat jawaban Hasil Percobaan Hasil percobaan dilakukan dengan membandingkan hasil penelitian yang didapat dari hasil penelitian Sanur (2011) dengan menggunakan dua metode retrieval pada sphinx, yaitu BM25 dan Proximity. Perbandingan dilakukan dengan melihat ketepatan jawaban yang ditemukembalikan dengan menggunakan pembobotan rule-based dan 10 dokumen atau passage teratas. Dokumen yang digunakan dalam penelitian ini berjumlah 1000 dokumen dan menggunakan 40 kueri dengan 10 kueri untuk masing-masing jenis pertanyaannya. Semua pertanyaan dicoba ke semua kombinasi jenis passage. Setiap hasil pertanyaan dicatat ke dalam tabel dan dikoreksi apakah jawaban right, wrong, unsupported, atau null. Perbandingan kinerja passage terbaik menggunakan mode retrieval BM25 dapat dilihat pada Gambar 5 dan lebih jelasnya pada Lampiran 6. Perbandingan kinerja passage terbaik untuk mode retrieval Proximity dapat dilihat pada Gambar 6 dan lebih jelasnya pada Lampiran 7. Gambar 5 dan Gambar 6 adalah banyaknya jawaban yang berhasil dijawab dengan benar berdasarkan jenis pertanyaan Siapa, Kapan, Di mana, dan Berapa. Untuk setiap jenis pertanyaan, diberikan 10 pertanyaan yang berbeda. Passage yang memiliki nilai terbaik pada mode BM25 kinerjanya mencapai 80%, yaitu 20 kata overlap dan yang mencapai 77.5% yaitu 30 kata overlap dengan anggapan satu tag adalah satu kata. Untuk mode Proximity, kinerjanya mencapai 77.5% untuk overlapping passage dua kalimat, nonoverlapping dua kalimat, dan overlapping 20 kata dengan satu tag satu kata. Semua passage tersebut dibentuk setelah proses indexing. Passage yang menggunakan Proximity memiliki kinerja yang lebih baik pada pertanyaan Siapa dan Kapan. Pada Gambar 5, terlihat tiga passage terbaik untuk mode proximity dapat menjawab semua pertanyaan dengan benar. Hanya overlapping passage 20 kata satu tag satu kata saja yang salah menjawab satu pertanyaan untuk tipe pertanyaan Siapa, sedangkan passage yang menggunakan mode BM25 memiliki kinerja yang baik pada tipe pertanyaan Di mana. Passage dengan kinerja terbaik untuk mode BM25 dapat menjawab semua pertanyaan dengan benar untuk tipe pertanyaan Di mana. Hanya overlapping passage dua kalimat saja

6 9 yang tidak menjawab semua pertanyaan dengan benar. Tipe pertanyaan Berapa kinerja kedua mode memiliki hasil yang tidak baik. Hal ini disebabkan tag NUMBER banyak digunakan tidak hanya sebagai kata, tetapi juga sebagai penulisan jika ingin menyebutkan sesuatu berdasarkan urutan. Hal ini mengakibatkan banyaknya tag NUMBER yang bukan entitas jawaban. Semakin banyak target entitas yang terambil, kinerja pengukuran kedekatan jarak dengan kueri akan semakin berkurang. Ada beberapa pertanyaan yang hanya dapat dijawab oleh passage tertentu. Faktor-faktor yang memengaruhi hasil ekstraksi jawaban pada sistem ini adalah relevansi passage yang terambil, jarak antara kandidat jawaban dengan kueri, dan terpotongnya kata pada tag untuk jenis passage yang berdasarkan jumlah kata. Faktor terpotongnya jumlah kata dapat diatasi dengan cara menganggap satu tag sebagai satu kata. Teknik tersebut membuat kandidat entitas jawaban dalam tag tidak terpotong oleh banyaknya kata pada passage yang dibentuk berdasarkan jumlah kata. Contoh untuk Tabel 3 Perbandingan pertanyaan yang memiliki jawaban yang berbeda Pertanya an/ Jenis passage Siapa menteri pertanian? Siapa Marty Natalega wa? Di mana pengolaha n sagu skala industri berkemba ng? Di mana terjadi penuruna n produksi tanaman tembakau? Berapa luas areal sagu Dunia? 50 kata overlapping passage A Hatta Radjasa Departemen Luar Negeri Republik Indo-nesia NULL Nanggro Aceh Darussa-lam Juta ha 2 kalimat overlapping passage B Hatta Radjasa Departemen Luar Negeri Republik Indonesia Maluku dan Irian Jaya Sumatra 2 kalimat nonoverlapping passage C Hatta Radjasa KBRI Maluku dan Irian Jaya Sumatra 5 5 mengetahui jenis kasus pertanyaan beserta faktor yang memengaruhi ektstraksi jawaban pada sistem dapat dilihat pada Tabel 3. Pada pertanyaan Siapa menteri pertanian? passage A, B, dan C memiliki jawaban yang salah karena entitas jawaban yang benar memiliki jarak yang jauh. Entitas jawaban yang salah memiliki jarak terdekat dengan kueri sehingga entitas jawaban yang terambil adalah jawaban yang salah. Sebagai contoh pada passage A terdapat tujuh entitas jawaban beserta nomor indeks katanya, yaitu: [0] => [NAME]Megawati Soekarnoputri[/NAME] (2) [1] => [NAME]Taufik Kiemas[/NAME] (3) [2] => [NAME]Taufik Kiemas[/NAME] (26) [3] => [NAME]Hatta Radjasa[/NAME] (30) [4] => [NAME]Rini Suwandi[/NAME] (32) [5] => [NAME]Prakosa[/NAME] (34) [6] => [NAME]Rokhmin Dahuri[/NAME] (39) [7] =>[NAME]Bungaran Saragih[/NAME](43) Top passage memiliki lima kata yang sama dengan kueri. Kata-kata tersebut berada pada indeks ke: 6, 23, 35, 41, dan 42. Dari indeks kata tersebut, dihitung jaraknya terhadap entitas kandidat jawaban berdasarkan nomor indeks array-nya. Setelah dihitung, ketujuh entitas tersebut memiliki nilai jarak dengan rata-rata: [0] => 27.4 [1] => 26.4 [2] => 3.4 [3] => 0.6 [4] => 2.6 [5] => 4.6 [6] => 9.6 [7] => 13.6 Nilai yang terkecil dimiliki oleh entitas jawaban dengan indeks ke-3, yaitu Hatta Radjasa. Hal ini yang menyebabkan jawaban pertanyaan pada passage A salah. Hasil ini menjelaskan bahwa jarak entitas kandidat jawaban terhadap kueri adalah faktor yang memengaruhi ekstraksi jawaban. Pada pertanyaan Siapa Marty Natalegawa?, passage C memiliki jawaban yang salah karena passage yang ditemukembalikan memang tidak relevan terhadap pertanyaan. Sama seperti pertanyaan Di mana terjadi penurunan produksi tanaman tembakau? dan Berapa luas areal sagu Dunia?, top passage yang diperoleh oleh passage B dan passage C adalah passage yang