Lingkungan Pengembangan HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian Pengolahan Query

Transkripsi

1 5 Lingkungan Pengembangan Perangkat lunak yang digunakan dalam penelitian ialah: Sistem Operasi Windows 7. Sphinx Search. XAMPP versi Named Entity Tagger bahasa Indonesia. Perangkat keras yang digunakan dalam penelitian ini ialah: Prosesor AMD C50 (2 CPU) 1.0 GHz. RAM 2 GB. Hard disk 300 GB. HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian Dokumen uji yang digunakan merupakan koleksi 100 buah dokumen berita sambung jaring (online news) yang memiliki jangka terbit tahun Topik dokumen meliputi politik, pertanian dan berita olahraga. Dokumen berita sambung jaring dipilih karena mengandung informasi temporal. Setiap dokumen memiliki struktur XML yang sama berupa tag dengan berbagai fungsi. Pada baris pertama terdapat tag DOC yang berfungsi membedakan satu dokumen dengan dokumen lainnya, diikuti tag DOCNO, AUTHOR, TITLE, PUBLISHED, dan TEXT, yang masingmasing menunjukkan nama dokumen, penulis dokumen, judul dokumen, waktu dokumen diterbitkan, dan isi dokumen. Sebagai contoh: 1 <DOC> 2 <DOCNO>detiknews </DOCNO> 3 <AUTHOR> Indra Subagja detiknews </AUTHOR> 4 <TITLE> Mentan Suswono Siap Bantu Tingkatkan Kesejahteraan Petani</TITLE> 5 <PUBLISHED>2009/10/21 23:44 </PUBLISHED> 6 <TEXT>Jakarta - Menteri Pertanian Suswono </TEXT> 7 </DOC> Dokumen-dokumen berstruktur XML diberi tag kemudian ditempatkan ke dalam berkas tunggal dan disesuaikan mengikuti struktur XML varian Sphinx dengan menambahkan elemen <sphinx:document> (Aksyonoff 2011). Proses tagging dilakukan terhadap entitas penamaan (named entity) pada dokumen uji menggunakan Named Entity Tagger bahasa Indonesia hasil penelitian Citraningputra (2009). Tag yang digunakan terdiri atas NAME, ORGANIZATION, LOCATION, DATE, TIME, NUMBER, dan CURRENCY. Perlakuan khusus diberikan pada tag DATE dan TIME, yaitu dengan menyesuaikan penamaan secara manual dengan temporal tagging pada penelitian Mani dan Wilson (2000), serta pada tag NUMBER dengan memberikan tag pada lambang bilangan yang dinyatakan dengan huruf. Tag entitas penamaan digunakan untuk proses perolehan kandidat jawaban sesuai dengan jenis pertanyaan. Berkas tunggal yang berisi kumpulan dokumen ditempatkan ke sebuah direktori khusus untuk diolah lebih lanjut. Berikut ini merupakan contoh potongan dokumen pada berkas tunggal yang telah dilakukan proses tagging: 1 <sphinx:document id="3"> 2 <docno> detiknews txt </docno> 3 <author> Indra Subagja-detikNew </author> 4 <title> Mentan Suswono Siap Bantu Tingkatkan Kesejahteraan Petani </title> 5 <published>2009/10/21 23:44 </published> 6 <content> Jakarta - Menteri Pertanian (Mentan) [NAME]Suswono[/NAME] </content> 7 </sphinx:document> Pengolahan Query Query yang digunakan pada penelitian ini berupa bahasa alami berbentuk kalimat yang diawali dengan kata tanya dan diakhiri dengan tanda tanya (?), dengan setiap kata penyusun dipisahkan oleh whitespace atau spasi. Kata tanya yang digunakan pada penelitian ini dibatasi pada siapa, kapan, di mana, dan berapa. Total query pertanyaan yang digunakan ialah 80 query, dengan 5 query pertanyaan untuk 4 jenis pertanyaan temporal dari setiap kata tanya yang disusun mengikuti isi serta susunan kalimat pada dokumen acuan (Lampiran 1-4). Query kemudian didekomposisi untuk mendapatkan bentuk pertanyaan yang lebih sederhana. Dekomposisi terdiri atas 3 tahap, yaitu identifikasi dan normalisasi ekspresi temporal, identifikasi tipe pertanyaan, dan pemenggalan pertanyaan (question splitting). Identifikasi dan normalisasi ekspresi temporal berfungsi untuk mendapatkan ekspresi temporal yang terdapat dalam query dan menormalisasinya menjadi bentuk yang eksplisit. Proses normalisasi menghasilkan bentuk ekspresi temporal yang dapat dipahami sesuai format baku numerik tanggal atau periode, yaitu YYYY/MM/DD. Ekspresi temporal diawali dengan 4 digit tahun Y, 2 digit bulan M, dan diakhiri 2 digit hari D, masing-masing dipisahkan dengan garis miring (/) seperti yang ditunjukkan pada Tabel 3.

2 6 Tabel 3 Contoh normalisasi ekspresi temporal Ekspresi Normalisasi Value 1 Value /01/ /12/31 17 Agustus /08/17 Null 90-an 1990/01/ /12/31 abad ke /01/ /12/31 Identifikasi tipe pertanyaan bertujuan mengelompokkan query menjadi 4 tipe pertanyaan dengan menyadur taksonomi pertanyaan temporal Saquete et al. (2009), yaitu: 1 Kejadian tunggal (single event) tanpa ekspresi temporal. Pertanyaan jenis ini dibentuk oleh kejadian tunggal dan dapat dipecahkan secara langsung dengan Question Answering System. Contohnya Kapan diadakan Pemilihan Presiden?. 2 Kejadian tunggal dengan ekspresi temporal. Pertanyaan kejadian tunggal tetapi terdapat satu atau beberapa ekspresi temporal yang perlu dianalisis. Sebagai contoh, pertanyaan Siapa yang memenangkan Pemilihan Presiden pada tahun 2004? memiliki ekspresi temporal tahun Kejadian jamak (multi-event) tanpa ekspresi temporal. Pertanyaan yang terdiri dari dua atau lebih kejadian yang terhubung dengan sebuah temporal signal. Signal tersebut menandakan urutan kejadian pada sebuah pertanyaan. Sebagai contoh, pertanyaan Siapa yang terpilih menjadi presiden setelah Pemilihan Presiden berakhir? memiliki temporal signal setelah, dan dapat didekomposisi menjadi (1) Siapa yang terpilih menjadi presiden? (2) Kapan Pemilihan Presiden berakhir?. 4 Kejadian jamak dengan ekspresi temporal. Pertanyaan kejadian jamak dan terdapat satu atau beberapa ekspresi temporal yang perlu dianalisis. Sebagai contoh, pertanyaan Di mana Susilo Bambang Yudhoyono kuliah sebelum diadakan Pemilihan Presiden tahun 2004? memiliki temporal signal sebelum, dan ekspresi temporal tahun Pertanyaan tersebut dapat didekomposisi menjadi (1) Di mana Susilo Bambang Yudhoyono kuliah? (2) Kapan diadakan Pemilihan Presiden?. Terdapat penyesuaian penentuan urutan tipe dengan jenis pertanyaan jamak pada Saquete et al. (2009). Tipe 3 pada penelitian ditentukan sebagai Tipe 4, sebaliknya Tipe 4 ditentukan sebagai Tipe 3. Hal ini dilakukan untuk mempermudah implementasi sistem tanpa TIDAK Tipe 1 Gambar 2 TIDAK Signal YA Pertanyaan Analisis Pertanyaan Ekspresi TIDAK Signal Tipe 3 Tipe 2 Tipe 4 Pohon keputusan untuk indentifikasi tipe pertanyaan temporal. mengubah perlakuan terhadap masing-masing tipe pertanyaan. Sebuah query tanpa ekspresi temporal akan dikategorikan sebagai Tipe 1 jika tanpa signal, dan Tipe 3 jika terdapat signal. Sementara itu, sebuah query yang memiliki ekspresi temporal akan dikategorikan sebagai Tipe 2 jika tanpa signal, dan Tipe 4 jika terdapat signal. Proses identifikasi dilakukan karena setiap tipe memiliki skenario perlakuan yang berbeda. Query dengan Tipe 1 dan Tipe 2 dapat diolah secara langsung tanpa perlu dilakukan pemenggalan query awal, sedangkan Tipe 3 dan Tipe 4 lebih kompleks dan perlu dilakukan penyederhanaan. Proses identifikasi tipe dilakukan dengan menggunakan pohon keputusan (decision tree) seperti yang ditunjukkan pada Gambar 2. Selain menggunakan pohon keputusan yang menyadur taksonomi pertanyaan temporal, identifikasi dilakukan dengan memeriksa keberadaan sub-pertanyaan pada pertanyaan yang memiliki ekspresi temporal. Hal tersebut berguna dalam identifikasi query pertanyaan seperti Siapa Presiden Indonesia setelah tahun 2009? agar tidak dikategorikan sebagai pertanyaan jamak, meskipun memiliki temporal signal dan ekspresi temporal. Pemenggalan pertanyaan hanya dilakukan pada query pertanyaan jamak (Tipe 3 dan Tipe 4). Pada tahap ini, pertanyaan akan dipenggal menjadi 2 sub-pertanyaan, yaitu Q-Focus dan Q- Restriction. Tiap sub-pertanyaan akan saling berelasi. Q-Focus biasanya diikuti signal dan YA YA

3 7 menghasilkan keluaran berupa deret (list) jawaban, sedangkan Q-Restriction selalu diubah bentuk menjadi query dengan kata tanya kapan dan akan selalu menghasilkan keluaran berupa ekspresi tanggal. Signal yang terdapat pada query menunjukkan hubungan waktu antarkejadian yang terkait. Hasil dekomposisi query berupa Q-Focus dan Q-Restriction diubah perhurufannya menjadi huruf kecil (case folding) kemudian diparse. Pada proses parsing, kata-kata pada query yang termasuk stopwords akan dihilangkan dan selanjutnya digunakan pada tahap temu kembali dokumen. Berikut ini merupakan contoh hasil dekomposisi untuk query Siapa Presiden Indonesia setelah Pemilihan Presiden? : 1 <QUESTION> siapa presiden indonesia setelah pemilihan presiden? </QUESTION> 2 <TYPE> 3 </TYPE> 3 <Q-Focus> siapa presiden indonesia? </Q-Focus> 4 <Q-Restriction> kapan pemilihan presiden? </Q-Restriction> 5 <SIGNAL> setelah </SIGNAL> Pengolahan Dokumen Pada tahap awal pengolahan dokumen, dilakukan konfigurasi pengindeksan pada sistem Sphinx. Hasil pengindeksan disimpan dalam sebuah berkas yang akan digunakan untuk proses pencarian n dokumen teratas. Banyaknya n pada dokumen teratas ditentukan maksimal 10 buah. Hal ini dilakukan untuk mempermudah proses pembentukan kalimat dan passage. Query yang telah di-parse kemudian diberi bobot. Kata pada query kecuali kata tanya dicocokkan dengan dokumen teratas. Hasil temu kembali berupa kumpulan n dokumen teratas yang terurut mulai dari bobot tertinggi sampai terendah, dan disimpan dalam variabel larik (array) dokumen teratas. Pemeringkatan yang digunakan pada penelitian ini ialah pemeringkatan BM25 dan Proximity yang diterapkan secara terpisah. Berikut ini merupakan contoh hasil pemeringkatan BM25 untuk query Siapa Presiden Indonesia?, dengan indeks weight menunjukkan bobot dokumen: 1 [matches] => Array ( 2 [0] => Array ( 3 [id] => 15 4 [weight] => [attrs] => Array ( 6 [docno] => detiknews txt 7 [author] => Muhammad Nur Hayid 8 [title] => Beras Amburadul, Reshuffle Mentan Wewenang Presiden 9 [content] => Jakarta pemerintah kembali impor beras. Kebijakan ini 10 [published] => Kamis, 15/02/ :13 WIB ) 11 ) ) Pada pemeringkatan Proximity, dokumen dianalisis berdasarkan posisi keyword pada dokumen. Dokumen yang memiliki sub-frase yang cocok dengan query akan diberi nilai sesuai jumlah kecocokan kata. Contoh hasil pemeringkatan Proximity untuk query Siapa Presiden Indonesia? sebagai berikut: 1 [matches] => Array ( 2 [0] => Array ( 3 [id] => 14 4 [weight] => 2 5 [attrs] => Array ( 6 [docno] => detiknews txt 7 [author] => Anwar Khumaini 8 [title] => Susunan Kabinet Indonesia Bersatu II 9 [content] => Jakarta Usai sudah rangkaian audisi yang dilakukan Presiden 10 [published] => Rabu, 21/10/ :26 WIB ) 11 ) ) Pembentukan Kalimat Dokumen teratas yang telah ditemukembalikan oleh sistem kemudian dibagi per kalimat. Kalimat yang dibentuk dimulai dengan huruf kapital dan diakhiri dengan titik (.), tanda tanya (?), atau tanda seru (!). Kalimatkalimat tersebut disimpan dalam variabel array hasil pembentukan kalimat. Ilustrasi pembentukan kalimat sebagai berikut: 2 [doc1] => Array( 3 [0] => Kalimat ke-1. 4 [1] => Kalimat ke-2. 5 [2] => Kalimat ke-3. 6 ) ) Pembentukan Passage Pembentukan passage dilakukan dengan cara menggabungkan 2 kalimat dari masingmasing dokumen secara saling meliputi (overlap) dengan kalimat sebelumnya dan kalimat sesudahnya. Dengan demikian, dari 1 kalimat akan terbentuk 2 passage, namun hal ini tidak berlaku pada kalimat pertama dan terakhir. Hasil proses ini disimpan dalam variabel array hasil pembentukan passage, dengan indeks asosiatif berupa nama dokumen. Ilustrasi pembentukan passage sebagai berikut: 2 [doc1] => Array( 3 [0] => Kalimat ke-1. Kalimat ke-2. 4 [1] => Kalimat ke-2. Kalimat ke-3. 5 ) )

4 8 Pengolahan Passage Pada proses pembobotan, hanya passage yang mengandung tag entitas penamaan yang digunakan. Passage disimpan dalam variabel array passage berentitas penamaan, kemudian diseleksi berdasarkan pasangan kata tanya dan entitas penamaan. Pembobotan passage dilakukan menggunakan metode heuristic (Ballesteros & Li 2007) dengan mengikuti tahapan pada penelitian Umriadi (2011). Ketentuan perhitungan bobot pada metode heuristic berdasarkan kecocokan kata, urutan kata dan kedekatan kata. Tujuan dari pembobotan passage ialah memperoleh n passage dengan bobot tertinggi. Kandidat jawaban dan hasil temu kembali jawaban akan didapatkan dari n passage teratas. Banyaknya n ditentukan maksimal 10 buah. Berikut ini merupakan contoh hasil pembobotan passage untuk Q-Focus Siapa Presiden Indonesia?, dengan bobot passage ditunjukkan pada indeks score_passage: 3 [docno] => radarlampung txt 4 [selected_passage] => Ini tentu melegakan. Sebab 5 [score_passage] => ) 6 ) ) Perolehan Kandidat Jawaban Kandidat jawaban diperoleh dari passage teratas dengan menyeleksi kata yang memiliki tag entitas penamaan sesuai dengan kata tanya. Hasil seleksi disimpan dalam variabel array kandidat jawaban. Indeks pada array kandidat jawaban digunakan untuk menghitung jarak antara kandidat jawaban dan kata-kata penyusun query. Perolehan Entitas Jawaban Entitas jawaban diperoleh dengan menghitung bobot jarak antara kata yang sesuai dengan query pada n passage teratas dan kandidat jawaban. Kandidat jawaban dengan jarak terkecil menjadi entitas jawabannya. Berikut ini merupakan tahap perolehan jarak tiap kandidat jawaban pada passage teratas untuk Q-Focus Siapa Presiden Indonesia? : i Pengambilan bobot jarak kandidat jawaban berdasarkan indeks kata yang merepresentasikan posisi kata pada kalimat, seperti yang ditunjukkan pada array kandidat jawaban berikut ini: 3 [6] =>[NAME] Susilo Bambang Yudhoyono [/NAME]) 4 5 [3] => Array( 6 [5] =>[NAME] Megawati Soekarnoputri[/NAME]) 7 ) ii Pengambilan bobot jarak kata-kata penyusun query (keyword) yang terdapat pada passage teratas. Indeks pada tiap kata menunjukkan posisi kata pada kalimat, seperti berikut: 3 [4] => Presiden 4 [5] => Indonesia 5 [10] => Indonesia) 6 7 [3] => Array( 8 [4] => Presiden 9 [27] => Indonesia) 10 ) iii Perhitungan bobot jarak antara kandidat jawaban dan keyword pada passage, yaitu dengan menghitung jumlah total setiap jarak antara kandidat jawaban dan keyword yang terdapat pada passage dibagi dengan jumlah keyword. Hasil perhitungan disimpan pada array entitas jawaban, dengan indeks score menunjukkan hasil perhitungan jarak, serta text dan docno masing-masing menunjukkan kandidat jawaban dan nama dokumen, seperti berikut: 3 [docno] => radarlampung txt 4 [text] => Susilo Bambang Yudhoyono 5 [score] => 3.5) 6 7 [6] => Array( 8 [docno] =>kompas txt 9 [text] =>Megawati Soekarnoputri 10 [score] => 11.5) 11 ) Entitas jawaban yang memiliki jarak antara kandidat jawaban dan keyword pada passage dengan bobot terkecil akan dikembalikan sebagai jawaban. Rekomposisi Jawaban Tujuan utama rekomposisi jawaban ialah menghasilkan jawaban akhir atas pertanyaan kompleks menggunakan variabel masukkan hasil dekomposisi dan entitas jawaban yang dikembalikan. Rekomposisi jawaban terbagi atas 2 tahap, yaitu penyaringan jawaban (individual answer filtering) serta pembandingan dan penyusunan jawaban (answer comparision and composition), mengacu pada arsitektur temporal layer (Saquete et al. 2009). Contoh kinerja temporal layer untuk query Siapa Presiden Indonesia

5 9 Siapa Presiden Indonesia setelah Pemilihan Presiden? Q-Focus: Siapa Presiden Indonesia? Jawaban: Megawati ( ) Yudhoyono ( ) Signal: setelah Compatible Answer: Yudhoyono ( ) Q-Restriction: Kapan Pemilihan Presiden? Jawaban: 2004 Gambar 3 Contoh kinerja temporal layer. setelah Pemilihan Presiden? ditunjukkan pada Gambar 3. Penyaringan jawaban dilakukan untuk menyaring deret (list) jawaban dari Q-Focus dan jawaban dari Q-Restriction. Hanya jawaban yang memiliki ekspresi waktu yang dikembalikan. Pengambilan ekspresi waktu pada tiap jawaban dilakukan dengan menghitung jarak terkecil antara entitas jawaban dan ekpresi waktu pada dokumen yang mengandung jawaban tersebut. Ekspresi waktu yang terdekat dikembalikan sebagai informasi temporal jawaban. Berikut ini merupakan contoh jawaban yang memiliki informasi temporal untuk Q- Focus Siapa Presiden Indonesia? : 3 [docno] => radarlampung txt 4 [text] => Susilo Bambang Yudhoyono 5 [score] => [VALUE1] => 2009/12/18) 7 8 [6] => Array( 9 [docno] => kompas txt 10 [text] => Megawati Soekarnoputri 11 [score] => [VALUE1] => 2002/08/12) ) Pada tahap pembandingan dan penyusunan jawaban, hasil penyaringan jawaban yang memiliki informasi temporal dibandingkan berdasarkan ketetapan signal dan ordering key. Hasil pembandingan kemudian disusun dan dikembalikan sebagai jawaban akhir yang mengandung informasi temporal (temporal compatible answer). Evaluasi Hasil Percobaan Pada tahap evaluasi, sistem diberi 20 query pertanyaan yang mewakili kata tanya siapa, kapan, di mana, dan berapa untuk setiap tipe pertanyaan temporal, sehingga terdapat total 80 query pertanyaan yang dievaluasi (Lampiran 5-20). Evaluasi dilakukan dengan menghitung nilai Right (R), Wrong (W), dan Unsupported (U) dari hasil rekomposisi dan jawaban yang dikembalikan oleh sistem. Persentase nilai jawaban dari setiap kata tanya untuk jenis pertanyaan kejadian tunggal (Tipe 1 dan Tipe 2) serta kejadian jamak (Tipe 3 dan Tipe 4) dengan menggunakan mode pemeringkatan BM25 ditunjukkan pada Tabel 4, dan pemeringkatan Proximity ditunjukkan pada Tabel 5. Tabel 6 menunjukkan hasil temu kembali Question Answering System umum untuk query pertanyaan factoid hasil penelitian Umriadi (2011). Sistem diberikan query dan dokumen yang sama, namun tanpa dilakukan penyesuaian temporal tagging terlebih dahulu karena sistem dibangun tanpa fungsi pengolahan informasi temporal. Evaluasi dilakukan pada sistem yang memiliki perbedaan metode pengembangan, sehingga ketika diberikan pertanyaan, terdapat kemungkinan sistem tidak menghasilkan jawaban apapun (null) yang tidak sesuai dengan kriteria penilaian. Untuk itu, pada hasil evaluasi dilakukan pendekatan dengan menetapkan jawaban null sebagai jawaban salah (bernilai Wrong). Evaluasi Pertanyaan Kejadian Tunggal (Tipe 1 dan 2) Pada pertanyaan kejadian tunggal, kinerja sistem dalam pengolahan query pertanyaan temporal Tipe 1 dengan menggunakan pemeringkatan BM25 maupun Proximity cukup baik, ditunjukkan dengan persentase kedua pemeringkatan yang menghasilkan nilai Right tertinggi untuk kata tanya siapa sebesar 100%, sedangkan kata tanya kapan, di mana dan berapa sebesar 80%. Pada tipe pertanyaan ini, jawaban yang dikembalikan sistem tidak dibatasi oleh waktu tertentu, sehingga satu pertanyaan dapat memiliki beberapa jawaban yang relevan. Kekurangan sistem pada tipe pertanyaan ini disebabkan ketika proses ekstraksi jawaban, sistem mengembalikan jawaban dengan jarak terdekat, namun kemudian dianggap salah atau tidak relevan. Pada pertanyaan temporal Tipe 2, sistem telah mampu mengolah ekspresi temporal dan menormalisasi ke dalam bentuk ekspresi tanggal baku. Persentase nilai jawaban Right yang menggunakan pemeringkatan BM25, untuk kata

6 10 Tabel 4 Kata Tanya Persentase perolehan jawaban untuk pertanyaan temporal menggunakan pemeringkatan BM25 Tipe 1 (%) Tipe 2 (%) Tipe 3 (%) Tipe 4 (%) R W U R W U R W U R W U Siapa Kapan Di mana Berapa R: Right, W: Wrong, U: Unsupported. Tabel 5 Kata Tanya Persentase perolehan jawaban untuk pertanyaan temporal menggunakan pemeringkatan Proximity Tipe 1 (%) Tipe 2 (%) Tipe 3 (%) Tipe 4 (%) R W U R W U R W U R W U Siapa Kapan Di mana Berapa R: Right, W: Wrong, U: Unsupported. Tabel 6 Kata Tanya Persentase perolehan jawaban untuk pertanyaan temporal menggunakan Question Answering System umum (Umriadi 2011) Tipe 1 (%) Tipe 2 (%) Tipe 3 (%) Tipe 4 (%) R W U R W U R W U R W U Siapa Kapan Di mana Berapa R: Right, W: Wrong, U: Unsupported. tanya kapan mencapai 100%, siapa sebesar 80%, sedangkan kata tanya di mana dan berapa memiliki persentase nilai Right terkecil, yaitu sebesar 60%. Kekurangan tersebut disebabkan pada saat proses rekomposisi, kandidat jawaban yang relevan tidak dikembalikan sebagai jawaban akhir karena tidak memiliki relasi waktu yang memenuhi ketentuan, akibatnya sistem mengembalikan jawaban lain berupa jawaban berperingkat teratas. Perolehan nilai Right Tipe 2 dengan menggunakan pemeringkatan Proximity untuk kata tanya kapan sebesar 100%, di mana sebesar 80%, sedangkan siapa dan berapa memiliki nilai sebesar 60%. Hal tersebut disebabkan adanya kandidat jawaban yang saling berdekatan, sehingga memungkinkan pengembalian jawaban yang tidak relevan. Secara keseluruhan, rata-rata nilai Right untuk pertanyan kejadian tunggal (Tipe 1 dan Tipe 2) dengan menggunakan pemeringkatan BM25 maupun Proximity mencapai 80%. Evaluasi Pertanyaan Kejadian Jamak (Tipe 3 dan 4) Pada jenis pertanyaan kejadian jamak, terdapat proses rekomposisi untuk menghasilkan jawaban yang sesuai urutan kejadian. Metode pendeteksian temporal signal dan pemenggalan pertanyaan yang digunakan untuk jenis pertanyaan ini telah mampu menyederhanakan pertanyaan yang lebih kompleks, terlihat dari persentase nilai jawaban Right yang diperoleh. Persentase nilai Right untuk pertanyaan temporal Tipe 3 dengan menggunakan pemeringkatan BM25 memiliki kinerja baik, yaitu menghasilkan nilai Right untuk kata tanya siapa, kapan dan di mana sebesar 100%, sedangkan berapa sebesar 80%. Hasil berbeda

7 11 Nilai Right (%) Gambar 4 Hasil pemeringkatan BM25 dan Proximity untuk pertanyaan temporal. ditunjukkan dengan menggunakan pemeringkatan Proximity. Persentase nilai Right yang diperoleh untuk kata tanya kapan dan di mana mencapai 100%, siapa sebesar 80%, sedangkan berapa sebesar 60%. Kekurangan sistem dalam mengolah kata tanya berapa, khususnya menggunakan pemeringkatan Proximity disebabkan mode pemeringkatan tersebut memungkinkan pengembalian passage yang hanya memiliki salah satu keyword di frase, sehingga berpengaruh pada proses ekstraksi jawaban. Selain itu, adanya kandidat jawaban yang saling berdekatan juga memungkinkan pengembalian jawaban salah atau tidak relevan. Proses rekomposisi pada pertanyaan temporal Tipe 4 jauh lebih kompleks, karena selain terdapat signal yang menentukan urutan kejadian juga terdapat ekspresi temporal. Persentase nilai jawaban Right dengan menggunakan pemeringkatan BM25 untuk masing-masing kata tanya siapa, kapan dan di mana sebesar 80%. Nilai lebih rendah dihasilkan untuk kata tanya berapa sebesar 60%. Sementara itu, menggunakan pemeringkatan Proximity persentase kata tanya siapa, kapan, di mana dan berapa masing-masing sebesar 80%. Jawaban salah yang dikembalikan oleh sitem untuk jenis pertanyaan kejadian jamak disebabkan terdapat perbedaan periode waktu yang berelasi pada kandidat jawaban (Q-Focus) dan pada jawaban yang berasosiasi waktu (Q- Restriction) yang umumnya berupa ekspresi tanggal. Sebagai contoh kasus, diberikan pertanyaan yang meminta nama presiden yang menjabat pada tahun Berdasarkan relevansi data, diketahui bahwa periode jabatan Presiden Yudhoyono adalah tahun Akan tetapi, sistem menetapkan relasi waktu pada entitas Yudhoyono adalah tahun Pada kasus tersebut, entitas Yudhoyono Tipe 1 Tipe 2 Tipe 3 Tipe 4 BM25 Proximity dengan relasi waktu 2005 dianggap sudah benar berdasarkan periode waktu yang relevan tahun , namun entitas tidak dikembalikan sebagai jawaban akhir karena tidak memenuhi waktu yang telah ditentukan, yaitu tahun Kekurangan tersebut disebabkan jumlah dokumen yang digunakan dapat memengaruhi sebaran atau granulasi waktu yang menentukan relasi waktu kandidat jawaban. Rata-rata nilai Right untuk jenis pertanyaan kejadian jamak (Tipe 3 dan Tipe 4) menggunakan pemeringkatan BM25 sebesar 85%, lebih tinggi dibandingkan menggunakan pemeringkatan Proximity sebesar 82.50%. Gambar 4 menunjukkan hasil pengolahan setiap tipe pertanyaan temporal menggunakan pemeringkatan BM25 dan Proximity. Pada Tipe 1 dan Tipe 2, kedua mode pemeringkatan menghasilkan rata-rata nilai Right yang sama, yaitu sebesar 85% dan 75%. Pada Tipe 3, penggunaan pemeringkatan BM25 untuk pertanyaan temporal menghasilkan rata-rata nilai Right lebih baik, yaitu sebesar 95%, dibandingkan dengan pemeringkatan Proximity sebesar 85%. Sementara itu, pada Tipe 4, penggunaan pemeringkatan BM25 menghasilkan rata-rata nilai Right lebih rendah, yaitu sebesar 75%, dibandingkan dengan pemeringkatan Proximity sebesar 80%. Pembandingan Sistem Pembandingan sistem dilakukan pada Question Answering System (QAS) umum untuk query pertanyaan factoid hasil penelitian Umriadi (2011). Sistem diberikan query dan dokumen yang sama, namun tanpa dilakukan penyesuaian temporal tagging terlebih dahulu karena sistem tersebut dibangun tanpa fungsi pengolahan informasi temporal. Pengolahan pertanyaan temporal untuk Tipe 1, Tipe 2, Tipe 3, dan Tipe 4 menghasilkan nilai Right masing-masing hanya sebesar 60%, 55%, 60%, dan 40%. Rata-rata nilai Right keseluruhan pengolahan pertanyaan temporal sebesar 53.75%. Hasil tersebut jauh lebih rendah dibandingkan dengan hasil pengolahan pertanyaan temporal pada sistem yang telah dibangun, yaitu dengan rata-rata nilai Right sebesar 82.50% menggunakan BM25 dan 81.25% mengunakan Proximity. Kekurangan pengolahan pertanyaan temporal pada QAS umum (Umriadi 2011) disebabkan query diolah langsung oleh sistem tanpa dilakukan proses identifikasi ekspresi temporal dan temporal signal yang berguna dalam menentukan urutan kejadian dan skenario perlakuan query. Perbandingan hasil pengolahan pertanyaan temporal menggunakan