SISTEM QUESTION ANSWERING BAHASA INDONESIA UNTUK PERTANYAAN NON- FACTOID. Novi Yusliani dan Ayu Purwarianti

Transkripsi

1 SISTEM QUESTION ANSWERING BAHASA INDONESIA UNTUK PERTANYAAN NON- FACTOID Novi Yusliani dan Ayu Purwariani Sekolah Teknik Elekro dan Informaika, Insiu Teknologi Bandung, Jalan Ganesha 10, Bandung, 40132, Indonesia Absrak Fokus dari peneliian ini adalah unuk mengembangkan daa dan sisem Quesion Answering (QA) Bahasa Indonesia unuk peranyaan non-facoid. Peneliian ini merupakan peneliian QA non-facoid perama unuk Bahasa Indonesia. Adapun sisem QA erdiri aas 3 komponen yaiu penganalisis peranyaan, pengambil paragraf, dan pencari jawaban. Dalam komponen penganalisis peranyaan, dengan asumsi bahwa peranyaan yang diajukan merupakan peranyaan sederhana, digunakan sisem yang berbasis auran sederhana dengan mengandalkan kaa peranyaan yang digunakan ( apa, mengapa, dan bagaimana ). Paragraf diperoleh dengan menggunakan pencarian kaa kunci baik dengan menggunakan semming aaupun idak. Unuk pencari jawaban, jawaban diperoleh dengan menggunakan pola kaa-kaa khusus yang dieapkan sebelumnya unuk seiap jenis peranyaan. Dalam komponen pencari jawaban ini, diperoleh kesimpulan bahwa penggunaan kaa kunci nonsemmed bersamaan dengan kaa kunci hasil semming memberikan nilai akurasi jawaban yang lebih baik, jika dibandingkan dengan penggunaan kaa kunci non-semmed saja aau kaa kunci sem saja. Dengan menggunakan 90 peranyaan yang dikumpulkan dari 10 orang Indonesia dan 61 dokumen sumber, diperoleh nilai MRR , , dan unuk ipe peranyaan definisi, alasan, dan meode secara beruruan. Kaa Kunci: peranyaan non-facoid, quesion answering Absrac Focus of his research is o develop QA daa and sysem in Bahasa Indonesia for non-facoid quesions. This research is he firs non-facoid QA for Bahasa Indonesia. QA sysem consiss of hree componens: quesion analyzer, paragraph aker, and answer seeker. In he componen of quesion analyzer, by assuming ha he quesion posed is a simple quesion, we used a simple rule-based sysem by relying on he quesion word used ( wha, why, and how ). On he componens of paragraph aker, he paragraph is obained by using keyword, eiher by using semming or no. For answer seeker, he answers obained by using specific word paerns ha previously defined for each ype of quesion. In he componen of answer seeker, he conclusion is he use of non-semmed keywords in conjuncion wih he keyword semming resuls give a beer answer accuracy compared o non-use of he keyword or keywords are semmed sem only. By using 90 quesions, we colleced from 10 people of Indonesia and he 61 source documens, obained MRR values , , and for ype definiion quesion, reason, and mehods respecively. Keywords: non-facoid quesions, quesion answering 1. Pendahuluan Terdapa beberapa ipe QA berdasarkan jawaban yang dihasilkannya. Tipe peranyaan yang diangani sebuah sisem QA erbagi aas 5 jenis peranyaan yaiu facoid, non-facoid, yesno, lis, dan opini. Unuk domain Bahasa Indonesia, sisem QA yang sudah ada hanya menangani peranyaan facoid yaiu peranyaan yang jawabannya berupa frase singka dari orang, lokasi, organisasi, anggal, angka, dan jenis jawaban singka lainnya [1]. Sejauh ini belum ada sisem QA Bahasa Indonesia yang mampu menangani peranyaan non-facoid. Peneliian ini merupakan usaha perama unuk membangun sisem QA Bahasa Indonesia dengan peranyaan non-facoid dengan moivasi bahwa jenis peranyaan non-facoid merupakan peranyaan yang sering digunakan dalam usaha memahami sesuau. Peneliian sisem QA unuk peranyaan nonfacoid sekarang ini membagi jenis peranyaan non-facoid menjadi beberapa kaegori. Terdapa enam kaegori peranyaan non-facoid seperi 10

2 Yusliani, dkk., Sisem Quesion Answering Bahasa Indonesia 11 peranyaan berorienasi definisi, alasan, meode, deraja, perubahan, dan rincian [2]. Peneliian lain mengklasifikasikan peranyaan non-facoid menjadi ipe definisi, mengapa dan bagaimana [3]. Adapun peneliian T. Mori, M. Sao, dan M. Ishioroshi [4] menambahkan sau kaegori dari peneliian J. Fukumoo [3] yaiu ipe "oher". Pada peneliian kami mengenai sisem QA Bahasa Indonesia unuk peranyaan nonfacoid, peranyaan dibagi menjadi iga kaegori yaiu definisi, alasan, dan meode [3]. Daa sisem QA pada peneliian erkai menggunakan Bahasa Jepang sebagai forma bahasa sumber dokumen dan peranyaan [2-4]. Bahasa Jepang sendiri merupakan salah sau bahasa yang banyak dielii oleh berbagai penelii sehingga sudah ersedia banyak aplikasi pemrosesan bahasa alami yang ersedia unuk Bahasa Jepang. Hal ini idak erjadi pada Bahasa Indonesia di mana masih belum ersedia aplikasi pemrosesan bahasa alami yang dapa digunakan secara bebas unuk Bahasa Indonesia. Fenomena ini juga berlaku unuk sumber daa bagi aplikasi QA. Bahasa Indonesia sendiri merupakan bahasa yang digunakan oleh lebih dari 260 jua penduduk Indonesia. Selain iu, Bahasa Indonesia juga dapa dimengeri oleh negara-negara di sekiar Indonesia yaiu Malaysia dan Brunei. Oleh sebab iu, erdapa kebuuhan pengembangan eknologi unuk pemrosesan Bahasa Indonesia ermasuk di dalamnya unuk sisem QA. Peneliian ini merupakan salah sau usaha dalam meningkakan keersediaan sumber daa unuk peneliian di bidang pemrosesan bahasa alami unuk Bahasa Indonesia. Dalam peneliian ini, QA yang dibangun menerima peranyaan dalam bahasa Indonesia dan jawaban akan dicari dari dokumen yang diulis dalam Bahasa Indonesia. Dalam hipoesis, diemukan bahwa unuk jenis peranyaan non-facoid, sebagian besar jawaban dapa dinyaakan sebagai paragraf [4][5]. Sehingga dalam peneliian awal ini, arge dari sisem QA yang dibangun adalah menemukan paragraf yang mengandung jawaban yang benar. 2. Meodologi Kerangka umum sisem QA Indonesia yang digunakan dalam peneliian ini sama dengan yang membangun sisem QA Bahasa Indonesia unuk peranyaan facoid [1]. Perbedaan jenis peranyaan yang diangani idak mengakibakan perbedaan kerangka umum dari sisem QA ini. Kerangka sisem yang digunakan dapa diliha pada gambar 1. Sisem QA dibagi aas iga komponen uama yaiu penganalisis peranyaan, pengambil dokumen, dan pencari jawaban. Komponen penganalisis peranyaan melakukan proses erhadap peranyaan masukan unuk mengambil informasi erenu dari peranyaan masukan ersebu seperi kaa kunci dan jenis peranyaan aau disebu juga Expeced Answer Type (EAT). Hasil dari penganalisis peranyaan ini digunakan oleh pengambil dokumen unuk mencari dokumen yang mungkin mengandung jawaban. Dokumen yang dihasilkan oleh pengambil dokumen besera kaa kunci dan EAT yang dihasilkan penganalisis peranyaan dijadikan masukan unuk pencari jawaban. Gambar 1. Kerangka sisem Quesion Answering. Penganalisis peranyaan non-facoid Bahasa Indonesia berfungsi sebagai komponen yang mengambil kaa kunci dari peranyaan dan meneapkan EAT aau ipe jawaban yang diinginkan. Dalam peneliian ini, kaa kunci dieapkan dengan mengambil semua kaa kerja dan kaa benda pada peranyaan. Prosedur lengkap unuk mengambil kaa kunci adalah sebagai beriku: perama, oken-isasi kalima peranyaan. Kedua, hilangkan semua sop word pada kalima. Keiga, lakukan sem unuk semua kaa. Keempa, ambil semua kaa baik yang sudah dikenai sem dan yang idak. Selain kaa kunci, komponen ini juga menghasilkan EAT dengan berdasar pada kaa anya yang digunakan pada peranyaan. Berbeda dengan peranyaan facoid, pengeksrakan EAT dari peranyaan non-facoid lebih mudah karena hanya dengan mengandalkan kaa anya, sudah dapa dienukan jenis EAT-nya. Dafar kaa anya dan EAT-nya unuk peranyaan non-facoid dapa diliha pada abel I. Komponen pengambil dokumen mencari dokumen relevan berdasar kaa kunci yang sudah dikenali sem. Komponen ini mengembalikan 15 dokumen eraas dengan nilai kesamaan cosinus eringgi berdasarkan persamaan (1).

3 12 Jurnal Ilmu Kompuer dan Informasi, Volume 4, Nomor 1, Februari 2011 TABEL I EAT DAN KATA TANYA UNTUK PERTANYAAN NON-FACTOID EAT Kaa anya dan conoh peranyaan Apakah yang dimaksud dengan Osmosis? Definisi Apa yang dimaksud dengan AIDS? Mengapa makhluk hidup membuuhkan makanan? Alasan Kenapa gaya yang diimbulkan kare kaapel disebu gaya pegas? Bagaimana proses erjadinya pernapasan dada pada manusia? Meode Bagaimanakah proses aerob secara umum erjadi? d similariy ( d j, q) d j j. q. q i1 ( w. w ij 2 w. ij i1 i1 Di mana w ij adalah bobo kaa i pada dokumen j dan w iq adalah bobo kaa i pada kalima anya. Dalam peneliian ini, bobo kaa dihiung dari nilai Tf IDF kaa ersebu. Unuk memperoleh jawaban erbaik di anara dokumen yang erpilih, komponen pencari jawaban mencocokkan pola kalima dari dokumen yang diperoleh dengan pola-pola kalima yang elah dieapkan sebelumnya. Pola kalima ini dienukan berdasarkan analisis erhadap daa kalima anya, jawaban, dan paragraf yang diperoleh dari para responden. Penjelasan lengkap mengenai daa dapa diliha pada bagian selanjunya. Dalam beberapa pola yang dinyaakan, erdapa kaa khusus yang biasanya muncul pada jawaban dari sebuah peranyaan non-facoid. Terdapa lima prosedur lengkap dari komponen pencari jawaban ini. Perama, hiung jumlah kaa kunci yang ada di dalam seiap kalima pada dokumen yang erambil (dokumen kandida jawaban). Jumlah kaa kunci ini akan menjadi bobo kalima. Kedua, hiung bobo paragraf dengan menjumlahkan semua nilai bobo dalam seiap kalima. Keiga, uru paragraf berdasarkan nilai bobo. Paragraf dengan nilai bobo erbesar akan berada di uruan perama. Keempa, ambil 50 paragraf dengan nilai bobo erbesar jika kaegori peranyaan berupa alasan dan meode. Sedangkan, pada kaegori peranyaan definisi yang diambil adalah kalima-kalima dengan nilai bobo idak sama dengan nol. Kelima, cek pola kalima yang digunakan oleh seiap kalima. Jika idak memenuhi salah sau pola, maka kalima ersebu bukan merupakan bagian dari jawaban. Jika kalima ersebu memenuhi salah sau pola, maka urukan kalima berdasar priorias auran sebagai beriku: (a)... + kaa khusus + sau aau lebih kaa kunci anpa sem, (b) sau aau lebih kaa kunci anpa sem + kaa khusus +..., (c) sau aau lebih kaa kunci anpa sem, (d)... + kaa khusus + sau iq ) w 2 iq (1) aau lebih kaa kunci dengan sem, (e) sau aau lebih kaa kunci dengan sem + kaa khusus +..., (f) sau aau lebih kaa kunci dengan sem. Dafar kaa khusus yang digunakan dapa diliha pada abel II. EAT Definisi Alasan Meode TABEL II DAFTAR KATA KHUSUS SETIAP EAT Kaa khusus sebelum kaa Kaa khusus kunci seelah kaa kunci Disebu, dikenal, yaiu, ialah, adalah, dinamakan, diarikan, mendefinisikan merupakan Menyebabkan, karena iu, oleh sebab iu, jadi, iulah sebabnya, memungkinkan adanya, karenanya, dengan demikian, maka, dikaakan, ujuan, penyebab erjadinya, sehingga, mengapa, dengan, walau demikian, namun demikian Cara, unuk, proses 3. Hasil dan Pembahasan sebab, karena, disebabkan, berujuan, erjadi karena Dilakukan pengumpulan 61 dokumen dan sepuluh orang Indonesia sebagai responden unuk menuliskan peranyaan non-facoid dan jawabannya sebagai bahan unuk sisem QA ini. Seiap responden dimina unuk menuliskan sepuluh peranyaan unuk iga jenis EAT. Seelah melakukan pengecekan secara manual erhadap peranyaan yang idak sesuai dengan jenis peranyaan non-facoid, diperoleh 90 peranyaan, 30 unuk seiap EAT. Pengujian dilakukan erhadap keiga komponen dari sisem QA, yakni penganalisis peranyaan, pengambil dokumen, dan pencari jawaban. Perama, pada penganalisis peranyaan, penglasifikasian EAT dapa dilakukan oleh komponen penganalisis peranyaan anpa kesalahan. Kedua, pada pengambil dokumen, dikembalikan 15 dokumen sebagai kandida dokumen yang dapa mengandung jawaban. Nilai akurasi dari komponen pengambil dokumen ini dapa diliha pada abel III. Pada abel III, erdapa iga nilai yang digunakan unuk mengevaluasi hasil pengembalian dokumen yaiu Recall, Precision, dan F-score. Recall adalah jumlah dokumen relevan yang erambil dibagi dengan jumlah seluruh dokumen relevan. Precision adalah jumlah dokumen relevan yang erambil dibagi dengan jumlah dokumen yang erambil. F- score adalah sebuah nilai yang memperhiungkan Recall dan Precision dengan bobo erenu, dalam peneliian ini nilai bobonya adalah sama. Keiga, pada pencari jawaban. Nilai Mean Reciprocal Rank (MRR) digunakan unuk menghiung akurasi dari komponen pencari jawaban. Nilai

4 Yusliani, dkk., Sisem Quesion Answering Bahasa Indonesia 13 MRR adalah raa-raa nilai uruan eraas (1/n) dari jawaban benar yang diperoleh. Apakah yang dimaksud dengan Osmosis? EAT: definisi Kaa anya: apakah Kaa kunci: osmosis Osmosis adalah perpindahan za pelaru melalui membran selekif permeabel dari konsenrasi za pelaru inggi menuju konsenrasi za pelaru rendah. Osmosis. Selain berlangsung secara difusi, molekul za dapa pula bergerak secara osmosis. Osmosis adalah perpindahan za pelaru melalui membran selekif permeabel dari konsenrasi za pelaru inggi menuju konsenrasi za pelaru rendah. Za pelaru ini dapa keluar masuk melewai membran secara bebas. Hanya saja za erkecil merupakan za yang sudah erseleksi. Kenapa membran sel bisa dikaakan bilayer fosfolipid? EAT: alasan Kaa anya: kenapa Kaa kunci: membran, sel, bilayer, fosfolipid Karena iu, membran ini dinamakan fosfolipid lapis ganda (bilayer fosfolipid). Membran sel ersusun aas molekul yang disebu lipoproein. Lipoproein merupakan senyawa kimia yang erdiri aas lemak fosfolipid dan proein. Leak molekul lemak berada di engah membran. Karena iu, membran ini dinamakan fosfolipid lapis ganda (bilayer fosfolipid). Bagaimana proses erjadinya peredaran darah pada burung? EAT: meode Kaa anya: Bagaimana Kaa kunci: proses, edar, darah, burung mengandung karbon dioksida dari seluruh jaringan ubuh menuju janung epanya venrikel kanan. mengandung karbon dioksida dari seluruh jaringan ubuh menuju janung epanya venrikel kanan. Oleh janung, kandungan karbon dioksida dalam darah dipompa menuju paru-paru unuk dilepaskan, sedangkan gas oksigen diika paru-paru. Kandungan oksigen dalam darah ini dialirkan menuju ke janung lagi, selanjunya masuk ke arium kiri, dan akhirnya ke venrikel kiri. Peredaran yang demikian ini dinamakan peredaran darah kecil. Seelah dari venrikel kiri, darah yang mengandung oksigen akan diedarkan menuju seluruh sel ubuh. Pada sel-sel ubuh ini, kandungan oksigen dalam darah dilepaskan, semenara gas karbon dioksida sebagai sisa meabolisme diika. Kemudian, darah yang mengandung karbon dioksida ini dialirkan menuju janung. Perisiwa ini akan erjadi berulang-ulang dan dinamakan peredaran darah besar. Gambar 2. Conoh peranyaan dengan jawaban benar. Dalam evaluasi ini, unuk seiap peranyaan, sisem QA menghasilkan 20 jawaban. Dari 90 peranyaan (30 unuk definisi, 30 unuk alasan, dan 30 unuk meode), diperoleh nilai MRR unuk peranyaan definisi, nilai MRR unuk peranyaan alasan, dan nilai MRR unuk peranyaan meode. TABEL III AKURASI KOMPONEN PENGAMBIL DOKUMEN Precision Recall F-Score Defnisi Alasan Meode Gambar 2 menunjukkan conoh jawaban benar yang diberikan oleh sisem QA di mana yang dihasilkan oleh sisem adalah paragraf yang mengandung kalima jawaban. Peranyaan perama merupakan peranyaan definisi yang jawabannya berada pada kalima yang memenuhi pola b yaiu sau aau lebih kaa kunci anpa sem + kaa khusus + dengan kaa khusus adalah. Peranyaan kedua adalah peranyaan alasan yang jawabannya berada pada kalima dengan pola a yaiu + kaa khusus + sau aau lebih kaa kunci anpa sem, dengan kaa khusus karena iu. Sedangkan peranyaan keiga adalah peranyaan meode dengan jawaban yang berada pada kalima berpola a dengan kaa khusus proses. Meskipun pola yang dienukan elah dapa menghasilkan jawaban benar unuk sebagian peranyaan, namun pola ini masih belum benar unuk peranyaan-peranyaan lainnya dengan conoh yang dapa diliha pada gambar 3. Pada peranyaan perama, pola yang digunakan adalah poladengan kaa khusus proses di mana kaa kunci yang ada pada kalima kandida merupakan kaa kunci anpa sem sehingga memiliki nilai priorias auran yang lebih inggi daripada jawaban yang sebenarnya, yang kemudian idak dapa dikembalikan sama sekali oleh sisem. Sedangkan pada peranyaan kedua, nilai TF IDF dari kandida kalima lebih inggi daripada kalima yang mengandung jawaban sebenarnya. Penyebab keidakakuraan dari sisem QA erjadi karena beberapa fakor. Perama, peranyaan yang diberikan erlalu umum aau erlalu khusus sehingga kalima benar idak berhasil diambil di mana nilai TF IDF dari kalima ersebu lebih rendah daripada kalima lain dengan jumlah kaa kunci yang sama dengan kalima anya. Kedua, paragraf yang mengandung jawaban memiliki kaa kunci yang ersebar pada beberapa kalima dari paragraf ersebu sehingga nilai kalima menjadi lebih rendah dibanding kalima lain yang memiliki kaa kunci yang lebih banyak. Keiga, erdapanya kalima salah yang

5 14 Jurnal Ilmu Kompuer dan Informasi, Volume 4, Nomor 1, Februari 2011 mengandung pola jawaban benar dan nilai kaa kunci yang inggi. Selain kedua kasus di aas, erdapa juga kasus di mana jawaban yang dihasilkan sisem idak berada pada uruan perama dari kandida jawaban. Conoh kasus ini dapa diliha pada gambar 4. bagaimana proses erjadinya peredaran darah pada repilia? EAT: meode Kaa anya: bagaimana Kaa kunci: proses, edar, darah, repilia mengandung karbon dioksida dari seluruh jaringan ubuh menuju janung epanya venrikel kanan Saa darah repilia beredar, darah yang mengandung karbon dioksida (CO2) dari seluruh jaringan ubuh dialirkan menuju sinus venosus. Seelah iu, darah menuju arium kanan, dan dilanjukan ke venrikel. Berikunya, darah mengalir menuju areri pulmonalis dan akhirnya masuk ke paru-paru. Di dalam paru-paru, kandungan gas karbon dioksida (CO2) dalam darah dilepaskan, semenara gas oksigen (O2) diika. Mengapa pada saa kia memakan sesuau misalnya nasi, erasa manis? EAT: alasan Kaa anya: mengapa Kaa kunci: makan, nasi, manis Adanya umbuhan akan menjadikan suau daerah memiliki berbagai organisme pemakan umbuhan dan organisme lain yang memakan pemakan umbuhan ersebu Saa makanan dikunyah dalam mulu, makanan dibasahi oleh air liur. Makanan menjadi licin dan mudah dielan. Selain iu, air liur mengandung enzim pialin aau amilase. Enzim ini berfungsi unuk mencerna za epung (amilum) secara kimiawi menjadi za gula. Iulah sebabnya, saa mengunyah nasi dalam waku lama kia akan merasakan manis. Pencernaan seperi ini merupakan conoh pencernaan kimiawi. Gambar 3. Conoh peranyaan dengan jawaban salah. 4. Kesimpulan Dari peneliian sisem QA non-facoid unuk bahasa Indonesia, diperoleh beberapa kesimpulan. Seperi elah dinyaakan sebelumnya, pendekaan umum unuk menyelesaikan sebuah sisem QA dapa dierapkan unuk sisem QA non-facoid di mana sisem erbagi aas iga komponen yaiu penganalisis peranyaan, pengambil dokumen, dan pencari jawaban. Pada komponen penganalisis peranyaan, pengklasifikasian EAT dari peranyaan non-facoid dapa diangani hanya dengan berdasarkan pada kaa anya yang digunakan. Pada komponen pengambil dokumen, penggunaan bobo TF IDF eap dapa memberikan nilai akurasi dokumen erambil yang cukup baik seperi dapa diliha pada hasil pengujian. Pada komponen pencari jawaban, penguruan kandida kalima jawaban berdasarkan beberapa auran dan kaa-kaa khusus juga dapa memberikan nilai akurasi QA yang baik eruama unuk jenis peranyaan definisi. Adapun unuk peranyaan alasan dan meode, dibuuhkan eknik yang dapa menggabungkan nilai dari beberapa kalima di mana jawaban biasanya merupakan serangkaian kalima. Apa yang dimaksud dengan hormon? EAT: definisi (definiion) Kaa anya: apa (wha) Kaa kunci: hormon 1. Hormon merupakan suau za yang dihasilkan oleh suau bagian dalam ubuh 2. Hormon merupakan za yang berfungsi unuk mengendalikan berbagai fungsi di dalam ubuh. 3. Hormon merupakan za spesifik berupa za organik yang dihasilkan oleh suau bagian umbuhan unuk mengaur perumbuhan dan perkembangannya. Hormon merupakan za spesifik berupa za organik yang dihasilkan oleh suau bagian umbuhan unuk mengaur perumbuhan dan perkembangannya. Hormon juga dapa menghamba perumbuhan dan perkembangan umbuhan. Referensi Gambar 4. Jawaban benar bukan pada uruan. [1] A. Purwariani, Developing Cross Language Sysems for Language Pair wih Limied Resource: Indonesian Japanese CLIR and CLQA, Ph.D Thesis, Toyohashi Universiy of Technology, Japan, [2] M. Muraa, S. Tsukawaki, T. Kanamaru, Q. Ma, & H. Isahara, A Sysem for Answering Non-facoid Japanese Quesions by Using Passage Rerieval Weighed Based on Type of Answer In Proceedings of NTCIR-6 Workshop Meeing, pp , [3] J. Fukumoo, Quesion Answering Sysem for Non-facoid Type Quesions and Auomaic Evaluaion based on BE Mehod In Proceedings of NTCIR-6 Workshop Meeing, pp , [4] T. Mori, M. Sao, & M. Ishioroshi, Answering Any Class of Japanese nonfacoid Quesion by using he Web and Example Q&A Pairs from a Social Q&A Websie In IEEE/WIC/ACM Inernaional Conferences on Web Inelligence and Inelligen Agen Technology, pp , [5] J. Mizuno, T. Akiba, A. Fujii, & K. Iou, Non-facoid Quesion Answering Experimens a NTCIR-6: Towards Answer Type Deecion for Real World Quesions In Proceedings of NTCIR-6 Workshop Meeing, pp , 2007.