Question Answering from the Web Using Knowledge Annotation and Knowledge Mining Techniques

Transkripsi

1 Question Answering from the Web Using Annotation and Techniques oleh Jimmy Lin and Boris Katz diceritakan kembali oleh: Jan Peter Alexander

2 Poin Penting Paper Sistem Question-Answering Data dari World Wide Web (WWW) Teknik ARANEA Annotation Minning START paragraf

3 Permasalahan Sistem Temu-Kembali Traditional Pencarian dengan daftar potensi halaman. [bikin pusing] Factoid! Pertanyaan mengarah ke Jawaban Kapan John Doe Lahir? Jawaban sederhana 1970 [TAHUN]

4 Konsep Hukum Zipf (Zipf s Law) A small fraction of question types accounts for a significant portion of all question instances. Sebagian kecil dari jenis pertanyaan menjawab sebagian besar pertanyaanpertanyaan yang ada.

5 Konsep (cont'd)

6 Aranea Questions Web Databases Annotation Google Boosting Answers

7 CIA World Factbook Biography.com... 50states.com Annotation When was x born? What is the birth date of x?... {biography.com, x, birthdate}

8 Formulasikan Permintaan Eksekusi Permintaan Buat N-grams Pilih (vote) Saring Kandidat Kombinasikan Kandidat Nilai Kandidat Dapatkan Dukungan

9 Formulasikan Permintaan Eksekusi Permintaan Buat N-grams Pilih (vote) Saring Kandidat Kuantitas daripada Kualitas Ada 2 Jenis kueri: - Tepat (exact) Pattern matching - Tidak Tepat (inexact) Sekumpulan kata kunci When did the Mesozoic period end? Kombinasikan Kandidat Nilai Kandidat Dapatkan Dukungan

10 Formulasikan Permintaan When did the Mesozoic period end? Eksekusi Permintaan Query: When did the Mesozoic period end Tipe: inexact Skor: 1 Buat N-grams Snippet yg hendak digali: 100 Pilih (vote) Saring Kandidat Kombinasikan Kandidat Nilai Kandidat Query: the Mesozoic period ended Tipe: inexact Skor: 1 Snippet yg hendak digali: 100 Query: the Mesozoic period ended?x Type: exact Skor: 2 Snippet yg hendak digali: 100 Maks. panjang?x: 50 Maks. panjang kata?x: 5 Dapatkan Dukungan

11 Formulasikan Permintaan Eksekusi Permintaan Buat N-grams Pilih (vote) Saring Kandidat Kombinasikan Kandidat Menghasilkan semua kemungkinan N-gram (Unigram, Bigram, Trigram, dan Tetragram) dari potongan teks hasil Eksekusi Permintaan. Lalu diberi skor awal berdasarkan tipe teks (exact vs. inexact) tersebut. Nilai Kandidat Dapatkan Dukungan

12 Formulasikan Permintaan Eksekusi Permintaan N-gram diskor ulang berdasarkan Buat N-grams Pilih (vote) Saring Kandidat jumlah penemuan kembali n- gram tersebut. Konsep: Sebuah jawaban yang ditemukan pada beberapa dokumen memiliki kemungkinan sebagai jawaban sahih. Kombinasikan Kandidat Nilai Kandidat Dapatkan Dukungan

13 Formulasikan Permintaan Eksekusi Permintaan Buat N-grams Pilih (vote) Saring Kandidat Kombinasikan Kandidat Nilai Kandidat Dapatkan Dukungan N-gram dieliminasi berdasarkan kriteria: Kandidat diawali/diakhiri stop word dibuang Kandidat yang mengandung pertanyaan asli dibuang. Kecuali yang mengandung focus words. How many meters... Heuristik untuk menerapkan tipe jawaban how far, how fast, how tall Jawaban numerik Filter-filter tertutup (fixed-list) untuk jawaban bertipe closedclass items. what sports..., what nationality..., what language...

14 Formulasikan Permintaan Eksekusi Permintaan Buat N-grams Pilih (vote) Saring Kandidat Kombinasikan Kandidat Menggabungkan n-gram yang lebih pendek ke n-gram yang panjang apabila n-gram pendek terdapat di dalam n- gram yang panjang. Skor de Soto ditambahkan ke Skor Hernando de Soto Nilai Kandidat Dapatkan Dukungan

15 Formulasikan Permintaan Eksekusi Permintaan Buat N-grams Pilih (vote) Saring Kandidat Kombinasikan Kandidat skor=skor 1 A w A log N w c Nilai Kandidat Dapatkan Dukungan

16 Formulasikan Permintaan Eksekusi Permintaan Buat N-grams Pilih (vote) Saring Kandidat Kombinasikan Kandidat Nilai Kandidat Cek apakah jawaban benar ada di teks snippet asli yang didapat dari web. Dapatkan Dukungan

17 Annotation Boosting Pengecekan secara heuristik: Sekumpulan prosedur untuk mengenali lokasi geografis, tahun.

18 Hasil Annotation # of q. % Benar Tidak tepat Salah Total Benar Tidak tepat Salah Total Total Benar Tidak tepat Salah Total Annotation Unsupported (AQUAINT) inexact Performa Benar 71.4 Tidak tepat 4.7 Salah 23.9 Benar 33.4 Tidak Tepat 9.4 Salah 57.2

19 Hasil (cont'd) Sekitar 16% (30/183) jawaban tepat didapat dari knowledge annotation. 28 basisdata access schemata 7 knowledge source Hanya data beberapa hari kerja Butuh pemahaman tentang natural language. Human error (Machine Learning); Pertanyaan temporal ( Gubernur tahun 1950 ); Nilai Semantik ( orang kedua );

20 Kesimpulan Aranea menggunakan 2 jenis teknik: Annotation

21 Contoh Hasil Kueri When is Gerald Ford s birthday? July 14, 1913 (extracted using knowledge annotation techniques from biography.com) Who founded Taoism? Lao Tzu (extracted using knowledge mining techniques) What was the name of the first child of English parents to be born in America? Virginia Dare (extracted using knowledge mining techniques)

22 Problem (1) Wilt Chamberlain scored 100 points on March 2, 1962 against the New Yorks Knicks. (2) On December 8, 1961, Wilt Chamberlain scored 78 points in a triple overtime game. It was a new NBA record, but Warriors coach Frank McGuire didn t expect it to last long, saying, He ll get 100 points someday. McGuire s prediction came true just a few months later in a game against the New York Knicks on March 2.