Latent Semantic Analysis dan. Similarity untuk Pencarian. oleh : Umi Sa adah

Transkripsi

1 Metode Latent Semantic Analysis dan Algoritma Weighted Tree Similarity untuk Pencarian berbasis b Semantik oleh : Umi Sa adah Pembimbing : Prof. Drs.Ec. Ir. Riyanarto Sarno, M.Sc, Ph.D Umi Laili Yuhana, S.Kom, M.Sc

2 Latar Belakang Butuh sistem pencarian dengan hasil yang cepat dan relevan Perpustakaan digital tumbuh pesat baik dari sisi jumlah maupun kekayaan kontennya Kebanyakan sistem pencarian yang ada kurang memadai dari sisi relevansi hasil pencarian 2/3/2012 2

3 Full Text Search Cara: mencari kata kunci pengguna (query) di keseluruhan isi dokumen + Umum digunakan + Antarmuka sederhana - Hasil pencarian sangat banyak - Seringkali tidak relevan dengan yang diinginkan pengguna - Kelemahan linguistik: tidak bisa membedakan relasi antar kata (misalnya sinonim, hipernim, hiponim) 2/3/2012 3

4 Metadata-Enabled Search Cara: Menelusuri query pada metadata dokumen + dapat berfungsi sebagai katalog dokumen - Semua metadata diberi tingkat prioritas/bobot yang sama - Kelemahan linguistik - Antarmuka kompleks 2/3/2012 4

5 Solusi Metadata Metadata Metadata Metadata Weighted Tree Similarity LSA (Latent Semantic Analysis) Cosine Measure Similarity 2/3/2012

6 R e l a t e d W o r k s Setyawan, S. H. (2004) Algoritma Weighted-Tree Similarity ditambah algoritma Fuzzy Logic untuk meningkatkan relevansi pencarian Yuniar E. (2010) Menggabungkan LSA dan Wordnet untuk mendapatkan topik yang dibahas pada suatu artikel dalam e-learning yang dipakai sebagai rekomendasi anotasi Rakhmawati V. (2009) Menggabungkan algoritma weighted tree similarity dengan Wordnet. Dibatasi pada koleksi yang berbahasa Inggris Weighted Menggabungkan tree similarity + weighted Fuzzy Logic tree similarity dengan LSA untuk pencarian berbasis semantik yang independen terhadap bahasa landscape reading, interpreting, LSA + Wordnet and representing Weighted tree similarity + Wordnet

7 Permasalahan 1. Bagaimana mengolah daftar isi dalam database buku melalui pra pemrosesan teks dan proses LSA agar menghasilkan nilai document scores yang menjadi nilai kemiripan lokal dari cabang keyword dalam weighted tree? 2. Bagaimana menerapkan cosine measure similarity sebagai dasar penentuan kemiripan lokal pada cabang judul, penerbit dan pengarang dalam weighted tree? 3. Bagaimana menghitung nilai kemiripan antara weighted tree yang dibangun dari query user terhadap weighted tree buku dalam database? 2/3/2012 7

8 Batasan Masalah 1. Dataset yang digunakan untuk ujicoba adalah data buku di perpustakaan PENS 2. Data buku yang digunakan adalah data buku yang berbahasa Indonesia 3. Hubungan semantik yang dijadikan dasar penentuan kesamaan konteks adalah sinonim 4. Fase persiapan dilakukan sebelum fase matching, dan diulang setiap kali ada update database. 5. Tidak membahas data query yang bersifat numerik 6. Tidak memperhatikan pengetahuan yang terkandung dalam struktur daftar isi 2/3/2012 8

9 Hipotesa W-Tree + LSA memberikan keluaran yang lebih relevan dibandingkan W-Tree

10 Manfaat dan Kontribusi Membuat sistem pencarian buku yang memiliki relevansi secara semantik dan independen terhadap bahasa. Berkontribusi dalam pembentukan model pencarian menggunakan algoritma weighted tree similarity yang dikombinasikan dengan metode LSA. 2/3/

11 Dasar Teori

12 What is LSA Latent Semantic Analysis? LSA adalah teknik matematika/teknik statistik untuk mengekstraksi dan menyimpulkan hubungan penggunaan kontekstual yang diharapkan dari kata-kata k t yang menjadi bagian dari wacana (Landauer, Foltz & Laham, 1998). Digunakan dalam author recognition, search engines, detecting plagiarism, dan membandingkan kemiripan teks (Sudarsun,2008) Sebuah konteks di mana suatu kata eksis atau tid k k t k k i i d k tidak akan menentukan kemiripan dokumen Independen terhadap bahasa

13 Weighted Tree (Solihin, 2006) Tree merupakan struktur data yang umum digunakan sebagai representasi informasi. Struktur Weighted Tree memperkenalkan konsep node berlabel, arc berlabel, dan arc berbobot yang merepresentasikan relasi parent-child dari suatu atribut produk/jasa. Informasi semantik dikandungd tidak hanya pada label node tetapi juga pada label arc. Sedangkan bobot arc merepresentasikan tingkat kepentingan (importance) dari suatu arc (atribut produk/jasa). 2/3/

14 Evaluasi Performa Recall dan Precision Precision = tp/(tp+fp) p(p p) --> rasio dari pattern yang di-klasifikasikan sebagai positive dengan benar dari semua pattern yang diklasifikasikan sebagai positive. Recall = tp/(tp+fn) --> rasio dari pattern yang diklasifikasikan sebagai positive dengan benar dari semua pattern yang seharusnya diklasifikasikan sebagai positive

15 Evaluasi Performa Receiver Operating Characteristic ti (ROC) merupakan kurva yang memetakan laju True Positive (tp) / diterima relevan terhadap laju False Positive (fp) / diterima tidak relevan. Kurva ROC mem-plot true positive rate vs false positive rate. true positive rate = recall false positive rate = fp/(fp+tn) --> rasio dari pattern yang diklasifikasikan sebagai positive dengan salah dari semua pattern yang seharusnya diklasifikasikan secara negative.

16 Metodologi

17 Gambaran Umum Sistem Metadata Metadata keyword Daftar Isi SISTEM Urutan judul buku beserta nilai similarity 2/3/2012

18 Terdapat 2 fase: Fase Persiapan Fase Matching Metodologi Gambar Diagram Konteks Sistem 2/3/

19 Fase Persiapan Gambar Diagram alir fase Persiapan GambarFase Persiapan 2/3/

20 Fase Matching 20

21 Keluaran Sistem Keluaran berupa nilai similarity judul buku Nilai/score tertinggi memiliki relevansi terbesar terhadap query user. 2/3/2012

22 Implementasi

23 Dataset Sumber Digilib EEPIS : its.edu Kategori Buku Tk Teks D4 Subyek Bahasa Jumlah Komputer Bahasa Indonesia 164 judul

24

25 Uji Coba

26 Klik 2x

27 Tree buku vs Tree Query 1 Tree Buku Buku Pintar Linux Database Server PostgreSQL Richardus Eko Indrajit daftar isi Elex Media Komputindo 2002 Tabel Nilai bobot Cabang Tree Cabang Nilai Bobot Judul 0.35 Pengarang g 0.02 Penerbit 0.01 Tahun 0.01 Edisi 0.01 Keyword 0.6 vs Tree Query User /3/ PostgreSQL

28 Kemiripan Lokal : Kemiripan Lokal : cosine measure similarity string matching JUDUL TAHUN PENGARANG EDISI PENERBIT

29 Kemiripan lokal : LSA KEYWORD

30 W-Tree vs W-Tree+LSA W-Tree +LSA W-Tree

31 Analisis Dengan W-Tree +LSA: Keluaran yang direkomendasikan adalah buku-buku yang memiliki kemiripan/relevansi i i dengan keyword yang dijadikan query, yaitu : PostgreSQL Metadata yang lain, seperti judul, pengarang, dll juga memberikan kontribusi pada judul-judul buku yang direkomendasikan Dengan W-Tree tanpa LSA: Keluaran yang direkomendasikan adalah buku-buku sesuai dengan query pada seluruh metadata : judul, penerbit, pengarang, dll. Sebagian besar hasil pencarian, tidak relevan dengan query keyword yang dimasukkan

32 Pembuktian Hipotesa

33 Pembuktian Hipotesa Gambar Diagram alir pembuktian hipotesa

34 1. Penentuan Keyword

35 2. Proses Training Tabel Score similarity W-Tree W W-Tree + LSA

36 Kurva ROC threshold/cut off W-Tree tanpa LSA : threshold = 0.11 W-Tree + LSA : threshold = 0.12

37 3. Proses Testing Didasarkan pada nilai threshold dari masing-masing g query Dilakukan pada kedua sistem yang dibandingkan. Keluaran dari proses ini sama dengan proses training, namun keluaran hanya koleksi yang memiliki score > = threshold

38 4. Performa Query Koleksi relevan R Total A Hasil Pencarian Performa W-Tree Rl Relevan tak Precision i Recall F-score Ra relevan Ra / A Ra / R 2/(1/R + 1/P) Q Q Q Q Q W-Tree + LSA Query Rata-rata Koleksi Hasil Pencarian Performa relevan R Total A Relevan Ra tak relevan Precision Ra / A Recall Ra / R W-Tree F-score 2/(1/R + 1/P) Q Q Q Q Q Rata-rata

39 Rangkumannya Pencarian Precision Recall F-score W-Tree Nilai tertinggi W-Tree + LSA

40 Kesimpulan dan Saran

41 Kesimpulan Nilai doc scores hasil proses LSA, tidak hanya dipengaruhi oleh nilai query vectors, namun juga oleh term vector yang nilainya tertinggi. Hal ini mengakibatkan tingkat relevansi dengan query menurun. Sistem pencarian dengan penggabungan W-Tree + LSA memberikan hasil dengan relevansi terhadap query LEBIH TINGGI dibandingkan sistem pencarian dengan algoritma W-Tree+Wordnet dalam menangani dokumen bahasa Indonesia W-Tree + LSA mengakomodasi kelebihan LSA dalam memproses keyword ditambah dengan kelebihan algoritma W-Tree dalam mengakomodasi metadata beserta bobot yang dijadikan sebagai query user.

42 Saran Untuk mendapatkan keluaran yang lebih valid dan akurasi lebih tinggi : 1. Perlu dibuat standarisasi dalam penulisan daftar isi buku. 2. Model yang direkomendasikan bisa menggunakan LSA dengan masukan berupa daftar indeks buku atau berupa buku secara keseluruhan (e-books).dengan g demikian nilai term document matrix benar-benar mewakili term yang muncul dalam buku tersebut.

43 Alhamdulillahi robbil alamin