STBI Sistem Temu Balik Informasi Temu-Balik Boolean. Husni. Husni.trunojoyo.ac.id Komputasi.wordpress.

Transkripsi

1 STBI-2011 Sistem Temu Balik Informasi 2011 Temu-Balik Boolean Husni Husni.trunojoyo.ac.id Komputasi.wordpress.com

2 Pemrolehan-Kembali Informasi Information Retrieval (IR) Pencarian material (biasanya dokumen) dari suatu yang tak-terstruktur (biasanya teks) yang memenuhi kebutuhan informasi dari dalam koleksi yang besar (biasanya disimpan pada komputer). 2

3 Data Tak-Terstruktur (text) vs. Terstruktur (database),

4 Data Tak-Terstruktur (text) vs. Terstruktur (database),

5 5

6 6

7 Sec. 1.1 Data Tak-Terstruktur, 1680 Buku mana dalam koleksi Shakespeare yang berisi kata Brutus AND Caesar tetapi NOT Calpurnia? Meng-grep semua buku yang mengandung Brutus dan Caesar, kemudian mengeluarkan yang mengandung Calpurnia?!!! Mengapa itu bukan jawaban? Lambat (jika koleksinya banyak, besar) NOT Calpurnia bukan hal sepele Operasi lain (seperti temukan kata Romans dekat countrymen) tidak mungkin Retrieval teranking (kembalikan dokumen terbaik) 7

8 Sec. 1.1 Hubungan Term-document Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth Antony Brutus Caesar Calpurnia Cleopatra mercy worser Brutus AND Caesar TETAPI NOT Calpurnia 1 jika buku mengandung kata, 0 jika tidak

9 Sec. 1.1 Vektor Hubungan Diperoleh vektor 0/1 untuk setiap term Untuk menjawab query: Ambil vektor untuk Brutus, Caesar dan Calpurnia (dikomplemenkan) bitwise AND AND AND =

10 Sec. 1.1 Jawaban Terhadap Query Antony and Cleopatra, Act III, Scene ii Agrippa [Aside to DOMITIUS ENOBARBUS]: Why, Enobarbus, When Antony found Julius Caesar dead, He cried almost to roaring; and he wept When at Philippi he found Brutus slain. Hamlet, Act III, Scene ii Lord Polonius: I did enact Julius Caesar I was killed i' the Capitol; Brutus killed me. 10

11 Sec. 1.1 Asumsi Dasar dari IR Koleksi (Corpus): Himpunan tetap (fix) dokumen Goal (Tujuan): Retrieve (temukan kembali) dokumen-dokumen dengan informasi yang relevan dengan kebutuhan informasi pengguna dan bantu pengguna menyelesaikan suatu tugas. 11

12 Model Pencarian Klasik TASK Info Need Verbal form Query Misconception? Mistranslation? Misformulation? Singkirkan tikus dengan cara yang benar secara politis Info tentang menghilangkan tikus tanpa membunuhnya Bagaimana menangkap tikus? Menangkap tikus SEARCH ENGINE Query Refinement Results Corpus

13 Sec. 1.1 Baguskah Dokumen yang diretrieve? Precision (Presisi): Prosentase dari dokumen yang diperoleh yang relevan dengan kebutuhan informasi pengguna Recall : Prosentase dari dokumen yang relevan dalam koleksi (himpunan) yang diretrieve Juga terdapat definisi dan ukuran ketepatan lain... 13

14 Sec. 1.1 Koleksi Lebih Besar Misal N = 1 juta dokumen, masing-masing sekitar 1000 kata. Rata-rata 6 byte per kata termasuk spasi atau tanda baca 6 GB data dalam koleksi dokumen. Katakanlah ada M = 500 Ribu term berbeda di antaranya. 14

15 Sec. 1.1 Tidak dapat Membangun Matriks Matrisk 500 Ribu x 1 Juta terdiri dari setengah trilyun 0 dan 1. Tetapi tidak terdiri lebih dari se-milyar 1. Matriks sangat jarang (banyak kosongnya). Bagaimana representasi yang baik? Hanya rekam posisi bernilai 1.??? 15

16 Sec. 1.2 Inverted index Untuk setiap term t, simpan daftar semua dokumen yang mengandung t. Identifikasi berdasarkan docid, nomor seri dokumen Menggunakan array berukuran tetap? Brutus Caesar Calpurnia Bagaimana jika kata Caesar ditambahkan ke dalam dokumen 14? 16

17 Sec. 1.2 Inverted index...perlu daftar posting berukuran variable Pada disk, bersifat kontinu: normal dan terbaik Dalam memory, gunakan linked lists atau array berukuran variable DocId Tarik-ulur dalam ukuran & kemudahan penyisipan Brutus Caesar Calpurnia Dictionary Daftar Posting Urut berdasarkan docid (Mengapa?) 17

18 Sec. 1.2 Konstruksi Inverted Index Dokumen awal (akan diindex) Friends, Romans, countrymen. Tokenizer Aliran token Friends Romans Countrymen Modul Linguistik (Bahasa) Token Baru friend roman countryman Dibahas kemudian Indexer Inverted index friend roman countryman

19 Tahapan Indexer : Sec. 1.2 deretan token Deretan pasangan (Token baru, Doc-ID) Doc 1 I did enact Julius Caesar I was killed i' the Capitol; Brutus killed me. Doc 2 So let it be with Caesar. The noble Brutus hath told you Caesar was ambitious

20 Tahapan Indexer : Sec. 1.2 Urutkan! Urutkan berdasarkan term Kemudian berdasarkan docid Langkah Indexing Utama

21 Sec. 1.2 Tahapan Indexer : Dictionary & Posting Banyak entri term dalam satu dokumen digabungkan. Bagi ke dalam Dictionary dan Posting Tambahkan informasi frekuensi dokumen. Mengapa frekuensi? (dibahas nanti)

22 Sec. 1.2 Biaya Penyimpanan? Term & Jumlah posting Pointer Daftar doc-id Dibahas nanti: Bagaimana mengindex dengan efisien? Berapa kapasitas simpan yang dibutuhkan? 22

23 Sec. 1.3 Index yang baru dibangun Bagaimana memroses suatu query? Fokus Kini Kemudian jenis query apa yang dapat diproses? 23

24 Sec. 1.3 Pemrosesan Query: AND Perhatikan pemrosesan query: Brutus AND Caesar Temukan Brutus dalam Dictionary; Ambil posting-nya. Temukan Caesar dalam Dictionary; Ambil posting-nya. Temukan irisan dari kedua posting tersebut: Brutus Caesar 24

25 Sec. 1.3 Gabungan atau Irisannya Periksa kedua postingan, temukan yang sama posting-nya. Jumlah waktu linier dengan jumlah posting Brutus Caesar Jika panjang list adalah x dan y, penggabungan memerlukan operasi O(x+y). Krusial: posting diurutkan berdasarkan docid. 25

26 Perpotongan dua posting list (Algoritma merge ) 26

27 Sec. 1.3 Query Boolean: Kecocokan Pasti Model Retrieval Boolean mampu menangani query berwujud ekspresi Boolean: Query Boolean: query menggunakan AND, OR dan NOT untuk menyatukan term-term query. Melihat setiap dokumen sebagai himpunan kata Tepatkah: Dokumen sesuai kondisi atau TIDAK. Model paling sederhana untuk membangun sistem IR Tool retrieval komersil utama selama 30 tahun. Banyak sistem pencarian mengunakan model Boolean: , Katalog perpustakaan, Mac OS X Spotlight 27

28 Sec. 1.4 Contoh: Layanan pencarian legal komersial (anggota berbayar) paling besar (dimulai 1975; ranking ditambahkan pada 1992) Puluhan terabyte data; pengguna Mayoritas pengguna masih menggunakan query boolean Contoh query: What is the statute of limitations in cases involving the federal tort claims act? LIMIT! /3 STATUTE ACTION /S FEDERAL /2 TORT /3 CLAIM! = wildcard, /3 = dalam 3 kata, /S = dalam kalimat sama 28

29 Sec. 1.4 Contoh: Contoh query lain: Kebutuhan bagi penyandang cacat agar dapat mengakses tempat kerja disabl! /p access! /s work-site work-place (employment /3 place) SPACE : disjungsi, bukan konjungsi! Query panjang (tepat); operator kedekatan; dikembangkan bertahap; tidak seperti pencarian web Banyak pencari pro masih menyukai pencarian Boolean: Tahu pasti apa yang diperoleh Tapi tidak berarti itu benar-benar bekerja lebih baik

30 Sec. 1.3 Query Boolean: Merge Lebih Umum Latihan: Sesuaikan gabungan untuk query: Brutus AND NOT Caesar Brutus OR NOT Caesar Masihkah proses merge memerlukan waktu O(x+y)? Apa yang dapat dicapai? 30

31 Sec. 1.3 Penggabungan Bagaimana dengan formula Boolean yang berubahubah? (Brutus OR Caesar) AND NOT (Antony OR Cleopatra) Dapatkah selalu di merge dalam waktu linier? Linier dalam apa? Dapatkah dilakukan lebih baik? 31

32 Sec. 1.3 Optimisasi Query Bagaimana urutan terbaik untuk pemrosesan query? Pertimbangkan query berupa suatu AND dari n term. Untuk setiap n term, dapatkan postingnya, kemudian AND-kan bersama-sama. Brutus Caesar Calpurnia Query: Brutus AND Calpurnia AND Caesar 32

33 Sec. 1.3 Contoh Optimisasi Query Proses dalam urutan frekuensi menaik: Mulai dengan set paling kecil, kemudian dilanjutkan ke depan. Inilah mengapa menyimpan frekuensi dokumen dalam dictionary Brutus Caesar Calpurnia Eksekusi query sebagai (Calpurnia AND Brutus) AND Caesar. 33

34 Sec. 1.3 Optimisasi Lebih Umum Misal: (madding OR crowd) AND (ignoble OR strife) Dapatkan frekuensi dokumen untuk semua term. Estimasi ukuran setiap OR dengan menjumlahkan frekuensi dokumenya (konservatif). Proses dalam urutan naik dari ukuran OR 34

35 Latihan... Tuliskan urutan pemrosesan query untuk: (tangerine OR trees) AND (marmalade OR skies) AND (kaleidoscope OR eyes) Term Freq eyes kaleidoscope marmalade skies tangerine trees

36 Latihan Pemrosesan Query Latihan: Jika query adalah friends AND romans AND (NOT countrymen), bagaimana jika menggunakan frekuensi countrymen? Latihan : Perluas gabungan menjadi query Boolean tertentu. Dapatkah kita selalu menjamin eksekusi dalam waktu linier dalam total ukuran posting? Hint: Mulai dengan query formula Boolean: setiap term query muncul hanya sekali dalam query. 36

37 Latihan... Coba fitur pencarian di Tuliskan 5 fitur pencarian yang menurut anda dapat melakukan lebih baik 37

38 IR & Pencarian Lanjut... Bagaimana dengan frase? Stanford University Kedekatan: Temukan Gates NEAR Microsoft. Perlu index untuk meng-capture informasi posisi dalam dokumen. Zona dalam dokumen: Temukan dokumen dengan (author = Ullman) AND (teks mengandung automata). 38

39 Akumulasi Fakta 1 vs. 0 kehadiran term pencarian 2 vs. 1 kehadiran 3 vs. 2 kehadiran, dll. Biasanya tampak lebih baik Perlu informasi frekuensi term dalam dokumen 39

40 Ranking Hasil Pencarian Query Boolean memberikan inklusi atau eksklusi dari dokumen. Sering hasilnya diranking/dikelompokkan Perlu mengukur kedekatan dari query ke setiap dokumen. Perlu memutuskan apakah dokumen yang disajikan kepada pengguna bersifat singleton (tunggal), atau kelompok dokumen yang mencakup berbagai aspek dari query. 40

41 IR vs. Database: Terstruktut vs Tak-Terstruktur Data terstruktur mengacu ke informasi dalam tabel Employee Manager Salary Smith Jones Chang Smith Ivy Smith Umumnya memungkinkan query range numerik dan sesuai tepat (untuk teks), misalnya: Salary < AND Manager = Smith 41

42 Data Tak-Terstruktur Umumnya mengacu ke teks bebas Memungkinkan: Query Keyword dengan menyertakan operatoroperator Query konsep yang lebih canggih, misal: Temukan semua halaman web yang berkaitan dengan penyalahgunaan obat. Model klasik untuk pencarian dokumen teks 42

43 Data Semi-Terstruktur Nyatanya hampir tidak ada data yang takterstruktur Misal: slide ini punya zona teridentifikasi dengan jelas seperti Title dan Bullets Menfasilitasi pencarian semi-structured seperti Title mengandung data AND Bullets mengandung search 43

44 Pencarian Semi-Terstruktur Lebih Canggih Title mengenai Object Oriented Programming AND Author menyerupai stro*rup Dimana * adalah operator wild-card Isu: Bagaimana memroses mengenai? Bagaimana meranking hasil? Fokus dari pencarian XML (IIR, Bab 10) 44

45 Clustering, Klasifikasi & Ranking Clustering: Diberikan sehimpunan dokumen, kelompokkan mereka ke dalam cluster-cluster berdasarkan pada konten-nya. Classification: Diberikan sehimpunan topik, kemudian muncul suatu dokumen baru D, tentukan topik mana yang akan diikuti oleh D. Ranking: Bagaimana mengurutkan sehimpunan dokumen, misalnya himpunan hasil pencarian. 45

46 Web & Tantangannya Dokumen tidak biasa dan beragam Pengguna, query, kebutuhan informasi tidak biasa dan beragam Diluar dari term, menggali ide dari social networks link analysis, clickstreams... Bagaimana search engines bekerja? Dan bagaimana membuatnya lebih baik? 46

47 IR yang lebih Canggih Cross-language information retrieval Question answering Summarization Text mining 47

48 Resources Kuliah Hari ini... Introduction to Information Retrieval, Bab 1 Shakespeare: Coba jelajah tertata dengan fitur deretan keyword! Managing Gigabytes, Bab 3.2 Modern Information Retrieval, Bab

49 Pertanyaan? 49

50 Tugas Kerjakan latihan-latihan berikut: Exercise 1.2 Exercise 1.7 Exercise 1.10 Gunakan google dan yahoo. Coba beberapa query boolean. Catat hasil yang diberikan. Bandingkan! Jawaban tugas di upload ke blog masing-masing. Alamat blog Anda dituliskan di blog komputasi.wordpress.com, pada halaman STBI