Penelusuran Informasi (Information Retrieval)

Transkripsi

1 Introduction to Information Retrieval Penelusuran Informasi (Information Retrieval) Sumber: CS276: Information Retrieval and Web Search Pandu Nayak and Prabhakar Raghavan Taufik Fuadi Abidin Web Crawling

2 Pembahasan Minggu Ini Web Crawling Cara Kerja Arsitektur 2

3 Sec Intro Web Crawling Dimulai dengan URL seed Fetch& parseurl tersebut Ekstrak URL tautan Insert ke dalam Queue Baca URL dalam Queue satu per satu dan ulangi proses tersebut 3

4 Introduction to Information Retrieval Sec Ilustrasi dari Web Crawling URLs crawled and parsed Unseen Web Web Seed pages URLs frontier 4

5 Sec Gambaran Sederhana Web Crawling Web crawling tidak ditangani oleh 1 mesin Semua proses dilakukan secara terdistribusi Harus mampu menangani Halaman Spam Jebakan Spider (halaman yang dinamis) Juga tantangan-tantangan berikut: Latency/bandwidth ke server tujuan berbeda-beda Seberapa dalam akan di-crawl Menangani halaman ganda (duplicate pages) Sopan (Politeness) don t hit a server too often 5

6 Sec Apa yang harus dilakukan Crawler? Sopan (Polite): Respect implicit and explicit politeness considerations Hanya halaman yang diizinkan di crawl Respect robots.txt Harus tangguh (Robust): Be immune to spider traps and other malicious behavior from web servers 6

7 Introduction to Information Retrieval Sec Ilustrasi dari Web Crawling (Update) URLs crawled and parsed Unseen Web Seed Pages URL frontier Crawling thread 7

8 Sec URL Frontier Dapat menerima halaman-halaman (lebih dari satu) dari host yang sama Namun hindari mengakses mereka pada waktu yang bersamaan Harus berusaha agar crawling threads busy 8

9 Sec Explicit & Implicit Politeness Explicit politeness: ditentukan oleh webmaster menggunakan file robots.txt Implicit politeness: walaupun tidak ada robots.txt, usahakan agar server tidak diakses terlalu sering (bersamaan) 9

10 Sec Contoh Robots.txt Tidak ada spider yang dapat mengunjungi URL yang diawali dengan "/yoursite/temp/", kecuali spider itu adalah searchengine": User-agent: * Disallow: /yoursite/temp/ User-agent: searchengine Disallow: 10

11 Sec Langkah dalam Web Crawling Ambil URL dari URL frontier Ambil dokumen pada URL tersebut Parse dokumen tersebut Ekstrak URL tautan ke halaman lain Periksa apakah URL itu kontennya sudah pernah ada Jika belum, masukkan dalam indeks Untuk setiap URL yang diperoleh Pastikan URL tersebut lulus filter tests crawl.edu saja dan patuh dengan robots.txt Periksa apakah URL ada dalam URL frontier (eliminasi URL ganda) 11

12 Introduction to Information Retrieval Sec Basic crawl architecture DNS Doc robots filters URL set WWW Parse Fetch Content seen? URL filter Dup URL elim URL Frontier 12

13 Sec DNS (Domain Name Server) Servis lookup di internet Diberikan sebuah URL, didapat alamat IP-nya DNS servis dilayani oleh sekumpulan server terdistribusi, sehingga lookup latency bisa tinggi 13

14 Sec Parsing: URL Normalisasi Ketika konten sebuah dokumen di-parse, beberapa link yang ditemukan dapat berupa relative URLs Contoh: memiliki relative link to /wiki/wikipedia:general_disclaimeryang kontennya sama persis dengan URL sebelumnya Selama parsing dilakukan, proses normalisasi (expanding URL) harus dapat dilakukan 14

15 Sec Apakah Konten dijumpai Sebelumnya? Konten yang duplikasi banyak ditemukan di Internet Jika sebuah halaman yang baru saja dicrawl sudah ada dalam indeks maka halaman tersebut tidak diproses lagi Hal ini dapat dilakukan menggunakan document fingerprintsatau shingles 15

16 Introduction to Information Retrieval Sec Filters & robots.txt Filters adalah regex untuk menentukan format URL yang ingin di-crawl atau tidak Jika file robots.txt dibaca pada situs, cukup dibaca sekali saja File robots.txt di-cache-kan 16

17 Sec Eliminasi URL yang Ganda Cek apakah URL tersebut sudah pernah dijumpai dalam URL Fronteir sebelumnya Eliminasi jika sudah ditemui sebelumnya Jangan diproses lagi 17

18 Sec URL Frontier: Dua Pertimbangan Utama Politeness: jangan akses server terlalu sering Freshness: crawl beberapa halaman lebih sering dari pada halaman yang lain, misalnya portal berita dan lain-lain yang updatenya cepat 18