Penelusuran Informasi (Information Retrieval) Taufik Fuadi Abidin. Web Search

Transkripsi

1 Penelusuran Informasi (Information Retrieval) Taufik Fuadi Abidin Web Search

2 Topik Pertemuan Ini Web Search Overview Sejarah Perkembangan Web Search Arsitektur Web Crawler Tantangan dalam Web Search Tech Near Duplicate Jaccard Coefficient SPAM

3 Web SearchOverview 3 3

4 World Wide Web (WWW) Diperkenalkan pertama sekali oleh Tim Berners-Lee pada tahun 1990 Saat ini, Lee menjabat sebagai ketua World Wide Web Consortium (W3C) yang mengatur perkembangan WWW Situs web pertama yang dibuat oleh Lee dan ditempatkan pada web server pertama dapat dilihat di Tim Berners-Lee juga pengembang protokol HTTP, URL dan HTML

5 Sejarah Perkembangan WebSearch Tahun 1993, web robots (spiders/crawlers) diciptakan untuk mengumpulkan URL, diantaranya: Wanderer ALIWEB (Archie-Like Index of the WEB) WWW Worm Pada tahun 1994, mahasiswa Graduate Stanford, DavidFilodan JerryYang,secara manual mengumpulkan web site yang populer dan membuatnya dalam bentuk toxonomy (hirarki). Ide ini menjadi cikal bakal lahirnya Yahoo!

6 Sejarah Perkembangan WebSearch Tahun 1994,Brian Pinkerton mengembangkan Webcrawler sebagai bagian dari tugas kuliah di Univ of Washington. Projek ini kemudian menjadi bagian dari Excite( dan AOL. Pada tahun1995,lahir Altavista ( Pada tahun 1998, Larry Page dan Sergey Brin, mahasiswa Stanford, memperkenalkan Google yang menggunakan link analysisuntuk melakukan ranking, selain teks info (tf x idf)

7 Arsitektur dari Web Crawler

8 Nama-Nama Web Crawler Yahoo! Slurp (Yahoo) Bingbot ( Microsoft's Bing webcrawler) Googlebot (Google) WebCrawler Open Source Crawler: Nutch HTTrack Seeks

9 Tata Krama Sebuah Web Crawler Tata krama dari sebuah web crawler dapat diatur melalui Robots Exclusion Protocol Aturan tata krama tersebut dapat diatur melalui file robot.txt User-agent: * Disallow: /

10 Robot.txt User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ User-agent: Google Disallow: /~joe/junk.html Disallow: /~joe/foo.html Disallow: /~joe/bar.html

11 Web Search Challenges Distributed Data: Document menyebar pada lebih dari jutaan web server Volatile Data: Document WWW berubah dan hilang dengan cepat (dead links) Large Volume: Jumlah halaman WWW cukup besar Unstructured and Redundant Data: Tidak ada struktur yang sama, lebih dari 30% adalah halaman web yang (near) duplicate Quality of Data: Tidak ada editor, typos Heterogeneous Data: Beragam tipe media(image, video, languages, character sets)

12 Contoh: WWW yang Near-Duplicate

13 Pertanyaan Bagaimana mengeliminasi near-duplicatesdari dua halaman web?

14 Mendeteksi Near-Duplicates Hitung similarity menggunakan pengukuran jarak (distance measure) Kesamaan yang ingin dihitung adalah kesamaan penulisan (syntax) bukan kesamaan arti (semantics) Semantic Similarity sulit dihitung Halaman web dikatakan near-duplicates jika tulisannya mirip, bukan penulisannya berbeda tetapi artinya sama. Hal ini sulit ditentukan Tentukan thresholddari near-duplicates, misalnya 80%

15 Representasi Webdalam n-gram (Shingle) Shingles adalah n-gram Shingles digunakan sebagai fitur dalam menentukan kesamaan sintaks (syntactic similarity) dari halaman web Sebagai contoh, a rose is a rose is a rose dalam 3- gram adalah { a-rose-is, rose-is-a, is-a-rose } Kesamaan (similarity) dari dua dokumen dapat dihitung menggunakan Jaccard Coefficientdari himpunan shingle(n-gram) 15 15

16 JaccardCoefficient Jika A dan B adalah dua dokumen Jaccard Coefficient adalah: Dimana JACCARD(A, A) = 1 JACCARD(A, B) = 0 jika A B = 0 Ukuran halaman A dan B boleh berbeda Nilai Jaccard antara 0 dan

17 Contoh Perhitungan JaccardCoefficient Diketahui 3 dokumen: d1: Jack London traveled to Oakland d2: Jack London traveled to the city of Oakland d3: Jack traveled from Oakland to London Menggunakan 2-gram (bi-gram), Jaccard Coefficient dari J(d 1,d 2 ) dan J(d 1,d 3 ) adalah: J(d1, d2) = 3/8 = J(d1, d3) = 0 Perhatikan bahwa coefficient ini sangat sensitive dan cendrung menuju dissimilarity

18 SPAM SPAM dapat juga diartikan sebagai unwanted info Sebelum algoritma page rankdiperkenalkan dan search engine masih hanya menggunakan text info (frequency dan idf) hasil ranking dapat dikelabui oleh spammer dengan menulis keyword tertentu secara berulang-ulang dalam sebuah halaman web SPAM dapat berbentuk: Web Blog / Wiki

19 Pertanyaan Bagaimana menentukan sebuah halaman yang merupakan SPAM?