ANALISIS LINK. Tujuan 4/23/13. Budi Susanto

Transkripsi

1 Text dan Web Mining - TI UKDW ANALISIS LINK udi Susanto Text dan Web Mining - TI UKDW 2 Tujuan memahami karakteristik link antar laman yang dapat dimodelkan sebagai graf. memahami algoritma PageRank memahami Hubs and Authority

2 Text dan Web Mining - TI UKDW 3 Struktur Web struktur hypertextual memberikan sebuah jaringan informasi node mewakili laman yang berisi informasi link menyatakan relasi antar node. entuk hypertextual pertama adalah konsep citation di antara book atau artikel ilmiah. node mewakili buku/artikel edge mewakili citation dari satu karya ke lainnya. perbedaan utama dengan web: citation dikelola lebih kuat berdasar waktu. citation mengarah pada karya sebelumnya. entuk hypertextual lain adalah cross-references dalam ensiklopedia Text dan Web Mining - TI UKDW 4 Contoh citation hypertextual 2

3 Text dan Web Mining - TI UKDW 5 Contoh Cross Reference network Text dan Web Mining - TI UKDW 6 Pemikiran Vannevar ush ush menyatakan bahwa informasi yang tersimpan pada buku, perpustakaan, atau bahkan memori komputer adalah linear. berisi koleksi item yang diurutkan dalam urutan tertentu. ush membayangkan sebuah hypothetical prototype, disebut Memex, yang fungsinya serupa dengan Web berisi bentuk digital dari pengetahuan manusia yang saling berhubungan dengan associative link. Pemikiran tentang Web: web sebagai ensiklopedia universal, web sebagai sistem socio-economic raksasa, web sebagai otak global. 3

4 Text dan Web Mining - TI UKDW 7 Web sebagai Directed Graph Tautan navigasi membentuk struktur backbone dari Web, daripada memperkaya isi. tautan antar laman Web diterapkan sebagai bentuk graf berarah, mengingat bentuk tautan dapat bersifat asimetrik. blog Anda memiliki link ke UKDW, namun tidak tentu UKDW memiliki link ke blog Anda. Text dan Web Mining - TI UKDW 8 Contoh Web Directed Graph 4

5 Text dan Web Mining - TI UKDW 9 Strongly Connected Sebuah directed graph dikatakan terhubung kuat jika terdapat sebuah jalur dari setiap node ke setiap node lainnya. Contoh pada slide 8 bukanlah directed graph yang terhubung kuat. Mengapa? Jika sebuah directed graph tidak terhubung kuat, maka perlu diperhatikan atribut lain, yaitu: reachability. mengenali node mana saja yang reachable dari node lain melalui jalur-jalur yang terbentuk. Text dan Web Mining - TI UKDW 0 Strongly Connected Component SCC dalam directed graph adalah sebuah subset node sedemikian rupa, sehingga: setiap node dalam subset memiliki sebuah jalur ke node lainnya, dan subset bukan merupakan bagian himpunan yang lebih besar lainnya dengan properti bahwa setiap node dapat mencapai setiap node lainnya. 5

6 Text dan Web Mining - TI UKDW Strongly Connected Component Text dan Web Mining - TI UKDW 2 Link Link dapat menjadi sumber keaslian dan pengakuan/ otoritas. mail spam phone call log host quality? Good?? ad? 6

7 Text dan Web Mining - TI UKDW 3 Link Node Good tidak akan menunjuk ke node ad. Jika sebuah node menunjuk ke node ad, maka node tersebut ad. Jika node Good menunjuk sebuah node, maka node tersebut juga Good. Good? ad Text dan Web Mining - TI UKDW 4 Link dan IR Sebagian besar sistem IR didasarkan pada isi dari teks. Link dapat digunakan untuk: scoring dan ranking link-based clustering struktur topik dari link Link sebagai feature dalam klasifikasi dokumen yang bertautan dengan dokumen lain dikatakan mungkin dalam satu subjek. Crawling menggunakan link untuk mengambil dokumen lainnya. 7

8 Text dan Web Mining - TI UKDW 5 Web sebagai Directed Graph Assumption : sebuah hyperlink antar halaman menyatakan sebuah pengakuan otoritas (sinyal kualitas) Assumption 2: teks dalam anchor dari sebuah hyperlink mengambarkan halaman sasaran (textual context) Page A Anchor hyperlink Page Text dan Web Mining - TI UKDW 6 Web sebagai Directed Graph G = (V, E) G adalah directed graf V adalah himpunan halaman web N adalah jumlah halaman web V = N Jika halaman u memiliki link ke halaman v, maka ( u, v) E 8

9 Text dan Web Mining - TI UKDW 7 Pengindeksan Teks Anchor Ketika mengindeks dokumen D, teks anchor disertakan dari link yang menunjuk ke D. Armonk, NY-based computer giant IM announced today Joe s computer hardware links Sun HP IM ig lue today announced record profits for the quarter Text dan Web Mining - TI UKDW 8 Pengindeksan Teks Anchor Namun terkadang tidak semua teks anchor adalah benar. Dapatkah memberi bobot terhadap teks anchor? bobot dapat dilakukan dengan memberikan tanda pada setiap halaman yang memiliki teks anchor. jika web tersebut dipercaya, misalnya Google, Yahoo!, maka teks anchor memiliki bobot tinggi. Aplikasi lainnya pembobotan terhadap link dalam graf menghasilkan deskripsi halaman dari teks anchor. 9

10 Text dan Web Mining - TI UKDW 9 PageRank Mengukur kualitas dari sebuah halaman web tidak dapat hanya menggunakan in-links. Sebuah web page dikatakan memiliki reputasi baik, jika halaman web bereputasi baik menunjuk web page tersebut. PageRank merupakan metode pembobotan setiap halaman dengan nilai antara 0. v V = v v, 0 V Text dan Web Mining - TI UKDW 20 PageRank Setiap halaman web akan memiliki bobot PageRank, dengan notasi: U menyatakan: berapa banyak halaman lain yang menunjuk ke halaman u. PageRank sebuah halaman adalah jumlah dari semua PageRank dari setiap halaman yang menunjuk ke halaman tersebut (indegree). V = U ( U, V ) E 0

11 Text dan Web Mining - TI UKDW 2 Naïve PageRank Jika halaman A menunjuk halaman, A berkontribusi dari PageRanknya untuk halaman. Halaman mengumpulkan kontribusi dari semua halaman yang menunjuk ke, untuk menentukan PageRank. A A C = 2 = 2 = + A C C A + + C = d A Text dan Web Mining - TI UKDW 22 Contoh E A A C C D A C D

12 Text dan Web Mining - TI UKDW 23 Kelemahan Naïve PageRank vulnerable to collision apa yang disebut sebagai link spam. pada slide 22, node C, D, dan E adalah link spam. dapat menghasilkan solusi tak terbatas Q A C P R tidak menemukan solusi Text dan Web Mining - TI UKDW 24 PageRank Menurut Page dan rin (998), untuk menghindari masalah naïve pagerank, diasumsikan pemakai mengunjungi tautan secara random dengan suatu probability tertentu. V = P + P 2 $ P = λ & % (U,V ) E ( λ) P 2 = N U d U Nilai λ pada umumnya bernilai 0.85 P adalah probabilitas mengunjungi v dari halaman lain P2 adalah probabilitas mengunjungi v secara acak ' ) ( 2

13 Text dan Web Mining - TI UKDW 25 PageRank Karena pada kenyataannya jumlah halaman web yang dihitung sangatlah banyak, maka dilakukan pendekatan iteratif untuk setiap nilai PageRank halaman. Dalam tiap iterasi, digunakan formula: p(k+) = p(k) * H p adalah vektor PageRank tiap halaman web Untuk inisialisasi, p(0), digunakan nilai /n untuk tiap halaman. n adalah jumlah halaman dalam graf. kemudian dilakukan perulangan sampai nilai perbedaan antar kedua vektor terakhir cukup kecil. ditentukan dengan sebuah threshold. Text dan Web Mining - TI UKDW 26 PageRank Untuk mencegah adanya hasil PageRank adalah 0 jika ditemukan adanya dangling nodes, maka matrix teleporation H, harus diubah dengan langkah: uat matrix untuk Dangling Node d ij = 0 jika H ij > 0 d ij = jika H ij = 0 Update matrix H dengan G (Google) Matrix: T H = λh + ( λd + ( λ) e) e N matrix e T adalah vektor berisi. transporter 3

14 Text dan Web Mining - TI UKDW 27 PageRank: Contoh 0 /3 /3 /3 A C H= 0 0 ½ ½ D Non Zero baris ke-i menunjukkan outlinking page dari halaman ke-i. Non Zero kolom ke-j menunjukkan inlinking page dari halaman ke-j. Text dan Web Mining - TI UKDW 28 PageRank: Contoh 0 dangling= 0 0 e= e T = 0 G = λh + (λd + ( λ)e) N et G=

15 Text dan Web Mining - TI UKDW 29 PageRank: Contoh p0= 0.25 p= = p-p0 = abs( )+ abs( )+ abs( )+ abs( )=0.002 Text dan Web Mining - TI UKDW 30 PageRank: Contoh p2= = p2-p = abs( )+ abs( )+ abs( )+ abs( )= Sehingga p adalah vektor v* (equilibrium value) yang merupakan nilai PageRank untuk tiap halaman yang diharapkan. 5

16 Text dan Web Mining - TI UKDW 3 Algoritma HITS HITS singkatan dari Hypertext Induced Topic Search. Ketika pemakai memberikan query, HITS pertama akan mendapatkan hasil dokumen yang relevan dengan query oleh mesin pencari dan menghasilkan 2 rangking: authority ranking hub ranking Authority adalah sebuah halaman dengan in-links Hub adalah sebuah halaman dengan out-links. Text dan Web Mining - TI UKDW 32 HITS Hubs Alice ob AT&T ITIM O2 Authorities Mobile telecom companies 6

17 Text dan Web Mining - TI UKDW 33 Algoritma HITS Text dan Web Mining - TI UKDW 34 Contoh HITS 0 0 A= 0 0 A C u= A T =

18 Text dan Web Mining - TI UKDW 35 Contoh HITS v= A T.u = = Update vector hub u= A.v = = Halaman C paling authoritative, sedangkan A, dn hub penting. Text dan Web Mining - TI UKDW 36 TERIMA KASIH budi susanto 8