Evaluasi Algoritme HASIL DAN PEMBAHASAN Penggunaan Cronjob Memasukkan Link ke Frontier Pemberhentian Crawling

Transkripsi

1 selajutaya yag aka dikujugi. Pada kajia kali ii startig URL yag diguaka yaitu Kata kuci pada kajia kali ii adalah pertaia agriculture tai petai padi jagug agri agribisis, dega tujua utuk medapatka halama web yag berhubuga dega pertaia. 2. Memasukka lik ke frotier Frotier adalah daftar URL yag belum dikujugi oleh web crawler (uvisited pages). Berdasarka termiologi graf, frotier adalah sebuah ode yag belum diekspa (uexpaded odes). Atura pada frotier tidak boleh ada duplikasi URL, utuk memastikaya diguaka pegeceka secara kueri basis data. Memasukka lik ke frotier adalah proses memasukka setiap lik yag didapat dari startig URL atau lik dari sebuah halama web. Implemetasi frotier pada kajia ii yaitu megguaka basis data, racaga struktur tabel pada basis data dapat dilihat di Lampira Pegeceka pemberhetia crawlig Pemberhetia crawlig dilakuka jika total halama web yag dikujugi mecapai total maksimum yag ditetuka, atau jika frotier telah mecapai batas maksimum dalam sebuah peyimpaa. 4. Megambil lik dari frotier berdasarka algoritme crawler Megambil lik dari frotier berdasarka atura dari setiap algoritme yaitu algoritme breadth first, breadth first with time costrait, best first, da page rak. 5. Fetch Fetch adalah proses megujugi da megambil isi halama web. 6. Parsig Parsig adalah proses megekstrak lik da kata atau frase dari sebuah halama web. Pada tahapa ii dilakuka pegeceka apakah sebuah kata atau frase termasuk stop list, jika stop list maka tidak dimasukka dalam peyimpaa. Pada peelia ii megguaka stop list Bahasa Idoesia da Bahasa Iggris, alasa megguaka stop list Bahasa Iggris dikareaka beberapa dokume web berbahasa Idoesia megguaka istilah Bahasa Iggris. Daftar stop list Bahasa Idoesia da Bahasa Iggris dapat dilihat pada Lampira Pegideksa Hasil dari tahapa fetch, dihitug bobot setiap kata atau frase yag didapat dega term frequecy (tf), kata atau frase da bobotya disimpa dalam basis data. Evaluasi Algoritme Evaluasi algoritme merupaka proses evaluasi terhadap algoritme web crawer yag telah diimplemetasika. Evaluasi dilakuka dega tiga cara yaitu : 1. Meghitug ilai precisio utuk setiap algoritme. 2. Meghitug kompleksitas utuk setiap algoritme. 3. Meghitug rata-rata fetch time sebayak dua puluh iterasi utuk setiap algoritme. HASIL DAN PEMBAHASAN Pegguaa Crojob Crojob adalah aplikasi yag diguaka utuk pejadwala, sehigga memugkika peggua melakuka eksekusi aplikasi atau script program sesuai dega waktu yag telah ditetuka. Pada peelita ii diguaka aplikasi crojob yag sudah terkofigurasi lagsug dega Cpael pada sebuah hostig. Tujua dari pegguaa crojob adalah utuk megatur proses crawlig sesuai dega waktu yag ditetuka. Memasukka Lik ke Frotier Utuk medapatka lik dari dokume HTML yaitu dega megambil semua tag hyperliks. Lik yag bear (valid) harus memeuhi atura sebagai berikut : 1. Sebuah lik dega ilai atribut href tidak boleh berilai #. 2. Atribut href dari tidak megadug ekstesi file yag telah dijelaska pada ruag ligkup. Pemberhetia Crawlig Pemberhetia crawlig yaitu memberi ilai kotata MAX_PAGES pada setiap algoritme dega ilai tertetu, pada kajia ii megguaka ilai kostata sepuluh. Tujua dari pemberhetia crawlig yaitu agar 6

2 algoritme crawlig tidak jala terus meerus yag aka meyebabka membebai server. Megambil Lik dari Frotier Berdasarka Algoritme Crawler Proses ii merupaka pokok dari algoritme crawler yag diguaka utuk meetuka lik maa saja yag didahuluka utuk dikujugi. Berikut ii pejelasa proses pegambila lik dari frotier berdasarka algoritme : 1. Breadth first Proses peetua lik yag didahuluka utuk dikujugi sagat sederhaa yaitu megguaka kosep FIFO, jika lik yag terlebih dahulu masuk ke frotier maka aka dikujugi terlebih dahulu. 2. Breadth first with time costrait Proses peetua lik yag didahuluka pada algoritme ii sama persis dega algoritme breadth first. Pada algoritme ii terdapat pegecualia dega melakuka pegeceka, yaitu selisih atar waktu sekarag (ow) dega waktu terakhir sebuah lik dikujugi, selisih waktu tersebut harus memeuhi time threshold yag ditetuka. Pada peelitia ii time threshold yag diguaka yaitu 24 jam (86400 detik), dega alasa karea rata-rata sebuah halama web diperbaharui dalam waktu sehari semalam. 3. Best first Proses peetua lik yag didahuluka utuk dikujugi dega megguaka ilai cosie similarity. Nilai cosie similarity sebuah halama web dihitug berdasarka kata kuci yag diberika, ilai yag didapat aka diberika pada setiap lik yag ada pada halama web tersebut. Utuk melihat algoritme cosie similarity da perhituga ilai cosie similarity secara maual pada sebuah halama web dapat dilihat pada Lampira Page rak Proses peetua lik yag didahuluka utuk dikujugi megguaka dua pedekata, yaitu ilai cosie similarity atau ilai page rak dari sebuah halama web. Pertimbaga ilai cosie similarity diguaka haya pada iterasi satu sampai lima, karea pada iterasi tersebut ilai page rak belum dihitug. Fetch Ketetua proses algoritme page rak pada web crawler yaitu sebagai berikut : a) Jika jumlah halama web kelipata dari lima, maka dilakuka perhituga ilai page rak utuk setiap lik yag didapat dari frotier. b) Utuk meetuka liks yag aka dihitug ilai page rak-ya, yaitu dega megambil beberapa lik dari frotier yag memiliki ilai cosie similarity tertiggi. c) liks yag diambil dari frotier yaitu sepuluh, dega pertimbaga jumlah MAX_PAGES sama dega sepuluh, jadi peetua lik yag didahuluka utuk dikujugi pada iterasi berikutya tetap megguaka ilai page rak. d) Proses selajutya yaitu medapatka lik keluar (out lik) dari setiap lik yag diambil dari frotier. Setelah diperoleh lik keluar, maka dilakuka proses perhituga ilai page rak. Algoritme page rak da implemetasi page rak megguaka bahasa pemrograma PHP dapat dilihat pada Lampira 4. Implemetasi fetch megguaka library PHP (Cliet URL) merupaka sebuah library yag memugkika utuk terhubug da berkomuikasi atar berbagai macam tipe server dega berbagai macam protokol, salah satuya adalah HTTP. Halama HTML yag didapat disimpa ke dalam basis data, kemudia aka diguaka utuk proses parsig. Parsig Utuk medapatka kata atau frase pada halama web dilakuka pemrosesa HTML. Tujua pemrosesa HTML yaitu agar karakterkarakter khusus serta ilai di dalam tag style da tag script tidak dihitug sebagai kata atau frase. Proses utuk medapatka kata atau frase yag bear (valid) dari sebuah halama HTML, dilakuka dega megguaka regular expressio, yaitu meggati karakter-karakter khusus, tag style da tag script dega karakter kosog atau spasi. Implemetasi regular expressio dega megguaka bahasa pemrograma PHP da karekter-karakter khusus yag harus disarig dapat dilihat pada Lampira 5. 7

3 Pegideksa Setelah proses parsig selesai, maka proses selajutya yaitu pegideksa. Tabel 2 meujukka rekapitulasi lima kata atau frase palig bayak terdapat pada halama web, yag didapat dari proses pegideksa. Tabel 2 Rekapitulasi lima kata atau frase palig bayak terdapat pada halama web. Breadth First Kata Dokume pertaia berita biro idoesia asioal Total lik : 1617 Total lik yag dikujugi : Total lik yag belum dikujugi : 1417 Breadth First with Costrait Kata Dokume pertaia berita biro iformasi idoesia Total lik : 1612 Total lik yag dikujugi : Total lik yag belum dikujugi : 1412 Best First Kata Dokume pertaia berita idoesia biro taama Total lik : 1646 Total lik yag dikujugi : Total lik yag belum dikujugi : 1446 Page Rak Kata Dokume pertaia gorotalo provisi dias berita Total lik : 1659 Total lik yag dikujugi : Total lik yag belum dikujugi : 1459 Tabel 3 meujukka rekapitulasi kata atau frase sesuai dega kata kuci. Pada Tabel 3 terlihat bahwa kata Pertaia mempuyai jumlah dokume palig bayak utuk setiap algoritme. Tabel 3 Rekapitulasi kata atau frase sesuai dega kata kuci. Breadth First Kata Dokume pertaia agriculture tai petai padi jagug agri 7 6 agribisis Breadth First with Costrait Kata pertaia agriculture tai petai padi jagug agri 7 6 agribisis Best First Dokume Kata pertaia agriculture tai petai padi jagug agri 3 3 agribisis Page Rak Dokume Kata pertaia agriculture tai petai padi jagug agri 1 1 agribisis Dokume 8

4 Tabel 4 meujukka peluag kata kuci per algoritme. Peluag dihitug dega membagi atara jumlah dokume kata atau frase dega total dokume yag didapat. Pada Tabel 4 terlihat bahwa rata-rata peluag algoritme page rak lebih baik dibadig dega ketiga algoritme laiya yaitu 0,437. tidak megguaka ilai estimasi meujukka semaki besar iterasi maka ilai cosie similarity meuju ke ol. Tabel 4 Peluag kata kuci per algoritme. pertaia agriculture tai petai padi jagug agri agribisis Rata-rata Peluag Algoritma ke ,690 0,760 0,790 0,805 0,175 0,250 0,150 0,390 0,435 0,480 0,490 0,640 0,290 0,380 0,285 0,485 0,205 0,300 0,350 0,385 0,105 0,135 0,130 0,420 0,030 0,030 0,015 0,005 0,450 0,620 0,365 0,365 0,298 0,369 0,322 0,437 Gambar 10 Grafik ilai cosie similarity algoritme breadth first. Keteraga : (1) Breadth First, (2) Breadth First with Costrait, (3) Best First, da (4) Page Rak. Evaluasi Algoritme Evaluasi algoritme megguaka beberapa pedekata yaitu : 1. Nilai Precisio Utuk medapatka halama web yag releva sesuai dega kata kuci dilakuka secara maual, yaitu dega membuka setiap halama web yag didapat, kemudia dilihat apakah releva atau tidak dega kata kuci. Tabel 5 meujukka ilai precisio utuk setiap algoritme, data metah setiap algoritme utuk meghasilka ilai precisio dapat dilihat pada Lampira 6. Berdasarka evaluasi ilai precisio, terlihat bahwa algoritme yag mempertimbagka ilai estimasi atara kata kuci dega halama web lebih baik dibadigka dega algoritme yag tidak mempertimbagka ilai estimasi. Gambar 11 Grafik ilai cosie similarity algoritme breadth first with time costrait. Gambar 12 Grafik ilai cosie similarity algoritme best first. Tabel 5 Perbadiga ilai precisio. Algoritme Halama Releva Precisio 0,255 0,295 0,370 0,395 Keteraga : (1) Breadth First, (2) Breadth First with Costrait, (3) Best First, da (4) Page Rak. Gambar 10 sampai dega Gambar 13 meujukka grafik hubuga atara ilai cosie similarity dega uruta halama web yag dikujugi. Algoritme breadth first yag Gambar 13 Grafik ilai cosie similarity algoritme page rak 9

5 Pada peelitia ii dihitug juga ilai ratarata cosie similarty terhadap dua ratus dokume yag dikumpulka. Hasil yag didapat utuk algoritme page rak, breadth first with time costrait, best first da breadth first da yaitu masig-masig 0,175, 0,146, 0,143 da 0, Kompleksitas Algoritme a. Breadth first Perhituga kompleksitas algoritme breadth first sebagai berikut : Breadth-First(startig_urls) { for each lik (startig_urls) { equeue(frotier, lik); while (visited < MAX_PAGES ){ lik=dequeue_lik(frotier); page=fetch(lik); equeue(frotier, extract_liks(page)); ed_time; T() = = O( 2 ) Jadi, kompleksitas algoritme breadth first yaitu O( 2 ). b. Breadth first with time costrait 3 Perhituga kompleksitas algoritme breadth first with time costrait sebagai berikut : Breadth-First(startig_urls) { for each lik (startig_urls) { equeue(frotier, lik); url = first(frotier); while (visited < MAX_PAGES){ if(now()- timelastaccesstoserver(url) > timethereshld){ page = fetch(url); equeue(frotier, extract_liks(page)); url = first(frotier); ed_time; else{ url = extelemet(frotier); T 1 () = = O( 2 ) T 2 () = = O() Jadi, kompleksitas algoritme breadth first with time costrait yaitu O( 2 ) atau O(). O( 2 ) yaitu worst case, terjadi saat pegeceka time threshold terpeuhi. O() yaitu best case, terjadi saat pegeceka time threshold tidak terpeuhi. c. Best first Perhituga kompleksitas algoritme best first sebagai berikut : BestFirst(keyword,startig_urls){ for each lik (startig_urls) { equeue(frotier,lik, 1); while (visited < MAX_PAGES){ lik=dequeue_top_lik( frotier); page = fetch(lik); score = sim(keyword, page); equeue(frotier, extract_liks(page), score); ed_time; 3 T() = (F()) dega F() merupaka fugsi kompleksitas utuk algoritme cosie similarity. Perhituga kompleksitas algoritme cosie similarity dapat dilihat pada Lampira 3, dega hasil sebagai berikut : F() = , maka T() = ( ) T() = = O( 2 ) Jadi, kompleksitas algoritme best first yaitu O( 2 ). (F())

6 d. Page rak Perhituga kompleksitas algoritme Page Rak sebagai berikut : PageRak (keyword,startig_url){ for each lik (startig_urls) { equeue(frotier, lik, 1); while (visited < MAX_PAGES){ if(multiplies-x (visited)){ for each lik (frotier){ PR(lik) = compute_score_pr; lik = dequeue_max_pr(frotier); if(lik ot foud){ lik = dequeuetoplik(frotier); page = fetch(lik); score = sim(topic, page); equeue(frotier, extract_liks(page),score); ed_time; T 1 () = (F()) dega F() merupaka fugsi kompleksitas utuk algoritme cosie similarity. Perhituga kompleksitas algoritme cosie similarity dapat dilihat pada Lampira 3, dega hasil sebagai berikut : F() = , maka T 1 () = ( ) T 1 () = = O( 2 ) T 2 () = T 1 () (G()) 2 dega G() merupaka fugsi kompleksitas utuk algoritme page rak. Perhituga kompleksitas algoritme page rak dapat dilihat pada Lampira 4, dega hasil sebagai berikut : G() = T 2 () = (G()) (G()) 2 T 2 () = Jadi, kompleksitas algoritme page rak adalah O( 2 ) atau O( 5 ). O( 2 ) yaitu best case, terjadi saat algoritme page rak tidak dijalaka. O( 5 ) adalah worst case, terjadi saat algoritme page rak dijalaka. (F()) Tabel 6 meujukka perbadiga kompleksitas algoritme crawler. Algoritme page rak meujukka ilai kompleksitas lebih tiggi dibadigka dega algoritme laiya, sehigga algoritme page rak membutuhka sumber daya komputer yag lebih baik. Tabel 6 Perbadiga kompleksitas. Algoritme Kompleksitas Breadth First O( 2 ) Breadth First with O( 2 ) Costrait Best First O( 2 ) Page Rak O( 5 ) 3. Fetch Fetch time adalah waktu yag dibutuhka suatu algoritme crawler utuk megujugi da megambil suatu halama web. Setiap itarasi yag meghasilka sepuluh halama web, kemudia dihitug ilai rata-rata fetch time. Tabel 7 meujukka rata-rata fetch time berdasarka uruta pegulaga utuk setiap algoritme web crawler dijalaka. Utuk setiap uruta pegulaga, terlihat bahwa algoritme page rak sebelas kali mecapai ilai terbesar dibadigka dega algoritme lai. Hal ii terjadi dikareaka proses perhituga ilai page rak membutuhka waktu. Selai itu, terlihat bahwa algoritme best first lebih stabil dibadig dega algoritme lai, karea tidak mecapai fetch time maksimum pada setiap iterasi. Pada iterasi ke sebelas sampai ke delapa belas, terlihat bahwa peigkata fetch time yag tiggi utuk algoritme breadth first da breadth first with time costrait. Hal ii terjadi karea akses ke server mulai melambat, atau akses ke halama web tersebut memag lambat. Setelah dilakuka pegeceka ulag dega data metah, yag meyebabka fetch time tiggi yaitu adaya kompoe flash dalam halama web tersebut. Tabel 7 Rata-rata fetch time. Rata-rata fetch time (detik) Uruta algoritma ke ,005 0,005 0,005 1, ,005 0,005 0,006 28,36 3 6,373 7,080 7,656 29,66 4 0,004 0,003 0,004 93,02 5 6,867 5,839 5,176 71, ,556 8,227 0,005 55, ,053 0,006 11,29 30,87 11

7 Rata-rata fetch time (detik) Uruta algoritma ke ,922 0,006 7,851 0, ,005 9,086 6,722 36, ,005 6,352 6,362 65, ,65 32,846 0,006 0, ,83 0,005 0,003 6, ,14 0,005 0,002 5, ,40 34,473 0,001 7, , ,34 0,003 1, , ,67 0,003 3, , ,22 402,4 81, , ,65 9,699 32, ,50 0,007 16,86 49, ,353 0,008 15,34 96,08 Keteraga : (1) Breadth First, (2) Breadth First with Costrait, (3) Best First, da (4) Page Rak. Cell dega latar hitam meujukka ilai terbesar utuk setiap iterasi per algoritme. Gambar 14 meujukka grafik hubuga atara uruta pegulaga web crawler dega rata-rata fetch time, dega data diambil dari Table 7. Gambar 14 Grafik rata-rata fetch time. Kesimpula KESIMPULAN DAN SARAN Hasil peelitia berdasarka ilai precisio da peluag kata kuci per algoritme meujukka bahwa algoritme page rak lebih baik dibadig dega algoritme laiya. Hasil peelitia berdasarka kompleksitas algoritme, meujukka bahwa algoritme page rak memiliki kompleksitas lebih tiggi dibadigka dega algoritme laiya. Selai itu, berdasarka rata-rata fetch time meujukka bahwa algoritme best first lebih stabil dibadig dega algoritme laiya. Sara 1. Implemetasi pada peelitia ii megguaka share hostig, sehigga tidak leluasa dalam megguaka resources server. Perlu adaya server tersediri utuk web crawler agar pegambila halama web lebih cepat. 2. Masih terdapat algoritme web crawler lai selai ke-4 algoritme yag telah dikaji pada peelitia ii, sehigga pada peelitia selajutya diharapka dapat megkaji algoritme web crawler yag lai. 3. Proses pegideksa masih megguaka metode sederhaa yaitu term frequecy (tf), diharapka pada peelitia selajutya megguaka metode pegideksa lai yag lebih baik. DAFTAR PUSTAKA Bri, Page The Aatomy of a Large- Scale Hypertextual Web Search Egie. htm. Corme et al. 2. Itroductio to Algorithms Secod Editio. Eglad. The MIT Press Cambridge. Maig et al. 9. Itroductio to Iformatio Retrieval. Eglad. Cambridge Uiversity Press. Meczer et al. 4. Topical Web Crawlers: Evaluatig Adaptive Algorithms. ACM Trasactios o Iteret Techology. IT.pdf. Romero T, Rafael. 6. Simulatio tool to study focused web crawlig strategies. pdf. Sriivasa. 4. Target Seekig Crawlers ad their Topical Performace. d?doi=