BAB II DASAR TEORI Crawler Definisi Focused Crawler dengan Algoritma Genetik [2]

Transkripsi

1 BAB II DASAR TEORI Pada bab ini dibahas teori mengenai focused crawler dengan algoritma genetik, text mining, vector space model, dan generalized vector space model Focused Crawler Definisi Web crawler adalah suatu program penelusur web yang mampu bekerja secara otomatis menelusuri halaman halaman web di internet. Proses penelusuran ini biasa disebut proses crawling. Hasil penelusuran dari proses crawling biasanya berupa URL atau dapat juga berupa halaman web yang diunduh oleh crawler. Jika proses pengunduhan dimodifikasi maka dapat juga didapat sebagian isi dari web tanpa mengunduh halaman web secara keseluruhan. Proses pengambilan isi halaman web dilakukan dengan berpatokan pada URL yang didapat dari proses crawling. Focused crawler adalah modifikasi dari web crawler biasa yaitu web crawler yang memiliki proses seleksi dalam penelusuran halaman-halaman web. Focused crawler bisa membedakan hasil yang relevan dan tidak relevan. Focused crawler pada umumnya membutuhkan suatu masukan untuk dijadikan patokan pencarian. Masukan yang sangat mempengaruhi focused crawler adalah link yang menjadi acuan pencarian. Dengan berpatokan pada link tersebut maka crawler akan mencari halaman yang memiliki kemiripan tinggi dengan halaman pada link tersebut. Kemiripan bisa dilihat dari domain link yang ditelusuri atau juga dari isi halaman yang ditelusuri Focused Crawler dengan Algoritma Genetik [2] Focused crawler menggunakan algoritma genetik sebagai metode dalam proses seleksi halaman web [2]. Masukan yang menjadi patokan pencarian pada crawler adalah domain lexicon dan keyword. Proses pencarian pada focused crawler adalah bersifat antrian halaman web. Crawler akan menelusuri halaman web satu per satu secara bergantian. Crawler memiliki output dari web berupa halaman web yang diunduh oleh crawler beserta informasi dari halaman web tersebut (judul, dan URL). Crawler juga dapat melakukan 12

2 13 parsing HTML dari halaman web untuk mendapatkan isi dari web tersebut. Meskipun pada akhirnya hasil parsing tidak disimpan dalam database. Domain lexicon adalah sebuah URL dimana isi dan juga URL dari halaman dengan URL tersebut akan dijadikan kamus pencarian. Kamus pencarian digunakan dalam membandingkan isi web yang ditelusuri dengan kamus. Semakin mirip dengan kamus maka semakin besar tingkat relevansi dari halaman web yang sedang ditelusuri. Focused crawler ini menggunakan metode TF-IDF untuk melakukan pembobotan isi halaman web. Metode TF-IDF yang digunakan menghasilkan nilai total fungsi kemiripan Jaccard (Jscore). Jscore adalah penentu seberapa relevan suatu halaman terhadap kata kunci dan juga domain lexicon yang diberikan oleh user. Penerapan algoritma genetik pada focused crawler adalah pada pembentukan populasi baru dari populasi awal hasil pencarian. Populasi awal yang dimaksud adalah kumpulan halaman-halaman web hasil pencarian yang paling pertama. Setelah itu dilakukan dua proses yaitu mutasi dan rekombinasi (cross over) untuk mendapatkan populasi baru yang juga memiliki relevansi dengan masukan. Proses rekombinasi dari halaman halaman web menggunakan sebuah variabel cross over sebagai salah satu patokan. Masing masing URL akan memiliki cross-over rate sendiri. Variabel cross-over adalah total nilai Jscore dari semua web yang memuat URL yang sedang dihitung nilai cross-over rate-nya. URL dengan cross-over rate terbesar kembali masuk ke dalam antrian crawler. Proses mutasi adalah proses pencarian secara meta-search. Potongan potongan kata kunci dari halaman-halaman web pada populasi awal akan digunakan sebagai patokan. Potongan potongan tersebut kemudian dijadikan query dalam pencarian pada tiga mesin pencari yaitu Bing, Yahoo, dan Google. Sepuluh hasil terbaik dari setiap mesin pencari akan dimasukkan ke dalam antrian crawler. Proses mutasi menggunakan variabel mutation rate sebagai variabel kemungkinan terjadinya mutasi. Berdasarkan hasil penelitian dan pengujian, nilai mutation rate yang besar akan menambah halaman web hasil pencarian di mesin pencari menjadi lolos seleksi. Sementara nilai cross-over rate yang besar akan menambah kemungkinan halaman-halaman web baru yang saling berkaitan.[2]

3 14 Secara singkat urutan dari proses crawling adalah melalui tahapan-tahapan yang dijabarkan sebagai berikut : Telusuri halaman web dan lakukan seleksi. Halaman web yang sudah terseleksi akan diunduh dan juga disimpan dalam database crawler. Setelah semua halaman web diunduh maka dibuat laporan proses crawling Text Mining Text mining adalah suatu metode yang banyak digunakan dalam information retrieval dan machine learning. Tujuan utama dari text mining bukanlah mengambil keseluruhan teks melainkan mengambil pola-pola kalimat atau bahasa pada suatu teks atau dokumen sehingga didapat suatu informasi. Dalam melakukan text mining dibutuhkan langkah langkah secara urut yaitu: tokenizing, filtering, stemming, analyzing. Tokenizing adalah tahap pemecahan kalimat menjadi kata-kata penyusun. Sementara filtering adalah proses seleksi kata-kata yang dianggap penting dan kemudian akan dilakukan stemming yaitu diambil kata dasar dari kata- kata hasil filtering. Analyzing adalah proses analisa keterhubungan kata-kata dengan dokumen atau paragraf. Proses analyzing inilah yang membutuhkan metode-metode natural language processing (NLP) untuk mendapatkan hasil yang tepat dan sesuai dengan tata bahasa yang berlaku [1, h.1]. Proses tokenizing dapat dilakukan secara berbeda-beda tergantung pada jenis text mining yang digunakan. Jika dilakukan terhadap suatu kalimat maka proses tokenizing adalah memecah kalimat tersebut menjadi kata. Akan tetapi jika dilakukan pada suatu paragraf maka proses tokenizing memecah paragraf menjadi beberapa kalimat terlebih dahulu baru kemudian kalimat dipecah menjadi kata. Proses filtering dan stemming hampir sama dalam eksekusinya terhadap kata-kata yang didapat dari proses tokenizing. Filtering secara keseluruhan menghilangkan kata-kata yang tidak bermakna yang penting seperti preposisi (di, ke, dan, dari). Sementara stemming menghilangkan imbuhan-imbuhan yang ada pada setiap kata sehingga menjadikan kata tersebut kembali ke bentuk dasar.

4 15 Proses analyzing adalah proses yang menentukan sejauh mana proses text mining berhasil mendapatkan hasil yang relevan dari suatu teks. Umunya proses analyzing menentukan tingkat relevansi antar satu kata terhadap kata-kata lain dan juga terhadap keseluruhan dokumen. Tingkat relevansi dapat ditentukan banyak faktor seperti kemiripan, jumlah, dan keterkaitan kata. Proses analyzing yang baik bisa dilakukan dengan menganalisa kata-kata yang sudah melewati tiga tahap pertama text mining secara semantik dan juga matematis Metode Vector Space Model (VSM) Definisi Vector space model (VSM) adalah salah satu bentuk pemodelan aljabar yang biasa digunakan untuk menggambarkan teks dan dokumen ke dalam bentuk vektor. Metode ini biasa digunakan untuk menentukan nilai kemiripan dokumen terhadap suatu kata query. Nilai kemiripan suatu string atau kata akan semakin besar jika string tersebut semakin sering muncul dalam suatu dokumen. VSM biasa digunakan pada information filtering, indexing, dan relevancy ranking. Sesuai dengan namanya VSM menggunakan vektor sebagai perumpamaan dari dokumen dan query. Dokumen dimisalkan dengan vektor d (d i1,d i2, d it ) dan query dimisalkan dengan vektor q (w q1,w q2, w qt ). Setiap vektor berkaitan dengan suatu term yang dapat didefinisikan secara berbeda-beda tergantung pada penggunaan dari VSM. Definisi term pada umumnya adalah kata, frasa, atau kata kunci. Jika term didefinisikan sebagai kata maka dimensi dari ruang vektor adalah jumlah kata pada keseluruhan teks. Penghitungan nilai dari term dan kaitannya dengan masing-masing vektor disebut juga pembobotan term. Metode pembobotan term yang biasa digunakan adalah metode TF-IDF yang akan dibahas pada sub-bab Kelebihan metode VSM adalah sebagai berikut : Model yang sederhana dengan basis aljabar linear yang mudah dihitung Bobot dari term tidak dalam bentuk biner Dapat menentukan peringkat relevansi antara query dengan dokumen

5 16 Mampu melakukan perhitungan tingkat kemiripan secara terus menerus pada banyak dokumen Kekurangan dari metode VSM antara lain adalah : Semakin besar ukuran dokumen maka tingkat kemiripan akan diukur semakin kecil sehingga rawan terhadap kesalahan perhitungan Kata kunci (query) tidak boleh sedikitpun berbeda Tidak sensitif secara semantik Metode Term Frequency-Inverse Document Frequency (TF-IDF) TF-IDF adalah suatu metode pembobotan relevansi sebuah term dengan dokumen. Dalam metode TF-IDF elemen yang diperhitungkan adalah frekuensi kemunculan term terhadap suatu dokumen (TF) dan juga inverse document frequency yang mengandung kata tersebut. Dalam hal perhitungan TF-IDF pada dokumen tunggal maka ada juga kalimat sebagai patokan perhitungan. IDF dari suatu kata menunjukkan tingkat kepentingan suatu kata terhadap keseluruhan dokumen. Semakin kecil nilai IDF maka kata tersebut semakin tidak dianggap penting bagi dokumen secara keseluruhan. Sementara TF dari suatu kata menandakan seberapa banyak kata tersebut diucapkan dalam satu kalimat. Dengan kata lain suatu kata akan semakin tinggi relevansinya terhadap suatu kalimat jika kata tersebut banyak muncul pada kalimat yang bersangkutan dan tidak ada atau sedikit kemunculannya pada kalimatkalimat lain di dokumen yang sama. Persamaan 2.1 berikut adalah persamaan untuk perhitungan TF-IDF. tf idf ij = tf ij log d (2.1) d i tf-idf ij = bobot kata t j terhadap kalimat d i tf ij d d i = jumlah kemunculan kata t j dalam kalimat d i = jumlah semua kalimat yang ada dalam dokumen = jumlah kalimat dari dalam dokumen yang mengandung kata t j (minimal ada satu kemunculan kata t j )

6 Similarity Coefficient Pada metode VSM hasil akhir yang merupakan nilai kemiripan atau relevansi suatu dokumen dinyatakan dalam suatu nilai yaitu similarity coefficient. Rumus dari penghitungan nilai kemiripan atau dikenal dengan istilah similarity coefficient (SC) adalah dengan menggunakan rumus seperti berikut: SC q,d i = t j=1 (w qj *d ij ) t 2 j=1 (w qj ) t 2 j=1 (d ij ) (2.2) Dimana: SC w qj d ij tf ij = similarity coefficient (koefisien kemiripan suatu kalimat tehadap query) = nilai kata j terhadap query q = tf qj *idf j = nilai kata j pada kalimat i = tf ij * idf j = term frequency = kemunculan kata j pada kalimat d i idf j = inverse document frequency = log d dj d d j i j q t j =1 t j=1 w qj (d ij ) 2 2 = jumlah total kalimat = jumlah kalimat yang mengandung kata j = Lw qj = panjang vektor query = Ld ij = panjang vektor kalimat = indeks kalimat = indeks kata = indeks query Persamaan 2.2 diatas adalah rumus yang digunakan untuk mencari SC pada banyak dokumen. Semakin besar nilai SC maka semakin mirip kalimat tersebut dengan query. Pada penggunaanya untuk mencari kalimat atau ringkasan pada suatu dokumen saja maka dilakukan beberapa perubahan. Perubahan yang dimaksud adalah dengan menambah beberapa langkah dan mengubah beberapa istilah. Istilah yang diubah adalah dengan mengubah istilah dokumen menjadi kalimat sebagai perwujudan dari pecahan pecahan atau daerah daerah dari dokumen. Langkah yang perlu dilakukan adalah memecah dokumen menjadi paragraf-paragraf dan kemudian disimpan secara terpisah per paragraf, dan melakukan tokenizing kalimat per paragraf.

7 18 Tokenizing dilakukan dengan cara memisahkan kalimat berdasarkan tanda titik yang diasumsikan sebagai akhir kalimat. Permasalahan utama dari menjadikan tanda titik sebagai patokan adalah ada kalanya tanda titik tidak menandakan akhir kalimat. Sebagai contoh pada penggunaan tanda titik pada singkatan, gelar, ataupun akronim. Dengan metode VSM maka akan didapat ranking dari setiap kalimat terhadap query. Sehingga akan bisa dipilih kalimat mana yang bisa dihilangkan sehingga menghasilkan berita yang lebih ringkas. Query yang akan digunakan adalah judul dari berita yang diringkas Metode Generalized Vector Space Model (GVSM) Generalized vector space model (GVSM) adalah metode pengembangan dari VSM. Awal pengembangan dimulai karena dalam penelitian didapatkan bahwa metode VSM memiliki beberapa kelemahan besar yaitu sangat kakunya metode dalam segi perhitungan [4]. Metode perhitungan dikatakan kaku karena hanya mempertimbangkan frekuensi kemunculan dari suatu kata saja. Hubungan antara kata secara makna baik itu jauh, sama, atau dekat seharusnya menjadi pertimbangan juga. Oleh karena itu dalam penghitungan menggunakan rumus perhitungan SC ditambahkan vektor baru yaitu t j dan t s. Sehingga rumus perhitungan SC yang baru pada GVSM adalah sebagai berikut : n SC q,d i = (( j=1 i=1 (w qj *d ij ))*(t s t j )) n n 2 j=1 (w qj ) n 2 j=1 (d ij ) (2.3) Dimana t s dan t j bisa ditentukan secara berbeda beda dalam setiap penggunaannya. Beberapa penelitian menggunakan korelasi antar istilah pada indeks istilah sebagai inputan. Sementara pada penelitian Tsatsaronis menggunakan pembobotan tambahan yaitu keterkaitan secara semantik menggunakan aplikasi Thesaurus yaitu wordnet [4, h.70]. Sehingga metode GVSM menjadi metode VSM yang memiliki nilai tambah dari segi keterkaitan secara bahasa dan tidak hanya menghitung similarity coefficient secara matematis berdasarkan pada jumlah kemunculan tapi juga berdasarkan kepada kaitannya dengan tata bahasa. Dalam penelitian ini vektor t s dan t j ditentukan sebagai vektor frekuensi kata pada kalimat (t j ) pada suatu kalimat yang sedang dalam proses perhitungan nilai SC dan vektor jumlah sinonim (t s ) dari masing-masing kata pada vektor t j, Kata yang dimasukkan hanya

8 19 jika kata tersebut juga berkaitan dengan query. Jika kata tidak berkaitan maka kata tidak dimasukkan ke dalam vektor. Nilai perkalian titik (skalar) kedua vektor tersebut akan dijadikan pengali pada pembilang dari perhitungan SC. Dimensi vektor sinonim disamakan dengan dimensi vektor kata. Dengan kata lain semakin banyak sinonim dari kata yang frekuensinya besar dan juga berkaitan dengan query pada suatu kalimat akan menyebabkan kalimat tersebut memiliki nilai SC yang lebih besar. Berikut rumus dari perhitungan t s.t j k t s. t j = a (e as e aj ) (2.4) t s.t j e k e j e s a = nilai perkalian titik t i dan t j = elemen pada tiap vektor = besar dimensi vektor = jumlah kata pada kalimat yang berkaitan dengan query = elemen vektor kata = elemen vektor sinonim = indeks elemen vektor 2.5 Contoh Perhitungan Nilai SC Perhitungan VSM dapat menentukan besarnya SC antara query (keyword) dengan kalimat dalam suatu paragraf atau dokumen. Sebagai contoh akan dilakukan penghitungan dengan masukan kalimat yang dikutip dari sebuah berita sebagai berikut. Ribuan pengusaha seluruh pedagang Indonesia berkumpul dalam Musyawarah Nasional ke IX Asosiasi Pengusaha Indonesia di Jakarta, Senin (8/4/2013). Presiden Susilo Bambang Yuhoyono akan membuka munas pedagang yang bertema Dunia Usaha Maju, Indonesia Kuat ini. [12] Kedua kalimat tersebut akan dicari kecocokannya dengan query berupa judul dari berita tersebut yaitu pengusaha, berkumpul, munas, dan Apindo. Perhitungan nilai SC dibagi ke beberapa tahap antara lain menghitung nilai IDF dan TF, menghitung panjang vektor, dan menghitung nilai SC.

9 Menghitung Nilai IDF dan TF Langkah langkah perhitungan adalah sebagai berikut : 1. Buat tabel kata-kata yang ada dalam dokumen dan tentukan inverse document frequency (idf) untuk masing-masing kata yaitu log d kalimat dan df j adalah kalimat yang mengandung kata tersebut. dfj dimana d adalah total 2. Hitung frekuensi kemunculan (tf) dari masing masing kata di tiap tiap kalimat. 3. Hitung tf*idf untuk setiap kalimat. 4. Hitung tf*idf dari query dimana tf adalah jumlah kata yang bersangkutan dengan query yang ada pada query dibagi frekuensi kemunculan kata yang bersangkutan dengan query pada keseluruhan dokumen. Pada langkah pertama hingga ketiga sebagai contoh diambil kata ribuan untuk dihitung nilai idf dan tf dari kata ribuan. Untuk menghitung nilai idf dari kata ribuan perlu dilihat nilai d fj dari kata ribuan yaitu bernilai 1. Nilai d fj bernilai 1 karena hanya ada satu kalimat yang mengandung kata ribuan dari total dua kalimat. Sesudah nilai d dan d fj didapat maka dapat dihitung nilai idf dari kata ribuan sesuai dengan yang tercantum pada persamaan 2.1 yaitu log d dfj. Tabel 2.1 Perhitungan tf, idf kalimat dan query (bersambung) Kata idf Kalimat 1 (d1) Kalimat 2 (d2) Query tf tf*idf tf tf*idf Ribuan Pengusaha Seluruh pedagang Indonesia Berkumpul Musyawarah Nasional Asosiasi Jakarta

10 21 Tabel 2.1 Perhitungan tf, idf kalimat dan query (lanjutan) Kata idf Kalimat 1 (d1) Kalimat 2 (d2) Query tf tf*idf tf tf*idf Senin Presiden Susilo Bambang Yudhoyono Membuka munas bertema dunia usaha maju kuat Pada Tabel 2.1 dapat dilihat bahwa query Apindo sama sekali tidak muncul dalam tabel. Hal ini disebabkan tidak dimuatnya kata Apindo pada kedua kalimat yang ada. Penjelasan dari langkah 4 adalah pada kata pengusaha yang ada pada query dan juga pada kalimat. Kata pengusaha memiliki tf total pada kedua kalimat sejumlah 2 sementara di dalam query kata pengusaha muncul sebanyak satu kali sehingga tf untuk kata pengusaha dari query adalah ½ Menghitung Panjang Vektor Kalimat dan Query Penghitungan yang harus dilakukan berikutnya adalah penghitungan dari panjang vektor dari dokumen atau dalam konteks di perhitungan ini adalah kalimat yaitu panjang dokumen d1 dan d2 masing-masing mewakili kalimat 1 dan kalimat 2. Selain panjang vektor dokumen juga dihitung panjang vektor dari query. t j=1 2 t (d 1j ) = (tf*idf) j=1 2 =

11 22 = t j=1 2 t (d 2j ) = (tf*idf) j=1 2 = =1.042 t j=1 (w qj ) 2 = = Menghitung Nilai SC Setelah didapat panjang dari semua vektor maka langkah terakhir adalah menghitung SC kalimat terhadap query. Yaitu dengan menggunakan rumus pada persamaan 1. Dilakukan perhitungan SC masing masing kalimat sesuai dengan persamaan 1. SC dari kalimat 1 terhadap query. SC q,d 1 = 0.602* *0.301 = *0.451 SC dari kalimat 2 terhadap query. SC q,d 2 = 0.301* *0.451 =0.201 Dari kedua hasil SC didapat nilai yang lebih besar yaitu kalimat 1. Karena kalimat 1 mempunyai SC yang lebih besar dari kalimat 2 maka dapat dikatakan bahwa kalimat 1 adalah kalimat utama dari paragraf tersebut. Pada skripsi ini akan dilakukan pembobotan total keseluruhan kalimat tanpa melihat bagian per paragrafnya. Hal ini disebabkan banyaknya berita yang hanya memuat satu kalimat per paragraf Mengembangkan Nilai SC dengan GVSM Pada metode GVSM langkah-langkah awal yang dilakukan sama dengan metode VSM. Hanya saja pada perhitungan SC ada sebuah variabel pengali tambahan yaitu variabel t yang berisi nilai tambahan jika ditemukan kata-kata dari query yang berbeda tapi

12 23 memiliki makna sama juga. Akan tetapi dalam percobaan ini tidak ditemukan makna sama maka variabel t akan bernilai 1 yaitu tidak akan mempengaruhi perkalian antara nilai tf*idf query dengan kata.