PERBANDINGAN EFISIENSI MODEL RUANG VEKTOR PADA SISTEM TEMU KEMBALI INFORMASI ARI ALKAUTSAR

Transkripsi

1 PERBANDINGAN EFISIENSI MODEL RUANG VEKTOR PADA SISTEM TEMU KEMBALI INFORMASI ARI ALKAUTSAR DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2012

2 1 PERBANDINGAN EFISIENSI MODEL RUANG VEKTOR PADA SISTEM TEMU KEMBALI INFORMASI ARI ALKAUTSAR Skripsi Sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Departemen Ilmu Komputer DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2012

3 2 ABSTRACT ARI ALKAUTSAR Comparison of Efficiency Vector Space Model on Information Retrieval System. Supervised by SONY HARTONO WIJAYA. Information retrieval system is a system to represent, store, organize, and process informations. Discovered documents were ranked by vector space model. Normalization of the vector space models similarity consist of cosine, Jaccard, and Dice. This research aims to compare efficiency of three vector space models based on recall and average precision (AVP), computation time, and algorithm complexcity. A thousand document were used in this research. The result showed that each coefficient of vector space model yield equal value for recall and AVP. The measure of similarity in cosine coefficient vector space model better than Jaccard coefficient and Dice coefficient, in terms of algorithms complexity and 3.1% faster than Jaccard coefficient and 9.4% than Dice coefficient, in terms of computation time. Keywords : cosine, Dice, Information Retrieval System, Jaccard, tf-idf, Vector Space Model.

4 3 Judul Skripsi Nama NRP : Perbandingan Efisiensi Model Ruang Vektor pada Sistem Temu Kembali Informasi : Ari Alkautsar : G Disetujui Pembimbing Sony Hartono Wijaya, S.Kom, M.Kom NIP Diketahui Ketua Departemen Ilmu Komputer Dr. Ir. Agus Buono, M.Si, M.Kom NIP Tanggal Lulus:

5 4 PRAKATA Puji dan syukur penulis panjatkan ke hadirat Tuhan Yang Maha Esa karena berkat rahmat dan karunia-nya penulis dapat menyelesaikan skripsi ini. Skripsi ini merupakan hasil penelitian yang dilakukan dari bulan September sampai bulan Februari dengan bidang kajian Perbandingan Efisiensi Model Ruang Vektor pada Sistem Temu Kembali Informasi. Pembuatan skripsi ini tak lepas dari dukungan dan bantuan dari berbagai pihak. Oleh karena itu, penulis menyampaikan rasa terima kasih kepada: 1 Tuhan Yang Maha Esa atas rahmat dan karunia-nya. 2 Bapa, Mamah, Ira, Teteh, A Iwan, dan Rafi yang selalu memberikan dukungan, motivasi, kasih sayang, serta doanya. 3 Bapak Sony Hartono Wijaya, S. Kom, M.Kom selaku dosen pembimbing tugas akhir. Terima kasih atas kesabaran, bimbingan serta dukungan dalam penyelesaian tugas akhir ini. 4 Bapak Ir. Julio Adisantoso, M.Kom dan Bapak Ahmad Ridha, S.Kom, MS selaku dosen penguji. 5 Teman-teman satu bimbingan, Selamat Subu dan Debi, terima kasih atas semangat dan kebersamaannya selama penyelesaian tugas akhir ini 6 Teman-teman seperjuangan Ekstensi Departemen Ilmu Komputer angkatan 4. 7 Teman-teman seperjuangan Manajemen Informatika angkatan Teman-teman kosan White House beserta Dell Inspiron-ku. 9 Seluruh pihak yang turut membantu baik secara langsung maupun tidak langsung dalam pelaksanaan tugas akhir. Semoga hasil penelitian ini dapat bermanfaat dan dapat terus dikembangkan di masa mendatang. Bogor, April 2012 Ari Alkautsar

6 5 RIWAYAT HIDUP Penulis yang dilahirkan di Serang pada tanggal 10 November 1988 merupakan anak kedua dari tiga bersaudara dengan ayah bernama Dedi Cunyadi Atmadipraja dan ibu bernama Mei Heryati. Pada tahun 2006 penulis lulus dari Sekolah Menengah Atas (SMA) Negeri 1 Serang dan diterima di Diploma Tiga Program Keahlian Manajemen Informatika, Institut Pertanian Bogor (IPB) setelah lulus pada tahun 2009, kemudian melanjutkan kuliah untuk gelar sarjana pada tahun 2009 di Departemen Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, IPB. Pada tahun 2009 penulis berkerja di perusahaan Property Manajemen Mall (PT. Bogor Anggana Cendekia) sebagai IT Support dan pada tahun 2011 penulis bergabung dengan Team Rainvolution untuk mengerjakan project system.

7 6 DAFTAR ISI Halaman DAFTAR TABEL... vi DAFTAR GAMBAR... vi DAFTAR LAMPIRAN... vi PENDAHULUAN Latar Belakang... 1 Tujuan... 1 Ruang Lingkup... 1 Manfaat... 1 TINJAUAN PUSTAKA Sistem Temu Kembali Informasi... 1 Pembobotan tf-idf... 1 Model Ruang Vektor... 2 Kompleksitas Algoritme... 2 Evaluasi Sistem Temu Kembali Informasi... 2 METODE PENELITIAN Koleksi Dokumen Pengujian... 3 Praproses... 3 Pemrosesan Dokumen... 3 Evaluasi... 4 Lingkungan Pengembangan... 4 HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian... 4 Praproses... 4 Pemrosesan Dokumen... 4 Waktu Komputasi... 5 Kompleksitas Algoritme... 5 Evaluasi... 7 KESIMPULAN DAN SARAN Kesimpulan... 8 Saran... 8 DAFTAR PUSTAKA... 8 LAMPIRAN...10

8 7 DAFTAR TABEL Halaman 1 Ilustrasi Recall dan Precision Kompleksitas algoritme koefisien cosine Kompleksitas algoritme koefisien Jaccard Kompleksitas algoritme koefisien Dice Nilai rata-rata waktu komputasi untuk masing-masing koefisien Nilai perbandingan kompleksitas Algoritme... 8 DAFTAR GAMBAR Halaman 1 Diagram Alur Metode Penelitian Grafik recall precision... 7 DAFTAR LAMPIRAN Halaman 1 Contoh Koleksi Dokumen Daftar Kueri dan Dokumen yang Relevan Tampilan Sistem Tabel Recall dan Preccision untuk Semua Ukuran Kesamaan Grafik Waktu Komputasi Tabel Waktu Komputasi...22

9 1 Latar Belakang PENDAHULUAN Semakin populernya penggunaan internet memengaruhi jumlah sumber daya informasi yang semakin besar keragamannya. Informasi yang jumlahnya sedikit dapat dicari secara manual dengan mudah, namun untuk informasi yang jumlahnya besar dibutuhkan suatu sistem yang dapat mencari dengan cepat informasi tersebut. Masalah lain yang dihadapi adalah sistem tidak mampu memeringkat dokumen relevan yang diinginkan pengguna berdasarkan urutan awal hasil pencarian. Untuk memecahkan masalah tersebut, salah satu pendekatan yang digunakan adalah sistem temu kembali informasi. Sistem temu kembali informasi digunakan untuk menemukembalikan informasi yang dianggap relevan terhadap kebutuhan pengguna. Temu kembali informasi yang baik menghasilkan dokumen relevan pada urutan awal hasil pencarian. Banyak model yang dapat digunakan untuk memeringkat dokumen hasil temu kembali informasi, salah satunya adalah model ruang vektor. Idenya adalah memeringkat dokumen hasil temu kembali informasi berdasarkan tingkat relevansi suatu dokumen. Dalam ukuran kesamaan model ruang vektor, terdapat tiga buah koefisien, yaitu koefisien cosine, koefisien Jaccard, dan koefisien Dice. Penelitian model ruang vektor umumnya menggunakan koefisien cosine, seperti Paiki (2006), Rusidi (2008), dan Rahayuni (2011) untuk memeringkat dokumen hasil pencarian. Intan & Defeng (2006) menggabungkan metode tf-idf dan koefisien Jaccard dalam memperkenalkan suatu algoritme search engine berdasarkan konsep High Accuracy Retrieval from Documents (HARD). Nurhanifah (2001) menggunakan metode trigram dengan ukuran kesamaan Dice dalam bentuk hypertext. Penelitian-penelitian tersebut hanya menggunakan satu koefisien model dalam penelitiannya dan tidak ada yang membandingkan kinerja dari model model ruang vektornya. Tujuan Penelitian ini bertujuan membandingkan efisiensi ukuran koefisien kesamaan model ruang vektor berdasarkan recall dan average precision, waktu komputasi, dan kompleksitas algoritme. Ruang Lingkup Ruang lingkup penelitian ini ialah: 1 Model sistem temu kembali informasi yang digunakan adalah model ruang vektor. 2 Terbatas pada perbandingan koefisien model ruang vektor yang dilihat berdasarkan recall dan average precision, waktu komputasi, dan kompleksitas algoritme. Manfaat Kinerja mesin pencari dapat dikembangkan berdasarkan berbagai macam model. Dari penelitian ini, diharapkan dapat diketahui hasil perbandingan pemeringkatan model ruang vektor dan dapat menjadi pembanding kinerja model lain. TINJAUAN PUSTAKA Sistem Temu Kembali Informasi Temu kembali informasi mempelajari algoritme dan model untuk memperoleh informasi dari koleksi dokumen. Sistem temu kembali informasi merupakan sistem untuk merepresentasikan, menyimpan, mengorganisasikan, dan memproses informasi. Sistem temu kembali informasi menyediakan kemudahan akses informasi bagi pengguna. Pengguna harus menerjemahkan kebutuhan informasinya ke dalam bentuk kueri. Dengan adanya kueri yang diberikan pengguna, tujuan utama dari sistem temu kembali informasi adalah mengembalikan informasi yang relevan dengan kueri dan informasi yang tidak relevan sesedikit mungkin (Baeza-Yates & Ribeiro-Neto 1999). Pembobotan tf-idf Metode tf-idf merupakan suatu cara untuk memberikan bobot hubungan suatu kata (term) terhadap dokumen. Menurut Robertson (2005) dalam Intan & Defeng (2006), metode ini menggabungkan dua konsep untuk perhitungan bobot yaitu, frekuensi kemunculan sebuah kata di dalam sebuah dokumen tertentu dan inverse dokumen frekuensi yang mengandung kata tersebut.

10 2 Persamaan metode tf-idf sebagai berikut: dengan: W ij = tf ij (log( N n )) secara umum W ij : bobot kata/term t j terhadap dokumen d i tf ij : jumlah kemunculan kata/term t j dalam d i N : jumlah semua dokumen yang ada dalam pangkalan data n : jumlah dokumen yang mengandung kata/term t j (minimal ada satu kata yaitu term t j ) Model Ruang Vektor Pengukuran kesamaan (similarity measure) model ruang vektor digunakan untuk memeringkat dokumen hasil temu kembali informasi. Salton (1989) dalam Adisantoso (1996) melakukan normalisasi ukuran koefisien kesamaan ini menjadi tiga, yaitu: 1 Koefisien cosine merupakan metode ukuran kesamaan yang paling popular, yaitu dengan menghitung sudut antara vektor dokumen dengan vektor kueri. Persamaannya sebagai berikut: dengan: similarity d j,q = d j q d j x q d j : vektor dokumen q : vektor kueri 2 Koefisien Jaccard adalah salah satu metode yang dipakai untuk menghitung similarity antara dua obyek. Ditemukan oleh Paul Jaccard yang merupakan metode ukuran kesamaan yang digunakan untuk membandingkan kesamaan dan keragaman set sampel. Persamaannya sebagai berikut: d j q similarity d j,q = d j x q - d j q dengan: d j : vektor dokumen q : vektor kueri 3 Koefisien Dice ditemukan oleh Lee Raymond Dice yang merupakan metode ukuran kesamaan yaang berhubungan dengan koefisien Jaccard. Persamaannya sebagai berikut: similarity d j,q = 2 d j q d j x q dengan: d j : vektor dokumen q : vektor kueri Kompleksitas Algoritme Untuk menyelesaikan suatu masalah pemrograman, terdapat berbagai algoritme yang dapat digunakan. Dalam algoritme, harus ada parameter yang bisa dibandingkan agar dapat diselesaikan secara efektif. Dalam aplikasinya, setiap algoritme memiliki dua buah ciri khas yang dapat digunakan sebagai parameter pembanding, yaitu jumlah proses yang dilakukan dan jumlah memori yang digunakan untuk melakukan proses. Jumlah proses ini dikenal sebagai kompleksitas waktu yang disimbolkan dengan T(n), sedangkan jumlah memori ini dikenal sebagai kompleksitas ruang yang disimbolkan dengan S(n). Kompleksitas waktu diukur berdasarkan jumlah proses khas suatu algoritme, bukan berdasarkan run-time secara nyata ketika aplikasi dilakukan. Hal ini disebabkan oleh arsitektur komputer dan kompilator yang berbeda-beda sehingga suatu algoritme yang sama akan menghasilkan waktu eksekusi yang berbeda, pada komputer dan penyusun yang berbeda (Rheinadi 2009). Evaluasi Sistem Temu Kembali Informasi Terdapat banyak jenis ukuran yang dapat digunakan untuk mengevaluasi kinerja suatu sistem temu kembali informasi. Pengukuran yang paling umum menggunakan recall dan precision. Recall adalah rasio jumlah dokumen relevan yang ditemukan kembali dengan total jumlah dokumen dalam kumpulan dokumen yang dianggap relevan, sedangkan precision adalah rasio jumlah dokumen relevan yang ditemukan dengan total jumlah dokumen yang ditemukembalikan (Manning et al. 2008). Ilustrasi recall dan precision dapat dilihat di Tabel 1.

11 3 Tabel 1 Ilustrasi recall dan precision Relevan Non relevan Retrieved tp fp Non retrieved fn tp Recall= ( tp + fn ) tp Precision= ( tp + fp ) tn 1 Proses tokenisasi (tokenizing) yang membagi teks input menjadi unit-unit kecil yang disebut token, yang dapat berupa suatu kata, suatu angka, atau suatu tanda baca. 2 Proses pembuangan kata yang tidak perlu digunakan (stopwords) seperti dan atau yang. 3 Proses indexing menggunakan pembobotan tf-idf. Gambaran sistem dalam penelitian ini dapat dilihat pada Gambar 1. Pengukuran kinerja pemeringkatan dapat dilakukan dengan interpolasi average precision. Interpolasi average precision adalah suatu ukuran evaluasi kinerja temukembali yang diperoleh dengan menghitung rata-rata precision pada berbagai tingkat recall. Standar yang digunakan adalah standar tingkat recall, yaitu 0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, Average precision diformulasikan sebagai berikut: P r = N q i=1 P i (r) N q P r adalah average precision pada level recall r, N q adalah jumlah kueri yang digunakan, dan P i (r) adalah precision pada level recall r untuk kueri ke-i (Baeza-Yates & Ribeiro-Neto 1999). Dokumen Pemrosesan Dokumen Ukuran kesamaan koefisien cosine Praproses Ukuran kesamaan koefisien Jaccard Kueri Praproses Ukuran kesamaan koefisien Dice METODE PENELITIAN Tahapan yang akan dilakukan pada penelitian secara umum terdiri atas tiga tahap, yaitu: Hasil Evaluasi 1 praproses, 2 pemrosesan dokumen, dan 3 evaluasi. Koleksi Dokumen Pengujian Data didapat dari 1000 dokumen pertanian yang ada di pangkalan data Laboratorium Temu Kembali Informasi, Departemen Ilmu Komputer, Institut Pertanian Bogor hasil penelitian Adisantoso & Ridha (2004). Praproses Pada praproses akan dilakukan tiga tahap, yaitu: Gambar 1 Diagram alur metode penelitian. Pemrosesan Dokumen Pengukuran kesamaan yang dibandingkan menggunakan metode dari model ruang vektor yaitu koefisien cosine, Jaccard, dan Dice. Hasil temu kembali dari masing-masing ukuran koefisien kesamaan akan dibandingkan berdasarkan 3 hal yaitu recall dan average precision, waktu komputasi dan kompleksitas algoritme.

12 4 Evaluasi Pengukuran yang digunakan untuk mengevaluasi kinerja suatu sistem temu kembali informasi dalam penelitian ini adalah recall dan precision. Hasil perhitungan recall dan precision untuk masing-masing pembobotan akan digambarkan dalam bentuk grafik, kemudian dilakukan perhitungan interpolasi maksimum untuk mendapatkan nilai average precision yang akan digambarkan melalui tabel. Dihitung juga nilai kompleksitas algoritme dan waktu komputasi, kemudian dibandingkan untuk masing-masing koefisien. Lingkungan Pengembangan Penelitian ini dilakukan dengan menggunakan bantuan perangkat keras dan perangkat lunak dengan spesifikasi sebagai berikut: Perangkat lunak: Microsoft Windows 7 Ultimate, xampp sebagai web server. Perangkat keras: AMD E-350 Processor 1.6 GHz, 2 GB RAM, Hard disk 300 GB. HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian Koleksi dokumen yang digunakan untuk menguji sistem berasal dari korpus yang sudah tersedia di Laboratorium Temu Kembali Informasi, Departemen Ilmu Komputer IPB. Koleksi terdiri atas 1000 dokumen dengan format teks (.txt) dengan struktur tag XML pada masing-masing dokumen. Contoh dokumen uji dapat dilihat di Lampiran 1. Tag yang digunakan dalam dokumen, yaitu : <doc></doc> mewakili keseluruhan dokumen. Di dalamnya terdapat tag lain yang mendeskripsikan isi dokumen lebih jelas. <docno></docno> mewakili ID dokumen. ID yang dipakai merupakan kombinasi nama sumber berita, tanggal, dan urutan berita pada tanggal yang sama. <title></title> mewakili judul dokumen. <author></author> mewakili penulis dokumen. <text></text> mewakili isi dokumen. Jumlah kueri uji yang akan digunakan dalam penelitian ini adalah 30 kueri uji dokumen pertanian yang berasal dari Laboratorium Temu Kembali Informasi. Daftar kueri uji yang digunakan dalam penelitian ini dapat dilihat pada Lampiran 2. Praproses Praproses dilakukan dengan tahapan tokenisasi, pembuangan kata yang tidak perlu, dan pembobotan. Tahap tokenisasi dilakukan dengan pembacaan karakter per karakter. Tujuannya untuk membedakan karakter-karakter yang bersifat separator. Separator yang dihilangkan, yaitu: karakter pemisah indeks istilah (whitespace), karakter angka, titik, koma, dan karakter lainnya yang dianggap kurang representasif dalam mencirikan suatu dokumen. Tahap pembuangan stopword dilakukan setelah hasil tokenisasi dokumen didapatkan. Hasil tokenisasi dibandingkan dengan stopword. Jika token berada di dalam stopword, token tersebut harus dihilangkan. Pembuangan token juga dilakukan untuk token yang terdiri atas dua huruf karena token tersebut kurang representatif dalam mencirikan suatu dokumen. Pembobotan dimulai dengan mendapatkan frekuensi tiap token di dalam setiap dokumen (tf), setelah itu dihitung jumlah dokumen yang mengandung token tertentu (df). Hasil dari df akan digunakan untuk mendapatkan nilai idf (Inverse document frequency) dari setiap token. Hasil idf ini disimpan dalam file Idf.txt. Pembobotan tf-idf didapatkan dari hasil perkalian antara tf dan idf. Hasil perhitungan tf-idf juga disimpan ke dalam file tf-idf.txt untuk mempermudah proses perhitungan selanjutnya. Hasil pemrosesan dokumen digunakan untuk menghitung kesamaan kueri dengan dokumen menggunakan tiga koefisien model ruang vektor. Pemrosesan Dokumen Ukuran kesamaan yang digunakan untuk Menghitung bobot antara dokumen dan kueri yang pertama adalah koefisien cosine. Hasil dari koefisien cosine akan diurutkan berdasarkan dokumen yang memunyai kesamaan terbesar sampai terkecil. Di bawah ini adalah 10 hasil teratas dari dokumen koefisien cosine dengan kueri bencana kekeringan.

13 5 mediaindonesia => gatra => indosiar => mediaindonesia => kompas => mediaindonesia => indosiar => mediaindonesia => indosiar => republika => Ukuran kesamaan kedua adalah koefisien Jaccard, dengan urutan yang tidak berbeda jika dibandingkan dengan cosine. Di bawah ini adalah 10 hasil teratas dari koefisien Jaccard. mediaindonesia => gatra => indosiar => mediaindonesia => kompas => mediaindonesia => indosiar => mediaindonesia => indosiar => republika => Begitu juga dengan koefisien Dice tidak terlihat perbedaan urutan dalam pemeringkatan hasil temu kembali informasi. Di bawah ini adalah 10 hasil teratas dari koefisien Dice. mediaindonesia => gatra => indosiar => mediaindonesia => kompas => mediaindonesia => indosiar => mediaindonesia => indosiar => republika => Waktu Komputasi Waktu komputasi dalam ukuran detik, diambil sebanyak 5 kali, kemudian dibuat nilai rata-rata dari masing-masing nilai berdasarkan kueri. Grafik waktu komputasi dapat dilihat di Lampiran 5 dan tabel waktu komputasi dapat dilihat di Lampiran 6. Kompleksitas Algoritme Kompleksitas algoritme diambil dari masing-masing nilai koefisien. Setiap proses dihitung kompleksitasnya, kemudian dibuat nilai notasi Big-O untuk hasilnya. Notai Big- O yang digunakan karena notasi ini mendeskripsikan kinerja kasus terburuk (worst-case) dari suatu algoritme, sehingga Big-O dapat menjamin bahwa suatu algoritme tidak akan lebih buruk dari worst-case. Tabel 2, 3, dan 4 menunjukkan hasil perhitungan kompleksitas untuk masing-masing koefisien model ruang vektor. Tabel 2 Kompleksitas algoritme koefisien cosine. Algoritme T(n) procedure cosine() cosine <- 0 1 ids <- '' 1 data <- array() 1 Idf <- idf in procedure 1 idf for each idf in array 3*n = to length(id) do: 3n for each array in 3*n*n = termfreq to length(term) do: if term <- q1 or term 4 n 2 <- q2 do: termfreq_q <- 1 2 n 2 Else termfreq_q <- 0 2 n 2 end if tfidf_d <- 4 n 2 termfreq*idf[term] tfidf_q <- 4 n 2 termfreq_q*idf[term] if ids <- id do 2 n 2 atas += tfidf_d*tfidf_q bawah1 += tfidf_d*tfidf_d bawah2 += tfidf_q*tfidf_q else atas <- 0 n 2 atas += tfidf_d*tfidf_q hasilbawah1 <- sqrt(bawah1) hasilbawah2 <- sqrt(bawah2) hasilbawah <- hasilbawah1 * hasilbawah2 bawah1 <- 0 n 2 bawah2 <- 0 n 2

14 6 Algoritme T(n) bawah1 += $tfidf_d*$tfidf_d bawah2 += $tfidf_q*$tfidf_q end if ids <- id 2 n 2 end for hasilbawah1 <- 3 n sqrt(bawah1) hasilbawah2 <- 3 n sqrt(bawah2) hasilbawah <- 3 n hasilbawah1 * hasilbawah2 cosine <- 3 n atas/hasilbawah end for end procedure Total T(n) n + 4 Tabel 3 Kompleksitas algoritme koefisien Jaccard. Algoritme T(n) procedure Jaccard() Jaccard <- 0 1 ids <- '' 1 data <- array() 1 Idf <- idf in 1 procedure idf for each idf in array 3*n = 3n to length(id) do: for each array in 3*n*n = termfreq to length(term) do: if term <- q1 or term 4 n 2 <- q2 do: termfreq_q <- 1 2 n 2 else termfreq_q <- 0 2 n 2 end if tfidf_d <- 4 n 2 termfreq*idf[term] tfidf_q <- 4 n 2 termfreq_q*idf[term] if ids <- id do 2 n 2 atas += tfidf_d*tfidf_q bawah1 += tfidf_d*tfidf_d bawah2 += tfidf_q*tfidf_q else atas <- 0 n 2 Algoritme T(n) atas += tfidf_d*tfidf_q hasilbawah1 <- sqrt(bawah1) hasilbawah2 <- sqrt(bawah2) hasilbawah <- hasilbawah1 * hasilbawah2 bawah1 <- 0 n 2 bawah2 <- 0 n 2 bawah1 += $tfidf_d*$tfidf_d bawah2 += $tfidf_q*$tfidf_q end if ids <- id 2 n 2 end for hasilbawah1 <- 3 n sqrt(bawah1) hasilbawah2 <- 3 n sqrt(bawah2) hasilbawah <- 3 n hasilbawah1 * hasilbawah2 hasilbawah_jaccard <- 3 n hasilbawah-atas jacard <- atas/ 4 n hasilbawah-atas end for end procedure Total T(n) n + 4 Tabel 4 Kompleksitas algoritme koefisien Dice. Algoritme T(n) procedure Dice() Dice <- 0 1 ids <- '' 1 data <- array() 1 Idf <- idf in procedure 1 idf for each idf in array 3*n = to length(id) do: 3n for each array in 3*n*n = termfreq to length(term) do: if term <- q1 or term 4 n 2 <- q2 do: termfreq_q <- 1 2 n 2 else termfreq_q <- 0 2 n 2 end if

15 7 Algoritme T(n) tfidf_d <- 4 n 2 termfreq*idf[term] tfidf_q <- 4 n 2 termfreq_q*idf[term] if ids <- id do 2 n 2 atas += tfidf_d*tfidf_q bawah1 += tfidf_d*tfidf_d bawah2 += tfidf_q*tfidf_q else atas <- 0 n 2 atas += tfidf_d*tfidf_q hasilbawah1 <- sqrt(bawah1) hasilbawah2 <- sqrt(bawah2) hasilbawah <- hasilbawah1 * hasilbawah2 bawah1 <- 0 n 2 bawah2 <- 0 n 2 bawah1 += $tfidf_d*$tfidf_d bawah2 += $tfidf_q*$tfidf_q end if ids <- id 2 n 2 end for hasilbawah1 <- 3 n sqrt(bawah1) hasilbawah2 <- 3 n sqrt(bawah2) hasilbawah <- 3 n hasilbawah1 * hasilbawah2 atas_dice = 2 * atas 2 n Dice = 3 n atas_dice/hasilbawah end for end procedure Total T(n) 56 n n + 4 Evaluasi ini menggunakan nilai recall precision. Hasil evaluasi recall precision dari masing-masing kueri diinterpolasi maksimum untuk mencari nilai average precision dan digambarkan dalam bentuk grafik serta tabel di Gambar 2. Gambar 2 Grafik recall precision Gambar 2 menggambarkan bahwa temu kembali menghasilkan nilai average precision (AVP) sebesar dengan recall rata-rata Dari ketiga perhitungan koefisien di atas, tidak dapat disimpulkan mana yang terbaik karena masing-masing koefisien memiliki nilai keterurutan yang sama. Dalam waktu komputasi, diperoleh perbandingan nilai rata-rata koefisien cosine detik, Jaccard detik, dan Dice detik. Tabel 5 akan menunjukkan perbandingan nilai rata-rata waktu komputasi. Tabel 5 Koefisien Nilai rata-rata waktu komputasi masing-masing koefisien. Waktu Komputasi Cosine Jaccard Dice Kompleksitas algoritme cosine adalah 53 n n + 4, Jaccard n + 4, dan Dice 56 n n + 4 sehingga semua koefisien memiliki notasi Big-O yang sama yaitu O(n 2 ). Evaluasi Proses evaluasi dokumen menggunakan 30 pasangan kueri dengan dokumen relevan. Nilai rata-rata koefisien cosine 3.1% lebih cepat dari koefisien Jaccard dan 9.4% lebih cepat dari koefisien Dice. Kompleksitas algoritme cosine n + 4, Jaccard n + 4, dan Dice 56 n n + 4. Tabel 6 akan menunjukkan perbandingan nilai kompleksitas algoritme dari masing-masing koefisien.

16 8 Tabel 6 Koefisien Nilai perbandingan kompleksitas algoritme. Kompleksitas Alg Cosine n + 4 Jaccard n + 4 Dice 56 n n + 4 Dari ketiga koefisien di Tabel 6, disimpulkan bahwa nilai notasi Big-O adalah O(n 2 ). Koefisien cosine memiliki kompleksitas terbaik dengan tingkat kompleksitas yang lebih rendah dibanding koefisien lain. Kesimpulan KESIMPULAN DAN SARAN Penelitian ini membandingkan efisiensi model ruang vektor pada sistem temu kembali informasi. Dari hasil yang didapat, dapat disimpulkan bahwa: 1 Masing-masing koefisien dalam ukuran kesamaan model ruang vektor memiliki nilai yang sama untuk recall dan AVP. 2 Ukuran kesamaan model ruang vektor koefisien cosine lebih baik dibanding dengan koefisien Jaccard dan koefisien Dice dalam hal kompleksitas algoritme dan waktu komputasi. Saran Beberapa hal yang perlu dikembangkan dalam penelitian selanjutnya ialah: 1 Penggunaan variant lain dari pembobotan tf-idf. 2 Perlu diujicoba dengan menggunakan dokumen yang jumlahnya lebih banyak dan ukuran dokumen yang sama, seperti berita. DAFTAR PUSTAKA Adisantoso J Pendekatan kuantitatif untuk penelusuran informasi. Forum Statistika dan Komputasi 2(1): Adisantoso J, Ridha A Corpus Dokumen Teks Bahasa Indonesia untuk Pengujian Efektivitas Temu Kembali Informasi. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Istitut Pertanian Bogor. Aly AA Using a query technique to improve document retrieval. Information Technologies and Knowledge 2: Baeza-Yates R, Ribeiro-Neto B Modern Information Retrieval. New York: Addison-Wesley. Intan R, Defeng A Hard: subject-based search engine menggunakan tf-idf dan Jaccard s coefficient. Jurnal Teknik Industri 8(1): Manning CD, Raghavan P, Schütze H Introduction to Information Retrieval. Cambridge: Cambridge University Press. Nurhanifah S Pencarian informasi dengan metode trigram [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Paiki FF Evaluasi penggunaan similarity thesaurus terhadap ekspansi kueri dalam sistem temu kembali informasi berbahasa Indonesia [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Rahayuni N Ekspansi kueri pada sistem temu kembali informasi berbahasa Indonesia menggunakan thesaurus [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Rheinadi R Analisis algoritme bubble sort [skripsi]. Bandung: Sekolah Teknik Elektro dan Informatika, Institut Teknologi Bandung. Ridha A Pengindeksan otomatis dengan istilah tunggal untuk dokumen berbahasa Indonesia [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Robertson S Understanding Inverse Document Frequency: On theoretical arguments for IDF: Journal of Documentation 60(5): Rusidi Ekspansi kueri dalam sistem temu kembali informasi berbhasa Indonesia menggunakan peluang bersyarat [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor.

17 9 Salton, G Automatic Text Processing: The Transformation, Analysis, and Retrieval of Information by Computer. New York: Addison-Wesley. Sitohang NL Ekspansi kueri pada sistem temu kembali informasi berbahasa Indonesia menggunakan kamus dwibahasa [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Telaumbanua P Analisis perbandingan algoritme kompresi Lempel Ziv Welch, Arithmetic Coding, dan Run-Length Encoding pada file teks [skripsi]. Universitas Sumatera Utara.

18 LAMPIRAN 10

19 11 Lampiran 1 Contoh koleksi dokumen <DOC> <DOCNO>gatra011102</DOCNO> <TITLE>Banten Kembangkan Agroindustri </TITLE> <AUTHOR>Ark, Ant</AUTHOR> <TEXT> <P>Selain industri kimia dan parawisata, provinsi Banten juga melirik agroindustri. Provinsi pecahan Jawa Barat ini akan mengembangkan `Agroindustrial Park`, yaitu sebuah kawasan indutri pengolahan hasil pertanian, di Cilegon itu diungkapkan Gubernur Banten, Dr Djoko Munandar, di Serang, Jumat.</P> <P>"Nantinya kawasan ini akan menjadi pusat pengolahan berbagai produk pertanian, walaupun bahan bakunya tidak hanya dipasok dari Banten, tetapi akan makin memacu kemajuan pertanian di provinsi ini," katanya, seusai acara gelar wicara tentang upaya peningkatan produk olahan dan pemasaran hasil pertanian, di Aula Kantor Gubernuran.</P> <P>Program itu menurut Djoko merupakan program makro pengembangan pertanian Banten dengan konsep `Banten Sebagai Bagian Dari Agroindustri Nasional`.</P> <P>Sementara itu, program mikro berupa pemberdayaan petani kecil tetap berjalan dan menjadi prioritas.</p> <P>Djoko menjelaskan Banten mempunyai posisi yang strategis karena berada di lintasan Jawa- Sumatera, mempunyai prasarana yang lengkap mulai dari Pelabuhan, Bandara, jaringan jalan tol, serta dekat dengan akses pasar dalam negeri seperti Jakarta dan Jawa Barat.</P> <P>Untuk mendukung kawasan tersebut, maka Pemprov Banten juga merencanakan membangun Terminal Agribisnis di Cilegon serta Sub Terminal yang ada di ibukota kabupaten, sehingga akses pasar petani akan semakin mudah.</p> <P>Pada acara itu, Dekan Fakultas Pertanian Untirta Ir Mukhtar mengatakan, Banten ke depan perlu mengembangkan pertanian berbasis teknologi, dan tidak sekedar tergantung pada lahan seperti pengembangan pertanian hidroponik dan rekayasa genetik.</p> <P>"Saat ini saya perkirakan baru 60 persen saja petani yang benar-benar menggarap tanaman padi sesuai panca usaha tani," ujarnya.</p> <P>Selain itu, ia mengungkapkan keberadaan beberapa pabrik makanan ternak skala besar di Banten belum mampu menggairahkan petani untuk berlomba memasok bahan baku seperti jagung dan kedele, karena produk mereka sering ditolak oleh pabrik, karena alasan tidak memenuhi standar mutu.</p> <P>"Oleh karena itu, perlu peningkatan pengetahuan petani tentang mutu produksi dan pasca panen, sehingga hasil pertanian mereka tidak lagi ditolak," katanya.</p> <P>Sementara itu, Kepala Dinas Pertanian dan Peternakan Banten Ir Hilman mengatakan, pengembangan pabrik pakan ternak rakyat perlu ditumbuhkan untuk menampung bahan baku yang ditolak pabrik hanya karena kadar air yang masih tinggi.</p> <P>"Di daerah lain ternyata berhasil membangun pabrik skala kecil yang dikelola dengan sistem kemitraan dengan para peternaknya seperti di Pangalengan, Bandung dan di Bogor," ujarnya.</p> </TEXT> </DOC>

20 12 Lampiran 2 Tabel daftar istilah kueri dan dokumen yang relevan No Kueri Gugus Jawaban 1 bencana kekeringan 2 dukungan pemerintah pada pertanian gatra txt, gatra txt, gatra txt, gatra txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, pikiranrakyat txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt. indosiar txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, pembaruan txt, poskota txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suaramerdeka txt, wartapenelitian txt, wartapenelitian txt. 3 flu burung gatra txt, gatra txt, gatra txt, gatra txt, indosiar txt, indosiar txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, suarakarya txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt. 4 gabah kering giling 5 gagal panen indosiar txt, indosiar txt, indosiar txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, pikiranrakyat txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, suarakarya txt, suaramerdeka txt. gatra txt, gatra txt, gatra txt, gatra txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt,

21 13 Lampiran 2 Lanjutan No Kueri Gugus Jawaban 6 harga komoditas pertanian 7 impor beras indonesia 8 industri gula republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt. indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, pikiranrakyat txt, pikiranrakyat txt, poskota txt, poskota txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt, trubus txt, wartapenelitian txt. gatra txt, gatra txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt. gatra txt, kompas txt, kompas txt, mediaindonesia txt, pikiranrakyat txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, suarakarya txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt.

22 14 Lampiran 2 Lanjutan No Kueri Gugus Jawaban 9 institut pertanian bogor 10 kelangkaan pupuk 11 kelompok masyarakat tani 12 laboratoriu m pertanian 13 musim panen gatra txt, gatra txt, gatra txt, gatra txt, gatra txt, gatra txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suarakarya txt, suarapembaruan txt, suarapembaruan txt. indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, kompas txt, kompas txt, pikiranrakyat txt, republika txt, republika txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suaramerdeka txt. bitraindonesia txt, indosiar txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, replubika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt. balaipenelitian txt, gatra txt, indobic txt, indosiar txt, jurnal txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suaramerdeka txt. gatra txt, gatra txt, gatra txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, pikiranrakyat txt, pikiranrakyat txt, poskota txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt,

23 15 Lampiran 2 Lanjutan No Kueri Gugus Jawaban 14 pembangun an untuk sektor pertanian 15 penerapan bioteknolo gi di indonesia 16 penerapan teknologi pertanian situshijau txt, situshijau txt, suarakarya txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt. gatra txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, pembaruan txt, poskota txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, suarapembaruan txt. jurnal txt, kompas txt, puslitbang txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau no.txt, suarakarya txt, suarakarya txt, suarapembaruan txt, suarapembaruan no.txt, suarapembaruan txt, wartapenelitian txt. indosiar txt, jurnal txt, jurnal txt, jurnal txt, jurnal txt, jurnal txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suarapembaruan no.txt, suarapembaruan txt, suarapembaruan txt, wartapenelitian txt, wartapenelitian txt, wartapenelitian txt.

24 16 Lampiran 2 Lanjutan No Kueri Gugus Jawaban 17 peningkata n pendapatan petani 18 penyakit hewan ternak 19 penyuluhan pertanian 20 perdaganga n hasil pertanian 21 pertanian organik indosiar txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, pembaruan txt, poskota txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt, wartapenelitian txt. gatra txt, gatra txt, gatra txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suaramerdeka txt. bitraindonesia txt, gatra txt, indosiar txt, jurnal txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, poskota txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, suaramerdeka txt, wartapenelitian txt, wartapenelitian txt. gatra txt, indosiar txt, indosiar txt, jurnal txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt, wartapenelitian txt. indosiar txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt. 22 petani tebu indosiar txt, indosiar txt, kompas txt, kompas txt, kompas txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, suarakarya txt, suarakarya txt,

25 17 Lampiran 2 Lanjutan No Kueri Gugus Jawaban 23 peternak unggas 24 produk usaha peternakan rakyat 25 pupuk organik 26 riset pertanian suaramerdeka txt, suarapembaruan txt, suarapembaruan txt. gatra txt, gatra txt, gatra txt, indosiar txt, indosiar txt, indosiar txt, jurnal txt, kompas txt, kompas txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suarapembaruan txt. jurnal txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suarapembaruan txt. balaipenelitian txt, kompas txt, kompas txt, kompas txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, wartapenelitian txt, wartapenelitian txt. balaipenelitian txt, gatra txt, indobic txt, jurnal txt, jurnal txt, jurnal txt, jurnal txt, jurnal txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, puslitbang txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau no.txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, suarapembaruan txt, wartapenelitian txt, wartapenelitian txt.

26 18 Lampiran 2 Lanjutan No Kueri Gugus Jawaban 27 swasembad a pangan indosiar txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt. 28 tadah hujan gatra txt, gatra txt, indosiar txt, indosiar txt, jurnal txt, kompas txt, mediaindonesia txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, republika txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suarapembaruan txt, wartapenelitian txt. 29 tanaman obat 30 tanaman pangan balaipenelitian txt, balaipenelitian txt, indobic txt, indosiar txt, indosiar txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt. bitraindonesia txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, indosiar txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, kompas txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, mediaindonesia txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, republika txt, situshijau txt, situshijau txt, situshijau txt, situshijau txt, suarakarya txt, suarakarya txt, suarakarya txt, suarakarya txt, suaramerdeka txt, suaramerdeka txt, suarapembaruan txt, suarapembaruan txt.

27 Lampiran 3 Tampilan sistem 19

28 20 Lampiran 4 Tabel recall dan precision untuk semua ukuran kesamaan Kueri Recall bencana kekeringan dukungan pemerintah pada pertanian flu burung gabah kering giling gagal panen harga komoditas pertanian impor beras indonesia industri gula institut pertanian bogor kelangkaan pupuk kelompok masyarakat tani laboratorium pertanian musim panen pembangunan untuk sektor pertanian penerapan bioteknologi di indonesia penerapan teknologi pertanian peningkatan pendapatan petani penyakit hewan ternak penyuluhan pertanian perdagangan hasil pertanian pertanian organik petani tebu peternak unggas produk usaha peternakan rakyat pupuk organik riset pertanian swasembada pangan tadah hujan tanaman obat tanaman pangan Nilai rata-rata

29 Lampiran 5 Grafik waktu komputasi 21