TEMU-KEMBALI MODEL EXTENDED BOOLEAN MENGGUNAKAN P-NORM MODEL DAN BELIEF REVISION DEVI DIAN PRAMANA PUTRA

Transkripsi

1 TEMU-KEMBALI MODEL EXTENDED BOOLEAN MENGGUNAKAN P-NORM MODEL DAN BELIEF REVISION DEVI DIAN PRAMANA PUTRA DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2011

2 ABSTRACT DEVI DIAN PRAMANA PUTRA. Extended Boolean Model on Retrieval Using P-Norm Model and Belief Revision. Supervised by JULIO ADISANTOSO. Extended Boolean Model is introduced to intermediate between the Boolean system of query processing and the vector-processing model. The query structure inherent in the Boolean system is preserved, while at the same time weighted term may be incorporated into both queries and stored documents. The retrieved output can also be ranked in strict similarity order with the user queries. Belief Revision is a logical framework in which documents and queries are represented by propositional formulas. Disjunctive Normal Form (DNF) is used to represent documents and queries in the Belief Revision. The purpose of this research is to implement Extended Boolean Model using P-Norm Model and Belief Revision for documents in Bahasa Indonesia. This testing used 30 queries from a thousand agricultural documents and 13 queries from 93 medicinal plants documents. The test result shows that the use of medicinal plants documents is better than agricultural documents. This is due to agricultural documents which have a high similarity between documents. The performance of information retrieval with P-Norm Model and Belief Revision gave good result which is around 81% average precision for medicinal plants documents and 54% for agricultural documents. Keywords: Boolean Model, Extended Boolean Model, P-Norm Model, Belief Revision.

3 TEMU-KEMBALI MODEL EXTENDED BOOLEAN MENGGUNAKAN P-NORM MODEL DAN BELIEF REVISION DEVI DIAN PRAMANA PUTRA Skripsi Sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Departemen Ilmu Komputer DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2011

4 Judul Nama NRP : Temu-Kembali Model Extended Boolean Menggunakan P-Norm Model dan Belief Revision : Devi Dian Pramana Putra : G Menyetujui: Pembimbing Ir. Julio Adisantoso, M.Kom NIP Mengetahui: Ketua Departemen Ilmu Komputer, Dr. Ir. Sri Nurdiati, M.Sc. NIP Tanggal Lulus:

5 PRAKATA Alhamdulilahirobbil alamin, segala puji syukur penulis panjatkan kehadirat Allah SWT atas segala karunia-nya sehingga penulis dapat menyelesaikan skripsi yang berjudul Temu-Kembali Model Extended Boolean Menggunakan P-Norm Model dan Belief Revision. Penulis menyadari bahwa tugas akhir ini tidak akan terselesaikan tanpan bantuan dari berbagai pihak. Pada kesempatan ini penulis ingin mengucapkan terima kasih kepada: 1. Ibu dan Bapak serta adik yang selalu memberikan doa, nasihat, dukungan dan semangat kepada Penulis sehingga dapat menyelesaikan tugas akhir ini. 2. Bapak Ir. Julio Adisantoso, M.Kom selaku dosen pembimbing tugas akhir. Terima kasih atas kesabaran, bimbingan serta dukungan dalam penyelesaian tugas akhir ini. 3. Bapak Ahmad Ridha, S.Kom, M.S dan Ibu Dr. Yeni Herdiyeni, S.Si, M.Kom selaku dosen penguji pada ujian skripsi. 4. Teman-teman satu bimbingan Nova Maulizar, Aprilia Ramadhina, Woro Indriyani, Fandi Rahmawan, Agus Umriadi, Isna Mariam, Nutri Rahayuni dan Ilkomerz 44 terima kasih atas kebersamaan dan semangatnya dalam menyelesaikan tugas akhir ini. 5. Seksi konsumsi seminar, Yuridhis Kurniawan dan Fandi Rahmawan. 6. Seluruh staf Departemen Ilmu Komputer IPB yang telah banyak membantu baik selama penelitian maupun selama perkuliahan. Penulis menyadari bahwa dalam penulisan tugas akhir ini masih terdapat banyak kekurangan dan kelemahan dalam berbagai hal karena keterbatasan kemampuan penulis. Penulis berharap adanya masukan berupa saran atau kritik yang bersifat membangun dari pembaca demi kesempurnaan tugas akhir ini. Semoga tugas akhir ini bermanfaat. Bogor, Oktober 2011 Devi Dian Pramana Putra

6 RIWAYAT HIDUP Penulis dilahirkan di Lumajang pada tanggal 9 September 1989 dari ayah Sukamat dan ibu Asih. Penulis merupakan anak pertama dari dua bersaudara. Pada tahun 2007 lulus dari Sekolah Menengah Atas (SMA) Negeri 2 Bogor dan diterima di Departemen Ilmu Komputer Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor (IPB) melalui jalur USMI. Tahun 2010 penulis melakukan Praktek Kerja Lapang di Pusat Perpustakaan dan Penyebaran Teknologi Pertanian (PUSTAKA) Bogor dengan bidang kajian Modul Sirkulasi pada Sistem Informasi Perpustakaan Pertanian.

7 DAFTAR ISI Halaman DAFTAR GAMBAR... v DAFTAR TABEL... v DAFTAR LAMPIRAN... v PENDAHULUAN... 1 Latar Belakang... 1 Tujuan Penelitian... 1 Ruang Lingkup Penelitian... 1 Manfaat Penelitian... 1 TINJAUAN PUSTAKA... 1 Information Retrieval (Temu-Kembali Informasi)... 1 Inverted Index... 1 Boolean Model... 2 Extended Boolean Model... 2 P-Norm Model... 2 Belief Revision... 3 Pembobotan Tf-Idf... 3 Evaluasi Temu-Kembali Informasi... 4 METODE PENELITIAN... 4 Koleksi Dokumen... 5 Pemrosesan Dokumen... 5 Pemrosesan Kueri... 5 Similarity Dokumen dengan Kueri... 5 Pemeringkatan Dokumen... 5 Evaluasi Hasil Temu-Kembali... 5 Asumsi... 5 Lingkungan Implementasi... 6 HASIL DAN PEMBAHASAN... 6 Koleksi Dokumen Pengujian... 6 Pemrosesan Dokumen... 7 Pemrosesan Kueri... 7 Temu-Kembali dengan Boolean Model... 7 Temu-Kembali dengan P-Norm Model... 8 Temu-Kembali dengan Belief Revision... 8 Evaluasi Sistem Temu-Kembali Informasi... 9 KESIMPULAN DAN SARAN Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN iv

8 DAFTAR GAMBAR Halaman 1 Struktur Inverted Index Sebaran ukuran kesamaan EBM Pseudocode Belief Revision Gambaran umum sistem Contoh dokumen pertanian Contoh dokumen tanaman obat Format dokumen setelah dilakukan pembuangan tagging Contoh pemrosesan kueri Contoh perhitungan algoritma Belief Revision Grafik R-P kinerja BR dengan P-Norm Model pada dokumen pertanian Grafik R-P kinerja BR dengan P-Norm Model pada dokumen tanaman obat...9 DAFTAR TABEL Halaman 1 Deskripsi dokumen pengujian Nilai AVP BR dengan P-Norm Model pada dokumen pertanian Nilai AVP BR dengan P-Norm Model pada dokumen tanaman obat... 9 DAFTAR LAMPIRAN Halaman 1 Antarmuka Implementasi Gugus kueri dan jawaban untuk dokumen pertanian Gugus kueri dan jawaban untuk dokumen tanaman obat Hasil perhitungan precision pada elevent standart recall untuk dokumen pertanian Hasil perhitungan precision pada elevent standart recall untuk dokumen tanaman obat v

9 Latar Belakang PENDAHULUAN Temu-kembali informasi model Boolean merupakan model yang paling sederhana. Model Boolean banyak digunakan karena mudah untuk diimplementasikan dan membutuhkan waktu yang relatif singkat untuk proses temu-kembali informasi. Model Boolean juga dapat memberikan hasil recall dan precision yang tinggi jika kueri diformulasikan dengan baik. Dalam model Boolean kueri diekspresikan menggunakan ekspresi Boolean. Dokumen yang dikembalikan merupakan hasil pencocokan pasti dari kueri yang diberikan. Dokumen yang dikembalikan diprediksi relevan atau tidak relevan. Oleh karena itu dokumen yang dikembalikan bisa terlalu banyak atau sedikit. Kondisi tersebut dapat membatasi informasi yang akan diterima oleh pengguna. Untuk itu diperlukan sebuah model yang mampu menangani pencocokan sebagian antara dokumen dengan kueri berbentuk Boolean. Salton et al. (1983) memperkenalkan Extended Boolean Model (EBM) yang dikenal juga sebagai P-Norm Model untuk mengatasi kelemahan dari model Boolean. Lee dan Fox (1988) melakukan penelitian dengan membandingkan P-Norm Model dengan Mixed Min and Max Model (MMM) dan Paice Model. Penelitian tersebut menggunakan tiga koleksi dokumen yaitu: CISI, CACM, dan INSPEC. Hasil penelitian menunjukkan bahwa P-Norm Model mendapatkan nilai average precision yang paling baik. Namun P-Norm Model membutuhkan waktu polinomial dalam perhitungan ukuran kesamaan dengan semakin besarnya nilai p yang digunakan. Nilai p menunjukkan nilai keketatan pada operator Boolean. Selanjutnya Losada dan Barreiro (1999) melakukan penelitian menggunakan Belief Revision (BR) untuk pemeringkatan dokumen dalam EBM. BR merupakan logical framework, dimana dokumen dan kueri direpresentasikan dengan formula proposisi. Pada penelitian tersebut didapatkan bahwa BR tidak membutuhkan waktu polinomial dalam perhitungan ukuran kesamaan. Penelitian tersebut membandingkan BR dengan P-Norm Model dengan nilai p=1 dengan bobot biner untuk dokumen dan kueri. Untuk itu, penelitian kali ini akan membandingkan Belief Revision dengan P-Norm Model dengan nilai p=1, 2, 5 dan 9 untuk dokumen berbahasa Indonesia yaitu dokumen pertanian dan dokumen tanaman obat dengan struktur tag XML. Tujuan Penelitian Tujuan dari penelitian ini adalah: 1. Mengimplementasikan Belief Revision dan P-Norm Model untuk pemeringkatan dokumen Bahasa Indonesia. 2. Membandingkan kinerja Belief Revision dan P-Norm Model pada sistem temukembali. Ruang Lingkup Dokumen yang digunakan dalam penelitian adalah dokumen XML berbahasa Indonesia. Manfaat Penelitian Manfaat dari penelitian ini adalah melakukan pemeringkatan dokumen berbahasa Indonesia (dokumen pertanian dan dokumen tanaman obat) dengan kueri berbentuk Boolean. P-Norm Model dan Belief Revision diharapkan dapat meningkatkan kinerja sistem dengan kueri berbentuk Boolean. TINJAUAN PUSTAKA Information Retrieval (Temu-Kembali Informasi) Temu-kembali informasi berkaitan dengan merepresentasikan, menyimpan, mengorganisasikan, dan mengakses informasi. Merepresentasikan dan mengorganisasikan suatu informasi harus membuat pengguna lebih mudah dalam mengakses informasi yang diinginkannya. Akan tetapi, untuk mengetahui informasi yang diinginkan pengguna bukan merupakan suatu hal yang mudah. Untuk itu pengguna harus menransformasikan informasi yang dibutuhkan ke dalam suatu kueri yang akan diproses mesin pencari (IR system), sehingga kueri tersebut akan merepresentasikan informasi yang dibutuhkan oleh pengguna. Dengan kueri tersebut, IR system akan menemukembalikan informasi yang relevan dengan kueri (Baeza-Yates & Ribeiro-Neto 1999). Inverted Index Inverted index adalah sebuah index yang memetakan kembali term ke dalam bagian dari dokumen dimana term tersebut muncul (Manning et al. 2008). Inverted index dibangun untuk mempercepat pencarian term dalam koleksi dokumen. Ide dasar dari inverted index 1

10 dapat dilihat pada Gambar 1. Kumpulan dari term yang unik disebut dictionary atau vocabulary. Untuk masing-masing term, terdapat kumpulan dokumen dimana term tersebut muncul yang disebut posting list. Setiap entry dalam posting list dapat pula berisi lokasi term di dalam dokumen seperti kata, kalimat dan paragraf. Lalu setiap entry dapat juga berisi bobot untuk term di dalam dokumen. Bobot tersebut digunakan dalam perhitungan ukuran kesamaan dari kueri yang dimasukkan. berbeda. Untuk kueri AND titik (1,1) merepresentasikan dimana kedua term muncul dan merupakan titik yang paling diinginkan, sedangkan untuk kueri OR, titik (0,0) merepresentasikan dimana kedua term tidak muncul dan merupakan titik yang tidak diingikan. Jika hanya salah satu term yang muncul maka nilai ukuran kesamaan akan bernilai untuk OR kueri dan untuk AND kueri. Sehingga ukuran kesamaan akan berkisar dari 0 hingga 1. Perhitungan ukuran kesamaan dalam EBM menggunakan persamaan berikut (Salton et al 1983): ( ) Gambar 1 Struktur inverted index Boolean Model Boolean Model adalah model untuk temukembali informasi yang memungkinkan input kueri yang berbentuk ekspresi Boolean dari term yang merupakan kombinasi dari operator AND, OR, dan NOT (Manning et al 2008). Model Booelan mempertimbangkan bahwa index term muncul atau tidak di dalam dokumen, sehingga index term diasumsikan memiliki bobot biner. Kueri yang dimasukkan dapat direpresentasikan menggunakan Disjunctive Normal Form (DNF). Dimana klausa AND dihubungkan dengan penghubung OR. Pada model Boolean, kueri diproses sesuai dengan operator yang digunakan dan menampilkan dokumen berdasarkan urutan dokumen ditemukan. Dokumen yang dikembalikan tidak mencerminkan relevansi terhadap kueri yang diberikan, karena tidak ada pencocokan sebagian antara kueri dengan dokumen. Extended Boolean Model Extended Boolean Model (EBM) merupakan peningkatan dari model Boolean biasa. EBM menggabungkan karakateristik dari Vector Space Model dengan sifat-sifat aljabar Boolean dan peringkat kesamaan antara kueri dan dokumen (Salton et al 1983). Dengan cara ini dokumen mungkin sedikit relevan jika cocok dengan beberapa istilah kueri dan akan dikembalikan sebagai hasilnya. Ketika hanya dua term dalam kueri yang dimasukkan maka sebaran nilai kesamaan dapat dilihat pada Gambar 2. Pada Gambar 2 dapat dilihat bahwa setiap term digambarkan pada koordinat yang dengan, merupakan bobot term A dan bobot term B pada dokumen. Gambar 2 Sebaran ukuran kesamaan EBM P-Norm Model P-Norm Model memberikan gagasan untuk memasukkan nilai p, yaitu nilai yang menunjukkan keketatatan pada operator. Nilai p berkisar dari satu sampai tak-hingga. Untuk P-Norm Model ukuran kesamaan antara dokumen dan kueri didefinisikan sebagai berikut: dengan ( ) [ ] ( ) [ ] merupakan kueri term berbobot merupakan bobot term A dan term B pada dokumen. 2

11 Belief Revision Belief revision (BR) berkaitan dengan akomodasi sebuah informasi baru ke dalam knowledge base yang ada. Formalisasi logis dari BR telah diteliti dalam filsafat, database dan kecerdasan buatan untuk desain agen rasional. Dalam temu-kembali informasi BR direpresentasikan dalam logika proposisi. Dalam BR, model dibangun dari interpretasi. Himpuan dari model dapat dituliskan sebagai Mod( ) dimana adalah formula. Pseudocode dari Belief Revision yang digunakan dalam implementasi sistem dapat dilihat pada Gambar 3. sama dengan banyaknya kata unik dalam koleksi dokumen. Untuk masing-masing, dihitung nilai. Jarak dari klausa dokumen kepada kueri adalah jarak terdekat dari klausa dokumen ke klausa kueri. ( ) adalah kardinalitas dari { } yaitu banyaknya term positif yang muncul dalam klausa satu dan negatif term pada klausa yang lain atau sebaliknya. merupakan banyaknya term dalam yang tidak termasuk dalam. Jika nilai maka nilai sama dengan nilai. Ulangi langkah 4 sampai tidak ada lagi yang tersisa. Update lalu ulangi langkah 2 sampai tidak ada lagi yang tersisa. Jarak rata-rata merupakan hasil bagi dengan banyaknya klausa. merupakan nilai terkecil untuk banyaknya term dalam klausa. Lalu dipilih kardinalitas terkecil sebagai jarak(distance). Jarak (distance) dapat digunakan untuk menghitung ukuran kesamaan yang dinormalisasi dalam interval [0,1]. Langkah 11 menujukkan algoritme untuk formula di bawah. Gambar 3 Pseudocode Belief Revision BR menggunakan Symmetric difference antara dua interpretasi yang berbeda yaitu I dan J. Ukuran dari jarak antar-interpretasi tersebut dapat ditulis sebagai dist(i,j). Lalu jarak antara Mod( ) dan I adalah: Kita misalkan adalah kueri(q) dan I adalah model dokumen(md) dan k adalah jumlah term dalam kueri. Dokumen hanya mempunyai satu model(md), sedangkan kueri memiliki himpunan model(mod(q)). Kita dapat menggunakan Dalal s distance untuk model di atas. Dari persamaan di atas diperoleh ukuran kesamaan (similarity measure) antara dokumen(d) dan kueri(q) dimana k adalah jumlah term yang muncul dalam kueri ( Losada and Barreiro 1999). Pembobotan Tf-Idf Term frequency (tf) merupakan frekuensi kemunculan suatu term t pada dokumen d. Document frequency (df) merupakan banyaknya dokumen di dalam korpus yang mengandung kata tertentu (Manning et al. 2008). Pembobotan tf-idf memberikan bobot pada term t dalam dokumen d dengan nilai: Formula ini menggunakan jarak antara setiap model dari kueri (J) dan model dokumen (md), lalu dihitung kardinalitas dari masingmasing model kueri terhadap model dokumen. Langkah 1 sampai 10 pada Gambar 3 menunjukkan algoritme untuk formula di atas. Pertama akan ditetapkan nilai sama dengan nol. Lalu untuk masing-masing model dokumen ( ), ditetapkan nilai dengan merupakan frekuensi term t pada dokumen d merupakan jumlah dokumen dalam koleksi df t merupakan jumlah dokumen yang mengandung term t. 3

12 Kesamaan antar kueri dan dokumen dapat ditentukan dengan menghitung cosine similarity dari vektor istilah kueri ) dan vektor istilah dokumen ( ) (Manning et al. 2008): dengan pembilang merupakan dot product (inner product) antara dan. Dot Product antara dua vektor didefinisikan sebagai, sedangkan penyebut merupakan perkalian panjang Euclidean. Panjang Euclidean didefinisikan sebagai Dalam EBM bobot term dalam dokumen harus dalam interval 0 sampai 1. Oleh karena itu bobot harus dinormalisasi (Salton et al 1983). Normalisasi bobot tf-idf didapatkan dari persamaan berikut: dengan merupakan bobot term i dalam dokumen j merupakan frekuensi term i dalam dokumen j merupakan frekuensi maksimum term i dalam dokumen j merupakan nilai idf dari term i dalam koleksi merupakan nilai maksimum idf term i dalam koleksi. Evaluasi Temu-Kembali Informasi Manning (2008) menyatakan, terdapat dua hal mendasar yang paling sering digunakan untuk mengukur kinerja temu-kembali secara efektif adalah recall dan precision (R-P). Perhitungan recall-precision diformulasikan sebagai berikut: Relevant Not Relevant Retrieved Tp fp Not Retrieved Fn Precision = P = tp/(tp + fp) tn Menurut Baeza-Yates dan Ribeiro-Neto (1999), algoritma temu-kembali yang dievaluasi menggunakan beberapa kueri berbeda akan menghasilkan nilai R-P yang berbeda untuk masing-masing kueri. Average Precision (AVP) diperlukan untuk menghitung rata-rata tingkat precision pada berbagai tingkat recall, yaitu 0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, dan 1.0. Perhitungan AVP dapat diformulasikan sebagai berikut: ( ) dimana, ( )adalah AVP pada level recall r, N q adalah jumlah kueri yang digunakan, dan P i (r) adalah precision pada level recall r untuk kueri ke-i. METODE PENELITIAN Penelitian ini dilakukan dalam beberapa tahap, yaitu pengumpulan dokumen (korpus), pemrosesan dokumen, pemrosesan kueri, perhitungan ukuran kesamaan antara dokumen dengan kueri untuk P-Norm Model dan Belief Revision, pemeringkatan dokumen dari hasil perhitungan ukuran kesamaan dokumen-kueri dan evaluasi terhadap kinerja sistem. Secara umum gambaran sistem dapat dilihat pada Gambar 4. Gambar 4 Gambaran umum sistem Recall = R = tp/(tp+fn) 4

13 Koleksi Dokumen Dokumen yang digunakan sebagai dokumen pengujian adalah dokumen corpus yang berasal dari lab TKI hasil Penelitian Adisantoso & Ridha (2004). Dokumen yang berada di Lab TKI berjumlah 1000 dokumen pertanian dan 93 dokumen tanaman obat berasal dari Lab Computational Intelligence. Pemrosesan Dokumen Pada tahap ini dilakukan lowercasing terhadap dokumen, yaitu dengan mengubah semua huruf menjadi huruf non-capital agar menjadi case insensitive pada saat dilakukan pemrosesan teks dokumen. Selanjutnya dilakukan proses parsing yang merupakan proses memilah dokumen menjadi unit-unit yang lebih kecil misalnya berupa kata, frasa atau kalimat (Ridha 2002). Dalam penelitian ini unit terkecil yang digunakan adalah kata yang terdiri minimal tiga huruf. Selain itu, tanda baca yang terdapat dalam dokumen dihilangkan karena bukan merupakan penciri dari dokumen. Selanjutnya dilakukan pembuangan stopwords. Stopwords adalah kata umum yang biasanya muncul dalam jumlah yang besar dan dianggap tidak memiliki makna. Lalu dilakukan pembobotan pada term dengan pembobotan tfidf dan tf-idf yang sudah dinormalisasi. Pemrosesan Kueri Proses selanjutnya adalah melakukan pemrosesan terdapat kueri yang dimasukkan. Pemrosesan kueri sama halnya dengan pemrosesan dokumen. Kueri yang dimasukkan akan dilakukan lowercasing dan juga parsing. Pada pemrosesan kueri sedikit berbeda karena kueri yang dimasukkan mengandung operator Boolean, sehingga perlu dipisahkan antara term yang mengandung operator Boolean dengan term yang bukan operator Boolean. Pemisahan tersebut dilakukan untuk mengetahui jenis operator yang digunakan, sehingga memudahkan dalam perhitungan nilai ukuran kesamaan. Setelah pemrosesan kueri maka akan diperoleh array kueri yang dapat digunakan dalam proses perhitungan ukuran kesamaan. Similarity Dokumen dengan Kueri Pada perhitungan similarity antara dokumen dengan kueri untuk metode P-Norm Model, dilakukan pengecekan apakah jenis operator Boolean yang digunakan. Perhitungan ukuran kesamaan akan dilakukan sesuai dengan jenis operator yang dimasukkan, sedangkan untuk Belief Revision, kueri direpresentasikan sebagai formula proposisi. Dalam formula proposisi dokumen dan kueri harus dalam bentuk Disjunctive Normal Form (DNF). DNF mempunyai bentuk:, dengan masing-masing adalah klausa yang dihubungkan dengan operator AND. Perhitungan nilai kesamaan Belief Revision dilakukan dengan membandingkan model kueri dengan model dokumen. Pemeringkatan Dokumen Pemeringkatan dokumen dilakukan setelah perhitungan nilai kesamaan antara dokumen dengan kueri untuk P-Norm Model dan Belief Revision. Pemeringkatan dokumen dilakukan dengan mengurutkan dokumen yang dikembalikan sesuai dengan bobot yang diperoleh. Semakin besar bobot yang diperoleh maka peringkat dokumen yang dikembalikan akan semakin tinggi. Evaluasi Hasil Temu-Kembali Pengujian sistem dilakukan dengan perhitungan terhadap recall dan precision. Recall adalah rasio dokumen relevan yang ditemukembalikan. Precision adalah dokumen yang ditemukembalikan, dokumen tersebut relevan. Dalam perhitungan recall, digunakan elevent standart recall yaitu 0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.7,0.8,0.9 dan 1.0. Perhitungan dilakukan untuk masing-masing metode. Hasil perhitungan recall dan precision untunk masing-masing model akan dibandingkan dalam bentuk grafik recallprecision, selain itu juga akan dihitung average precision dari masing-masing model untuk memperoleh model yang baik untuk temukembali. Asumsi Asumsi-asumsi yang digunakan dalam pembangunan sistem ini adalah: 1. Tidak ada kesalahan dalam pengetikan kueri. 2. Setiap kata dalam kueri dipisahkan dengan operator AND dan OR. 3. Kueri ditulis dalam bentuk Disjuctive Normal Form (DNF). 5

14 Lingkungan Implementasi Lingkungan implementasi yang akan digunakan adalah sebagai berikut: Perangkat lunak: Microsoft Windows 7 Profesional sebagai sistem operasi. PHP sebagai bahasa pemrograman. Netbeans IDE 6.9 sebagai IDE untuk pembangunan sistem. Wamp Server Apache version sebagai web server. Notepad++. Microsoft Office 2010 sebagai aplikasi yang digunakan untuk melakukan perhitungan dalam evaluasi sistem. Perangkat keras: Processor Intel Core 2 duo 2.2 GHz RAM 2 GB Hardisk 320GB HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian Penelitian ini menggunakan 1000 dokumen pertanian dan 93 dokumen tanaman obat yang berasal dari Laboratorium Temu-Kembali Ilmu Komputer IPB. Deskripsi dari dokumen ini dapat dilihat pada Tabel 1. Tabel 1 Deskripsi dokumen pengujian Uraian Dokumen Pertanian Nilai (byte) Ukuran keseluruhan dokumen Ukuran rata-rata dokumen 4139 Ukuran dokumen terbesar Ukuran dokumen terkecil 451 Uraian Dokumen Tanaman Obat Nilai (byte) Ukuran keseluruhan dokumen Ukuran rata-rata dokumen 3202 Ukuran dokumen terbesar Ukuran dokumen terkecil 928 Seluruh dokumen yang digunakan dalam penelitian ini berformat plain-text yang memiliki struktur XML. Struktur tulisan dokumen pertanian dapat dilihat pada Gambar 5, sedangkan struktur tulisan dokumen tanaman obat dapat dilihat pada Gambar 6. <DOC> <DOCNO>balaipenelitian </DOCNO> <TITLE>PRODUKTIVITAS SOM JAWA (Talinum paniculatum Gaertn.) </TITLE> <AUTHOR>Ireng Darwati Ireng Darwati, Mono Rahardjo, dan Rosita SMD </AUTHOR> <TEXT> <P>Som Jawa merupakan tanaman yang menghasilkan umbi. Untuk menghasilkan umbi yang optimal diperlukan tanah yang sifat-sifat fisik dan kesuburannya baik.</p> </TEXT> </DOC> Gambar 5 Contoh dokumen pertanian <DOCNO>017</DOCNO> <nama>sosor Bebek</nama> <namal>kalanchoe pinnata Lamk.</namal> <content>famili : Crassulaceae. Nama Lokal : Cakar itek (Sunda); </content> <fam>crassulaceae</fam> <penyakit>kulit</penyakit> Gambar 6 Contoh dokumen tanaman obat Dokumen dikelompokkan ke dalam tag-tag sebagai berikut: <DOC></DOC>, tag ini mewakili keseluruhan dokumen dan melingkupi tagtag lain yang lebih spesifik. <DOCNO></DOCNO>, tag ini menunjukkan ID dari dokumen. <DATE></DATE>, menunjukkan tanggal dari berita. <AUTHOR></AUTHOR>, menunjukkan penulis dari berita tersebut. <TEXT></TEXT>, tag ini menunjukkan isi dari dokumen. <nama></nama>, tag ini menunjukkan nama dari tanaman obat. <namal></namal>, tag ini menunjukkan nama latin dari tanaman obat. 6

15 <content></content>, tag ini mewakili isi dari dokumen meliputi deskripsi tanaman dan kegunaannya. <fam></fam>, tag ini menunjukkan nama family dari tanaman obat. <penyakit></penyakit>, tag ini menunjukkan penyakit yang berkaitan dengan tanaman obat. Pemrosesan Dokumen Sebelum dilakukan proses pengindeksan koleksi dokumen terlebih dahulu dilakukan pembuangan tagging. Pembuangan tagging ini dilakukan karena tagging bukan merupakan penciri dari suatu dokumen. Gambar 7 menunjukkan format dokumen setelah dilakukan pembungan tagging. Setelah proses pembuangan tagging lalu dilakukan parsing terhadap dokumen, kemudian dilakukan proses pembuangan stopword, pembuangan tanda baca dan mengubah term ke lower case. Setelah itu dilakukan pembuatan inverted index dari masing-masing kata unik dan disimpan ke dalam file. Pembobotan dilakukan untuk masingmasing dokumen dengan pembobotan Tf-Idf dan Tf-Idf yang sudah dinormalisasi. Hasil pembobotan juga disimpan ke dalam file. balaipenelitian PRODUKTIVITAS SOM JAWA Ireng Darwati Som Jawa merupakan tanaman yang menghasilkan umbi. Untuk menghasilkan umbi yang optimal, diperlukan tanah yang sifat-sifat fisik dan kesuburannya baik. Gambar 7 Format dokumen setelah dilakukan pembuangan tagging. Pemrosesan Kueri Kueri yang digunakan dalam penelitian ini berupa kueri yang berbentuk Boolean. Kata dalam kueri dipisahkan oleh operator AND dan OR. Dalam pemrosesan kueri yang pertama dilakukan adalah melakukan proses case folding. Case folding adalah membuat huruf pada teks menjadi kecil. Lalu dilakukan pengecekan apakan dalam kueri terdapat operator Boolean, jika ada maka kata akan dijadikan index dalam array dengan nama i_root selainnya kata akan dijadikan index dengan nama i_term dan jika terdapat tanda kurung maka kata akan dijadikan index dengan nama brackets dan akan dilakukan proses rekursif dalam memroses kueri tersebut. Contoh pemrosesan kueri, dengan kueri gagal AND panen dapat dilihat pada Gambar 8. Kueri gagal AND panen sudah dalam DNF sehingga dapat diproses untuk mendapatkan ukuran kesamaan. Array ( [i_term] => Array ( [0] => gagal [1] => panen ) [i_root] => Array ( [0] => and ) ) Gambar 8 Contoh pemrosesan kueri Temu-Kembali dengan Boolean Model Pada temu-kembali menggunakan Boolean Model kueri yang dimasukkan mengandung operator Boolean. Kueri akan diproses secara rekursif sesuai dengan operator yang digunakan. Jika operator yang digunakan adalah AND maka akan dicari posting list dari index i_term tersebut dan dilakukan proses intersection. Jika operator adalah OR maka akan dilakukan proses merge terhadap posting list i_term. Hasil yang dikembalikan dalam Boolean Model relevan atau tidak relevan dari kueri yang diberikan. Karena dalam Boolean Model tidak ada pencocokan sebagian antara dokumen dan kueri yang diberikan. Berikut adalah penggalan contoh hasil temu-kembali menggunakan Boolean Model dengan kueri gagal AND panen. Array ( [0] => gatra txt [1] => gatra txt [2] => gatra txt [3] => gatra txt [4] => gatra txt [5] => gatra txt [6] => indosiar txt [7] => indosiar txt [8] => indosiar txt [9] => indosiar txt ) 7

16 Temu-Kembali dengan P-Norm Model Pada temu-kembali menggunakan P-Norm Model akan ditentukan nilai p yang akan digunakan. Kueri akan diproses secara rekursif sesuai dengan operator yang digunakan. Jika operator adalah AND maka rumus yang digunakan adalah ( ) [ ] Jika operator yang digunakan adalah OR maka persamaan yang digunakan adalah ( ) [ ] dengan merupakan kueri term berbobot merupakan bobot term A dan term B pada dokumen. Pada P-Norm Model nilai p yang digunakan adalah 1, 2, 5 dan 9. Berikut adalah contoh 10 teratas hasil temu-kembali menggunakan P- Norm Model untuk nilai p=9 dengan kueri gagal AND panen. untuk model dokumen, untuk model kueri. Terdapat dua model dokumen dan dua model kueri. Hasil dari perhitungan similarity menghasilkan nilai 1, hal tersebut karena kueri yang dimasukkan dapat dipenuhi oleh model dokumen. Pada penelitian ini dokumen hanya mempunyai satu model sedangkan kueri memiliki satu atau lebih model. Berikut adalah contoh 10 teratas hasil temu-kembali menggunakan Belief Revision pada dokumen pertanian dengan kueri gagal AND panen. Array( [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [mediaindonesia txt] => 1 [mediaindonesia txt] => 1 [kompas txt] => 1) Array ( [kompas txt]=> [indosiar txt]=> [republika txt]=> [situshijau txt] => [gatra txt] => [indosiar txt] => [gatra txt] => [indosiar txt] => [indosiar txt] => [suarapembaruan txt] => ) Temu-Kembali dengan Belief Revision Pada temu-kembali menggunakan Belief Revision kueri yang dimasukkan harus dalam bentuk DNF. Pada Gambar 9 dapat dilihat contoh perhitungan untuk algoritma Belief Revision. Pada Gambar 9 literal merupakan himpunan kata unik dalam koleksi dokumen, Gambar 9 Contoh perhitungan algoritma Belief Revision 8

17 Evaluasi Sistem Temu-Kembali Informasi Proses evaluasi dalam penelitian ini dilakukan pada dua koleksi dokumen dan kueri uji yang berbeda. 1. Pengujian pada Dokumen Pertanian Proses evaluasi pada dokumen pertanian menggunakan 30 kueri uji yang telah ada sebelumnya berikut dokumen-dokumen yang relevan (Lampiran 2). Pencarian dengan kueri uji ini dilakukan dengan tujuan mendapatkan nilai recall dan precision dari sistem. Perhitungan AVP untuk Belief Revision dan P- Norm Model untuk dokumen pertanian terdapat pada Lampiran 4. Perbandingan kinerja Belief Revision dengan P-Norm Model Perbandingan kinerja kinerja Belief Revision dengan P-Norm Model dapat dilihat pada Tabel 2. Lalu untuk ilustrasi perbandingan kinerja Belief Revision dengan P-Norm dapat dilihat pada Gambar 10. Tabel 2 Nilai AVP BR dengan P-Norm Model pada dokumen pertanian Metode AVP Belief Revision P-Norm Model Pada Tabel 2 dapat dilihat bahwa Belief Revision mendapat nilai AVP sebesar Sedangkan P-Norm medapat nilai AVP sebesar Dapat dilihat bahwa Belief Revision mendapat nilai AVP yang lebih besar dari P- Norm yaitu dengan selisih sebesar Dengan menggunakan Belief Revision maka nilai AVP meningkat sebesar 0.01%. Kinerja sistem menggunakan Belief Revision secara umum dapat dikatakan lebih baik daripada P- Norm Model dengan average precision sekitar 54%. Hasil tersebut menunjukkan bahwa secara rata-rata pada tiap recall point, 54% hasil temu-kembali relevan terhadap kueri. 2. Pengujian pada Dokumen Tanaman Obat Proses evaluasi pada dokumen tanaman obat menggunakan 13 kueri uji berikut dokumen-dokumen yang relevan (Lampiran 3). Pengujian yang dilakukan sama seperti pengujian sebelumnya yaitu mendapatkan nilai recall dan precision dari sistem. Perhitungan AVP untuk Belief Revision dan P-Norm Model untuk dokumen pertanian terdapat pada Lampiran 5. Perbandingan kinerja Belief Revision dengan P-Norm Model Perbandingan kinerja kinerja Belief Revision dengan P-Norm Model dapat dilihat pada Tabel 3. Pada Gambar 11 dapat dilihat perbandingan kinerja Belief Revision dengan P- Norm Model. Tabel 3 Nilai AVP BR dengan P-Norm Model pada dokumen tanaman obat Metode AVP Belief Revision P-Norm Model Pada Tabel 3 dapat dilihat bahwa Belief Revision mendapat nilai AVP sebesar 81,28%. Sedangkan P-Norm Model mendapat nilai AVP sebesar 83.78%. Dari data di atas dapat dilihat bahwa Belief Revision memiliki nilai AVP yang lebih besar dari P-Norm Model yaitu dengan selisih sebesar 2.5%. Kinerja sistem menggunakan Belief Revision secara umum dapat dikatakan lebih baik daripada P-Norm Model dengan average precision sekitar 83%. Hasil tersebut menunjukkan bahwa secara ratarata pada tiap recall point, 83% hasil temukembali relevan terhadap kueri. Gambar 11 Grafik R-P kinerja BR dengan P-Norm Model dokumen tanaman obat Gambar 10 Grafik R-P kinerja BR dengan P-Norm Model dokumen pertanian 9

18 KESIMPULAN DAN SARAN Kesimpulan Hasil penelitian ini menunjukkan bahwa: 1. Belief Revision akan optimal untuk dokumen yang homogen, sedangkan P- Norm Model akan optimal untuk dokumen yang kurang homogen. 2. Kinerja sistem yang didapatkan secara keseluruhan sudah cukup baik yaitu lebih dari 50%. Saran Terdapat beberapa hal yang dapat ditambahkan atau diperbaiki untuk penelitian ke depan seperti: 1. Menggunakan stemming untuk melihat pengaruh stemming terhadap kinerja Belief Revision dan P-Norm Model. 2. Menggunakan dokumen uji yang lebih banyak dan beragam. 3. Menggunakan pembobotan dalam Belief Revision. Losada D E, Barreiro A Implementing Document Ranking within a Logical Framework. SPIRE 2000: Losada D E, Barreiro A A Logical Model for Information Retrieval Based on Propositional Logic and Belief Revision. Comput. J. 44(5): (2001). Manning C D, Raghavan P, Schutze H Introduction to Information Retrieval. America, New York. Ridha A Pengindeksan Otomatis dengan Istilah Tunggal untuk Dokumen Berbahasa Indonesia. [skripsi]. Bogor: Departemen Ilmu Komputer, Institut Petanian Bogor. Salton G, Fox E, Wu H Extended Boolean Information Retrieval. Communications of the ACM, 1983, 26(11): Daftar Pustaka Adisantoso J, Ridha A Corpus Dokumen Teks Bahasa Indonesia untuk Pengujian Efektifitas Temu Kembali Informasi. Laporan Akhir Hibah Penelitian SP4, Departemen Ilmu Komputer FMIPA IPB, Bogor. Baaeza-Yates R, Ribeiro B Modern Information Retrieval. Addison-Wesley, New York. Herdi H Pembobotan dalam Proses Pengindeksan Dokumen Bahasa Indonesia menggunakan Framework Indri [skripsi]. Bogor: Departemen Ilmu Komputer, Institut Pertanian Bogor. Lee W C, Fox E A Experimental Comparation of Schemes for Interpreting Boolean Queries. TR-88-27, VPI&SU Comp. Science Dept., September 1988, Blacksburg, VA. Losada D E, Barreiro A Using a Belief Revision Operator for Document Ranking in Extended Boolean Models. In Proc. of SIGIR-99, the 22th ACM Conference on Research and Development in Information Retrieval, pages 66 73, Berkeley, California, August

19 LAMPIRAN

20 Lampiran 1 Antarmuka Implementasi 12

21 Lampiran 2 Gugus kueri dan jawaban untuk dokumen pertanian Kueri Bencana kekeringan Dukungan pemerintah pertanian Flu burung Gabah giling pada kering Gugus Jawaban gatra070203, gatra161002, gatra210704, gatra301002, indosiar010903, indosiar170603, indosiar220503, indosiar , indosiar310504, kompas210504, kompas250803, mediaindonesia , mediaindonesia110703, mediaindonesia160603, mediaindonesia240503, mediaindonesia260803, mediaindonesia270803, mediaindonesia310503, pikiranrakyat020704, republika , republika , republika , republika , republika , republika , republika , republika200603, republika , republika250604, republika270503, republika , situshijau , suarakarya , suarakarya , suaramerdeka130602, suaramerdeka190903, suarapembaruan150903, suarapembaruan180303, suarapembaruan indosiar070504, jurnal , kompas030401, kompas050303, kompas060503, kompas071100, kompas150201, kompas200802, kompas300402, mediaindonesia130204, mediaindonesia220303, pembaruan110903, poskota040804, republika100903, republika180303, republika210902, republika230903, republika , republika , republika , situshijau , situshijau , situshijau , situshijau , situshijau , suarakarya , suaramerdeka130902, wartapenelitian , wartapenelitian gatra220604, gatra , gatra , gatra300104, indosiar020304, indosiar240204, mediaindonesia090204, mediaindonesia140704, mediaindonesia200204, republika090604, republika , republika , republika , republika , republika , situshijau , suarakarya , suarakarya , suarakarya , suaramerdeka160204, suaramerdeka indosiar180603, indosiar240703, indosiar300304, kompas , kompas , kompas160704, kompas170903, mediaindonesia250304, pikiranrakyat300604, republika040303, republika , republika , republika100804, republika , republika , republika , republika , republika , republika , republika , republika , situshijau , suarakarya , suaramerdeka Gagal panen/puso gatra070203, gatra190802, gatra , gatra301002, indosiar010504, indosiar031203, indosiar040903, indosiar , indosiar070504, indosiar130504, indosiar140204, indosiar160304, indosiar170603, indosiar180304, indosiar240703, indosiar , indosiar , kompas030704, kompas031003, kompas170504, mediaindonesia030603, mediaindonesia , mediaindonesia110703, mediaindonesia140203, mediaindonesia160603, mediaindonesia240503, mediaindonesia310503, republika , republika , republika080703, republika , republika , republika , republika , republika200603, republika , republika , situshijau , situshijau , situshijau , situshijau , suarakarya , suarakarya , suaramerdeka120104, suaramerdeka130602, suarapembaruan120104, suarapembaruan , suarapembaruan

22 Lanjutan Lampiran 2 Gugus kueri dan jawaban untuk dokumen pertanian Kueri Gugus Jawaban Impor indonesia beras gatra180103, gatra220802, indosiar180603, indosiar180703, indosiar200304, indosiar , kompas , kompas , kompas050602, kompas101002, kompas101004, kompas160704, kompas180504, kompas270401, kompas , kompas310702, mediaindonesia050104, mediaindonesia060803, mediaindonesia100203, mediaindonesia131003, mediaindonesia160603, mediaindonesia250304, republika , republika , republika090902, republika100703, republika , republika , republika , republika , republika , republika , republika , republika , situshijau , suarakarya , suarakarya , suaramerdeka120104, suaramerdeka130104, suaramerdeka , suaramerdeka270601, suarapembaruan100903, suarapembaruan Industri gula gatra200103, kompas031003, kompas250901, mediaindonesia , pikiranrakyat , republika , republika020804, republika090902, republika100902, republika , republika , republika301002, situshijau , suarakarya , suarakarya , suarakarya , suaramerdeka130902, suarapembaruan100903, suarapembaruan Institut pertanian bogor Kelangkaan pupuk Kelompok masyarakat tani/kelompok tani Laboratorium pertanian gatra020804, gatra180304, gatra180702, gatra220704, gatra290903, gatra300404, kompas100399, kompas111099, kompas121099, kompas , kompas200704, kompas200799, kompas230704, mediaindonesia080704, mediaindonesia090704, mediaindonesia101003, mediaindonesia , republika , republika061003, republika , republika , republika , republika , republika , republika , republika , republika180303, republika180604, republika , republika , republika211002, republika , republika , situshijau070503, situshijau , situshijau , suarakarya , suarakarya , suarapembaruan150903, suarapembaruan indosiar010704, indosiar060204, indosiar , indosiar200104, indosiar260504, indosiar290604, kompas210504, kompas , pikiranrakyat , republika050604, republika , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka bitraindonesia , indosiar , jurnal , kompas180502, kompas211103, kompas250901, kompas260304, kompas260902, kompas , kompas , kompas , replubika110804, republika030304, republika , republika , republika140703, republika151202, republika180303, republika , republika280703, republika , situshijau070503, situshijau , situshijau , situshijau , situshijau , situshijau , suarakarya , suarakarya , suaramerdeka260902, suarapembaruan090202, suarapembaruan balaipenelitian , gatra100203, indobic , indosiar010704, jurnal , kompas220801, kompas241203, kompas , mediaindonesia , republika , republika , republika , republika , situshijau040603, situshijau , situshijau , situshijau , situshijau , situshijau , suarakarya , suaramerdeka

23 Lanjutan Lampiran 2 Gugus kueri dan jawaban untuk dokumen pertanian Kueri Musim panen Pembangu nan untuk sektor pertanian Penerapan bioteknolo gi di indonesia/ penerapan bioteknolo gi/biotekn ologi di indonesia harga komoditas pertanian Gugus Jawaban gatra , gatra , gatra240203, indosiar010504, indosiar , indosiar060204, indosiar071103, indosiar110304, indosiar240604, indosiar300304, kompas , kompas041103, kompas , kompas240103, kompas , mediaindonesia , mediaindonesia230604, pikiranrakyat240404, pikiranrakyat300604, poskota261202, republika , republika , republika , republika151202, republika171102, republika , republika , republika , situshijau , situshijau040603, situshijau , situshijau , situshijau , situshijau , suarakarya , suarakarya , suarakarya , suaramerdeka120104, suaramerdeka290901, suarapembaruan gatra180304, jurnal , kompas020803, kompas031003, kompas060203, kompas060503, kompas100399, kompas101004, kompas110201, kompas111099, kompas121099, kompas , kompas190802, kompas191099, kompas200799, kompas210502, kompas , kompas230603, kompas240803, kompas260203, kompas270204, kompas280602, kompas290404, mediaindonesia , mediaindonesia060903, mediaindonesia090903, mediaindonesia160903, pembaruan110903, poskota110703, republika060903, republika070104, republika080703, republika100804, republika100903, republika101203, republika , republika , republika , republika150903, republika190803, republika , republika , republika , situshijau , situshijau280203, suarapembaruan jurnal , kompas121099, puslitbang , republika , republika , situshijau , situshijau , situshijau040603, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau160103, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau300403, situshijau310303, situshijau no, suarakarya , suarakarya , suarapembaruan020603, suarapembaruan no, suarapembaruan151102, wartapenelitian indosiar071103,indosiar180603,indosiar221003,indosiar240604,indosiar300304,jur nal ,jurnal ,kompas ,kompas ,kompas ,kompas080702,kompas100399,kompas101004,kompas111099,kompas140802, kompas160304,kompas170104,kompas171002,kompas180502,kompas180504,kom pas230603,kompas250901,kompas ,kompas270401,kompas ,kompas280602,kompas311203,mediaindonesia060803,mediaindonesia310503, pikiranrakyat240404,pikiranrakyat300604,poskota ,poskota ,republika ,republika060503,republika ,republika ,republika061102,republika090902,republika ,situshijau ,situshijau070503,situshijau ,situshijau ,situshijau280203,situshijau ,situshijau ,situshijau ,suarakarya ,suarakarya ,suaramerdeka ,suaramerdeka290802,suaramerdeka311003,suarapembaruan100903,suarapemb aruan220403,trubus000004,wartapenelitian

24 Lanjutan Lampiran 2 Gugus kueri dan jawaban untuk dokumen pertanian Kueri Penerapan teknologi pertanian Penyakit hewan ternak/penyakit ternak Gugus Jawaban indosiar , jurnal , jurnal , jurnal , jurnal , jurnal , kompas121099, kompas251003, kompas290402, mediaindonesia170403, republika050903, republika , republika , republika , republika201102, republika , republika , republika260803, situshijau , situshijau080103, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , suarakarya , suarapembaruan No, suarapembaruan060602, suarapembaruan160702, wartapenelitian , wartapenelitian , wartapenelitian gatra , gatra , gatra300104, mediaindonesia090204, republika150103, republika , republika , republika , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka Penyuluhan pertanian bitraindonesia , gatra , indosiar310504, jurnal , jurnal , kompas050802, kompas130699, kompas170104, kompas , mediaindonesia160603, poskota110703, republika , republika , republika061003, republika171003, republika180303, republika200203, republika , republika , republika , republika , situshijau , situshijau , situshijau , suaramerdeka271102, wartapenelitian , wartapenelitian Perdagangan hasil pertanian Pertanian organik/sistem pertanian organik Petani tebu gatra011102, indosiar070204, indosiar201103, jurnal , jurnal , kompas031003, kompas041102, kompas101002, kompas140802, kompas160304, kompas270401, kompas , kompas271103, kompas311203, mediaindonesia030104, mediaindonesia101003, mediaindonesia150903, mediaindonesia170303, republika , republika041102, republika281202, situshijau , situshijau191103, situshijau , suarakarya , suaramerdeka120104, suaramerdeka270601, suarapembaruan , suarapembaruan , wartapenelitian indosiar , jurnal , kompas010499, kompas , kompas050802, kompas081203, kompas181099, kompas221001, kompas241203, kompas260304, kompas , kompas , republika , republika150303, republika180303, situshijau070503, situshijau , situshijau , situshijau , suarakarya , suarapembaruan , suarapembaruan090202, suarapembaruan , suarapembaruan indosiar , indosiar290604, kompas031003, kompas250901, kompas310702, republika , republika020804, republika100902, republika , republika , republika , republika , republika , republika , situshijau280203, suarakarya , suarakarya , suaramerdeka130902, suarapembaruan100903, suarapembaruan

25 Lanjutan Lampiran 2 Gugus kueri dan jawaban untuk dokumen pertanian Kueri Peternak unggas/peternak ayam/peternak burung Produk usaha peternakan rakyat/produk peternakan Gugus Jawaban gatra , gatra , gatra300104, indosiar020304, indosiar161203, indosiar240204, jurnal , kompas051103, kompas120101, mediaindonesia090204, republika061003, republika , republika , republika , situshijau , suarakarya , suarakarya , suarakarya , suarakarya , suarapembaruan jurnal , kompas120101, kompas150201, mediaindonesia010304, mediaindonesia090204, republika , republika150303, republika , republika , republika , republika , republika , republika , situshijau , suarakarya , suarakarya , suarakarya , suarakarya , suarapembaruan Pupuk organik balaipenelitian , kompas , kompas280502, kompas , republika , republika190104, republika201102, republika270604, situshijau , situshijau , suarakarya , suarakarya , suaramerdeka031101, suaramerdeka , suarapembaruan090202, suarapembaruan130103, suarapembaruan160702, suarapembaruan220802, wartapenelitian , wartapenelitian Riset pertanian balaipenelitian , gatra , indobic , jurnal , jurnal , jurnal , jurnal , jurnal , kompas010499, kompas170104, kompas221003, kompas230603, mediaindonesia131003, puslitbang , republika , republika , republika , republika140104, republika , republika , republika , republika , republika , republika , republika241203, republika260803, republika280703, republika , situshijau040603, situshijau070503, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau no, situshijau , situshijau , situshijau , situshijau250203, situshijau , situshijau , situshijau300403, situshijau310303, suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka270601, suarapembaruan , suarapembaruan020603, suarapembaruan060602, suarapembaruan110702, suarapembaruan , suarapembaruan151102, suarapembaruan160702, suarapembaruan241003, suarapembaruan , wartapenelitian , wartapenelitian