PENGGUNAAN OPERATOR BELIEF REVISION PADA TEMU KEMBALI DOKUMEN BAHASA INDONESIA MODEL BOOLEAN MERISKA DEFRIANI

Transkripsi

1 PENGGUNAAN OPERATOR BELIEF REVISION PADA TEMU KEMBALI DOKUMEN BAHASA INDONESIA MODEL BOOLEAN MERISKA DEFRIANI DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2012

2 PENGGUNAAN OPERATOR BELIEF REVISION PADA TEMU KEMBALI DOKUMEN BAHASA INDONESIA MODEL BOOLEAN MERISKA DEFRIANI Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Departemen Ilmu Komputer DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2012

3 ABSTRACT MERISKA DEFRIANI. Application of Belief Revision Operator on Boolean Model Retrieval of Indonesian Documents. Supervised by JULIO ADISANTOSO. Retrieval results of conventional Boolean Model are based only on the exact matching between document and query without ranking. Extended Boolean Model has developed a search process using partial matching and ranking, but it is difficult to be applied for complex queries structures. Belief Revision model was introduced to improve the information retrieved by Boolean Models. The objective of this research is to implement Extended Boolean Model (EBM) and Belief Revision (BR) to rank Indonesian documents. Query and document are weighted in binary. Then, the similarity is calculated to obtain the rank. Information retrieved using EBM equals to BR with average precision of Keywords: Belief Revision, Extended Boolean Model

4 Judul Skripsi Nama NRP : Penggunaan Operator Belief Revision pada Temu Kembali Dokumen Bahasa Indonesia Model Boolean : Meriska Defriani : G Menyetujui: Pembimbing Ir. Julio Adisantoso, M.Kom. NIP Mengetahui: Ketua Departemen Ilmu Komputer Dr. Ir. Agus Buono, M.Si., M.Kom. NIP Tanggal Lulus :

5 PRAKATA Puji dan syukur penulis panjatkan ke hadirat Allah subhanahu wa-ta'ala atas segala rahmat dan hidayah-nya sehingga penulis dapat menyelesaikan tugas akhir dengan judul Penggunaan Operator Belief Revision pada Temu Kembali Dokumen Bahasa Indonesia Model Boolean. Penelitian ini dilaksanakan mulai Oktober 2011 sampai dengan Maret 2012 dan bertempat di Departemen Ilmu Komputer Institut Pertanian Bogor. Penulis juga menyampaikan terima kasih kepada pihak-pihak yang telah membantu dalam penyelesaian tugas akhir ini, yaitu: 1 Ayahanda Darminto, Ibunda Rustini, serta kakakku Wenny Yuniaris yang selalu memberikan kasih sayang, semangat, dan doa. 2 Bapak Ir. Julio Adisantoso, M.Kom selaku pembimbing yang selalu memberikan ide dan semangat serta bersedia mendengarkan keluh kesah penulis selama pengerjaan penelitian ini. 3 Bapak Ahmad Ridha, S.Kom, MS dan Bapak Sony H. Wijaya, S.Kom, M.Kom yang telah bersedia menjadi penguji. 4 Mohamad Firman yang selalu menemani dan memberikan semangat. 5 Teman-teman satu bimbingan Anita, Fania, Zhia, Iki, Aga, Mey, Nofel, Susi, dan Uty semoga cepat menyusul. 6 Rekan-rekan Ilkomerz 45 atas segala kebersamaan, canda tawa, dan kenangan indah yang telah mengisi kehidupan penulis selama di kampus. Terakhir, penulis berharap penelitian ini dapat memberikan manfaat. Bogor, Mei 2012 Meriska Defriani

6 RIWAYAT HIDUP Penulis dilahirkan di Bogor pada tangga 16 Desember Penulis merupakan anak kedua dari pasangan Darminto dan Rustini. Pada tahun 2008, penulis menamatkan pendidikan di SMA Negeri 3 Malang. Pada tahun yang sama, penulis diterima menjadi mahasiswa di Institut Pertanian Bogor (IPB) melalui jalur Undangan Seleksi Masuk IPB. Penulis menjadi mahasiswa di Departemen Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam. Pada bulan Juli hingga Agustus 2011, penulis melaksanakan kegiatan Praktik Kerja Lapangan di bagian Pengembangan dan Pemeliharaan Aplikasi Bank Indonesia. Selama menjadi mahasiswa, penulis menjadi asisten praktikum Mata Kuliah Algoritma dan Pemrograman dan Mata Kuliah Basis Data. Selain itu, pada bulan Februari 2012 hingga sekarang, penulis berkesempatan menjadi guru Teknologi Informasi dan Komunikasi (TIK) di SMP Negeri 1 Bogor.

7 DAFTAR ISI Halaman DAFTAR TABEL... vi DAFTAR GAMBAR... vi DAFTAR LAMPIRAN... vi PENDAHULUAN... 1 Latar Belakang... 1 Tujuan Penelitian... 1 Ruang Lingkup Penelitian... 1 METODE PENELITIAN... 1 Koleksi Dokumen... 1 Pemrosesan Dokumen... 1 Pemrosesan Kueri... 2 Ukuran Kesamaan pada Extended Boolean Model... 2 Ukuran Kesamaan pada Belief Revision... 3 Pemeringkatan Dokumen... 4 Evaluasi Hasil Temu kembali... 4 Lingkungan Implementasi... 4 HASIL DAN PEMBAHASAN... 4 Koleksi Dokumen Pengujian... 4 Pemrosesan Dokumen... 5 Pemrosesan Kueri... 5 Temu Kembali dengan Boolean Model... 5 Temu Kembali dengan Extended Boolean Model... 6 Temu Kembali dengan Belief Revision... 6 Evaluasi Sistem Temu Kembali... 7 KESIMPULAN DAN SARAN... 8 Kesimpulan... 8 Saran... 8 DAFTAR PUSTAKA... 8 LAMPIRAN... 9 v

8 DAFTAR TABEL Halaman 1 Confusion matrix Deskripsi dokumen pengujian Nilai AVP BR1 dan BR DAFTAR GAMBAR Halaman 1 Gambaran umum sistem Sebaran ukuran kesamaan EBM Pseudocode Belief Revision Contoh dokumen pertanian Format dokumen setelah dilakukan pembuangan tagging Contoh pemrosesan kueri Contoh hasil temu kembali kueri gagal AND panen dengan Boolean Model Contoh hasil temu kembali kueri gagal AND panen dengan EBM Contoh perhitungan algoritma Belief Revision Contoh hasil temu kembali kueri gagal AND panen dengan BR Grafik R-P perbandingan kinerja BR1 dan BR DAFTAR LAMPIRAN Halaman 1 Antarmuka implementasi Gugus kueri dan jawaban untuk dokumen pertanian Hasil perhitungan precision pada eleven standard recall Hasil perhitungan precision pada eleven standard recall berbagai kueri Belief Revision (1) Hasil perhitungan precision pada eleven standard recall berbagai kueri Belief Revision (2) vi

9 1 Latar Belakang PENDAHULUAN Temu kembali informasi model Boolean merupakan model untuk menemukan kembali informasi dengan kueri yang dimasukkan berbentuk ekspresi Boolean, yaitu menggunakan operator AND, OR, dan NOT (Manning et al. 2008). Dokumen yang dikembalikan merupakan hasil pencocokan secara tepat sama dengan kueri. Model Boolean ini masih diperlukan dalam pencarian dokumen dengan menggunakan search engine karena ekspresi Boolean lebih mirip dengan bahasa alami sehingga mampu merepresentasikan keinginan pengguna dengan lebih baik. Model Boolean menghasilkan sekumpulan dokumen yang cocok tanpa adanya pemeringkatan. Salton et al. (1983) memperkenalkan Extended Boolean Model (EBM) yang juga dikenal sebagai P-Norm Model untuk mengatasi kelemahan tersebut. Penelitian mengenai P-Norm Model pernah dilakukan oleh Lee dan Fox (1988), yaitu membandingkan P-Norm Model dengan Mixed Min and Max Model (MMM) dan Paice Model. Hasil penelitian tersebut menunjukkan bahwa P-Norm Model mendapatkan nilai average precision yang paling baik. P-Norm Model membutuhkan waktu polinomial dalam perhitungan ukuran kesamaan yang berbanding lurus dengan nilai keketatan (p) pada operator Boolean. Namun, untuk struktur kueri yang kompleks, EBM sulit diterapkan sehingga model tersebut disempurnakan dengan menggunakan Belief Revision (BR). BR merupakan logical framework yang dokumen dan kuerinya direpresentasikan dengan formula proposisi. Losada dan Barreiro (1999) melakukan penelitian menggunakan BR untuk pemeringkatan dokumen dalam EBM. Penelitian tersebut membandingkan BR dengan P-Norm Model dengan nilai p=1 dan bobot biner untuk kueri dan dokumen. Hasil dari penelitian tersebut menunjukan bahwa BR memiliki kesamaan dengan P-Norm Model dengan nilai p=1. Selain itu, Putra (2011) membandingkan BR dengan P-Norm Model dengan nilai p=1, 2, 5, dan 9 untuk dokumen berbahasa Indonesia. Penelitian tersebut menggunakan rumus pendekatan hasil penelitian Losada (2001) dalam perhitungan jarak antara kueri dan dokumen. Nilai AVP yang diperoleh untuk BR dan P-Norm Model pada dokumen pertanian, yaitu dan , sedangkan pada tanaman obat dan Namun, penelitian-penelitian tersebut belum diimplementasikan secara keseluruhan sampai diperoleh nilai ukuran kesamaan (similarity measure) yang digunakan untuk pemeringkatan dokumen pada model Boolean. Oleh karena itu, penelitian kali ini akan mengimplementasikan BR secara keseluruhan dengan menggunakan kombinasi kueri dan dokumen dalam perhitungan jarak. Selain itu, dibandingkan juga hasil pemeringkatan antara BR dan EBM. Tujuan Penelitian Tujuan dari penelitian ini ialah mengimplementasikan Extended Boolean Model (EBM) dan Belief Revision (BR) untuk pemeringkatan dokumen bahasa Indonesia. Ruang Lingkup Penelitian Dokumen yang digunakan dalam penelitian adalah dokumen XML berbahasa Indonesia, sedangkan kueri yang digunakan diperoleh dari Putra (2011) tanpa menggunakan operator Boolean NOT. METODE PENELITIAN Penelitian ini dilaksanakan dalam empat tahapan, yaitu: (1) pengumpulan dokumen (korpus) dan pemrosesan dokumen, (2) pemrosesan kueri, (3) perhitungan ukuran kesamaan antara dokumen dengan kueri untuk EBM dan Belief Revision, pemeringkatan dokumen dari hasil perhitungan ukuran kesamaan dokumenkueri, dan (4) evaluasi hasil temu kembali. Tahapan-tahapan tersebut dapat dilihat pada Gambar 1. Koleksi Dokumen Dokumen yang digunakan sebagai pengujian ialah korpus yang tersedia di Laboratorium Temu Kembali Informasi hasil Penelitian Adisantoso dan Ridha (2004). Dokumen tersebut merupakan dokumen pertanian yang berjumlah 1000 dokumen. Pemrosesan Dokumen Pada tahap ini, dilakukan lowercasing terhadap dokumen, yaitu mengubah seluruh huruf menjadi huruf nonkapital agar bersifat case insensitive pada saat dilakukan pemrosesan teks dokumen. Selanjutnya

10 2 Tahap 1 Tahap 2 Tahap 3 Dokumen (d) Inverted Index Similarity(d i,q) EBM Doc Ranking Tahap 4 Evaluation Query (q) Inverted Term Similarity(d i,q) Belief Revision Doc Ranking Gambar 1 Gambaran umum sistem. dilakukan proses parsing, yaitu proses memilah dokumen menjadi unit-unit yang lebih kecil seperti kata, frasa, atau kalimat (Ridha 2002). Dalam penelitian ini, unit terkecil yang digunakan ialah kata yang terdiri atas minimal tiga huruf. Selain itu, tanda baca yang terdapat dalam dokumen ini dihilangkan karena bukan merupakan penciri dari dokumen. Selanjutnya dilakukan pembuangan stopwords, yaitu kata umum yang biasanya muncul dalam jumlah yang besar dan dianggap tidak memiliki makna seperti kata dan, pada, dan yang. Setelah itu, dilakukan pembobotan pada term. Berdasarkan pembobotannya terdapat dua model temu kembali, yaitu temu kembali Boolean dan Vector Space Model. Temu kembali model Boolean merupakan model untuk menemukan kembali informasi dengan kueri yang dimasukkan berbentuk ekspresi Boolean, yaitu menggunakan operator AND, OR, dan NOT (Manning et al. 2008). Model Boolean hanya mempertimbangkan kemunculan index term sehingga index term diasumsikan memiliki bobot biner, yaitu bernilai 0 atau 1. Kueri yang dimasukkan dapat direpresentasikan menggunakan Disjunctive Normal Form (DNF). Klausa AND dihubungkan dengan penghubung OR. Pada model Boolean, kueri diproses sesuai dengan operator yang digunakan dan hasilnya ditampilkan berdasarkan urutan dokumen yang ditemukan. Dokumen yang dikembalikan tidak mencerminkan relevansi terhadap kueri yang diberikan karena mengunakan pencocokan tepat sama dengan kueri. Sementara itu, pada temu kembali Vector Space Model bobot yang digunakan diperoleh dari jumlah kemunculan term pada dokumen dan jumlah dokumen yang mengandung term tersebut. Kueri diproses tanpa operator Boolean dan hasilnya ditampilkan berdasarkan nilai ukuran kesamaan. Dokumen yang dikembalikan cenderung lebih mencerminkan relevansi terhadap kueri. Pemrosesan Kueri Pemrosesan pada tahap ini sama halnya dengan pemrosesan dokumen, yaitu dilakukan lowercasing dan parsing. Namun parsing pada tahap ini sedikit berbeda karena kueri yang dimasukkan mengandung operator Boolean sehingga perlu dipisahkan antara term operator Boolean dengan term yang bukan operator Boolean. Pemisahan tersebut dilakukan untuk mengetahui jenis operator yang digunakan untuk mempermudah perhitungan nilai ukuran kesamaan. Setelah itu, akan diperoleh array kueri yang dapat digunakan dalam proses perhitungan ukuran kesamaan. Pada penelitian ini pembobotan yang digunakan sesuai dengan model temu kembalinya, yaitu pembobotan biner. Ukuran Kesamaan pada Extended Boolean Model Extended Boolean Model (EBM) merupakan peningkatan dari model Boolean biasa. EBM menggabungkan karakteristik dari Vector Space Model dengan sifat-sifat aljabar Boolean dan peringkat kesamaan antara kueri dan dokumen (Salton et al. 1983). Dengan cara ini, tingkat relevansi suatu dokumen yang cocok dan dikembalikan dapat menjadi lebih tinggi. Apabila hanya dua kueri yang dimasukkan maka sebaran nilai kesamaan dapat dilihat pada Gambar 2. Pada Gambar 2 dapat dilihat bahwa setiap term digambarkan pada koordinat yang berbeda. Titik (1,1) pada kueri AND merepresentasikan kemunculan kedua term, sedangkan titik (0,0) pada kueri OR merepresentasikan ketidakmunculan kedua term. Jika hanya salah satu term yang muncul, maka nilai ukuran kesamaan akan bernilai 1 2 untuk kueri OR dan untuk kueri AND, sehingga ukuran kesamaan akan berkisar dari 0 hingga 1. Perhitungan ukuran kesamaan dalam EBM menggunakan

11 3 persamaan berikut (Salton et al. 1983): sim(d,q (A or B) ) = d A 2 + d B 2 sim(d,q (A and B) ) = 1- (1 - d A) 2 + (1 - d B ) (1) (2) dengan d A, d B merupakan bobot biner term A dan bobot biner term B pada dokumen (Putra 2011). Algorithm BRsim: Function Similarityψ,μ Input : query ψ = ψ1,ψ2, document μ = μ Output : BRsimμ,ψ 1. Distance = 0; 2. Distance_to_ψ = S 3. Extract a new m, model of ψ 4. Compute CDistLITm,μ 5. if CDistLITm,μ<Distance_to_ψ then Distance_to_ψ=CDistLITm,μ 6. go to step 3 until no more ψ models remain 7. Distance=Distance_to_ψ 8. return(1 - Distance/k ) Gambar 3 Pseudocode Belief Revision. Kueri (q) dilambangkan dengan ψ dan I adalah model dokumen (md). Dokumen hanya mempunyai satu model, sedangkan kueri memiliki himpunan model (Mod(ψ)). Untuk model tersebut, digunakan Dalal s distance sebagai berikut: dist(mod(ψ),i)=min j Mod(ψ) dist(j,i)) Gambar 2 Sebaran ukuran kesamaan EBM. Ukuran Kesamaan pada Belief Revision Belief Revision (BR) berkaitan dengan akomodasi sebuah informasi baru ke dalam knowledge base yang ada. Dalam temu kembali informasi, BR direpresentasikan dalam logika proposisi. Dokumen dan kueri memiliki model yang dibangun dari interpretasi. Interpretasi merupakan sebuah fungsi yang memetakan alfabet dalam logika proposisi ke bentuk himpunan. Pseudocode dari BR yang digunakan dalam implementasi sistem dapat dilihat pada Gambar 3. BR menggunakan symmetric difference antara dua interpretasi yang berbeda yaitu I dan J. Ukuran jarak antar-interpretasi tersebut dapat ditulis sebagai dist(i,j) sehingga jarak antara himpunan model (Mod(ψ)) dan I ialah: dist(mod(ψ),md) = min j Mod(q) dist(j,md)) Formula ini menggunakan jarak antara setiap model antara kueri (J) dan model dokumen (md), lalu dihitung kardinalitas dari masing-masing model kueri terhadap model dokumen. Langkah 1 sampai 7 pada Gambar 3 menunjukkan algoritme untuk mendapatkan ukuran jarak dari formula Dalal s distance. Langkah pertama, nilai Distance ditetapkan sama dengan nol, kemudian untuk masing-masing model kueri (m), ditetapkan nilai Distance_to_ψ sama dengan banyaknya kata unik (S) dalam koleksi dokumen. Untuk masing-masing m, dihitung nilai d. Jarak dari klausa dokumen ke kueri adalah jarak terdekat dari klausa dokumen ke klausa kueri. CDist(LIT(m),μ ) adalah banyaknya term positif yang muncul dalam klausa satu (LIT(m)) dan term negatif pada klausa lain (μ) atau sebaliknya. Jika nilai CDist(LIT(m),μ ) <Distance_to_ψ maka nilai Distance_to_ψ sama dengan nilai CDist(LIT(m),μ ), sehingga Distance_to_ψ merupakan jarak terkecil dari model kueri ke setiap dokumen. Langkah-langkah tersebut (Langkah 3 sampai Langkah 5 pada Gambar 3) diulang sampai tidak ada lagi model ψ yang tersisa. Setelah itu, nilai Distance sama dengan Distance_to_ψ.

12 4 Jarak (Distance) tersebut digunakan untuk menghitung ukuran kesamaan yang dinormalisasi dalam interval [0,1] (Langkah 8 pada Gambar 3) dengan k merupakan banyaknya term yang terdapat dalam klausa ψ. Rumusan tersebut diformulasikan sebagai berikut: BRsim(d,q)=1 - distance(d,q) k Ukuran kesamaan (similarity measure) antara dokumen (d) dan kueri (q) dari persamaan di atas diperoleh dengan k adalah jumlah term yang muncul dalam kueri (Losada & Barreiro 1999 dalam Putra 2011). Pemeringkatan Dokumen Pemeringkatan dokumen dilakukan setelah perhitungan nilai kesamaan antara dokumen dengan kueri untuk EBM dan BR. Pemeringkatan dokumen yang dikembalikan sesuai dengan nilai kesamaan yang diperoleh. Semakin besar nilai kesamaan yang diperoleh, peringkat dokumen yang dikembalikan akan semakin tinggi. Evaluasi Hasil Temu kembali Manning (2008) menyatakan bahwa terdapat dua hal mendasar yang paling sering digunakan untuk mengukur kinerja temu kembali secara efektif, yaitu recall dan precision (R-P). Perhitungan recall-precision diformulasikan berdasarkan Tabel 1. Tabel 1 Confusion matrix Relevant Not Relevant Retrieved tp fp Not Retrieved fn tn dengan demikian, R-P didefinisikan sebagai Precision = P = tp Recall = R = (tp + fp) tp (tp + fn) Menurut Baeza-Yates dan Ribeiro-Neto (1999), algoritma temu kembali yang dievaluasi menggunakan beberapa kueri berbeda akan menghasilkan nilai R-P yang berbeda untuk masing-masing kueri. Average Precision (AVP) dengan interpolasi maksimum diperlukan untuk menghitung rata-rata precision pada berbagai tingkat recall, yaitu 0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, dan 1.0. Perhitungan AVP dapat diformulasikan sebagai berikut: P r j = N q P i(r) i=1 N q dengan P (r j ) adalah AVP pada level recall r, N q adalah jumlah kueri yang digunakan, dan P i (r) adalah precision pada level recall r untuk kueri ke-i. Lingkungan Implementasi Lingkungan implementasi yang digunakan yaitu: Perangkat lunak: Microsoft Windows 7 Profesional sebagai sistem operasi, PHP sebagai bahasa pemrograman, Xampp Server Apache version sebagai web server, Notepad++, dan Microsoft Office 2007 sebagai aplikasi yang digunakan untuk melakukan perhitungan dalam evaluasi. Perangkat Keras: Processor Intel Core 2 Duo 2.10 GHz, RAM 2 GB, dan Hardisk 250 GB. HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian Penelitian ini menggunakan 1000 dokumen pertanian yang ada di Laboratorium Temu Kembali Ilmu Komputer IPB. Deskripsi dari dokumen ini dapat dilihat pada Tabel 2. Tabel 2 Deskripsi dokumen pengujian Uraian Dokumen Pertanian Nilai (byte) Ukuran keseluruhan dokumen Ukuran rata-rata dokumen Ukuran dokumen terbesar Ukuran dokumen terkecil 451 Dokumen yang digunakan dalam penelitian ini memiliki format plain text dengan struktur XML. Struktur tulisan dokumen tersebut dapat dilihat pada Gambar 4. Dokumen dikelompokkan ke dalam tagtag sebagai berikut: <DOC></DOC>, mewakili keseluruhan dokumen dan melingkupi tag-tag lain yang lebih spesifik.

13 5 <DOCNO></DOCNO>, menunjukkan ID dari dokumen. <DATE></DATE>, menunjukkan tanggal dari berita. <AUTHOR></AUTHOR>, menunjukkan penulis dari berita tersebut. <TEXT></TEXT>, tag ini menunjukkan isi dari dokumen. <DOC> <DOCNO>balaipenelitian </DOCNO> <TITLE>PRODUKTIVITAS SOM JAWA (Talinum paniculatum Gaertn.) </TITLE> <AUTHOR>Ireng Darwati Ireng Darwati, Mono Rahardjo, dan Rosita SMD </AUTHOR> <TEXT> <P>Som Jawa merupakan tanaman yang menghasilkan umbi. Untuk menghasilkan umbi yang optimal diperlukan tanah yang sifat-sifat fisik dan kesuburannya baik.</p> </TEXT> </DOC> Gambar 4 Contoh dokumen pertanian. Pemrosesan Dokumen Proses awal sebelum dilakukannya pengindeksan ialah pembuangan tagging karena tagging bukan merupakan penciri sebuah dokumen. Format dokumen setelah dilakukan pembuangan tagging dapat dilihat pada Gambar 5. balaipenelitian PRODUKTIVITAS SOM JAWA Ireng Darwati Som Jawa merupakan tanaman yang menghasilkan umbi. Untuk menghasilkan umbi yang optimal, diperlukan tanah yang sifat-sifat fisik dan kesuburannya baik. Gambar 5 Format dokumen setelah dilakukan pembuangan tagging. Proses selanjutnya ialah parsing dokumen, pembuangan stopword dan tanda baca, dan lowercasing. Setelah itu dilakukan pembuatan inverted index kata-kata unik dari masing-masing dokumen dan disimpan ke dalam satu file. Pemrosesan Kueri Kueri yang digunakan dalam penelitian ini merupakan kueri yang berbentuk Boolean. Kata-kata yang ada pada kueri dipisahkan oleh operator Boolean, yaitu AND atau OR. Proses awal yang dilakukan ialah lowercasing, yaitu mengubah seluruh huruf menjadi nonkapital. Setelah itu, dilakukan pengecekan operator Boolean dalam kueri. Apabila dalam kueri terdapat kata yang merupakan operator Boolean maka kata tersebut dijadikan index dan dimasukkan ke dalam array dengan nama i_root. Kata yang bukan merupakan operator Boolean dijadikan index dan dimasukkan ke dalam array dengan nama i_term. Apabila terdapat tanda kurung maka kata dijadikan index dan dimasukkan ke dalam array dengan nama brackets. Pemrosesan kueri ini dilakukan secara rekursif. Contoh pemrosesan kueri dengan kueri gagal AND panen dapat dilihat pada Gambar 6. Array ( [i_term] => Array ( [0] => gagal [1] => panen ) [i_root] => Array ( [0] => and ) ) Gambar 6 Contoh pemrosesan kueri. Temu Kembali dengan Boolean Model Pada temu kembali menggunakan Boolean Model, kueri yang dimasukkan mengandung operator Boolean. Kueri diproses secara rekursif sesuai dengan operator yang digunakan. Jika operator yang digunakan adalah AND maka akan dicari posting list dari index i_term tersebut dan dilakukan proses intersection. Jika operator yang digunakan adalah OR maka akan dilakukan proses merge terhadap posting list i_term. Hasil yang dikembalikan dalam Boolean Model relevan atau tidak relevan dari kueri yang diberikan. Hal tersebut disebabkan

14 6 dalam Boolean Model tidak ada pencocokan sebagian antara dokumen dengan kueri yang diberikan (Putra 2011). Array ( [0] => gatra txt [1] => gatra txt [2] => gatra txt [3] => gatra txt [4] => gatra txt [5] => gatra txt [6] => indosiar txt [7] => indosiar txt [8] => indosiar txt [9] => indosiar txt ) Gambar 7 Contoh hasil temu kembali kueri 'gagal AND panen' dengan Boolean Model. Gambar 7 merupakan contoh hasil temu kembali menggunakan Boolean Model dengan kueri gagal AND panen. Temu Kembali dengan Extended Boolean Model Pada temu kembali menggunakan Extended Boolean Model, kueri akan diproses secara rekursif sesuai dengan operator yang digunakan. Jika menggunakan operator OR maka rumus yang digunakan ialah (1) dan (2). Array ( [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [mediaindonesia txt] => 1 [mediaindonesia txt] => 1 [kompas txt] => 1 [kompas txt] => 1 ) Gambar 8 Contoh hasil temu kembali kueri 'gagal AND panen' dengan EBM. Gambar 8 merupakan sepuluh teratas dokumen hasil temu kembali menggunakan Extended Boolean Model dengan kueri gagal AND panen. Temu Kembali dengan Belief Revision Pada temu kembali menggunakan Belief Revision, kueri yang dimasukkan harus dalam bentuk DNF. Pada Gambar 9 dapat dilihat contoh perhitungan untuk algoritma Belief Revision. P = {a,b,c,d} d = (a b c d ) q = (a b) Algorithm BRsim-SC: Function Similarity(ψ,μ) Input : query ψ = {ψ} document μ = {μ} Output : BRsim(μ,ψ) 1. Distance = 0; 2. Distance_to_ψ = 4 3. m = {a,b} 4. LIT(m) = {a,b, c, d}, CDist(LIT(m),μ) = 0 5. Distance_to_ψ = 0 2. Distance_to_ψ = 4 3. m = {a,b, c} 4. LIT(m)= {a,b,c, d}, CDist(LIT(m),μ) = 1 5. Distance_to_ψ = 0 2. Distance_to_ψ = 4 3. m = {a,b,d} 4. LIT(m)= {a,b, c,d}, CDist(LIT(m),μ) = 0 5. Distance_to_ψ = 0 2. Distance_to_ψ = 4 3. m = {a,b,c,d} 4. LIT(m)= {a,b,c,d}, CDist(LIT(m),μ) = 1 5. Distance_to_ψ = 0 7. Distance = 0 8. return (1 0/2 ) Gambar 9 Contoh perhitungan algoritma Belief Revision. Array ( [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [republika txt] => 1 [mediaindonesia txt] => 1 [mediaindonesia txt] => 1 [kompas txt] => 1 [kompas txt] => 1 ) Gambar 10 Contoh hasil temu kembali kueri 'gagal AND panen' dengan BR. Literal P merupakan himpunan kata unik dalam koleksi dokumen, d untuk model dokumen, q untuk model kueri. Dokumen terdiri atas satu model sedangkan kueri terdiri atas empat model. Perhitungan terdiri atas empat iterasi. Pada setiap iterasi, dihitung

15 7 jarak setiap dokumen dan model kueri. Jarak akhir antara kueri dengan dokumen adalah jarak yang terkecil diantara keempat iterasi tersebut, yaitu 0 sehingga hasil perhitungan ukuran kesamaannya menghasilkan nilai 1. Hal tersebut karena kueri yang dimasukkan (a b) dapat dipenuhi oleh model dokumen. Gambar 10 merupakan sepuluh contoh teratas hasil temu kembali menggunakan Belief Revision pada dokumen pertanian dengan kueri gagal AND panen. Evaluasi Sistem Temu Kembali Proses evaluasi sistem temu kembali (Lampiran 1) dalam penelitian ini dilakukan pada dokumen pertanian. Kueri yang digunakan ialah 30 kueri uji yang digunakan oleh Putra (2011). Kueri-kueri uji tersebut telah ada sebelumnya berikut dokumendokumen yang relevan (Lampiran 2). Pencarian dengan kueri uji ini dilakukan dengan tujuan mendapatkan nilai recall dan precision dari sistem. Perbandingan Kinerja Extended Boolean Model dengan Belief Revision Belief Revision memiliki kinerja yang sama dengan Extended Boolean Model. Nilai AVP yang diperoleh dari kedua model tersebut yaitu Kesamaan nilai AVP tersebut menandakan bahwa nilai precision pada setiap tingkat recall BR juga sama dengan EBM (Lampiran 3). Perhitungan ukuran kesamaan model EBM yang menggunakan bobot biner menghasilkan nilai yang sama dengan P-Norm Model dengan p=1. Perhitungan ukuran kesamaan dalam P-Norm Model dengan p=1 menggunakan persamaan berikut (Salton et al. 1983): sim D, Q and = 1- a d A1 + a d A2 + + a n 1 - d An a 1 + a a n sim D, Q or = a 1d A1 + a 2 d A2 + + a n d An a 1 + a a n dengan a n adalah bobot term A n pada kueri dan d An adalah bobot term A n pada dokumen. Berdasarkan hasil penelitian Losada dan Barreiro (1999), P-Norm Model dengan p=1 memiliki kesamaan dengan BR. Namun, untuk kueri yang lebih kompleks seperti (petani AND tebu) OR (petani AND gula) OR (gula AND negeri), terdapat perbedaan nilai AVP antara kedua model, yaitu BR lebih baik dibandingkan dengan EBM. Oleh karena itu, untuk kueri yang lebih kompleks dapat dikatakan bahwa BR memiliki kinerja yang lebih baik dibandingkan dengan EBM. Perbandingan Kinerja Belief Revision terhadap Berbagai Jenis Kueri Perbedaan Belief Revision (1) hasil penelitian Putra (2011) dengan Belief Revision (2) hasil penelitian ini terletak pada perbedaan proses perhitungan jarak antara kueri dengan dokumen. Perbandingan kinerja Belief Revision (1) dengan Belief Revision (2) dapat dilihat pada Tabel 3, sedangkan ilustrasi perbandingan kinerjanya dapat dilihat pada Gambar 11. Tabel 3 Nilai AVP BR1 dan BR2 Metode AVP Belief Revision (1) Belief Revision (2) Gambar 11 Grafik R-P perbandingan kinerja BR1 dan BR2. Nilai precision pada setiap tingkat recall Belief Revision ini dapat dilihat pada Lampiran 4 dan Lampiran 5. Terdapat empat kueri yang nilai precision pada setiap tingkat recall-nya berbeda, yaitu kueri yang menggunakan operator Boolean AND dan OR. Perbedaan tersebut disebabkan perbedaan proses perhitungan jarak. Pada Belief Revision (1), perhitungan jarak kueri yang menggunakan operator Boolean OR diperoleh dari jarak terkecil antara dokumen dengan setiap klausa kueri. Klausa tersebut merupakan conjunctive clause kueri yang dipisahkan oleh operator Boolean OR. Pada kueri (kelompok AND tani) OR gapoktan, jarak yang diambil ialah jarak kata gapoktan ke dokumen karena

16 8 nilainya lebih kecil dari jarak klausa kelompok AND tani. Akan tetapi, ketika nilai jarak tersebut dimasukkan ke dalam perhitungan ukuran kesamaan (similarity), hasil yang diperoleh tidak sama dengan nol. Hal tersebut menandakan bahwa dokumen relevan dengan kueri. sehingga dokumen yang tidak mengandung kata kelompok, tani, atau gapoktan akan tetap ditemukembalikan. Keadaan itu akan memengaruhi nilai precision dan recall-nya. Menurut Losada dan Barreiro (1999), perhitungan ukuran kesamaan (BRsim) kueri yang menggunakan operator Boolean OR sama dengan ukuran kesamaan (BRsim) kueri yang menggunakan operator Boolean AND. Oleh karena itu, pada Belief Revision (2) perhitungan jarak kueri yang menggunakan operator Boolean OR sama dengan perhitungan jarak kueri yang menggunakan operator Boolean AND, yaitu jarak terkecil antara dokumen dan model kueri. Pada kueri (kelompok AND tani) OR gapoktan, nilai jarak diperoleh dari kardinalitas symmetric different terkecil antara dokumen dan setiap model kueri. Apabila dokumen tidak mengandung ketiga kata dalam kueri tersebut nilai ukuran kesamaannya akan sama dengan nol dan dokumen tidak akan ditemukembalikan. KESIMPULAN DAN SARAN Kesimpulan Hasil penelitian ini menunjukkan bahwa: 1 Telah diimplementasikan Extended Boolean Model (EBM) dan Belief Revision (BR) untuk pemeringkatan dokumen bahasa Indonesia. 2 Belief Revision memiliki kinerja yang sama dengan Extended Boolean Model. Nilai AVP yang dihasilkan yaitu Saran Terdapat beberapa hal yang dapat ditambahkan atau diperbaiki untuk penelitian selanjutnya, antara lain: 1 Mengembangkan sistem untuk kueri yang lebih kompleks. 2 Menggunakan dokumen uji yang lebih banyak dan beragam. 3 Menggunakan ekspansi kueri atau relevance feedback agar hasil temu kembali lebih optimal. DAFTAR PUSTAKA Adisantoso J, Ridha A Corpus dokumen teks bahasa Indonesia untuk pengujian efektivitas temu kembali informasi. Laporan Akhir Hibah Penelitian SP4, Departemen Ilmu Komputer FMIPA IPB, Bogor. Baeza-Yates R, Ribeiro-Neto B Modern Information Retrieval. England: Addison Wesley. Lee WC, Fox EA Experimental comparation of schemes for interpreting boolean queries [TR-88-27]. Blacksburg, VA: Computer Science, Virginia Polytechnic Institute and State University. Losada DE, Barreiro A Using a Belief Revision Operator for Document Ranking in Extended Boolean Models. Di dalam: Proceedings of SIGIR-99 at the 22th ACM Conference on Research and Development in Information Retrieval; Berkeley, Agu New York : ACM. Hlm Manning CD, Raghavan P, Schutze H Introduction to Information Retrieval. Cambridge: Cambridge University Press. Putra DDP Temu kembali Model Extended Boolean menggunakan P-Norm Model dan Belief Revision [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Ridha A Pengindeksan otomatis dengan istilah tunggal untuk dokumen berbahasa Indonesia [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Petanian Bogor. Salton G, Fox E, Wu H Extended boolean information retrieval. Communications of the ACM 26(11):

17 LAMPIRAN

18 Lampiran 1 Antarmuka implementasi 10

19 11 Lampiran 2 Gugus kueri dan jawaban untuk dokumen pertanian Kueri Bencana kekeringan Dukungan pemerintah pada pertanian Flu burung Gabah kering giling Gagal panen Gugus Jawaban gatra070203, gatra161002, gatra210704, gatra301002, indosiar010903, indosiar170603, indosiar220503, indosiar , indosiar310504, kompas210504, kompas250803, mediaindonesia , mediaindonesia110703, mediaindonesia160603, mediaindonesia240503, mediaindonesia260803, mediaindonesia270803, mediaindonesia310503, pikiranrakyat020704, republika , republika , republika , republika , republika , republika , republika , republika200603, republika , republika250604, republika270503, republika , situshijau , suarakarya , suarakarya , suaramerdeka130602, suaramerdeka190903, suarapembaruan150903, suarapembaruan180303, suarapembaruan indosiar070504, jurnal , kompas030401, kompas050303, kompas060503, kompas071100, kompas150201, kompas200802, kompas300402, mediaindonesia130204, mediaindonesia220303, pembaruan110903, poskota040804, republika100903, republika180303, republika210902, republika230903, republika , republika , republika , situshijau , situshijau , situshijau , situshijau , situshijau , suarakarya , suaramerdeka130902, wartapenelitian , wartapenelitian gatra220604, gatra , gatra , gatra300104, indosiar020304, indosiar240204, mediaindonesia090204, mediaindonesia140704, mediaindonesia200204, republika090604, republika , republika , republika , republika , republika , situshijau , suarakarya , suarakarya , suarakarya , suaramerdeka160204, suaramerdeka indosiar180603, indosiar240703, indosiar300304, kompas , kompas , kompas160704, kompas170903, mediaindonesia250304, pikiranrakyat300604, republika040303, republika , republika , republika100804, republika , republika , republika , republika , republika , republika , republika , republika , situshijau , suarakarya , suaramerdeka gatra070203, gatra190802, gatra , gatra301002, indosiar010504, indosiar031203, indosiar040903, indosiar , indosiar070504, indosiar130504, indosiar140204, indosiar160304, indosiar170603, indosiar180304, indosiar240703, indosiar , indosiar , kompas030704, kompas031003, kompas170504, mediaindonesia030603, mediaindonesia , mediaindonesia110703, mediaindonesia140203, mediaindonesia160603, mediaindonesia240503, mediaindonesia310503, republika , republika , republika080703, republika , republika , republika , republika , republika200603, republika , republika , situshijau , situshijau , situshijau , situshijau , suarakarya , suarakarya , suaramerdeka120104, suaramerdeka130602, suarapembaruan120104, suarapembaruan , suarapembaruan

20 12 Lanjutan Kueri Impor beras Indonesia Industri gula Institut pertanian bogor Kelangkaan pupuk Kelompok masyarakat tani Laboratorium pertanian Gugus Jawaban gatra180103, gatra220802, indosiar180603, indosiar180703, indosiar200304, indosiar , kompas , kompas , kompas050602, kompas101002, kompas101004, kompas160704, kompas180504, kompas270401, kompas , kompas310702, mediaindonesia050104, mediaindonesia060803, mediaindonesia100203, mediaindonesia131003, mediaindonesia160603, mediaindonesia250304, republika , republika , republika090902, republika100703, republika , republika , republika , republika , republika , republika , republika , republika , situshijau , suarakarya , suarakarya , suaramerdeka120104, suaramerdeka130104, suaramerdeka , suaramerdeka270601, suarapembaruan100903, suarapembaruan gatra200103, kompas031003, kompas250901, mediaindonesia , pikiranrakyat , republika , republika020804, republika090902, republika100902, republika , republika , republika301002, situshijau , suarakarya , suarakarya , suarakarya , suaramerdeka130902, suarapembaruan100903, suarapembaruan gatra020804, gatra180304, gatra180702, gatra220704, gatra290903, gatra300404, kompas100399, kompas111099, kompas121099, kompas , kompas200704, kompas200799, kompas230704, mediaindonesia080704, mediaindonesia090704, mediaindonesia101003, mediaindonesia , republika , republika061003, republika , republika , republika , republika , republika , republika , republika , republika180303, republika180604, republika , republika , republika211002, republika , republika , situshijau070503, situshijau , situshijau , suarakarya , suarakarya , suarapembaruan150903, suarapembaruan indosiar010704, indosiar060204, indosiar , indosiar200104, indosiar260504, indosiar290604, kompas210504, kompas , pikiranrakyat , republika050604, republika , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka bitraindonesia , indosiar , jurnal , kompas180502, kompas211103, kompas250901, kompas260304, kompas260902, kompas , kompas , kompas , replubika110804, republika030304, republika , republika , republika140703, republika151202, republika180303, republika , republika280703, republika , situshijau070503, situshijau , situshijau , situshijau , situshijau , situshijau , suarakarya , suarakarya , suaramerdeka260902, suarapembaruan090202, suarapembaruan balaipenelitian , gatra100203, indobic , indosiar010704, jurnal , kompas220801, kompas241203, kompas , mediaindonesia , republika , republika , republika , republika , situshijau040603, situshijau , situshijau , situshijau , situshijau , situshijau , suarakarya , suaramerdeka031101

21 13 Lanjutan Kueri Musim panen Pembangunan untuk sektor pertanian Penerapan bioteknologi di indonesia harga komoditas pertanian Gugus Jawaban gatra , gatra , gatra240203, indosiar010504, indosiar , indosiar060204, indosiar071103, indosiar110304, indosiar240604, indosiar300304, kompas , kompas041103, kompas , kompas240103, kompas , mediaindonesia , mediaindonesia230604, pikiranrakyat240404, pikiranrakyat300604, poskota261202, republika , republika , republika , republika151202, republika171102, republika , republika , republika , situshijau , situshijau040603, situshijau , situshijau , situshijau , situshijau , suarakarya , suarakarya , suarakarya , suaramerdeka120104, suaramerdeka290901, suarapembaruan gatra180304, jurnal , kompas020803, kompas031003, kompas060203, kompas060503, kompas100399, kompas101004, kompas110201, kompas111099, kompas121099, kompas , kompas190802, kompas191099, kompas200799, kompas210502, kompas , kompas230603, kompas240803, kompas260203, kompas270204, kompas280602, kompas290404, mediaindonesia , mediaindonesia060903, mediaindonesia090903, mediaindonesia160903, pembaruan110903, poskota110703, republika060903, republika070104, republika080703, republika100804, republika100903, republika101203, republika , republika , republika , republika150903, republika190803, republika , republika , republika , situshijau , situshijau280203, suarapembaruan jurnal , kompas121099, puslitbang , republika , republika , situshijau , situshijau , situshijau040603, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau160103, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau300403, situshijau310303, situshijau no, suarakarya , suarakarya , suarapembaruan020603, suarapembaruan no, suarapembaruan151102, wartapenelitian indosiar071103,indosiar180603,indosiar221003,indosiar240604,indosiar300304,jurnal ,jurnal ,kompas ,kompas ,kompas ,kompas080702,kompas100399,kompas101004, kompas111099,kompas140802,kompas160304,kompas170104,kompas171002, kompas180502,kompas180504,kompas230603,kompas250901,kompas ,kompas270401,kompas ,kompas280602,kompas311203, mediaindonesia060803,mediaindonesia310503,pikiranrakyat240404, pikiranrakyat300604,poskota ,poskota ,republika ,republika060503,republika ,republika , republika061102,republika090902,republika ,situshijau , situshijau070503,situshijau ,situshijau ,situshijau280203, situshijau ,situshijau ,situshijau , suarakarya ,suarakarya ,suaramerdeka , suaramerdeka290802,suaramerdeka311003,suarapembaruan100903, suarapembaruan220403,trubus000004,wartapenelitian

22 14 Lanjutan Kueri Penerapan teknologi pertanian Penyakit hewan ternak Penyuluhan pertanian Perdagangan hasil pertanian Sistem pertanian organik Petani tebu Gugus Jawaban indosiar , jurnal , jurnal , jurnal , jurnal , jurnal , kompas121099, kompas251003, kompas290402, mediaindonesia170403, republika050903, republika , republika , republika , republika201102, republika , republika , republika260803, situshijau , situshijau080103, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , suarakarya , suarapembaruan No, suarapembaruan060602, suarapembaruan160702, wartapenelitian , wartapenelitian , wartapenelitian gatra , gatra , gatra300104, mediaindonesia090204, republika150103, republika , republika , republika , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka bitraindonesia , gatra , indosiar310504, jurnal , jurnal , kompas050802, kompas130699, kompas170104, kompas , mediaindonesia160603, poskota110703, republika , republika , republika061003, republika171003, republika180303, republika200203, republika , republika , republika , republika , situshijau , situshijau , situshijau , suaramerdeka271102, wartapenelitian , wartapenelitian gatra011102, indosiar070204, indosiar201103, jurnal , jurnal , kompas031003, kompas041102, kompas101002, kompas140802, kompas160304, kompas270401, kompas , kompas271103, kompas311203, mediaindonesia030104, mediaindonesia101003, mediaindonesia150903, mediaindonesia170303, republika , republika041102, republika281202, situshijau , situshijau191103, situshijau , suarakarya , suaramerdeka120104, suaramerdeka270601, suarapembaruan , suarapembaruan , wartapenelitian indosiar , jurnal , kompas010499, kompas , kompas050802, kompas081203, kompas181099, kompas221001, kompas241203, kompas260304, kompas , kompas , republika , republika150303, republika180303, situshijau070503, situshijau , situshijau , situshijau , suarakarya , suarapembaruan , suarapembaruan090202, suarapembaruan , suarapembaruan indosiar , indosiar290604, kompas031003, kompas250901, kompas310702, republika , republika020804, republika100902, republika , republika , republika , republika , republika , republika , situshijau280203, suarakarya , suarakarya , suaramerdeka130902, suarapembaruan100903, suarapembaruan220403

23 15 Lanjutan Kueri Peternak ayam Produk usaha peternakan rakyat Pupuk organik Riset pertanian Gugus Jawaban gatra , gatra , gatra300104, indosiar020304, indosiar161203, indosiar240204, jurnal , kompas051103, kompas120101, mediaindonesia090204, republika061003, republika , republika , republika , situshijau , suarakarya , suarakarya , suarakarya , suarakarya , suarapembaruan jurnal , kompas120101, kompas150201, mediaindonesia010304, mediaindonesia090204, republika , republika150303, republika , republika , republika , republika , republika , republika , situshijau , suarakarya , suarakarya , suarakarya , suarakarya , suarapembaruan balaipenelitian , kompas , kompas280502, kompas , republika , republika190104, republika201102, republika270604, situshijau , situshijau , suarakarya , suarakarya , suaramerdeka031101, suaramerdeka , suarapembaruan090202, suarapembaruan130103, suarapembaruan160702, suarapembaruan220802, wartapenelitian , wartapenelitian balaipenelitian , gatra , indobic , jurnal , jurnal , jurnal , jurnal , jurnal , kompas010499, kompas170104, kompas221003, kompas230603, mediaindonesia131003, puslitbang , republika , republika , republika , republika140104, republika , republika , republika , republika , republika , republika , republika241203, republika260803, republika280703, republika , situshijau040603, situshijau070503, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau no, situshijau , situshijau , situshijau , situshijau250203, situshijau , situshijau , situshijau300403, situshijau310303, suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka270601, suarapembaruan , suarapembaruan020603, suarapembaruan060602, suarapembaruan110702, suarapembaruan , suarapembaruan151102, suarapembaruan160702, suarapembaruan241003, suarapembaruan , wartapenelitian , wartapenelitian

24 16 Lanjutan Kueri Swasembada pangan Tadah hujan Tanaman obat Tanaman pangan Upaya peningkatan pendapatan petani/peningkatan pendapatan petani Gugus Jawaban indosiar , kompas060503, kompas100901, kompas110201, kompas , kompas170104, kompas230603, kompas230899, kompas , kompas270401, kompas , mediaindonesia160603, republika030304, republika060503, republika061003, republika080703, republika , republika , republika , republika , republika , republika , republika , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka , suarapembaruan110903, suarapembaruan gatra210704, gatra301002, indosiar , indosiar310504, jurnal , kompas , mediaindonesia160603, mediaindonesia310503, republika , republika , republika , republika , republika , suarakarya , suarakarya , suaramerdeka130602, suarapembaruan , wartapenelitian balaipenelitian , balaipenelitian , indobic120504, indosiar010704, indosiar , republika , republika , republika270604, republika , situshijau , situshijau041203, situshijau060503, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau bitraindonesia , indosiar , indosiar030304, indosiar , indosiar130104, indosiar130504, indosiar160304, indosiar180304, indosiar310504, kompas020603, kompas120102, kompas120702, kompas171002, kompas180701, kompas240302, kompas260203, kompas311203, mediaindonesia030104, mediaindonesia160603, mediaindonesia170303, mediaindonesia220303, republika030304, republika050903, republika , republika150903, republika200603, republika , republika , republika241203, republika , republika271003, situshijau , situshijau , situshijau , situshijau , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka160703, suaramerdeka250302, suarapembaruan151102, suarapembaruan indosiar , jurnal , kompas , kompas031003, kompas100399, kompas170903, kompas200802, kompas210502, kompas260702, kompas , kompas300402, kompas , pembaruan110903, poskota110703, republika , republika , republika , republika , republika230404, republika , republika , republika , republika241203, republika281202, republika , situshijau , situshijau , situshijau , situshijau , situshijau280203, suaramerdeka120104, suaramerdeka , suarapembaruan060602, suarapembaruan , wartapenelitian