DIRECT TERM FEEDBACK UNTUK TEMU-KEMBALI INFORMASI BAHASA INDONESIA MENGGUNAKAN MODEL BAHASA ANITA

Transkripsi

1 DIRECT TERM FEEDBACK UNTUK TEMU-KEMBALI INFORMASI BAHASA INDONESIA MENGGUNAKAN MODEL BAHASA ANITA DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2012

2 DIRECT TERM FEEDBACK UNTUK TEMU-KEMBALI INFORMASI BAHASA INDONESIA MENGGUNAKAN MODEL BAHASA ANITA Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Departemen Ilmu Komputer DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2012

3 i ABSTRACT ANITA. Direct Term Feedback for Information Retrieval in Indonesian Language with Language Models. Supervised by JULIO ADISANTOSO. The large amount of information has triggered the development of search engines to help the users in finding the required information. To retrieve information which is relevant to the users needs, the queries should be formulated correctly. Direct term feedback is a method that can help a user to directly judge the relevance of individual terms without interaction with feedback documents, taking a full control of the whole query expansion process. This technique uses Pseudo-relevance feedback which takes the top n-ranked documents and takes the top x-ranked terms from the relevant documents to get term feedback for users judgement. The purpose of this research is to implement query expansion with direct term feedback for information retrieval in Indonesian language with language models. This research uses 2095 documents and 20 testing queries. The result shows that direct term feedback is a good method to help the users in finding their required information. The performance of direct term feedback for information retrieval with language models gives a good result with around 35% of AVP value. Keyword: direct term feedback, query expansion

4 Judul Skripsi : Direct Term Feedback pada Temu-Kembali Informasi Bahasa Indonesia Menggunakan Model Bahasa Nama : Anita NRP : G Menyetujui: Pembimbing Ir. Julio Adisantoso, M.Kom NIP Mengetahui: Ketua Departemen Ilmu Komputer Dr. Ir. Agus Buono, M.Si, M.Kom NIP Tanggal Lulus:

5 PRAKATA Alhamdulilahirobbil alamin, segala puji syukur penulis panjatkan kepada Allah atas segala karunia-nya sehingga penulis dapat menyelesaikan skripsi yang berjudul Direct Term Feedback pada Temu-Kembali Informasi Menggunakan Model Bahasa. Penulis menyadari bahwa tugas akhir ini tidak akan terselesaikan tanpa bantuan dari berbagai pihak. Pada kesempatan ini, penulis ingin mengucapkan terima kasih kepada: 1 Orang tua tercinta, Bapak Muhamad Nuh dan Ibu Sahara, ketiga kakak yang saya sayangi Chairul Anwar, Sahmiwita dan Syariful Anwar, serta ketiga adik yang saya sayangi Yusnaida Daulay, Septiana, dan Wilda Daulay yang selalu memberikan doa, nasihat, semangat, dukungan, dan kasih sayang yang luar biasa kepada penulis sehingga dapat menyelesaikan tugas akhir ini. 2 Bapak Ir. Julio Adisantoso, M.Kom selaku dosen pembimbing tugas akhir. Terima kasih atas kesabaran, bimbingan serta dukungan dalam penyelesaian tugas akhir ini. 3 Teman-teman satu bimbingan Meriska Defriani, Susi Handayani, Nofel Saputra, Putri Dewi P, Fania Rahmanawati Karimah, Mery Marlina, Alfa Nugraha, Rizky Utama, dan Hafidzhia Dzikrul A terima kasih atas kebersamaan dan semangatnya dalam menyelesaikan tugas akhir ini. 4 Sahabat-sahabat dan senior, Mutiara Wide, Dewi Sekar, Aninta Saraswati, Dwi Puji Astuti, Tira Mutiara, Woro Indriyani, Agus Umriadi, dan Elenur Dwi Anbiana, terima kasih untuk dukungan dan bantuannya selama penyelesaikan tugas akhir ini. 5 Fulsi Wiyata yang senantiasa memberikan semangat dan doa kepada penulis. 6 Seluruh staf Departemen Ilmu Komputer IPB yang telah banyak membantu baik selama penelitian maupun selama perkuliahan. Penulis menyadari bahwa dalam penulisan tugas akhir ini masih terdapat banyak kekurangan dan kelemahan dalam berbagai hal karena keterbatasan kemampuan penulis. Penulis berharap adanya masukan berupa saran atau kritik yang bersifat membangun dari pembaca demi kesempurnaan tugas akhir ini. Semoga tugas akhir ini bermanfaat. Bogor, Juli 2012 Anita

6 RIWAYAT HIDUP Penulis yang dilahirkan di Jakarta pada tanggal 30 Mei 1990 merupakan anak keempat dari tujuh bersaudara dengan ayah bernama Muhamad Nuh dan ibu bernama Sahara. Pada tahun 2008, penulis lulus dari Sekolah Menengah Atas Negeri 112 Jakarta Barat dan diterima di Program Studi Ilmu Komputer, Institut Pertanian Bogor melalui jalur Undangan Seleksi Masuk IPB. Selama aktif sebagai mahasiswa, penulis pun turut aktif mengikuti beberapa kegiatan kepanitiaan di Departemen Ilmu Komputer, antara lain ISC 2009, IT TODAY 2010, Pesta Sains 2010, dan panitia Masa Perkenalan Departemen Penulis pun aktif sebagai pengurus.net, Divisi Komunitas Programming Himpunan Mahasiswa Ilmu Komputer Penulis juga melakukan praktik kerja lapang di Badan Pengkajian dan Penerapan Teknologi (BPPT).

7 1 DAFTAR ISI Halaman DAFTAR TABEL... 2 DAFTAR GAMBAR... 2 DAFTAR LAMPIRAN... 2 PENDAHULUAN Latar Belakang... 1 Tujuan... 1 Ruang Lingkup... 1 METODE PENELITIAN Indexing... 1 Ukuran Kemiripan (similarity)... 2 Top N Dokumen... 2 Pemilihan Kata... 2 Hitung Relevansi Kata... 3 Formulasi Kueri... 3 Evaluasi Hasil... 3 Lingkungan Implementasi... 3 HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian... 3 Pemrosesan Dokumen... 4 Indexing... 4 Ukuran Kesamaan (Similarity)... 5 Pemilihan Kata... 5 Formulasi Kueri... 5 Pengujian Kinerja Sistem... 5 SIMPULAN DAN SARAN Simpulan... 8 Saran... 8 DAFTAR PUSTAKA... 8 LAMPIRAN... 9

8 DAFTAR TABEL Halaman 1 Perhitungan recall-precision Deskripsi dokumen pengujian Perbandingan nilai AVP untuk setiap panjang kueri Perbandingan nilai AVP untuk kedua jenis operator... 7 DAFTAR GAMBAR Halaman 1 Metode penelitian Contoh dokumen pertanian Konfigurasi dokumen pertanian pada Sphinx Grafik R-P untuk pengambilan satu dokumen teratas pada dokumen pertanian Grafik R-P untuk pengambilan dua dokumen teratas pada dokumen pertanian Grafik R-P untuk pengambilan tiga dokumen teratas pada dokumen pertanian Kinerja perbandingan sistem DTF dengan ekspansi dan tanpa ekspansi DAFTAR LAMPIRAN Halaman 1 Antarmuka implementasi Gugus kueri dan jawaban untuk dokumen pertanian Tabel kinerja sistem DTF dalam pengambilan dokumen pertanian peringkat satu teratas Tabel kinerja sistem DTF dalam pengambilan dokumen pertanian peringkat dua teratas Tabel kinerja sistem DTF dalam pengambilan dokumen pertanian peringkat tiga teratas Tabel kinerja perluasan kueri satu kata Tabel kinerja perluasan kueri dua kata Tabel lima term yang dipilih setiap kueri uji Tabel kinerja sistem DTF menggunakan formulasi OR Tabel kinerja sistem DTF tanpa ekspansi kueri... 28

9 1 PENDAHULUAN Latar Belakang Sistem temu-kembali informasi merupakan suatu sistem yang dapat membantu seseorang dalam menemukan informasi yang dibutuhkan. Tidak semua pengguna dapat memberikan kueri yang tepat pada saat mencari sebuah informasi yang dibutuhkan. Hal ini terjadi karena pengguna tidak pernah mengetahui isi dari korpus pada mesin pencari, sebaliknya mesin pencari juga tidak pernah mengetahui kebutuhan dari pengguna. Oleh karena itu, digunakan teknik untuk merekonstruksi kueri yaitu pseudo-relevance feedback. Kueri yang diberikan pengguna selanjutnya dimodifikasi untuk meningkatkan kinerja mesin pencari. Pseudo-relevance feedback (PRF) merupakan teknik analisis lokal secara otomatis (teknik relevance feedback tanpa input eksplisit pengguna). Teknik ini mengekstrak terms dari dokumen peringkat teratas (diasumsikan bahwa dokumen peringkat teratas dianggap relevan) untuk memformulasikan sebuah kueri baru pada temu-kembali selanjutnya. Anbiana (2009) telah melakukan penelitian menggunakan segmentasi dokumen untuk memperbaiki kueri. Akan tetapi karena ukuran segmen yang relatif besar maka terlalu banyak kata yang dipilih untuk memperbaiki kueri sehingga kinerja sistem kurang baik. Indriyani (2011) menyempurnakan penelitian Anbiana (2009) dengan menggunakan segmentasi kalimat. Hal ini dilakukan untuk memperkecil ukuran segmen yang besar pada penelitian Anbiana untuk meningkatkan kinerja sistem. Metode ekspansi kueri lain yang diharapkan bisa lebih meningkatkan kinerja sistem temu kembali adalah ekspansi kueri yang telah dilakukan oleh Pancawan (2012) mengenai ekspansi kueri dengan tesaurus dan bobot irisan. Tesaurus merupakan kumpulan kata-kata yang memiliki keterkaitan makna satu dengan lainnya seperti sinonim dan antonim. Hal ini menunjukkan bahwa metode ekspansi kueri yang telah dilakukan sebelumnya belum melibatkan pengguna secara langsung dalam menentukan formulasi kueri baru yang memuaskan pengguna. Tan et al.(2007) mengimplementasikan metode direct term feedback menggunakan model bahasa untuk mengekspansi kueri. Direct term feedback (DTF) dilakukan dengan melibatkan pengguna secara langsung untuk memilih beberapa term/kata relevan atau tidak relevan dari daftar kandidat kata kueri yang sesuai dengan tujuan dapat meningkatkan tingkat relevansi suatu dokumen yang diperoleh. Oleh karena itu, penelitian ini mengimplementasikan metode Direct Term Feedback untuk melakukan ekspansi kueri pada mesin pencari kueri dokumen berbahasa Indonesia. Tujuan Tujuan dari penelitian ini adalah mengimplementasikan ekspansi kueri dengan metode direct term feedback menggunakan model bahasa. Ruang Lingkup Dokumen yang digunakan dalam penelitian adalah dokumen XML berbahasa Indonesia. Kesalahan pengetikan di dalam korpus tidak diperhatikan. Dokumen yang relevan dengan kueri uji ditentukan berdasarkan pustaka yang ada di laboratorium TKI. Pemilihan kata yang digunakan pada pengujian dilakukan berdasarkan justifikasi penulis. METODE PENELITIAN Penelitian ini dilaksanakan dalam beberapa tahap seperti yang diilustrasikan pada Gambar 1. Indexing Pada tahap ini, korpus yang ada akan melalui proses indexing, yaitu tokenisasi, pembuangan stopwords, dan pembobotan kata. Pemrosesan indexing dilakukan secara otomatis menggunakan Sphinx. Proses tokenisasi bertujuan mendapatkan token atau kata unik dari seluruh koleksi dokumen yang sudah dipisahkan dari karakter pemisah, seperti titik, koma, dan whitespace. Proses tokenisasi diikuti dengan proses pembuangan stopwords. Proses pembuangan stopwords dilakukan dengan cara mencocokkan token hasil tokenisasi dengan kata-kata yang ada dalam stoplist. Apabila token tersebut ada di dalam stoplist, token akan dihapus. Proses indexing akan menghasilkan matriks termdokumen. Kueri yang dimasukkan oleh pengguna juga akan melalui proses indexing sehingga didapatkan matriks kueri. Kemudian,

10 2 hasil dari matriks term-dokumen dan matriks kueri tersebut akan digunakan pada proses ukuran kemiripan. Ukuran Kemiripan (similarity) Setelah dilakukan proses ekstraksi ciri pada tahap indexing, tahap selanjutnya ialah mengukur kemiripan suatu dokumen terhadap kueri yang dimasukkan. Ukuran kemiripan dokumen dengan kueri menggunakan ukuran kemiripan default Sphinx, yaitu SPH_RANK_PROXIMITY_BM25. Adapun pseudocode metode pemeringkatan proximity BM25 ialah sebagai berikut: 1 doc_phrase_weight = { foreach ( field in matching_fields) 4 field_phrase_weight = 5 max_common_subsequence_length 6 (query, field ) 7 doc_phrase_weight += user_weight 8 ( field ) * field_phrase_weight 9 } BM25 = { foreach (keyword in matching_keywords ) 14 n = total_matching_documents(keyword) 15 N = total_documents_in_collection 16 k1 = TF = current_document_occurrence_count( keyword ) 18 IDF = log((n-n+1)/n) / log(1+n) 19 BM25 = BM25 + TF*IDF/(TF+k1) 20 } 21 // normalize to 0..1 range 22 BM25 = BM25 /( 2*num_keywords ( query ) ) 23 //SPH_RANK_PROXIMITY_BM25 24 weight = doc_phrase_weight* integer(doc_bm25*999) Hasil similarity yang semakin tinggi menunjukkan bahwa dokumen tersebut memiliki tingkat kemiripan yang besar dari kueri yang dimasukkan, sedangkan hasil ukuran similarity yang rendah menunjukkan bahwa kemiripan suatu dokumen terhadap kueri adalah kecil. Top N Dokumen Pada tahap ini, top N dokumen diperoleh setelah proses ukuran kemiripan yang dilakukan pada tahap sebelumnya. Top N dokumen dianggap sebagai dokumen yang relevan dan selainnya dianggap tidak relevan. Indexing dokumen korpus Ekstraksi ciri Information Retrieval ya Similarity DTF Pemilihan Kata Hitung relevansi kata tidak Top N Dokumen Pemrosesan Kueri kueri Ekstraksi ciri Evaluasi Direct Term Feedback Gambar 1 Metode penelitian. Pemilihan Kata Pada top N dokumen yang telah terpilih, selanjutnya dilakukan proses pemilihan kata untuk ditampilkan kepada pengguna agar dinilai relevansinya. Proses pemilihan kata yang ditampilkan dilakukan dengan menggunakan formula: ( i q j ) = dokumen men andun i dan q j dokumen an men andun q j formulasi kueri (1)

11 3 p( i q j ) adalah peluang kata i dalam dokumen setelah q j diketahui (Adisantoso 1996). Hitung Relevansi Kata Pada tahap ini, dilakukan proses perhitungan setiap kata yang dinilai relevan dan tidak relevan oleh pengguna. Pada setiap kata, akan dilakukan penilaian dengan menggunakan formula sebagai berikut: p q c q q 2) q adalah model kueri perbaikan, R ={ }: adalah variabel indikator, nilai yang digunakan pada penelitian ini bernilai 1, adalah total kata yang dinilai relevan. Setiap kata yang dinilai relevan akan diberikan penilaian menggunakan formula(2) dengan memberikan nilai adalah 1 dan setiap kata yang dianggap tidak relevan diberikan nilai adalah 0. Hasil perhitungan tersebut akan digunakan untuk modifikasi kueri awal. Formulasi Kueri Formulasi kueri baru dilakukan untuk memperbaiki hasil temu-kembali, yaitu dapat menggeser dokumen relevan ke atas dan dokumen yang tidak relevan ke bawah. Kata dengan peluang tertinggi yang merupakan term dari hasil feedback pengguna digunakan untuk merumuskan kueri baru yang diformulasikan sebagai berikut: q q A q 3) adalah formulasi kueri baru, q adalah formulasi kueri awal, dan q adalah kueri dari perhitungan peluang term feedback dari penilaian pengguna. Kueri baru yang telah diformulasikan digunakan dalam proses temu kembali selanjutnya. Evaluasi Hasil Pada proses evaluasi hasil similarity, dilakukan penilaian kinerja sistem dengan melakukan pengukuran recall-precision pada Tabel 1 untuk menentukan tingkat keefektifan proses temu-kembali. Average precision (AVP) dihitung berdasarkan 11 standard recall levels, yaitu 0%, 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, 90%, 100% dengan menggunakan interpolasi maksimum (Baeza- Yates & Ribeiro-Neto 1999). Tabel 1 Perhitungan recall-precision Recall-precision didefinisikan sebagai berikut: Precision = P = tp/(tp + fp). 4) Recall = R = tp/(tp+fn).. 5) Perhitungan AVP dapat diformulasikan sebagai berikut: (r j ) q i. 6) (r j ) adalah AVP pada level recall r, N q adalah jumlah kueri yang digunakan, dan P i (r) adalah precision pada level recall r untuk kueri ke-i. Lingkungan Implementasi Lingkungan implementasi yang digunakan adalah sebagai berikut: Perangkat lunak: Sistem operasi Windows 7 Ultimate sebagai sistem operasi, PHP sebagai bahasa pemrograman. Sphinx Search sebagai platform untuk pencarian berbasis teks, Wamp Server Apache version 2.5 sebagai web server, Notepad++ sebagai editor, dan Microsoft Office 2010 sebagai aplikasi yang digunakan untuk melakukan perhitungan dalam evaluasi sistem. Perangkat keras: Relevant Processor Intel Core 2 Duo 1,66GHz RAM 2 GB Harddisk dengan kapasitas 120 GB HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian Penelitian ini menggunakan 2095 dokumen yang ada di Laboratorium Temu Kembali. Deskripsi dari dokumen ini dapat dilihat pada Tabel 2. i r q Not Relevant Retrieved tp fp Not Retrieved fn tn

12 4 Tabel 2 Deskripsi dokumen pengujian Uraian Dokumen Pertanian Nilai (byte) Ukuran keseluruhan dokumen Ukuran rata-rata dokumen Ukuran dokumen terbesar Ukuran dokumen terkecil 412 Dokumen pertanian tersebut dikelompokkan ke dalam tag-tag sebagai berikut: <DOC></DOC>, tag ini mewakili keseluruhan dokumen dan melingkupi tagtag lain yang lebih spesifik. <DOCNO></DOCNO>, tag ini menunjukkan ID dari dokumen. <TITLE></TITLE>, menunjukkan judul berita. <AUTHOR></AUTHOR>, menunjukkan penulis dari berita tersebut. <TEXT></TEXT>, tag ini menunjukkan isi dari dokumen. Contoh salah satu dokumen pertanian yang digunakan tercantum pada Gambar 2. <DOC> <DOCNO> situshijau07</docno> <TITLE Temulawak untuk Gangguan Hati </TITLE> <AUTHOR> dtk</author> <TEXT> Gunakan ramuan temulawak untuk mengobati gangguan pada hati. </TEXT> </DOC> Gambar 2 Contoh dokumen pertanian. Pemrosesan Dokumen Tahapan awal yang dilakukan pada penelitian ini adalah tahap pemrosesan dokumen dengan Sphinx. Pada tahap awal dilakukan proses konfigurasi dokumen. Cuplikan konfigurasi untuk dokumen pertanian tercantum pada Gambar 3. Penjelasan untuk konfigurasi yang digunakan pada Sphinx yaitu: source = srcxml, konfigurasi untuk menandakan bahwa sumber yang digunakan atau file yang akan diindeks berupa file dengan format XML. path=c:/dtf/data/test2, konfigurasi untuk mengatur lokasi file hasil indexing disimpan. index test2 { source = srcxml path = c:/dtf/data/test2 docinfo = extern min_word_len = 3 charset_type = utf-8 enable_star = 0 html_strip = 0 stopwords = c:/dtf/data/stopwords.txt } Gambar 3 Konfigurasi dokumen pertanian pada Sphinx. docinfo = extern, konfigurasi untuk penyimpanan dokumen hasil indexing. Dalam hal ini, konfigurasi extern menunjukkan bahwa hasil indexing akan disimpan dalam file terpisah dengan nama file yang sama. min_word_len = 3, konfigurasi ini menjelaskan panjang minimal kata yang diindeks, yaitu minimal 3 karakter. charset_type = utf-8, konfigurasi ini menunjukkan tipe karakter yang digunakan, yaitu utf-8. enable_star = 0, konfigurasi untuk pengindeksan prefiks. Digunakan nilai 0 yang menunjukkan bahwa tidak dilakukan pengindeksan untuk prefiks. html_strip = 0, konfigurasi untuk menghilangkan tag. Digunakan nilai 0 yang berarti tidak menghilangkan tag. Stopwords=c:/DTF/data/StopWords.txt, konfigurasi untuk eliminasi kata buangan. Indexing Proses indexing dilakukan dengan beberapa proses, yaitu tokenisasi, pembuangan stopwords, dan pembobotan kata. Proses tokenisasi dilakukan untuk mendapatkan kata token atau kata unik dari seluruh dokumen. Proses tokenisasi diikuti dengan proses pembuangan stopwords. Pembuangan stopwords adalah proses untuk membuang token atau kata yang dianggap kurang memiliki arti dan tidak tepat untuk

13 5 dijadikan penciri suatu dokumen, seperti kata sambung, kata depan, atau kata singkatan. Hasil proses indexing menghasilkan matriks term-dokumen dan proses indexing juga dilakukan pada kueri yang dimasukkan oleh pengguna yang menghasilkan matriks kueri yang akan digunakan pada tahap ukuran kesamaan. Ukuran Kesamaan (Similarity) Pada tahap ini, setelah terbentuknya matriks term-dokumen dan matriks termkueri, dilakukan ukuran kesamaan antara kueri dokumen untuk mengetahui dokumen yang memiliki similarity tertinggi terhadap kueri yang dimasukkan. Dokumen yang memiliki similarity tertinggi akan berada pada peringkat teratas. Ukuran kesamaan yang digunakan pada penelitian ini ialah ukuran kesamaan default SpinxSearch, yaitu SPH_RANK_PROXIMITY_BM25. Urutan dokumen yang ditampilkan sesuai dengan kemiripan antara suatu dokumen dan kueri yang diberikan menggunakan mode SPH_SORT_RELEVANCE pada Sphinx yang merupakan urutan dokumen default pada Sphinx. Pada tahap ini, diperoleh n dokumen teratas dari hasil pencarian dan diambil konten/isi dari dokumen format XML yang merupakan dokumen dengan kemiripan tertinggi dengan kueri. Informasi lain dalam dokumen tersebut seperti id dokumen, tanggal, judul, dan nama pengarang tidak disertakan. Pemilihan Kata Hasil top n tersebut kemudian diambil dan digunakan untuk proses pemilihan kata yang akan ditampilkan kepada pengguna untuk dinilai relevansinya. Top n dokumen yang didapat kemudian dipecah menjadi term/kata yang sudah dilakukan pembuangan stopword. Untuk setiap term tersebut, kemudian dilakukan perhitungan peluang kata pada dokumen menggunakan formula (1). Proses perhitungan tersebut dilakukan untuk melihat peluang kemunculan kata pada dokumen. Setelah diperoleh nilai dari setiap term, term tersebut diurutkan dari peluang terbesar ke peluang terkecil. N term peluang terbesar akan ditampilkan kepada pengguna untuk dinilai relevansinya. Formulasi Kueri Proses formulasi kueri ini dilakukan dengan melihat term yang dinilai relevan dan tidak relevan oleh pengguna. Pada hasil dari proses penilaian relevansi tersebut, kemudian dilakukan perhitungan dengan menggunakan metode DTF persamaan (2) untuk setiap term yang dinilai relevan dan tidak relevan oleh pengguna. Hasil yang diperoleh dari masing-masing term akan diurutkan dari nilai terbesar ke terkecil dan term dengan nilai terbesar digunakan untuk formulasi kueri baru menggunakan operator AND persamaan (3). Pengujian Kinerja Sistem Proses evaluasi dalam penelitian ini dilakukan pada koleksi dokumen pertanian. Proses evaluasi pada dokumen pertanian menggunakan 20 kueri uji yang telah ada sebelumnya berikut dokumen-dokumen yang relevan (Lampiran 2). Metode pemilihan kata yang digunakan untuk pengujian sistem dilakukan secara acak dan sesuai menurut penulis berdasrkan kueri yang dimasukkan. Proses evaluasi dilakukan dengan menghitung recall-precision dari masing-masing kueri uji menggunakan source code yang telah dibuat oleh Rahayuni (2011) dan dimodifikasi oleh penulis. Dokumen Relevan Pseudo-relevance feedback (PRF) merupakan teknik analisis lokal yang menganggap n dokumen teratas sebagai dokumen yang relevan. Evaluasi PRF dengan mengambil dokumen peringkat 1, 2, dan 3 teratas dilakukan untuk mengetahui pengaruh pengambilan dokumen peringkat n teratas. Gambar 4 mengilustrasikan pengambilan satu dokumen teratas (Lampiran 3). Kondisi pengambilan satu dokumen teratas menghasilkan nilai average precision (AVP) sebesar Hal ini menunjukkan bahwa kondisi pencarian dengan satu dokumen teratas memiliki tingkat relevansi sebesar 32%. Kinerja sistem pada pengambilan dua dokumen teratas diilustrasikan pada Gambar 5 dan Lampiran 4. Pada kondisi pencarian ini, didapatkan nilai AVP sebesar Hal ini menunjukkan bahwa pencarian dengan dua dokumen teratas memiliki tingkat relevansi yang hampir sama dengan satu dokumen teratas yaitu sebesar 32%.

14 6 precision Gambar 4 precision Grafik R-P untuk pengambilan satu dokumen teratas pada dokumen pertanian. recall Gambar 5 Grafik R-P untuk pengambilan dua dokumen teratas pada dokumen pertanian. precision Gambar recall recall Grafik R-P untuk pengambilan tiga dokumen teratas pada dokumen pertanian. Gambar 6 menunjukkan kinerja pencarian dengan pengambilan tiga dokumen teratas (Lampiran 5). Pada kondisi pencarian dengan pengambilan tiga dokumen teratas, didapatkan nilai AVP yang lebih besar dibandingkan dengan pengambilan satu dokumen teratas dan dua dokumen teratas, yaitu sebesar atau sebesar 35%. Hasil pengujian menunjukkan bahwa pengambilan top n tertinggi diperoleh pada pengambilan tiga dokumen teratas. Hal ini disebabkan pengambilan tiga dokumen teratas memiliki dokumen dengan kata yang lebih beragam dan memiliki kata yang lebih relevan untuk dinilai relevansinya oleh pengguna jika dibandingkan dengan pengambilan satu dokumen teratas dan dua dokumen teratas. Pengambilan tiga dokumen teratas memiliki nilai AVP lebih lebih tinggi dibandingkan dengan dokumen satu teratas dan dua dokumen teratas yaitu sebesar 35%. Hal ini disebabkan banyaknya dokumen yang terambil menyebabkan banyaknya kata-kata yang lebih beragam dan lebih relevan untuk dinilai relevansinya oleh pengguna sehingga nilai AVP pada tiga dokumen teratas lebih baik jika dibandingkan dengan dua dokumen teratas lainnya. Panjang Kueri Panjang kueri diduga akan mempengaruhi kinerja perluasan kueri. Dalam penelitian ini, digunakan dua kelompok kueri, yaitu kueri dengan panjang tiga dan empat kata. Kueri uji yang berjumlah dua puluh dipisahkan menjadi dua kelompok sesuai dengan panjang kata. Kelompok pertama untuk kueri dengan panjang tiga kata sebanyak sepuluh kueri dan kelompok kedua untuk kueri dengan panjang empat kata sebanyak sepuluh kueri. Kedua kelompok kueri tersebut selanjutnya diekspansi atau diperluas dengan menambahkan satu kata ekspansi dan dua kata ekspansi. Pemilihan kata yang digunakan untuk masing-masing kueri uji dilakukan secara acak dengan memperhatikan kesesuaian kata dengan kueri berdasarkan kesesuaian menurut penulis. Tabel 3 mengilustrasikan perbandingan nilai AVP untuk setiap kelompok kueri yang diperluas dengan satu kata (Lampiran 6) dan dua kata (Lampiran 7). Ekspansi kueri untuk setiap kelompok dilakukan dengan mengambil tiga dokumen teratas.

15 7 Tabel 3 Perbandingan nilai AVP untuk setiap panjang kueri Panjang Kueri Ekspansi Satu Kata Ekspansi Dua Kata 3 Kata Kata Pada Tabel 3, terlihat bahwa nilai AVP tertinggi untuk ekspansi kueri berada pada saat ekspansi kueri satu kata untuk masingmasing panjang kueri. Hal ini menyatakan bahwa perluasan kueri satu kata membuat kinerja sistem lebih baik dibanding perluasan kueri dua kata karena perluasan kueri yang semakin banyak akan membuat kueri menjadi tidak lebih baik untuk dilakukan proses ekspansi. Pada Tabel 3, terlihat bahwa nilai AVP tertinggi berada pada saat ekspansi kueri satu kata dengan panjang kueri empat kata yaitu sebesar 49%. Pemilihan Term Pada pengukuran kinerja sistem ini, pemilihan term untuk masing-masing kueri uji dilakukan secara acak dan banyaknya term yang dipilih untuk setiap kueri uji sebanyak lima term (Lampiran 8). Hal ini disebabkan kinerja sistem pada DTF menghasilkan nilai ekspansi paling bagus untuk ekspansi penambahan satu kata yang menyebabkan berapapun banyaknya term yang dipilih maka untuk proses ekspansi kueri hanya dilakukan perluasan ekspansi satu kata untuk masingmasing kueri. Kelima kata tersebut dipilih secara acak dan dilakukan dengan mempertimbangkan sesuai atau tidaknya kata tersebut menurut penulis. Semakin kata tersebut relevan terhadap kueri, hasil ekspansi kueri akan semakin lebih baik. Pada kinerja sistem ini, kandidat kata yang memiliki kesesuaian yang baik dengan kueri uji adalah pada saat pengambilan tiga dokumen teratas. Hal ini terlihat pada nilai AVP yang lebih besar dibandingkan dengan satu dokumen dan dua dokumen teratas. Formulasi Kueri Pengukuran formulasi kueri pada kinerja sistem dibagi menjadi dua kelompok, yaitu pengujian dengan melakukan formulasi kueri menggunakan operator AND (Lampiran 1) dan pengujian dengan melakukan formulasi kueri menggunakan operator OR (Lampiran 9). Tabel 4 mengilustrasikan perbandingan nilai AVP untuk setiap kelompok formulasi kueri yang digunakan. Tabel 4 Perbandingan nilai AVP untuk kedua jenis operator Top n dokumen OR AND top top top Pada Tabel 4, terlihat bahwa nilai AVP terbesar untuk setiap pengambilan top n dokumen pada formulasi kueri menggunakan operator AND dengan nilai tertinggi berada pada pengambilan tiga dokumen teratas. Formulasi kueri menggunakan operator AND menemukembalikan dokumen dalam jumlah yang lebih sedikit dibandingkan dengan formulasi kueri menggunakan operator OR. Akan tetapi, dokumen yang ditemukembalikan pada formulasi operator AND lebih relevan, sedangkan untuk operator OR meskipun menemukembalikan dokumen lebih banyak, tidak semua dokumen yang di temukembalikan adalah relevan sehingga nilai AVP menggunakan formulasi AND lebih baik dibandingkan dengan formulasi OR. Kinerja DTF Gambar 7 menunjukkan perbandingan kinerja sistem DTF dengan ekspansi kueri dan DTF tanpa ekspansi. precision recall non ekspansi ekspansi DTF Gambar 7 Kinerja perbandingan sistem DTF dengan ekspansi dan tanpa ekspansi. Nilai AVP untuk sistem DTF tanpa ekspansi kueri yaitu (Lampiran 10), sedangkan sistem DTF dengan ekspansi kueri memiliki nilai AVP yang lebih besar, yaitu

16 Hasil uji menunjukkan kinerja sistem DTF dengan ekspansi kueri lebih baik dengan DTF tanpa ekspansi. Hal ini disebabkan oleh adanya keterlibatan pengguna dalam menentukan kata yang akan digunakan untuk perluasan kueri sehingga menghasilkan dokumen yang lebih relevan dan menunjukkan kinerja sistem DTF dengan ekspansi lebih baik dibanding tanpa ekspansi. SIMPULAN DAN SARAN Simpulan Hasil penelitian ini menunjukkan bahwa: 1 Ekspansi kueri pada dokumen yang homogen kemungkinan kandidat kata yang ditampilkan untuk proses ekspansi cenderung sama. 2 Ekspansi kueri menemukembalikan dokumen yang lebih relevan. 3 Kinerja perluasan kueri optimal pada kondisi pengambilan tiga dokumen teratas. 4 Keterlibatan pengguna dalam ekspansi kueri membuat hasil temu kembali menjadi lebih relevan. 5 Kinerja sistem dengan DTF ekspansi lebih baik dibandingkan dengan kinerja DTF tanpa ekspansi kueri. 6 Kinerja sistem yang didapat sudah cukup baik, yaitu 35%. Saran Saran pada penelitian ini yaitu: 1 Penghilangan kesalahan penulisan pada dokumen uji diperbaiki sehingga kinerja dari ekspansi kueri menjadi lebih baik. 2 Perlunya penentuan stopword yang dilakukan secara otomatis, sehingga term yang ditampilkan untuk dinilai relevansinya menjadi lebih baik. 3 Penggunaan koleksi dokumen yang lebih banyak dan topiknya bervariasi akan memberikan perbedaan pada saat memilih kandidat kata. Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Baeza-Yates R, Ribeiro-Neto B Modern Information Retrieval. New York: Addison Wesley. Indriyani W Pseudo-relevance feedback pada temu-kembali menggunakan segmentasi kalimat [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Pancawan MR Ekspansi kueri pada sistem temu kembali informasi dengan tesaurus dan bobot irisan [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Rahayuni N Ekspansi kueri pada sistem temu kembali informasi berbahasa indonesia menggunakan Thesaurus [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Tan B, Velivelli A, Fang H, Zhai CX Term feedback for information retrieval with language models. Di dalam: Proceedings of the 30 th ACM SIGIR Confrence on Research and Development in Information Retrieval; Amsterdam, Jul New York: ACM. hlm DAFTAR PUSTAKA Adisantoso J Pendekatan kuantitatif untuk penelusuran informasi. Forum Statistika dan Komputasi 2(1): Anbiana ED Pseudo-relevance feedback pada temu-kembali menggunakan segmentasi dokumen [skripsi]. Bogor: Fakultas Matematika dan

17 LAMPIRAN 9

18 Lampiran 1 Antarmuka implementasi 10

19 11 Lampiran 2 Gugus kueri dan jawaban untuk dokumen pertanian Kueri nilai jual komoditas rendah persediaan padi memadai sawah hancur terendam air sawah kering kekurangan air Dokumen Relavan balipost030608, BisnisIndonesia , gatra030408, indosiar071103, indosiar , indosiar240604, indosiar300304, indosiar , jurnalhorti113, kompas , kompas031100, kompas101004, kompas161000, kompas171002, kompas200803, kompas240803, kompas250901, kompas , kompas , kompas , mediaindonesia060803, mediaindonesia170303, mediaindonesia250304, mediaindonesia310503, okezone , panturanews220611, pertaniansehat , pertaniansehat , pikiranrakyat , pikiranrakyat240404, pikiranrakyat300604, poskota , republika020804, republika , republika060503, republika , republika , republika140503, republika , republika , republika , republika , situshijau15, situshijau , situshijau280203, situshijau , situshijau , situshijau , suarakarya , suarakarya , suaramerdeka , suaramerdeka290303, suarapembaruan110903, suarapembaruan antarajawabarat211211, beritasore080711, bisnis_jabar191211, bisnisindonesia140911, deptan , eksposnews161211, gatra161711, gatra190902, gatra , gatra230408, gatra230802, globalnews190911, harian_aceh291011, incestordaily310711, indosiar221003, indosiar240703, kbrh211111, kompas160704, kompas221011, kompas260711, korankaltim260811, malukunews090811, mediaindonesia231111, menkokesra71211, okezone080711, okezone130711, okezone31701, poskota , radarbangka040811, republika061102, republika , republika , republika , republika , sinartani1075, suaramerdeka090911, suaramerdeka170602, tempointeraktif , tempointeraktif , tribunnews300711, vivanews122111, vivanews gatra011200, gatra040108, gatra070203, gatra200210, indosiar020104, indosiar , indosiar031203, indosiar , indosiar130104, indosiar130504, indosiar140204, indosiar160304, indosiar180304, kompas170504, kompas210403, mediaindonesia , mediaindonesia130210, mediaindonesia140203, mediaindonesia170209, mediaindonesia180110, mediaindonesia200110, okezone , okezone , okezone , okezone , pertaniansehat , pikiranrakyat , pikiranrakyat , pikiranrakyat , pikiranrakyat , radarbogor020110, situshijau , suarakarya , suarakarya , suaramerdeka251001, surabayapost29010, tempointeraktif deptan , gatra060907, gatra070203, gatra190802, gatra210704, gatra270709, gatra301002, gatra , gatra310709, indosiar010903, indosiar040903, indosiar170603, indosiar180304, indosiar220503, indosiar240703, indosiar , indosiar , indosiar310504, kompas030704, korantempo3, mediaindonesia , mediaindonesia110703, mediaindonesia160603, mediaindonesia210709, mediaindonesia240503, mediaindonesia300909, mediaindonesia310503, okezone , okezone , okezone , okezone , okezone , okezone , okezone , radarbogor050608, radarbogor , republika , republika ,

20 12 Lanjutan Kueri area pertanian semakin berkurang tarif humus tinggi upaya peningkatan produksi pertanian Dokumen Relavan republika , republika , republika , republika200603, republika , republika230903, republika270503, republika , republika , suarakarya , suarakarya , suarakarya , suaramerdeka130602, suaramerdeka190903, suaramerdeka290901, suarapembaruan110903, suarapembaruan190809, suarapembaruan , suarapembaruan , tempointeraktif balipost050908, balipost301208, deptan , deptan , gatra100509, gatra230503, jurnal , kompas020603, kompas030403, kompas031100, kompas101001, kompas120702, kompas , kompas150104, kompas170504, kompas170903, kompas171002, kompas180303, kompas181202, kompas220399, kompas230899, kompas240503, kompas260203, kompas , kompas , kompas290404, kompas290508, kompas290803, kompas310703, korantempo3, mediaindonesia010310, mediaindonesia , mediaindonesia050104, mediaindonesia050709, mediaindonesia120609, mediaindonesia170210, mediaindonesia180210, mediaindonesia , mediaindonesia191209, mediaindonesia230104, mediaindonesia281109, mediaindonesia301009, okezone , okezone , okezone , republika030304, republika , republika080703, republika090902, republika , republika120803, republika , republika , republika , republika , republika , republika , republika , republika241203, republika , satudunia , situshijau , suarakarya , suarakarya , suaramerdeka , suarapembaruan040603, suarapembaruan060602, sumutpos , tempo251211, tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif harianhaluan291111, indosiar060204, indosiar240604, indosiar270504, indosiar290604, kbr68h041211, kompas100901, kompas110302, kompas210504, kompas211211, kompas241203, kompas , kompas , liputan6_100611, mamorema01, metrotvnews221111, okezone , panturanews220611, pertaniansehat , pikiranrakyat , pikiranrakyat , pikiranrakyat , republika160703, situshijau15, suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka161101, waspada deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , gatra050508, gatra060206, gatra080102, gatra121108, gatra200103, gatra220604, gatra240203, gatra260408, indosiar030304, indosiar , indosiar180304, jurnalhorti210, jurnal , jurnal , jurnalhorti1, jurnalhorti87, kompas031100, kompas160704, kompas200802, kompas210502, kompas230209, kompas240103, kompas240302, kompas280502, kompas , kompas310703, kompas311203, kompas , mediaindonesia020809, mediaindonesia021209, mediaindonesia080210, mediaindonesia091109, mediaindonesia , mediaindonesia120609, mediaindonesia , mediaindonesia190210, mediaindonesia210210, mediaindonesia270309, mediaindonesia270809,

21 13 Lanjutan Kueri produk asing murah produksi pertanian menurun Dokumen Relavan okezone , okezone , okezone , pertaniansehat , pertaniansehat , pertaniansehat , republika , republika040303, republika050803, republika050903, republika , republika , republika , republika , republika100902, republika , republika , republika , republika , republika140703, republika150703, republika150903, republika151202, republika , republika , republika , republika , republika230903, republika , republika241203, republika , republika260803, republika , republika301002, republika , republika , republika , situshijau , situshijau070503, situshijau , situshijau , situshijau , situshijau , situshijau , situshijau no, suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka071102, suaramerdeka120104, suaramerdeka190903, suarapembaruan130103, suarapembaruan140303, suarapembaruan220802, suarapembaruan , surabayapost020210, surabayapost070110, tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , wartapenelitian analisdaiy211011, indosiar , kompas100702, kompas101002, kompas131211, kompas170104, kompas180502, kompas250901, kompas , kompas280602, lampungpost201011, mediaindonesia060803, mediaindonesia170303, okezone210111, poskota , republika060503, suaramerdeka130104, suarapembaruan100903, suarapembaruan110903, tempo deptan , gatra010307, gatra030203, gatra , gatra180103, gatra220802, gatra , gatra240203, indosiar010504, indosiar010803, indosiar270504, kompas030403, kompas050303, kompas060503, kompas120102, kompas170402, kompas171002, kompas180303, kompas211211, kompas240103, kompas260902, kompas , kompas270401, kompas , mediaindonesia050709, mediaindonesia090409, mediaindonesia , mediaindonesia281109, mediaindonesia300909, okezone , pikiranrakyat , pikiranrakyat , pikiranrakyat , poskota , republika , republika , republika , republika , republika , republika201102, republika , republika241203, republika281202, situshijau , situshijau , situshijau , situshijau280203, suarakarya , suaramerdeka290901, suarapembaruan290803, surabayapost020310, tempointeraktif , tempointeraktif , tempointeraktif , vivanews122111

22 14 Lanjutan Kueri produktivitas pertanian rendah petani sulit mendapatkan humus sawah rusak berat Dokumen Relavan balipost301208, deptan , deptan , deptan , gatra010307, gatra180103, gatra240203, indosiar180304, jurnal , jurnal , kompas030403, kompas091003, kompas101004, kompas110302, kompas140802, kompas171208, kompas180701, kompas220399, kompas , kompas , kompas270401, kompas280602, mediaindonesia050709, mediaindonesia090409, mediaindonesia190210, mediaindonesia220303, mediaindonesia250304, mediaindonesia250809, mediaindonesia301009, okezone , okezone , okezone , okezone280111, pertaniansehat , pertaniansehat , pikiranrakyat , republika , republika , republika150703, republika151202, republika , republika , republika , republika , seputarindonesia , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau , situshijau280203, situshijau , situshijau , situshijau no, suarakarya , tempointeraktif banjarmasinpost181211, gatra230609, harianhaluan291111, indosiar010704, indosiar060204, indosiar , indosiar200104, indosiar290604, kompas210504, kompas211211, kompas , liputan6_100611, mamorema01, mediaindonesia211211, metrotvnews221111, okezone , pertaniansehat , pertaniansehat , pikiranrakyat , republika050604, republika , republika , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suarakarya , suaramerdeka161101, surya121111, tribunnews51011, waspada gatra030706, gatra040108, gatra060907, gatra070203, gatra120210, gatra190802, gatra190902, gatra , gatra260803, gatra301002, gatra , indosiar010504, indosiar031203, indosiar040903, indosiar , indosiar130104, indosiar130504, indosiar160304, indosiar180304, indosiar240703, indosiar , kompas170504, kompas260902, mediaindonesia030603, mediaindonesia050204, mediaindonesia , mediaindonesia110309, mediaindonesia110703, mediaindonesia130210, mediaindonesia , mediaindonesia140203, mediaindonesia160603, mediaindonesia170209, mediaindonesia190503, okezone , okezone , okezone , okezone , okezone , pikiranrakyat , pikiranrakyat , pikiranrakyat , pikiranrakyat , pikiranrakyat , pikiranrakyat , radarbogor050608, republika , republika , republika , republika , republika , republika200603, republika230903, republika , republika , situshijau , situshijau , suarakarya , suarakarya , suaramerdeka131001, suaramerdeka190903, suarapembaruan120104, suarapembaruan , suarapembaruan , surabayapost100210, tempointeraktif , tempointeraktif

23 15 Lanjutan Kueri mutu hasil pertanian rendah produksi pertanian meningkat kesejahteraan petani rendah wereng serang lahan pertanian Dokumen Relavan Deptan , gatra011102, gatra180103, indosiar , jurnal , jurnalhorti103, jurnalhorti113, kompas050303, kompas100702, kompas101002, kompas161000, kompas180502, kompas220801, kompas290404, mediaindonesia030104, mediaindonesia170403, pikiranrakyat , republika , republika , republika , republika , situshijau01, situshijau , situshijau , situshijau , situshijau , situshijau15, situshijau , situshijau , situshijau , suarakarya , suaramerdeka , suarapembaruan deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , deptan , detikfinance , gatra010307, gatra100509, gatra121108, gatra230802, gatra310807, indosiar , kompas060503, kompas150104, kompas160704, kompas180701, mediaindonesia020809, mediaindonesia080210, mediaindonesia210210, mediaindonesia250809, mediaindonesia291209, pikiranrakyat , pikiranrakyat , republika080703, republika , republika , republika , republika , republika , republika281202, republika , suarakarya , surabayapost020310, surabayapost070110, surabayapost110210, surabayapost250110, tempointeraktif balipost030608, gatra230109, jurnal , kompas030403, kompas031003, kompas110504, kompas120204, kompas161000, kompas170903, kompas220399, kompas240803, kompas290404, mediaindonesia120209, panturanews220611, pertaniansehat , poskota270411, republika100804, republika , sinartani291211, suarakarya , suarakarya , suarapembaruan100903, suarapembaruan190809, tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif balipost290708, gatra011200, gatra030203, gatra , gatra120210, gatra190902, gatra , indosiar010504, indosiar010803, indosiar070504, indosiar , indosiar240604, indosiar270504, indosiar310304, kompas170903, kompas200803, kompas211211, mediaindonesia020310, mediaindonesia030603, mediaindonesia050204, mediaindonesia050309, mediaindonesia , mediaindonesia090409, mediaindonesia110309, mediaindonesia120110, mediaindonesia131209, mediaindonesia , mediaindonesia190503, mediaindonesia221209, mediaindonesia240110, okezone , okezone , okezone , pikiranrakyat , pikiranrakyat , pikiranrakyat , pikiranrakyat , pikiranrakyat , pikiranrakyat , pikiranrakyat , radarbogor050608, republika , republika , republika , republika , republika , republika , republika , republika , situshijau , situshijau , situshijau , situshijau14, situshijau , suarakarya , suarakarya , suaramerdeka131001, suarapembaruan120104, surabayapost100210, surabayapost231209, tempointeraktif , tempointeraktif

24 16 Lanjutan Kueri bidang pertanian belum berkembang angsuran pertanian sedikit dana bidang pertanian rendah permintaan humus naik Dokumen Relavan balipost030608, balipost050908, balipost301208, gatra230109, gatra290903, jurnal , kompas030403, kompas031003, kompas050303, kompas091003, kompas120204, kompas , kompas170104, kompas171002, kompas180504, kompas220399, kompas240803, kompas , mediaindonesia , mediaindonesia100203, mediaindonesia180504, mediaindonesia250803, metrotvnews , okezone280111, poskota270411, republika , republika , republika , republika , sinartani291211, suarakarya , suarakarya , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif , tempointeraktif ahmadheryawan251211, antaranews031110, beritadaerah081111, bisnisindonesia101211, bisnisjabar080911, detik100211, inilahjabar221211, kabarbisnis291211, kompas110201, kompas120204, kompas140209, kompas170911, kompas , korankaltim001, medanbisnis060911, mediaindonesia170712, mediaindonesia260711, metrotvnews181211, pikiranrakyat161211, republika110504, republika , seputarsulawesi081111, suaramerdeka090707, tempointeraktif , theglobejurnal290709, tribunnews151211, ujungpadangekspres091111, wartakota0001, wsp_agro01, yiela antaranews211111, banjarmasinpost180711, bataviase070710, gatra131011, kompas040111, kompas210502, lampungpost081211, mediaindonesia090903, metrotvnews261211, neraca180811, okezone280111, panturanews220611, partaimerdeka01, poskota270411, prakarsa_rakyat190811, republika110504, republika , republika , seputarindonesia051011, seputarindonesia271211, sinartani00002, sinartani291211, sinartani291211, tempo251211, tribunnews061211, waspada bataviase200511, gatra230609, kbr68h041211, kompas151211, kompas210504, kompas211211, kompas230209, kompas , lampungpost121111, metrotvnews221111, pertaniansehat , pikiranrakyat , pikiranrakyat , pikiranrakyat100310, pikiranrakyat , pikiranrakyat , poskota190511, radarmadiun01, rakyatmerdeka180711, republika , republika201102, suarakarya , suarakarya , suarakarya

25 17 Lampiran 3 Tabel kinerja sistem DTF dalam pengambilan dokumen pertanian peringkat satu teratas Topik Recall nilai jual komoditas rendah persediaan padi memadai sawah hancur terendam air sawah kering kekurangan air area pertanian semakin berkurang tarif humus tinggi upaya peningkatan produksi pertanian produk asing murah produksi pertanian menurun produktivitas pertanian rendah petani sulit mendapatkan humus sawah rusak berat mutu hasil pertanian rendah produksi pertanian meningkat kesejahteraan petani rendah wereng serang lahan pertanian bidang pertanian belum berkembang angsuran pertanian sedikit dana bidang pertanian rendah permintaan humus naik rata-rata