PERANCANGAN PROTOTIPE SISTEM TEMU KEMBALI INFORMASI MENGGUNAKAN ALGORITMA FUZZY CLUSTERING AHMAD IRFANI

Transkripsi

1 PERANCANGAN PROTOTIPE SISTEM TEMU KEMBALI INFORMASI MENGGUNAKAN ALGORITMA FUZZY CLUSTERING AHMAD IRFANI SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR BOGOR 2007

2 SURAT PERNYATAAN Saya menyatakan dengan sebenar-benarnya bahwa segala pernyataan dalam tesis saya yang berjudul : PERANCANGAN PROTOTIPE SISTEM TEMU KEMBALI INFORMASI MENGGUNAKAN ALGORITMA FUZZY CLUSTERING merupakan gagasan atau hasil penelitian saya sendiri, dengan arahan Komisi Pembimbing, kecuali yang dengan jelas ditunjukkan rujukannya. Tesis ini belum pernah diajukan untuk memperoleh gelar atau capaian akademik lainnya pada program sejenis di perguruan tinggi lain. Semua data dan informasi yang digunakan telah dinyatakan secara jelas dan dapat diperiksa kebenarannya. Bogor, Januari 2007 Yang Membuat Pernyataan. AHMAD IRFANI i

3 ABSTRACT AHMAD IRFANI. Design of Information Retrieval System Prototype Using Fuzzy Clustering Algorithm. Supervised By MARIMIN and IRMAN HERMADI. Today, information retrieval plays a large part of our everyday lives especially with the advent of the World Wide Web. During the last 10 years, the amount of information available in electronic form on the Web has grown exponentially. However, this development has introduced problems of its own; finding useful information is increasingly becoming a hit-or-miss experience that often ends in information overload. This thesis analyzes the suitability of fuzzy clustering methods for the discovery of relevant document relationships. The performance evaluation of three fuzzy clustering algorithms (Fuzzy C-Means, Hyperspherical Fuzzy C- Means and Fuzzy Substractive Clustering) on document written in bahasa Indonesia and English. Comparison of three different document representation formula (Term Frequency, Term Frequency Inverse Document Frequency and Salton) using various reduction of matrix dimension are also carried out. Clustering precision and recall are applied as quantitative evaluation measures of the clustering results. The experiments using document sets with various topic have shown that Hyperspherical Fuzzy C-Means algorithm perform better than Fuzzy C-Means and Fuzzy Substractive Clustering algorithm. Also found that Salton formula is able to give the right document representation to the clustering algorithm as Tf and Tf-Idf are failed. Key Words : information retrieval, fuzzy clustering, fuzzy c-means, hyperspherical fuzzy c-means, fuzzy subtractive clustering ii

4 RINGKASAN AHMAD IRFANI. Pengembangan Prototipe Sistem Temu Kembali Informasi Menggunakan Algoritma Fuzzy Clustering. Di Bawah bimbingan MARIMIN dan IRMAN HERMADI. Perkembangan teknologi informasi, khususnya teknologi Internet menyebabkan limpahan informasi, hal ini menjadikan mesin pencari sebagai perangkat yang memainkan peranan sangat penting. Pada saat ini kebanyakan mesin pencari Internet menggunakan teknik representasi peringkat. Masalah pada teknik representasi peringkat muncul bila hasil pencarian yang diperoleh terlalu banyak. Untuk membantu pengguna dalam mengatasi masalah ini, perlu dipikirkan suatu teknik representasi lain. Salah satu cara adalah dengan mengelompokkan dokumen hasil query yang memiliki kemiripan, misalkan dokumen-dokumen yang memiliki kesamaan subyek dapat dimasukkan dalam satu kelompok atau cluster. Untuk mengelompokkan dokumen, diperlukan algoritma clustering. Saat ini sudah banyak algoritma clustering, antara lain K-Means, Buckshot, Fuzzy C- Means, Hyperspherical Fuzzy c-means (H-FCM), ε-insentive Fuzzy C-Means (ε- FCM), Competitive Clustering by Learning (CCL), Fuzzy CCL (FCCL) serta algoritma Fuzzy Subtractive Clustering (FSC). Penelitian ini bertujuan untuk melakukan evaluasi terhadap (1) kinerja algoritma fuzzy clustering (Fuzzy C-Means, Hyperspherical Fuzzy C-Means & Fuzzy Subtractive Clustering) untuk document clustering (2) formula representasi dokumen Term Frekuensi (Tf), Term Frekuensi Inverse Document Frequency (Tf- Idf) dan Salton. Ada tiga parameter yang digunakan untuk menilai algoritma, yakni Akurasi (Precision), Kolektifitas (Recall) dan waktu eksekusi (detik). Akurasi merupakan rasio antara jumlah dokumen relevan yang terambil dengan seluruh jumlah dokumen yang terambil. Kolektifitas adalah adalah rasio antara jumlah dokumen yang terambil pada suatu pencarian dengan jumlah seluruh dokumen yang relevan. Algoritma dan formula representasi terbaik diimplementasikan pada prototipe sistem temu kembali informasi. iii

5 Penelitian dibagi menjadi dua tahap, tahap Evaluasi dan tahap Pengembangan Prototipe. Tahap evaluasi dibagi menjadi 5 langkah, yaitu : (1) mengumpulkan dokumen dari situs internet (2) menyimpan dokumen ke dalam basisdata 3) membuat matriks representasi dengan menggunakan tiga formula (Tf,Tf-Idf dan Salton) (4) menjalankan tiga algoritma clustering yang akan dibandingkan (4) menghitung kinerja setiap algoritma menggunakan matriks output clustering. Tahap evaluasi dilakukan dengan Matlab 7.1 dan pengembangan prototipe dilakukan dengan bahasa PHP 5.0, basisdata MySQL dan Web Server Apache Penelitian ini diharapkan dapat menjadi suatu model implementasi algoritma fuzzy clustering dalam temu kembali informasi. Hasil evaluasi pada dokumen berbahasa Indonesia menunjukkan bahwa algoritma H-FCM memiliki akurasi terbaik pada persentasi kata 10 % dengan akurasi 0.93 dan kolektifitas terbaik Pada bahasa Inggris, algoritma H-FCM tetap unggul dengan akurasi 0.96 dan kolektifitas 0.95 pada persentasi kata 5 %. Pada kedua bahasa, hanya formula Salton yang dapat memberikan input yang lebih baik dibandingkan formula Tf dan Tf-Idf pada algoritma clustering. Akan tetapi algoritma H-FCM memiliki waktu eksekusi yang paling lama. Oleh karena itu, untuk memilih algoritma terbaik, kami menggunakan Teknik Perbandingan Kinerja (Comparative Performance Index, CPI). Hasilnya, tetap algoritma H-FCM yang terbaik. Oleh karena itu kami menggunakan algoritma H-FCM dan formula Salton dalam prototipe sistem pencari. Validasi prototipe dilakukan dengan memasukkan beberapa query ke prototipe. Hasilnya menunjukkan prototipe memiliki rata-rata akurasi 0.85 dan kolektifitas Kata Kunci : sistem temu kembali informasi, fuzzy clustering, fuzzy c-means, hyperspherical-fuzzy c-means, fuzzy substractive clustering, term frequency, term frequency-inverse df dan salton. iv

6 PERANCANGAN PROTOTIPE SISTEM TEMU KEMBALI INFORMASI MENGGUNAKAN ALGORITMA FUZZY CLUSTERING AHMAD IRFANI G Tesis sebagai salah satu syarat untuk memperoleh gelar Magister Sains pada Derpartemen Ilmu Komputer SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR BOGOR 2007 v

7 Judul Tesis : Perancangan Prototipe Sistem Temu Kembali Informasi Menggunakan Algoritma Fuzzy Clustering Nama : Ahmad Irfani NRP : G Program Studi : Ilmu Komputer Menyetujui, Komisi Pembimbing Prof. Dr. Ir. Marimin, M.Sc Ketua Irman Hermadi, S.Kom, MS Anggota Mengetahui, Ketua Program Studi Ilmu Komputer Dekan Sekolah Pasca Sarjana Dr. Sugi Guritman Prof. Dr. Ir. Khairil Anwar Notodiputro, MS Tanggal Ujian : 17 Januari 2007 Tanggal Lulus : vi

8 KATA PENGANTAR Alhamdulillahirabbil alamin, Penulis panjatkan puji dan syukur ke hadirat Allah SWT yang telah memberikan rahmat, hidayah, serta karunianya sehingga Penulis dapat menyelesaikan tesis yang berjudul Perancangan Prototipe Sistem Temu Kembali Informasi Menggunakan Algoritma Fuzzy Clustering. Penulis mengucapkan terima kasih kepada Bapak Prof. Dr. Ir. Marimin, M.Sc. dan Bapak Irman Hermadi selaku pembimbing I dan 2 yang telah memberikan banyak masukan kepada Penulis dalam penyusunan tesis ini. Ucapan terimakasih juga Penulis sampaikan kepada Ibu Yeni Herdiayani SKom, MKom sebagai dosen penguji. Selanjutnya Penulis ingin mengucapkan terima kasih kepada: 1. Papah dan Mamah yang selama ini selalu mendukung dan berdoa demi kelancaran masa studi Penulis. 2. Anna Yuliarti Khodijat ST. MM yang banyak memberikan fasilitas dan semangat kepada Penulis pada saat kuliah dan penyusunan tesis ini. 3. Alm. Drs. H. Lukman Dendawijaya, MM beserta keluarga yang banyak memberikan dukungan dan semangat selama masa kuliah 4. Departemen Ilmu Komputer beserta dosen dan staf yang telah banyak membantu Penulis dalam penyusunan skripsi ini. Kepada semua pihak yang telah membantu Penulis dalam penyusunan skripsi ini yang tidak bisa disebutkan satu per satu, terima kasih. Semoga penelitian ini dapat memberikan manfaat, Amien. Bogor, Januari 2007 Ahmad Irfani vii

9 RIWAYAT HIDUP Penulis dilahirkan di Cikarang pada tanggal 6 Agustus 1977 dari ayah H. A. Baedhowi H.S dan R. Hj. Faiqoh. Penulis merupakan putra ke empat dari sembilan bersaudara. Pendidikan sekolah dasar ditempuh di SDN 1 Cikarang, menengah pertama di SMPN 1 Cikarang dan menengah atas di SMAN 1 Cikarang. Pendidikan sarjana ditempuh di Institut Pertanian Bogor, Jurusan Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, lulus pada tahun Pada tahun 2004, penulis melanjutkan kuliah di Sekolah Pasca Sarjana IPB dan mengambil Program Studi Ilmu Komputer. Selama mengikuti perkuliahan, penulis aktif bekerja sebagai Senior System Engineer pada PT Hanoman Cendikia Interaktif. Pada tahun 2006 penulis bergabung dengan GrahamTechnology, sebuah perusahaan multinasional berbasis di Inggris, sebagai Business Solution Consultant. viii

10 DAFTAR ISI DAFTAR ISI... i DAFTAR TABEL... xii DAFTAR GAMBAR... xiii 1. PENDAHULUAN... 1 A. LATAR BELAKANG... 1 B. TUJUAN DAN MANFAAT... 4 C. RUANG LINGKUP TINJAUAN PUSTAKA... 6 A. TEMU KEMBALI INFORMASI... 6 B. DOKUMEN BERBAHASA INDONESIA... 8 C. CLUSTERING D. SISTEM FUZZY E. FUZZY CLUSTERING Fuzzy C-Means (FCM) Hyperspherical Fuzzy C-Means Fuzzy Substractive Clustering (FSC) F. CLUSTERING DALAM SISTEM TEMU KEMBALI INFORMASI G. PENILAIAN KINERJA METODOLOGI A. KERANGKA PEMIKIRAN B. BAHAN DAN ALAT C. TATA LAKSANA ix

11 1. Tahap Persiapan Evaluasi Algoritma Fuzzy Clustering Pengembangan Prototipe Sistem PERANCANGAN & IMPLEMENTASI SISTEM A. DISAIN DATA File Dokumen Tabel Dokumen dalam Basisdata Matriks Representasi Dokumen (MRD) Matriks Keanggotaan (MK) Data Cluster B. DISAIN ARSITEKTUR DAN KOMPONEN Modul Penyimpanan Modul Matriks Modul Clustering Modul Evaluasi Modul Representasi Hasil C. DISAIN ANTARMUKA EVALUASI SISTEM A. KARAKTERISTIK DOKUMEN INPUT B. PROSES EVALUASI Pembentukan Matriks Representasi Dokumen Pembentukan Matriks Keanggotaan C. EVALUASI KINERJA D. PENGEMBANGAN PROTOTIPE x

12 E. VALIDASI SISTEM F. IMPLIKASI & KEBIJAKAN MANAJEMEN KESIMPULAN DAN SARAN A. KESIMPULAN B. SARAN DAFTAR PUSTAKA LAMPIRAN xi

13 DAFTAR TABEL Tabel 2.1 Penelitian tentang document clustering Tabel 2.2 Relevansi & kolektifitas dokumen pada sistem temu-kembali informasi Tabel 4.1 Struktur Tabel Dokumen pada Basisdata Tabel 4.2 Matriks keanggotaan (U) n dokumen terhadap k cluster Tabel 5.1 Kelompok, topik, jumlah dan sumber dokumen Tabel 5.2 Dimensi MRD dengan PK 0%, 5%, 10%, 15% dan 20% Tabel 5.3 MRD hasil algoritma H-FCM dengan PK 5% (ID = ID dokumen, C = Cluster) Tabel 5.4 Jumlah iterasi algoritma FCM, H-FCM dan FSC Tabel 5.5 Waktu eksekusi algoritma FCM, H-FCM dan FSC (detik) Tabel 5.6 Akurasi dan Kolektifitas Algoritma FCM Tabel 5.7 Akurasi dan Kolektifitas Algoritma H-FCM Tabel 5.8 Akurasi dan Kolektifitas Algoritma FSC Tabel 5.9 Perbandingan Akurasi dan Kolektifitas algoritma FCM pada dokumen berbahasa Inggris dan Indonesia Tabel 5.10 Perbandingan Akurasi dan Kolektifitas algoritma H-FCM pada dokumen berbahasa Inggris dan Indonesia Tabel 5.11 Perbandingan Akurasi dan Kolektifitas algoritma FSC pada dokumen berbahasa Inggris dan Indonesia Tabel 5.12 Matriks awal penilaian alternatif pemilihan algoritma terbaik Tabel 5.13 Matriks hasil transformasi melalui teknik perbandingan indeks xii

14 DAFTAR GAMBAR Gambar 1.1 Contoh halaman hasil pencarian Google ( 3 Gambar 2.1 Representasi dokumen dan query dalam ruang vektor Gambar 2.2 Matriks Representasi Dokumen Gambar 2.3 Representasi grafis sudut antara Gambar 2.4 Taksonomi Metode Clustering (Jain et. al., 1999) Gambar 2.5 Penggunaan MST untuk membentuk cluster (Jain et al, 1999) Gambar 2.6 Representasi cluster menggunakan titik (Jain et. al., 1999) Gambar 2.7 (a) Representasi cluster menggunakan Pohon Klasifikasi dan Gambar 2.5 Anak Gugus Fuzzy (Marimin, 2005) Gambar 2.9 Kurva triangular untuk a=3, b=6, dan c= Gambar 2.10 Kurva trapezoidal untuk a=1, b=5, c=7, dan d= Gambar 2.11 Kurva Generalizzed bell untuk a=2, b=4, dan c= Gambar 2.12 Kurva Gaussian untuk σ=2 dan c= Gambar 2.13 Kurva Two-sided Gaussian untuk σ1=2, c1=4 dan σ2=1, Gambar 2.14 Kurva S untuk a=1 dan b= Gambar 2.15 Sebaran data pada dimensi tunggal Gambar 2.13 Kurva S untuk a=1 dan b= Gambar 2.17 Fungsi keanggotaan algoritma FCM & H-FCM Gambar 2.18 Fungsi keanggotaan kurva Gauss (Kusumadewi & Purnomo, 2004) Gambar 3.1 Kerangka Pemikiran Penelitian Gambar 3.2 Cara Kerja Prototipe Sistem Temu-Kembali Informasi Gambar 3.3 Tata Laksana Persiapan dan Evaluasi Gambar 3.4 Tata Laksana Evaluasi Gambar 3.5 Tata Laksana Pengembangan Prototipe Sistem Temu Gambar 4.1 Arsitektur Sistem pada Tahap Evaluasi Gambar 4.2 Arsitektur Sistem pada tahap Pengembangan Prototipe Gambar 4.3. Disain antarmuka sistem Gambar 5.1 Akurasi dan Kolektifitas Algoritma FCM Gambar 5.2 Akurasi dan Kolektifitas Algoritma H-FCM Gambar 5.3 Akurasi dan Kolektifitas Algoritma FSC xiii

15 Gambar 5.4 Perbandingan Akurasi algoritma FCM, H-FCM dan FSC Gambar 5.5 Perbandingan Kolektifitas algoritma FCM, H-FCM dan FSC Gambar 5.6 Perbandingan jumlah iterasi algoritma FCM, HFCM dan FSC Gambar 5.7 Perbandingan waktu eksekusi algoritma FCM, HFCM dan FSC Gambar 5.8 Form input kata kunci dan jumlah cluster Gambar 5.9 Tampilan halaman web yang menampilkan hasil pencarian Gambar 5.10 Tampilan halaman web yang menampilkan isi dokumen xiv

16 DAFTAR LAMPIRAN Lampiran 1 Cara Perolehan serta Pengolahan Data dan Pengembangan Perangkat Lunak Lampiran 2 Daftar kata MRD dengan PK = 5 % (Total 624) Lampiran 3 Daftar kata MRD dengan PK = 10 % (Total 191) Lampiran 4 Daftar kata MRD dengan PK = 15 % (Total 83) Lampiran 5 Daftar kata MRD dengan PK = 20 % (Total 34) Lampiran 6 Daftar kata MRD bahasa Inggris dengan PK = 0.05 % (Total 1713) Lampiran 7 Daftar kata MRD bahasa Inggris dengan PK = 10 % (Total 743) Lampiran 8 Daftar kata MRD bahasa Inggris dengan PK = 15 % (Total 353) Lampiran 9 Daftar kata MRD (bahasa Inggris) dengan PK = 20 % dan Total 196 kata Lampiran 10 Akurasi dan Kolektifitas Query pada Prototipe Sistem Lampiran 11 Akurasi dan cluster hasil algoritma H-FCM dengan PK 5% Lampiran 12 Akurasi dan Kolektifitas cluster hasil algoritma H-FCM dengan PK 10% Lampiran 13 Akurasi dan Kolektifitas cluster hasil algoritma H-FCM dengan PK 15% Lampiran 14 Akurasi dan Kolektifitas cluster hasil algoritma H-FCM dengan PK 20% Lampiran 15 Akurasi dan Kolektifitas cluster hasil algoritma FCM dengan PK 5% Lampiran 16 Akurasi dan Kolektifitas cluster hasil algoritma FCM dengan PK 10% Lampiran 17 Akurasi dan Kolektifitas cluster hasil algoritma FCM dengan PK 15% Lampiran 18 Akurasi dan Kolektifitas cluster hasil algoritma FCM dengan PK 20% Lampiran 19 Akurasi dan Kolektifitas cluster hasil algoritma FSC dengan PK 5% Lampiran 20 Akurasi dan Kolektifitas cluster hasil algoritma FSC dengan PK 10% Lampiran 21 Akurasi dan Kolektifitas cluster hasil algoritma FSC dengan PK 15% Lampiran 22 Akurasi dan Kolektifitas cluster hasil algoritma FSC dengan PK 20% xv