PERANCANGAN PROTOTIPE SISTEM TEMU KEMBALI INFORMASI MENGGUNAKAN ALGORITMA FUZZY CLUSTERING AHMAD IRFANI

Transkripsi

1 PERANCANGAN PROTOTIPE SISTEM TEMU KEMBALI INFORMASI MENGGUNAKAN ALGORITMA FUZZY CLUSTERING AHMAD IRFANI SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR BOGOR 2007

2 SURAT PERNYATAAN Saya menyatakan dengan sebenar-benarnya bahwa segala pernyataan dalam tesis saya yang berjudul : PERANCANGAN PROTOTIPE SISTEM TEMU KEMBALI INFORMASI MENGGUNAKAN ALGORITMA FUZZY CLUSTERING merupakan gagasan atau hasil penelitian saya sendiri, dengan arahan Komisi Pembimbing, kecuali yang dengan jelas ditunjukkan rujukannya. Tesis ini belum pernah diajukan untuk memperoleh gelar atau capaian akademik lainnya pada program sejenis di perguruan tinggi lain. Semua data dan informasi yang digunakan telah dinyatakan secara jelas dan dapat diperiksa kebenarannya. Bogor, Januari 2007 Yang Membuat Pernyataan. AHMAD IRFANI i

3 ABSTRACT AHMAD IRFANI. Design of Information Retrieval System Prototype Using Fuzzy Clustering Algorithm. Supervised By MARIMIN and IRMAN HERMADI. Today, information retrieval plays a large part of our everyday lives especially with the advent of the World Wide Web. During the last 10 years, the amount of information available in electronic form on the Web has grown exponentially. However, this development has introduced problems of its own; finding useful information is increasingly becoming a hit-or-miss experience that often ends in information overload. This thesis analyzes the suitability of fuzzy clustering methods for the discovery of relevant document relationships. The performance evaluation of three fuzzy clustering algorithms (Fuzzy C-Means, Hyperspherical Fuzzy C- Means and Fuzzy Substractive Clustering) on document written in bahasa Indonesia and English. Comparison of three different document representation formula (Term Frequency, Term Frequency Inverse Document Frequency and Salton) using various reduction of matrix dimension are also carried out. Clustering precision and recall are applied as quantitative evaluation measures of the clustering results. The experiments using document sets with various topic have shown that Hyperspherical Fuzzy C-Means algorithm perform better than Fuzzy C-Means and Fuzzy Substractive Clustering algorithm. Also found that Salton formula is able to give the right document representation to the clustering algorithm as Tf and Tf-Idf are failed. Key Words : information retrieval, fuzzy clustering, fuzzy c-means, hyperspherical fuzzy c-means, fuzzy subtractive clustering ii

4 RINGKASAN AHMAD IRFANI. Pengembangan Prototipe Sistem Temu Kembali Informasi Menggunakan Algoritma Fuzzy Clustering. Di Bawah bimbingan MARIMIN dan IRMAN HERMADI. Perkembangan teknologi informasi, khususnya teknologi Internet menyebabkan limpahan informasi, hal ini menjadikan mesin pencari sebagai perangkat yang memainkan peranan sangat penting. Pada saat ini kebanyakan mesin pencari Internet menggunakan teknik representasi peringkat. Masalah pada teknik representasi peringkat muncul bila hasil pencarian yang diperoleh terlalu banyak. Untuk membantu pengguna dalam mengatasi masalah ini, perlu dipikirkan suatu teknik representasi lain. Salah satu cara adalah dengan mengelompokkan dokumen hasil query yang memiliki kemiripan, misalkan dokumen-dokumen yang memiliki kesamaan subyek dapat dimasukkan dalam satu kelompok atau cluster. Untuk mengelompokkan dokumen, diperlukan algoritma clustering. Saat ini sudah banyak algoritma clustering, antara lain K-Means, Buckshot, Fuzzy C- Means, Hyperspherical Fuzzy c-means (H-FCM), ε-insentive Fuzzy C-Means (ε- FCM), Competitive Clustering by Learning (CCL), Fuzzy CCL (FCCL) serta algoritma Fuzzy Subtractive Clustering (FSC). Penelitian ini bertujuan untuk melakukan evaluasi terhadap (1) kinerja algoritma fuzzy clustering (Fuzzy C-Means, Hyperspherical Fuzzy C-Means & Fuzzy Subtractive Clustering) untuk document clustering (2) formula representasi dokumen Term Frekuensi (Tf), Term Frekuensi Inverse Document Frequency (Tf- Idf) dan Salton. Ada tiga parameter yang digunakan untuk menilai algoritma, yakni Akurasi (Precision), Kolektifitas (Recall) dan waktu eksekusi (detik). Akurasi merupakan rasio antara jumlah dokumen relevan yang terambil dengan seluruh jumlah dokumen yang terambil. Kolektifitas adalah adalah rasio antara jumlah dokumen yang terambil pada suatu pencarian dengan jumlah seluruh dokumen yang relevan. Algoritma dan formula representasi terbaik diimplementasikan pada prototipe sistem temu kembali informasi. iii

5 Penelitian dibagi menjadi dua tahap, tahap Evaluasi dan tahap Pengembangan Prototipe. Tahap evaluasi dibagi menjadi 5 langkah, yaitu : (1) mengumpulkan dokumen dari situs internet (2) menyimpan dokumen ke dalam basisdata 3) membuat matriks representasi dengan menggunakan tiga formula (Tf,Tf-Idf dan Salton) (4) menjalankan tiga algoritma clustering yang akan dibandingkan (4) menghitung kinerja setiap algoritma menggunakan matriks output clustering. Tahap evaluasi dilakukan dengan Matlab 7.1 dan pengembangan prototipe dilakukan dengan bahasa PHP 5.0, basisdata MySQL dan Web Server Apache Penelitian ini diharapkan dapat menjadi suatu model implementasi algoritma fuzzy clustering dalam temu kembali informasi. Hasil evaluasi pada dokumen berbahasa Indonesia menunjukkan bahwa algoritma H-FCM memiliki akurasi terbaik pada persentasi kata 10 % dengan akurasi 0.93 dan kolektifitas terbaik Pada bahasa Inggris, algoritma H-FCM tetap unggul dengan akurasi 0.96 dan kolektifitas 0.95 pada persentasi kata 5 %. Pada kedua bahasa, hanya formula Salton yang dapat memberikan input yang lebih baik dibandingkan formula Tf dan Tf-Idf pada algoritma clustering. Akan tetapi algoritma H-FCM memiliki waktu eksekusi yang paling lama. Oleh karena itu, untuk memilih algoritma terbaik, kami menggunakan Teknik Perbandingan Kinerja (Comparative Performance Index, CPI). Hasilnya, tetap algoritma H-FCM yang terbaik. Oleh karena itu kami menggunakan algoritma H-FCM dan formula Salton dalam prototipe sistem pencari. Validasi prototipe dilakukan dengan memasukkan beberapa query ke prototipe. Hasilnya menunjukkan prototipe memiliki rata-rata akurasi 0.85 dan kolektifitas Kata Kunci : sistem temu kembali informasi, fuzzy clustering, fuzzy c-means, hyperspherical-fuzzy c-means, fuzzy substractive clustering, term frequency, term frequency-inverse df dan salton. iv

6 PERANCANGAN PROTOTIPE SISTEM TEMU KEMBALI INFORMASI MENGGUNAKAN ALGORITMA FUZZY CLUSTERING AHMAD IRFANI G Tesis sebagai salah satu syarat untuk memperoleh gelar Magister Sains pada Derpartemen Ilmu Komputer SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR BOGOR 2007 v

7 Judul Tesis : Perancangan Prototipe Sistem Temu Kembali Informasi Menggunakan Algoritma Fuzzy Clustering Nama : Ahmad Irfani NRP : G Program Studi : Ilmu Komputer Menyetujui, Komisi Pembimbing Prof. Dr. Ir. Marimin, M.Sc Ketua Irman Hermadi, S.Kom, MS Anggota Mengetahui, Ketua Program Studi Ilmu Komputer Dekan Sekolah Pasca Sarjana Dr. Sugi Guritman Prof. Dr. Ir. Khairil Anwar Notodiputro, MS Tanggal Ujian : 17 Januari 2007 Tanggal Lulus : vi

8 KATA PENGANTAR Alhamdulillahirabbil alamin, Penulis panjatkan puji dan syukur ke hadirat Allah SWT yang telah memberikan rahmat, hidayah, serta karunianya sehingga Penulis dapat menyelesaikan tesis yang berjudul Perancangan Prototipe Sistem Temu Kembali Informasi Menggunakan Algoritma Fuzzy Clustering. Penulis mengucapkan terima kasih kepada Bapak Prof. Dr. Ir. Marimin, M.Sc. dan Bapak Irman Hermadi selaku pembimbing I dan 2 yang telah memberikan banyak masukan kepada Penulis dalam penyusunan tesis ini. Ucapan terimakasih juga Penulis sampaikan kepada Ibu Yeni Herdiayani SKom, MKom sebagai dosen penguji. Selanjutnya Penulis ingin mengucapkan terima kasih kepada: 1. Papah dan Mamah yang selama ini selalu mendukung dan berdoa demi kelancaran masa studi Penulis. 2. Anna Yuliarti Khodijat ST. MM yang banyak memberikan fasilitas dan semangat kepada Penulis pada saat kuliah dan penyusunan tesis ini. 3. Alm. Drs. H. Lukman Dendawijaya, MM beserta keluarga yang banyak memberikan dukungan dan semangat selama masa kuliah 4. Departemen Ilmu Komputer beserta dosen dan staf yang telah banyak membantu Penulis dalam penyusunan skripsi ini. Kepada semua pihak yang telah membantu Penulis dalam penyusunan skripsi ini yang tidak bisa disebutkan satu per satu, terima kasih. Semoga penelitian ini dapat memberikan manfaat, Amien. Bogor, Januari 2007 Ahmad Irfani vii

9 RIWAYAT HIDUP Penulis dilahirkan di Cikarang pada tanggal 6 Agustus 1977 dari ayah H. A. Baedhowi H.S dan R. Hj. Faiqoh. Penulis merupakan putra ke empat dari sembilan bersaudara. Pendidikan sekolah dasar ditempuh di SDN 1 Cikarang, menengah pertama di SMPN 1 Cikarang dan menengah atas di SMAN 1 Cikarang. Pendidikan sarjana ditempuh di Institut Pertanian Bogor, Jurusan Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, lulus pada tahun Pada tahun 2004, penulis melanjutkan kuliah di Sekolah Pasca Sarjana IPB dan mengambil Program Studi Ilmu Komputer. Selama mengikuti perkuliahan, penulis aktif bekerja sebagai Senior System Engineer pada PT Hanoman Cendikia Interaktif. Pada tahun 2006 penulis bergabung dengan GrahamTechnology, sebuah perusahaan multinasional berbasis di Inggris, sebagai Business Solution Consultant. viii

10 DAFTAR ISI DAFTAR ISI... i DAFTAR TABEL... xii DAFTAR GAMBAR... xiii 1. PENDAHULUAN... 1 A. LATAR BELAKANG... 1 B. TUJUAN DAN MANFAAT... 4 C. RUANG LINGKUP TINJAUAN PUSTAKA... 6 A. TEMU KEMBALI INFORMASI... 6 B. DOKUMEN BERBAHASA INDONESIA... 8 C. CLUSTERING D. SISTEM FUZZY E. FUZZY CLUSTERING Fuzzy C-Means (FCM) Hyperspherical Fuzzy C-Means Fuzzy Substractive Clustering (FSC) F. CLUSTERING DALAM SISTEM TEMU KEMBALI INFORMASI G. PENILAIAN KINERJA METODOLOGI A. KERANGKA PEMIKIRAN B. BAHAN DAN ALAT C. TATA LAKSANA ix

11 1. Tahap Persiapan Evaluasi Algoritma Fuzzy Clustering Pengembangan Prototipe Sistem PERANCANGAN & IMPLEMENTASI SISTEM A. DISAIN DATA File Dokumen Tabel Dokumen dalam Basisdata Matriks Representasi Dokumen (MRD) Matriks Keanggotaan (MK) Data Cluster B. DISAIN ARSITEKTUR DAN KOMPONEN Modul Penyimpanan Modul Matriks Modul Clustering Modul Evaluasi Modul Representasi Hasil C. DISAIN ANTARMUKA EVALUASI SISTEM A. KARAKTERISTIK DOKUMEN INPUT B. PROSES EVALUASI Pembentukan Matriks Representasi Dokumen Pembentukan Matriks Keanggotaan C. EVALUASI KINERJA D. PENGEMBANGAN PROTOTIPE x

12 E. VALIDASI SISTEM F. IMPLIKASI & KEBIJAKAN MANAJEMEN KESIMPULAN DAN SARAN A. KESIMPULAN B. SARAN DAFTAR PUSTAKA LAMPIRAN xi

13 DAFTAR TABEL Tabel 2.1 Penelitian tentang document clustering Tabel 2.2 Relevansi & kolektifitas dokumen pada sistem temu-kembali informasi Tabel 4.1 Struktur Tabel Dokumen pada Basisdata Tabel 4.2 Matriks keanggotaan (U) n dokumen terhadap k cluster Tabel 5.1 Kelompok, topik, jumlah dan sumber dokumen Tabel 5.2 Dimensi MRD dengan PK 0%, 5%, 10%, 15% dan 20% Tabel 5.3 MRD hasil algoritma H-FCM dengan PK 5% (ID = ID dokumen, C = Cluster) Tabel 5.4 Jumlah iterasi algoritma FCM, H-FCM dan FSC Tabel 5.5 Waktu eksekusi algoritma FCM, H-FCM dan FSC (detik) Tabel 5.6 Akurasi dan Kolektifitas Algoritma FCM Tabel 5.7 Akurasi dan Kolektifitas Algoritma H-FCM Tabel 5.8 Akurasi dan Kolektifitas Algoritma FSC Tabel 5.9 Perbandingan Akurasi dan Kolektifitas algoritma FCM pada dokumen berbahasa Inggris dan Indonesia Tabel 5.10 Perbandingan Akurasi dan Kolektifitas algoritma H-FCM pada dokumen berbahasa Inggris dan Indonesia Tabel 5.11 Perbandingan Akurasi dan Kolektifitas algoritma FSC pada dokumen berbahasa Inggris dan Indonesia Tabel 5.12 Matriks awal penilaian alternatif pemilihan algoritma terbaik Tabel 5.13 Matriks hasil transformasi melalui teknik perbandingan indeks xii

14 DAFTAR GAMBAR Gambar 1.1 Contoh halaman hasil pencarian Google ( 3 Gambar 2.1 Representasi dokumen dan query dalam ruang vektor Gambar 2.2 Matriks Representasi Dokumen Gambar 2.3 Representasi grafis sudut antara Gambar 2.4 Taksonomi Metode Clustering (Jain et. al., 1999) Gambar 2.5 Penggunaan MST untuk membentuk cluster (Jain et al, 1999) Gambar 2.6 Representasi cluster menggunakan titik (Jain et. al., 1999) Gambar 2.7 (a) Representasi cluster menggunakan Pohon Klasifikasi dan Gambar 2.5 Anak Gugus Fuzzy (Marimin, 2005) Gambar 2.9 Kurva triangular untuk a=3, b=6, dan c= Gambar 2.10 Kurva trapezoidal untuk a=1, b=5, c=7, dan d= Gambar 2.11 Kurva Generalizzed bell untuk a=2, b=4, dan c= Gambar 2.12 Kurva Gaussian untuk σ=2 dan c= Gambar 2.13 Kurva Two-sided Gaussian untuk σ1=2, c1=4 dan σ2=1, Gambar 2.14 Kurva S untuk a=1 dan b= Gambar 2.15 Sebaran data pada dimensi tunggal Gambar 2.13 Kurva S untuk a=1 dan b= Gambar 2.17 Fungsi keanggotaan algoritma FCM & H-FCM Gambar 2.18 Fungsi keanggotaan kurva Gauss (Kusumadewi & Purnomo, 2004) Gambar 3.1 Kerangka Pemikiran Penelitian Gambar 3.2 Cara Kerja Prototipe Sistem Temu-Kembali Informasi Gambar 3.3 Tata Laksana Persiapan dan Evaluasi Gambar 3.4 Tata Laksana Evaluasi Gambar 3.5 Tata Laksana Pengembangan Prototipe Sistem Temu Gambar 4.1 Arsitektur Sistem pada Tahap Evaluasi Gambar 4.2 Arsitektur Sistem pada tahap Pengembangan Prototipe Gambar 4.3. Disain antarmuka sistem Gambar 5.1 Akurasi dan Kolektifitas Algoritma FCM Gambar 5.2 Akurasi dan Kolektifitas Algoritma H-FCM Gambar 5.3 Akurasi dan Kolektifitas Algoritma FSC xiii

15 Gambar 5.4 Perbandingan Akurasi algoritma FCM, H-FCM dan FSC Gambar 5.5 Perbandingan Kolektifitas algoritma FCM, H-FCM dan FSC Gambar 5.6 Perbandingan jumlah iterasi algoritma FCM, HFCM dan FSC Gambar 5.7 Perbandingan waktu eksekusi algoritma FCM, HFCM dan FSC Gambar 5.8 Form input kata kunci dan jumlah cluster Gambar 5.9 Tampilan halaman web yang menampilkan hasil pencarian Gambar 5.10 Tampilan halaman web yang menampilkan isi dokumen xiv

16 DAFTAR LAMPIRAN Lampiran 1 Cara Perolehan serta Pengolahan Data dan Pengembangan Perangkat Lunak Lampiran 2 Daftar kata MRD dengan PK = 5 % (Total 624) Lampiran 3 Daftar kata MRD dengan PK = 10 % (Total 191) Lampiran 4 Daftar kata MRD dengan PK = 15 % (Total 83) Lampiran 5 Daftar kata MRD dengan PK = 20 % (Total 34) Lampiran 6 Daftar kata MRD bahasa Inggris dengan PK = 0.05 % (Total 1713) Lampiran 7 Daftar kata MRD bahasa Inggris dengan PK = 10 % (Total 743) Lampiran 8 Daftar kata MRD bahasa Inggris dengan PK = 15 % (Total 353) Lampiran 9 Daftar kata MRD (bahasa Inggris) dengan PK = 20 % dan Total 196 kata Lampiran 10 Akurasi dan Kolektifitas Query pada Prototipe Sistem Lampiran 11 Akurasi dan cluster hasil algoritma H-FCM dengan PK 5% Lampiran 12 Akurasi dan Kolektifitas cluster hasil algoritma H-FCM dengan PK 10% Lampiran 13 Akurasi dan Kolektifitas cluster hasil algoritma H-FCM dengan PK 15% Lampiran 14 Akurasi dan Kolektifitas cluster hasil algoritma H-FCM dengan PK 20% Lampiran 15 Akurasi dan Kolektifitas cluster hasil algoritma FCM dengan PK 5% Lampiran 16 Akurasi dan Kolektifitas cluster hasil algoritma FCM dengan PK 10% Lampiran 17 Akurasi dan Kolektifitas cluster hasil algoritma FCM dengan PK 15% Lampiran 18 Akurasi dan Kolektifitas cluster hasil algoritma FCM dengan PK 20% Lampiran 19 Akurasi dan Kolektifitas cluster hasil algoritma FSC dengan PK 5% Lampiran 20 Akurasi dan Kolektifitas cluster hasil algoritma FSC dengan PK 10% Lampiran 21 Akurasi dan Kolektifitas cluster hasil algoritma FSC dengan PK 15% Lampiran 22 Akurasi dan Kolektifitas cluster hasil algoritma FSC dengan PK 20% xv

17 1. PENDAHULUAN A. Latar Belakang Perkembangan teknologi informasi, khususnya teknologi Internet sebagai wadah untuk dapat dengan mudah menyebarkan informasi secara mudah dan gratis, mengakibatkan informasi berlimpah. Melimpahnya informasi di satu sisi semakin memudahkan kita untuk mengakses informasi. Namun di sisi lain, banyaknya informasi dapat menimbulkan permasalahan pada pencarian atau penelusuran dan pengorganisasian informasi. Jumlah dan laju pertambahan informasi yang dihasilkan saat ini telah melebihi kemampuan manusia untuk melakukan organisasi, menelusuri dan memodifikasi informasi tanpa bantuan sistem yang otomatis (Taylor, 1999). Untuk memudahkan penelusuran informasi diperlukan mesin pencari. Mesin pencari menerima input query atau kata kunci dari pengguna dan menampilkan daftar informasi atau dokumen yang diperoleh (pada mesin pencari Internet, hasil pencarian terdiri dari link menunjuk alamat Internet yang menyimpan dokumen). Pada saat ini sudah banyak mesin pencari informasi pada Internet yang dapat digunakan secara cuma-cuma, antara lain : google ( yahoo ( dan altavista ( Ketika menggunakan mesin pencari, pengguna sering tidak memperoleh hasil yang optimal (sesuai dengan keinginan), karena pengguna menghadapi beberapa kendala dalam memasukkan kata kunci, antara lain (Muresan, 2002): 1. Kesalahan dalam pengetikan atau dalam ejaan kata 1

18 2. Terbatasnya perbendaharaan kata yang dimiliki pengguna (terutama untuk istilah pada domain pengetahuan yang memiliki terminologi-terminologi tertentu) 3. Kurang memahami cara penggunaan sintaks bahasa query, seperti Operator Boolean 4. Kebanyakan pencarian hanya menggunakan kata kunci yang sedikit sehingga mengurangi daya jelajah pada ruang informasi 5. Kata kunci yang digunakan sedikit dan terlalu luas atau memiliki makna ganda (ambigue) sehingga hasil pencarian yang didapat banyak namun kurang atau tidak relevan sama sekali Kesalahan memasukkan kata kunci dapat menyebabkan hasil tidak ada atau terlalu banyak. Mesin pencari kebanyakan menggunakan teknik representasi peringkat dengan menampilkan seluruh link menuju halaman hasil yang dibagi perhalaman. Masalah pada teknik representasi peringkat muncul bila hasil pencarian yang diperoleh terlalu banyak. Misalkan kita cari kata java untuk pulau jawa dengan menggunakan google ( akan diperoleh hasil sebanyak 235 juta link ke alamat yang mengandung kata java dan baru pada halaman ke-3 (link yang ke-31) kita bisa menemukan link yang mempunyai keterangan tentang pulau java (Gambar 1.1). Untuk membantu pengguna dalam mengatasi masalah ini, perlu dipikirkan suatu teknik representasi lain. Salah satu cara adalah dengan mengelompokkan dokumen hasil query yang memiliki kemiripan, misalkan dokumen-dokumen yang memiliki kesamaan subyek dapat dimasukkan dalam satu kelompok atau cluster (Borodavkina, 2000). 2

19 Gambar 1.1 Contoh halaman hasil pencarian Google ( Pengelompokan dokumen telah banyak diaplikasikan pada sistem temukembali informasi untuk meningkatkan efektifitas pencarian, antara lain (Horng et. al., 2005), (Haruechaiyasak & Chen, 2002) dan (Mendes & Sacks, 2003). Pada aplikasi komersial, dokumen clustering antara lain telah digunakan oleh mesin pencari Vivisimo ( Ketika digunakan, Vivisimo menghasilkan judul dan abstrak dokumen yang ditemukan. Kemudian menggunakan judul dan abstrak tersebut sebagai bahan pengelompokan (bukan keseluruhan dokumen). Vivisimo menggunakan algoritma Hierarchical Fuzzy Clustering. Algoritma Hierarchical Fuzzy Clustering merupakan salah satu algoritma algoritma clustering. Algoritma clustering lainnya antara lain K- Means, Buckshot, Fuzzy C-Means, Hyperspherical Fuzzy c-means, ε- Insentive Fuzzy C-Means (ε-fcm), Competitive Clustering by Learning 3

20 (CCL), Fuzzy CCL (FCCL) serta algoritma Fuzzy Subtractive Clustering (FSC). Algoritma tersebut masing-masing memiliki karakter yang berbeda, sehingga perlu dilakukan pemilihan algoritma clustering yang paling tepat untuk document clustering. Perbandingan kinerja algoritma untuk document clustering sudah pernah dilakukan, antara lain oleh Mendes & Sacks (2003) yang menggunakan algoritma H-FCM untuk document clustering dan membandingkannya dengan algoritma K-Means. Hasilnya algoritma H-FCM memiliki kinerja lebih baik dibandingkan algoritma K-Means (bukan fuzzy). Penelitian ini bertujuan untuk mengembangkan penelitian Mendes & Sacks (2003) dengan membandingkan kinerja algoritma H-FCM dengan dua algoritma fuzzy clustering lainnya,. Algoritma FCM dipilih karena FCM merupakan algoritma fuzzy clustering yang paling populer, sedangkan algoritma FSC dipilih karena belum pernah diteliti penggunaanya untuk document clustering. Penelitian ini juga akan membuat prototipe sistem temukembali informasi yang menggunakan satu algoritma clustering terbaik di antara algoritma tersebut. B. Tujuan dan Manfaat Penelitian ini bertujuan untuk (1) melakukan evaluasi kecocokan penggunaan algoritma fuzzy clustering FCM, H-FCM dan FSC pada dokumen dari situs Internet (2) melakukan evaluasi kecocokan formula representasi dokumen Tf, Tf-Idf dan Salton pada dokumen dari situs Internet (3) 4

21 mengembangkan prototipe sistem temu-kembali informasi (dokumen) yang dibangun dengan menggunakan satu algoritma yang terbaik hasil evaluasi. Penelitian ini diharapkan dapat bermanfaat sebagai salah satu model implementasi sistem algoritma fuzzy clustering dalam temu kembali informasi berbahasa Indonesia. C. Ruang Lingkup Penelitian ini memiliki ruang lingkup sebagai berikut : 1 Algoritma clustering yang diuji adalah : Fuzzy C-Means Clustering (FCM), Hyperspherical Fuzzy C-Means Clustering (H-FCM) dan algoritma Fuzzy Subtractive Clustering (FSC). 2 Bahan atau data yang digunakan adalah artikel dokumen yang diperoleh dari situs Internet. 3 Implementasi algoritma pada proses evaluasi dilakukan dengan Matlab Prototipe sistem dikembangkan dengan menggunakan algoritma clustering terpilih 5 Prototipe sistem dibangun menggunakan bahasa PHP 5.0, basisdata MySQL versi dan web server Apache versi

22 2. TINJAUAN PUSTAKA A. Temu Kembali Informasi Temu kembali informasi merupakan disiplin ilmu yang mempelajari teori, model dan teknik yang terkait dengan representasi, penyimpanan, organisasi dan pengambilan informasi sehingga dapat bermanfaat bagi manusia (Taylor, 1999). Sejak tahun 1940-an, masalah pada penyimpanan dan temu-kembali informasi mendapat banyak perhatian. Permasalahannya sederhana, limpahan informasi menyebabkan kecepatan dan akurasi akses menjadi lebih sulit. Hal ini menyebabkan relevansi informasi menjadi kurang terungkap dan akibatnya banyak duplikasi pekerjaan. Dengan adanya komputer, muncullah pemikiranpemikiran untuk membuat sistem pengambilan informasi yang cerdas dan cepat dengan memanfaatkan kemampuan komputer (Rijsbergen, 1979). Proses penyimpanan dan pengambilan informasi pada prinsipnya sederhana. Misalkan ada koleksi dokumen dan pengguna koleksi yang memformulasikan pertanyaan (permintaan atau query) dengan jawaban berupa satu set dokumen yang memenuhi kebutuhan informasi. Pencari informasi dapat memperoleh jawaban dengan membaca seluruh koleksi dokumen satuper-satu, menyimpan informasi yang relevan dan mengabaikan yang lainnya. Secara naluri, hal tersebut merupakan proses pengambilan informasi yang sempurna, akan tetapi tidak praktis. Pencari informasi tentu tidak punya cukup waktu atau tidak ingin menghabiskan waktu dengan membaca seluruh koleksi dokumen dan secara fisik hal tersebut tidak mungkin dilakukan. 6

23 Ketika komputer berkecepatan tinggi tersedia untuk pekerjaan nonnumerik, banyak yang meramalkan bahwa komputer akan mampu menyamai kemampuan manusia dalam membaca seluruh koleksi dokumen dan mengekstrak dokumen yang relevan. Seiring dengan waktu, lambat laun terlihat bahwa proses pembacaan dan ekstraksi dokumen tidak hanya melibatkan proses penyimpanan dan pencarian, tetapi juga proses karakterisasi isi dokumen yang jauh lebih rumit. Proses karakterisasi dokumen secara otomatis oleh perangkat lunak yang coba didekati dengan meniru cara manusia membaca masih sulit sulit dilakukan. Membaca melibatkan proses ekstraksi informasi (secara sintaks dan semantik) dari teks dan menggunakannya untuk menentukan apakah dokumen relevan atau tidak dengan permintaan. Kesulitan bukan hanya pada ekstraksi dokumen, tetapi juga pada proses penentuan relevansi dokumen. Tujuan dari strategi temu-kembali informasi otomatis adalah menemukan semua dokumen yang relevan dan pada saat yang bersamaan mengurangi jumlah dokumen terambil yang tidak-relevan semaksimal mungkin. Bagi manusia, membuat keterkaitan dokumen dengan query dapat dengan mudah dilakukan. Tetapi kalau mau dilakukan oleh komputer, kita harus membangun model matematika yang dapat menghitung relevansi dokumen dan banyak riset pada temu kembali informasi berkonsentrasi pada aspek ini. Sistem temu-kembali informasi memiliki dua fungsi utama : menilai tingkat relevansi dokumen-dokumen dengan query pengguna dan 7

24 menampilkan dokumen yang dinilai memuaskan. Untuk mendapatkan hasil yang baik, query harus tepat menangkap keinginan pengguna (Horng et. al., 2005). Untuk mencapai hal tersebut, beberapa alternatif pendekatan dalam melakukan organisasi dokumen telah dikembangkan beberapa tahun belakangan ini. Kebanyakan pendekatan dilakukan berdasarkan visualisasi dan presentasi dari keterkaitan antar dokumen, istilah (term) dan query pengguna. Salah satu pendekatan adalah document clustering (Leuski, 2001). B. Dokumen Berbahasa Indonesia Bahasa Indonesia secara historis merupakan varian bahasa melayu yang kini juga digunakan di wilayah yang luas meliputi Indonesia, Singapura, Brunei Darussalam, Malaysia, bagian selatan Thailand, bagian selatan Filipina, dan beberapa tempat di Afrika Selatan. Bahasa melayu diangkat menjadi bahasa persatuan di Indonesia pada 28 Oktober 1928 dalam peristiwa yang disebut Sumpah Pemuda. Sejak saat itu, bahasa melayu yang digunakan di wilayah Indonesia sekarang mulai dinamai Bahasa Indonesia. Namun, secara resmi penyebutan bahasa Indonesia sebagai bahasa resmi di Indonesia baru muncul pada 18 Agustus 1945 ketika konstitusi Indonesia diresmikan. Saat ini bahasa Indonesia mengalami perkembangan yang sangat luas. secara sosial, jumlah penutur bahasa Indonesia saat ini telah mencapai juta jiwa. Secara fungsional bahasa Indonesia telah digunakan di lingkungan baik secara lisan maupun tulisan di masyarakat luas, secara formal dan informal di institusi pemerintahan dan swasta. Dokumen berbahasa Indonesia digunakan secara luas dibidang pemerintahan, perekonomian, hukum, pendidikan, iptek, seni budaya dan lain-lain (Arifin & Tasai, 2004). Oleh 8

25 karena itu, dokumen berbahasa Indonesia sangat banyak jumlahnya. Untuk menemukan dokumen dalam bahasa Indonesia, mesin pencari memegang peranan sangat penting. Penelitian dalam sistem temu kembali informasi banyak dilakukan pada dokumen bahasa Inggris. Walaupun sama-sama menggunakan huruf latin, bahasa Indonesia memiliki tata bahasa yang berbeda dengan bahasa Inggris. Sehingga perlu dilakukan penelitian yang lebih mengkhususkan pada bahasa Indoenesia. Penelitian sistem temu kembali informasi dalam bahasa Indonesia sudah banyak dilakukan, antara lain : Arifin (2002) Jika pada riset IR banyak yang fokus pada algoritma untuk mengklasifikasikan dokumen, Arifin melakukan penelitian pada upaya penghematan memori dan waktu dalam proses pembobotan dokumen. Dalam hal ini, Arifin menerapkan algoritma Digital Tree Hibrida pada algoritma pembobotan Tf-Idf yang ternyata berhasil mengurangi waktu pembobotan. Arifin & Setiono (2002) Arifin & Setiono membahas penggunaan algoritma Single Pass Clustering dalam bahasa Indonesia. Berdasarkan hasil perocobaan, algoritma Single-Pass ternyata cukup handal untuk mengelompokkan berita kejadian (event) dalam bahasa Indonesia. Penelitian sudah menggunakan algoritma Porter untuk steming, hanya tidak dilakukan perbandingan dengan algoritma lainnya. Tala (2003) Merupakan sebuah tesis membahas efektifitas penggunaan algoritma stemming Porter dalam bahasa Indonesia beserta efeknya, terutama dalam 9

26 temu kembali informasi. Hasil penelitian menemukan adanya beberapa masalah dalam penerapan algoritma Porter dalam bahasa Indonesia yang ditimbulkan karena ambiguitas beberapa kata dalam bahasa Indonesia. Selain itu, ditemukan bukti bahwa stemming tidak meningkatkan kinerja (precision & recall) temu kembali informasi. Tala juga membuat daftar kata buangan (stop list) yang disusun berdasarkan hasil analisa frekuensi kemunculan kata dalam bahasa Indonesia. Fahmi (2004) Penelitian yang dilakukan Fahmi bertujuan untuk mengetahui apakah Machine Learning cocok digunakan pada dokumen berbahasa Indonesia. Fahmi membandingkan 3 algoritma Pembelajaran Mesin (Machine Learning) untuk mengklasifikasikan dokumen. Adapun algoritma yang dibandingkan adalah ID3, Instance Based Learning dan Naïve Bayes. Hasil penelitian menunjukkan algoritma Instance Based memiliki kinerja yang paling baik. C. Clustering Clustering adalah proses pengelompokan data ke dalam cluster berdasarkan parameter tertentu sehingga obyek-obyek dalam sebuah cluster memiliki tingkat kemiripan yang tinggi satu sama lain dan sangat tidak mirip dengan obyek lain pada cluster yang berbeda (Kantardzic, 2001). Berbeda dengan klasifikasi, clustering tidak memerlukan kelas yang telah didefinisikan sebelumnya atau kelas hasil training, dengan demikian clustering dinyatakan sebagai bentuk pembelajaran berdasarkan observasi dan bukan berdasarkan contoh (Jiawei & Kamber, 2001). 10

27 Tahapan Clustering Clustering secara umum memiliki tahapan sebagai berikut (Jain et. al, 1999) : 1. Representasi Pola 2. Pengukuran Kedekatan Pola (Pattern Proximity) 3. Clustering 4. Abstraksi Data (jika dibutuhkan) 5. Penilaian Output (jika dibutuhkan). Adapun penjelasan dari tahapan-tahapan di atas adalah sebagai berikut : 1. Representasi Pola Ada beberapa model yang dapat digunakan untuk merepresentasikan dokumen dan secara umum dibagi menjadi dua kelompok, yaitu model klasik dan model alternatif. Model klasik terdiri dari model Boolean, model Ruang Vektor dan model Probabilistik. Model alternatif yang merupakan pengembangan dari model klasik, terdiri atas : Model Himpunan Fuzzy, Extended Boolean, Model Ruang Vektor General dan Jaringan Bayes (Baeza-Yates & Ribeiro-Neto, 1999). Pada penelitian ini, digunakan dua model representasi, yaitu model Boolean untuk menemukan dokumen dan model Ruang Vektor untuk representasi dokumen. a. Model Boolean Model boolean merepresentasikan dokumen sebagai suatu himpunan kata-kunci (set of keywords). Sedangkan query direpresentasikan sebagai ekspresi boolean. Query dalam ekspresi 11

28 boolean merupakan kumpulan kata kunci yang saling dihubungkan melalui operator boolean seperti AND, OR dan NOT serta menggunakan tanda kurung untuk menentukan scope operator. Hasil pencarian dokumen dari model boolean adalah himpunan dokumen yang relevan. Kekurangan dari model boolean ini antara lain : 1. Hasil pencarian dokumen berupa himpunan, sehingga tidak dapat dikenali dokumen-dokumen yang paling relevan atau agak relevan (partial match). 2. Query dalam ekspresi boolean dapat menyulitkan pengguna yang tidak mengerti tentang ekpresi boolean. Walaupun demikian, karena sifatnya yang sederhana, hingga saat ini model Boolean masih dipergunakan oleh sistem temu kembali informasi modern, antara lain oleh (Dominich, 2003). Kekurangan dari model boolean diperbaiki oleh model ruang vektor yang mampu menghasilkan dokumen-dokumen terurut berdasarkan kesesuaian dengan query. Selain itu, pada model ruang vektor query dapat berupa sekumpulan kata-kata dari penguna dalam ekspresi bebas. b. Model Ruang Vektor Pada Model Ruang Vektor, teks direpresentasikan oleh vektor dari term (kata atau frase). Misalkan terdapat sejumlah n kata yang berbeda sebagai kamus kata (vocabulary) atau indeks kata (terms index). Kata-kata ini akan membentuk ruang vektor yang memiliki 12

29 dimensi sebesar n. Setiap kata i dalam dokumen atau query diberikan bobot sebesar wi. Baik dokumen maupun query direpresentasikan sebagai vektor berdimensi n. Sebagai contoh terdapat 3 buah kata (T1, T2 dan T3), 2 buah dokumen (D1 dan D2) serta sebuah query Q. Masing-masing bernilai : D1 = 2T1+3T2+5T3 D2 = 3T1+7T2+0T3 Q = 0T1+0T2+2T3 Maka representasi grafis dari ketiga vektor ini adalah : Gambar 2.1 Representasi dokumen dan query dalam ruang vektor Koleksi dokumen direpresentasi pula dalam ruang vektor sebagai matriks kata dokumen (terms-documents matrix). Nilai dari elemen matriks wij adalah bobot kata idalam dokumen j 13

30 Misalkan terdapat sekumpulan kata T sejumlah n, yaitu T = (T1, T2,, Tn) dan sekumpulan dokumen D sejumlah m, yaitu D = (D1, D2,, Dm) serta wi j adalah bobot kata i pada dokumen j (Gambar 2). Gambar 2.2 Matriks Representasi Dokumen Untuk memberikan bobot numerik terhadap dokumen yang diquery, model mengukur vektor query dan vektor dokumen. Ada beberapa teknik untuk menghitung bobot. Yang paling banyak digunakan adalah Term Frekuensi (TF), Term Frekuensi Inverse Document Frequency (TFIDF) dan Salton. Pada Tf, bobot kata dinyatakan sebagai nilai log dari frekuensi kata pada dokumen. Tf d = log (1 + t d ), (1) Tf d = Nilai kata t pada dokumen d t d = frekuensi kata t pada dokumen d. Tf-Idf merupakan pengembangan dari formula Tf, dengan memasukkan unsur frekuensi dokumen. Frekuensi dokumen adalah jumlah dokumen yang memiliki term t minimal 1. Formula Tf-Idf adalah : 14

31 TfIdf N = Tf log (2) dft N = Jumlah seluruh dokumen dft = Jumlah dokumen yang memiliki kata t Dibandingkan Tf dan TfIdf, formula Salton merupakan formula yang memiliki unsur paling lengkap. Selain nilai frekuensi dan dokumen frekuensi kata, Salton juga memasukkan jumlah kata pada dokumen dan nilai frekuensi maksimum kata pada dokumen. Secara lengkap, formula Salton dinyatakan sebagai : w _ term _ doc( t, d ) = i k f ti N log Max f ki d ft k = 1,2,..., L f ji Max = L log 1,2,..., Max f ki k = 1,2,..., L N d fj (3) f it = frekuensi kemunculan istilah t pada dokumen d i d ft = jumlah dokumen yang mengandung istilah t L = jumlah istilah yang terdapat pada dokumen d i N = jumlah dokumen Semakin besar nilai w_term_doc(t,d i ), semakin penting istilah t pada dokumen d i. Nilai w_term_doc(t,d i ) dinormalkan sehingga bernilai antara 0 dan 1. Setelah bobot istilah pada setiap dokumen dihitung, dokumen d i dapat direpresentasikan sebagai vektor dokumen : dimana w ij = w_term_doc(t j, d i ) d = w w,..., w i, i1 i2 is merupakan bobot istilah t j pada dokumen d i ( 0 w 1) dan s adalah jumlah istilah dari semua dokumen. Sehingga akhirnya kita ij 15

32 memiliki matriks U berukuran n x s dimana n adalah jumlah dokumen. Penentuan relevansi dokumen dengan query dipandang sebagai pengukuran kesamaan (similarity measure) antara vektor dokumen dengan vektor query. Semakin sama suatu vektor dokumen dengan vektor query maka dokumen dapat dipandang semakin relevan dengan query. Salah satu pengukuran kesesuaian yang baik adalah dengan memperhatikan perbedaan arah (direction difference) dari kedua vektor tersebut. Perbedaan arah kedua vektor dalam geometri dapat dianggap sebagai sudut yang terbentuk oleh kedua vektor. Gambar 3 mengilustrasikan kesamaan antara dokumen D1dan D2 dengan query Q. Sudut θ 1 menggambarkan kesamaan dokumen D1 dengan query sedangkan sudut θ 2 mengambarkan kesamaan dokumen D2 dengan query. Gambar 2.3 Representasi grafis sudut antara vektor dokumen dan query 16

33 Jika Q adalah vektor query dan D adalah vektor dokumen, yang merupakan dua buah vektor dalam ruang berdimensi-n, dan θ adalah sudut yang dibentuk oleh kedua vektor tersebut. Maka Q D = Q D cos θ 2 Q D adalah hasil perkalian dalam (inner product) kedua vektor, n 2 D = Di dan Q = i= 1 n 2 Qi merupakan panjang vektor atau i= 1 jarak Euclidean suatu vektor dengan titik nol. Perhitungan kesamaan kedua vektor adalah sebagai berikut : Sim(Q,D) = cos(q,d) = n Q D 1 = Qi Di Q D D Q i= 1 Metode pengukuran kesesuaian ini memiliki beberapa keuntungan, yaitu adanya normalisasi terhadap panjang dokumen. Hal ini memperkecil pengaruh panjang dokumen. Jarak Euclidean (panjang) kedua vektor digunakan sebagai faktor normalisasi. Hal ini diperlukan karena dokumen yang panjang cenderung mendapatkan nilai yang besar dibandingkan dengan dokumen yang lebih pendek. Proses pemeringkatan dokumen dapat dianggap sebagai proses pengukuran vektor dokumen terhadap vektor query, ukuran kedekatan ditentukan oleh kosinus sudut yang dibentuk. Semakin besar nilai kosinus, maka dokumen dianggap semakin sesuai query. Nilai kosinus sama dengan 1 mengindikasikan dokumen sesuai dengan dengan query. 17

34 Model Ruang Vektor memiliki keunggulan antara lain : (1) skema pembobotan term dapat meningkatkan kinerja pengambilan (2) strategi partial matching memungkinkan penemuan dokumen yang mendekati query (3) formula kosinus dapat memberikan peringkat dokumen yang terambil berdasarkan kemiripan dengan query. Adapun kekurangan dari model ini adalah belum menangani term yang memiliki relasi dan proses perhitungan terhadap seluruh koleksi dokumen dapat memperlambat proses pencarian. c. Model Probabilistik Model probabilistik mencoba menangkap masalah IR melalui prinsip peluang. Jika ada query q dan sebuah dokumen dj pada koleksi, model probabilistik mencoba menduga peluang pengguna menemukan dokumen dj yang dicari. Model berasumsi bahwa peluang relevansi hanya ditentukan oleh query dan representasi dokumen. Selanjutnya, model berasumsi bahwa ada subset himpunan dokumen yang pengguna lebih pilih sebagai jawaban query q. Jawaban ideal ini diberi label R dan bernilai maksimum diantara keseluruhan peluang relevansi dokumen. Dokumen pada R diduga relevan dan yang selainnya disebut tidak relevan. Nilai kemiripan sebauh dokumen dj terhadap query q dinyatakan dalam : Sim(d j,q) t w xw _ P( ki R) 1 P( ki R) x log + log _ 1 P( ki R) P( ki R i, q i, j i = 1 ) 18

35 P( k i R) merupakan peluang term k i ada pada dokumen yang dipilih secara acak dari himpunan R. Karena pada awalnya kita tidak mengetahui himpunan R, maka dibutuhkan sebuah metode untuk menentukan nilai awal P( k i R) dan P( k i R). Pada saat permulaan _ sekali, diasumsikan nilai P( k i R) = 0.5 dan _ P( ki R) = ni N dengan ni = jumlah dokumen yang mengandung term ki dan N adalah total seluruh dokumen. Selanjutnya nilai peringkat dapat diperbaiki menjadi : Vi P( ki R) = dan V _ ni Vi P( ki R) = N V Formula terakhir untuk P( k i R) dan P( k i R) untuk nilai Vi dan V yang sangat kecil (misalkan V = 1 dan Vi = 0) adalah : _ ni Vi + P( k R) = N i dan V + 1 P( k i ni _ ni Vi + R) = N N V + 1 Model probabilistik memiliki keunggulan : dokumen dapat diberikan peringkat secara menurun berdasarkan peluang sebuah dokumen relevan terhadap query. Adapun kekurangannya adalah (1) perlu menduga pembagian awal dokumen terhadap himpunan yang relevan dan non-relevan. (2) tidak memperhitungkan frekuensi term pada dokumen (3) asumis bahwa term saling independen satu sama lain 19

36 d. Model Alternatif Ketiga model tersebut di atas merupakan model klasik yang sudah cukup lama dikembangkan. Selain model tersebut, juga terdapat model alternatif yang merupakan pengembangan dari model klasik, antara lain : Model Himpunan Fuzzy, Extended Boolean, Model Ruang Vektor General dan Jaringan Bayes (Baeza-Yates & Ribeiro-Neto, 1999). 2. Pengukuran Kedekatan Pola (Pattern proximity) Kedekatan pola diukur berdasarkan fungsi jarak antara dua ciri. Jarak digunakan untuk mengukur ke(tidak)miripan antara dua obyek data. Kemiripan merupakan salah satu landasan dari definisi cluster. Ada banyak cara untuk menghitung jarak, namun pada tesis ini hanya akan dibahas tiga jarak yang paling banyak digunakan. Dan diantara ketiga jarak tersebut, yang paling populer adalah jarak Euclid. a. Jarak Minkowski Didefinisikan sebagai : d q q q q ( i, j) = ( xi x j1 + xi2 x j xip x jp ) 1 (4) dengan d(i,j) = jarak Minkowski antara data ke-i dan data ke-j, x = obyek data, p = banyaknya atribut data, dan q adalah bilangan bulat positif, b. Jarak Manhattan Jarak Manhattan merupakan kasus khusus (q=1)dari Jarak Minkowski. 20

37 d ( i j) = xi x j + xi x j xip x jp, , (5) c. Jarak Euclid Sama seperti Jarak Manhattan, jarak Euclid merupakan kasus khusus dari jarak Minkowsi dengan q=2 d ( i, j) ( xi 1 x j1 + xi2 x j xip x jp ) =. (6) 3. Clustering Dilihat dari struktur data yang dihasilkan, metode clustering dapat dikelompokkan menjadi berjenjang (hierarcy) dan partisi (partition). Algoritma clustering berjenjang dibagi dua, agglomerative (bottom-up) dan divisive (top-down). Algoritma aglomerative (Agglomerative Hierarchical Clustering (AHC) merupakan salah satu algoritma berjenjang yang banyak dipakai untuk document clustering (Mendes & Sacks, 2003). Pembagian metode clustering selengkapnya dapat dilihat pada Gambar 2.1. Pada level yang paling atas, ada pendekatan hirarki dan partisi (metode hirarki menghasilkan partisi yang bertingkat, sedangkan metode partisi hanya menghasilkan satu tingkat). 21

38 Clustering Hirarki Partisi Single Link Complete Link Error Kuadrat Teori Graf Mixture Resolving Mode Seeking K-means Expectation Maximation Gambar 2.4 Taksonomi Metode Clustering (Jain et. al., 1999). 3.1 Algoritma Clustering Hirarki Kebanyakan algoritma clustering hirarki merupakan variasi dari algoritma Single-Link dan Complete-Link. Kedua algoritma ini memiliki perbedaan pada cara menentukan jarak antara dua cluster. Pada metode single-link, jarak antara dua cluster adalah jarak minimum antara sepasang pola (satu pola dari satu cluster dan lainnya dari cluster kedua). Pada algoritma complete-link, jarak antara dua cluster adalah jarak maksimum antara sepasang pola pada dua cluster. Algoritma Clustering Agglomerative Hirarki : 1. Jadikan setiap dokumen sebagai cluster, sehingga jika ada n data, akan dihasilkan cluster sebanyak n. 2. Gabungkan dua cluster yang memiliki derajat kemiripan paling besar (jarak terkecil) menjadi satu cluster 3. Jika derajat kemiripan antara dua cluster kurang dari ambang batas α, dengan nilai α [0,1] maka berhenti, bila tidak maka kembali ke langkah 2 22

39 3.2 Algoritma Clustering Partisi Algoritma clustering partisi menghasilkan partisi satu level dan bukan struktur cluster berjenjang seperti Dendogram yang dihasilkan oleh algoritma hirarki. Metode partisi memiliki keunggulan pada aplikasi yang melibatkan data yang sangat besar yang apabila menggunakan Dendogram sangat memakan waktu komputasi. Masalah yang muncul pada saat menggunakan algoritma clustering adalah menentukan jumlah cluster yang diinginkan. Metode partisi biasanya menghasilkan cluster dengan mengoptimalkan fungsi kriteria yang didefinisikan secara lokal (pada sub pola) atau secara global (pada seluruh pola). a. Error Kuadrat Fungsi kriteria yang paling sering digunakan pada metode clustering partisi adalah fungsi error kuadrat (e 2 ). Tujuan dari algoritma ini adalah meminimalkan fungsi error kuadrat : 2 K n j 2 j e = xi c j, (7) j= 1 i= 1 dengan j xi adalah pola i pada cluster j dan c j adalah pusat (centroid) cluster j. K-Means adalah algoritma yang menerapkan fungsi error kuadrat yang paling sederhana dan paling banyak dipakai. Algoritma K-Mean populer karena : (a) implementasinya mudah (b) kompleksitas waktunya adalah O(n), dengan n adalah jumlah pola dan (c) kompleksitas ruang memori adalah O(k+n). 23

40 Permasalahan pada algoritma ini adalah sangat peka terhadap partisi awal (inisial) dan jika partisi inisial tidak dipilih secara tepat, algoritma dapat konvergen pada lokal minimum. Kekurangan Algoritma K-Means lainnya adalah (a) hanya bisa diterapkan jika rataan (mean) dapat didefinisikan, (b) perlu menentukan nilai k (jumlah cluster) dan (c) tidak dapat menangani data yang noisy dan pencilan. Algoritma K-Means : 1. Pilih titik sebanyak K sebagai pusat inisial (K = jumlah cluster) 2. Letakkan semua titik pada pusat terdekat 3. Tentukan kembali pusat pada setiap cluster 4. Ulangi langkah 2 dan 3 hingga centroid tidak berubah b. Teori Graf Algoritma clustering teori graf dibangun berdasarkan pembentukan Minimum Spanning Tree (MST) data dan cluster dibentuk dengan memutus rusuk MST dengan panjang terbesar. Gambar 2.2 menggambarkan MST yang dihasilkan dari 9 titik berdimensi dua. Dengan memutus link CD dengan panjang 6 unit (rusuk dengan jarak Euclid terbesar) akan diperoleh dua cluster ({A,B,C}) dan {D,E,F,G,H,I}). Cluster kedua, selanjutnya dapat dibagi lagi menjadi dua cluster dengan memutus rusuk EF, yang memiliki panjang 5 unit. Algoritma clustering teori graf termasuk algoritma divisive. 24

41 G 2.3 H 2 I 1 F 5 A B 2 2 C 6 E 1 D Rusuk dengan panjang maksimum Gambar 2.5 Penggunaan MST untuk membentuk cluster (Jain et al, 1999). c. Mixture Resolving Pendekatan Mixture-Resolving untuk clustering memiliki asumsi bahwa pola yang akan dijadikan cluster berasal dari satu atau beberapa sebaran (Normal, Poisson dan (paling banyak) Gaussian). Tujuan dari algoritma ini adalah untuk mengidentifikasi parameter-parameter dari sebaran-sebaran ini. (Grira et. al., 2004). Taksonomi clustering (Gambar 2.1) juga memerlukan pembahasan aspek-aspek lain yang dapat mempengaruhi metode-metode clustering tanpa memperhatikan posisi metode clustering pada taksonomi (Jain et. al., 1999). Antara lain : a. Agglomerative vs divisive: Aspek ini berkaitan dengan struktur algoritma dan operasi. Pendekatan agglomerative diawali dengan menjadikan setiap pola sebagai sebuah cluster dan terus-menerus menggabungkan cluster hingga kriteria pemberhentian terpenuhi. Metode divisive diawali dengan menggabungkan semua pola sebagai 25

42 satu cluster dan dilakukan pemecahan hingga kriteria pemberhentian terpenuhi. b. Monothetic vs polythetic: aspek ini berkaitan dengan penggunaan ciri pada proses clustering secara bersamaan atau satu persatu. Kebanyakan algoritma bersifat polythetic, artinya semua ciri dimasukkan dalam perhitungan jarak antara pola dan keputusan diambil berdasarkan jarak tersebut. Sedangkan monothetic, ciri diambil satu persatu untuk membentuk cluster. Masalah utama dengan algoritma ini adalah ia menghasilkan 2 d cluster (d adalah dimensi pola). Pada aplikasi temu-kembali informasi, untuk nilai d yang besar (d > 100), jumlah cluster yang dihasilkan oleh algoritma monothetic sangat banyak sehingga data terpecah menjadi cluster yang kecil. c. Hard vs fuzzy: algoritma clustering tegas menempatkan setiap pola pada sebuah cluster baik selama proses maupun sebagai hasil akhir. Metode fuzzy clustering memberikan pola derajat keanggotaan pada beberapa cluster. Metode fuzzy clustering dapat diubah menjadi clustering yang tegas dengan menjadikan pola sebagai anggota sebuah cluster yang memiliki derajat keanggotaan terbesar. d. Supervised vs unsupervised: Aspek ini penentuan jumlah cluster. Algoritma terawasi (supervised) adalah algoritma clustering yang jumlah cluster yang akan dihasilkan sudah ditentukan sebelumnya (melalui input manual). Sedangkan algoritma tak-terawasi (unsupervised), banyaknya cluster tidak ditentukan (algoritma yang menentukan). 26

43 e. Incremental vs non-incremental: isu ini muncul ketika pola yang akan dikelompokan sangat besar ukurannya dan ada pembatasan waktu eksekusi atau ruang memori yang mempengaruhi arsitektur algoritma. 4. Representasi Cluster Merupakan proses deskripsi atau pemberian nama kepada cluster yang dihasilkan. Ada tiga cara atau skema representasi cluster : (a) representasi cluster dengan pusat (centroid) cluster atau sejumlah titik yang berjauhan pada cluster (Gambar 2.3), (b) representasi cluster menggunakan nodes pada pohon klasifikasi dan (c) Representasi cluster menggunakan ekspresi logika conjunctive (Gambar 2.4). Dari ketiga skema representasi cluster, penggunaan centroid merupakan teknik yang paling populer (Michalski et. al., 1981). Representasi cluster memiliki fungsi antara lain untuk : (a) memberikan deskripsi cluster yang sederhana dan intuitive sehingga memudahkan pemahaman manusia, (b) membantu kompresi data yang dapat dieksploitasi oleh komputer (c) meningkatkan efisiensi pengambilan keputusan (Jain et. al., 1999). X1 Dengan Centroid X2 Dengan tiga titik berjauhan Gambar 2.6 Representasi cluster menggunakan titik (Jain et. al., 1999). 27

44 Gambar 2.7 (a) Representasi cluster menggunakan Pohon Klasifikasi dan (b) Pernyataan Conjunctive (Jain et. al., 1999). D. Sistem Fuzzy 1. Gugus Fuzzy Gugus Fuzzy pertama kali diperkenalkan oleh Prof. L. A. Zadeh dari Berkley pada tahun Pada 10 tahun pertama. Gugus fuzzy merupakan pengembangan dari gugus biasa. Rerpresentasi abstrak dari sebuah gugus universal tampak seperti pada Gambar 2.5. X x Gambar 2.8 Anak Gugus Fuzzy (Marimin, 2005) Bingkai persegi panjang merepresentasikan gugus universal X, dan lingkaran yang terputus-putus menggambarkan batas ambigous dari elemen yang terdapat di dalam atau diluar X, sedangkan A adalah gugus fuzzy dalam X. 28

45 Teori gugus fuzzy mendefinisikan derajat di mana elemen x dari gugus univerasal X berada (tercakup) di dalam gugus fuzzy A. Fungsi yang memberikan derajat terhadap sebuah elemen mengenai keberadaannya dalam sebuah gugus disebut fungsi keanggotaan. Dalam kasus ini, anggota dari gugus X adalah elemen x. Sebagai contoh, derajat keanggotaan dari elemen x dalam area A diekspresikan oleh : µ A (x 1 ) = 1, µ A (x 2 ) = 0.8 µ A (x 3 ) = 0.3, µ A (x 4 ) = 0 µ A adalah fungsi keanggotaan yang memberikan derajat keanggotaan yang berada pada suatu selang tertentu, yaitu selang [0,1]. Tulisan subscript di sebelah µ, yaitu A, menunjukkan bahwa µ A adalah fungsi keanggotaan dari A (Marimin, 2005). 2. Fungsi Keanggotaan Salah satu cara yang dapat digunakan untuk mendapatkan nilai keanggotaan adalah dengan melalui pendekatan fungsi. Beberapa fungsi yang dapat digunakan adalah sebagai berikut (Kusumadewi, 2003): a. Kurva Triangular Fungsi keanggotaan dari kurva triangular adalah seperti pada persamaan (6) dan gambar kurvanya seperti pada Gambar , x a atau x c µ, a x b (8) [ x] = ( ) ( ) x a / b a ( c x) /( c b), b x c 29

46 Gambar 2.9 Kurva triangular untuk a=3, b=6, dan c=8 b. Kurva Trapezoidal Kurva trapezoidal mempunyai fungsi keanggotaan sebagai berikut: 0, x a atau x d ( x a), a x b [ ] ( b a) µ x = (9) 1, b x c ( d x), c x d ( d c) Gambar 2.10 Kurva trapezoidal untuk a=1, b=5, c=7, dan d=8 c. Kurva Generalizzed bell Untuk kurva Generalzzed bell, fungsi keanggotaannya terlihat pada persamaan (8) dengan gambar kurva pada Gambar

47 1 µ [ x] = (10) 2b x c 1+ a Gambar 2.11 Kurva Generalizzed bell untuk a=2, b=4, dan c=6 d. Kurva Gaussian Fungsi keanggotaan Gaussion seperti terlihat pada persamaan (9) dengan gambar kurva seperti terlihat pada Gambar 2.9. µ [ x] ( x c) 2 2 2σ = e (11) Gambar 2.12 Kurva Gaussian untuk σ=2 dan c=5 31

48 e. Kurva Two-sided Gaussian Kurva Two-sided Gaussian mempunyai fungsi keanggotaan seperti pada persamaan (10) dan gambar kurva seperti pada Gambar µ [ x] ( x c ) 2 2 2σ = e (12) Fungsi Two-sided Gaussian merupakan kombinasi dua kurva Gaussian. Kurva pertama dengan parameter σ1 dan c1 berada disebelah kiri. Kurva kedua ada dengan parameter σ2 dan c2 berada disebelah kanan. Daerah antara c1 dan c2 harus bernilai 1. Gambar 2.13 Kurva Two-sided Gaussian untuk σ1=2, c1=4 dan σ2=1, c2=8 f. Kurva S Kurva S mempunyai fungsi keanggotaan seperti pada persamaan (11) dengan gambar kurva pada Gambar

49 33 [ ] + + = b x b x b a a b x b b a x a a b a x a x x, 1 2, 2 1 2, 2, µ (13) Gambar 2.14 Kurva S untuk a=1 dan b=8 E. Fuzzy Clustering Proses clustering pada dasarnya merupakan proses pembuatan gugus atau himpunan yang memiliki anggota elemen-elemen yang akan dicluster. Pada algoritma clustering non-fuzzy, nilai keanggotaan suatu elemen terhadap gugus atau cluster dinyatakan sebagai 0 atau 1, artinya setiap dokumen hanya bisa menjadi anggota satu cluster (1 sebagai anggota dan 0 bukan anggota). Padahal, pada temu kembali informasi, dokumen dapat memiliki informasi yang relevan (dengan derajat tertentu) dengan beberapa cluster yang berbeda. Dengan fuzzy clustering, dokumen dapat menjadi anggota beberapa cluster sekaligus. Algoritma fuzzy clustering untuk document clustering masih menjadi salah satu topik yang menarik untuk dieksplorasi.

50 1. Fuzzy C-Means (FCM) Ada beberapa algoritma fuzzy clustering, salah satu diantaranya adalah Algoritma Fuzzy C-Means (FCM). FCM adalah suatu teknik clustering data dengan keberadaan setiap titik data dalam suatu cluster ditentukan oleh derajat keanggotaan. Teknik ini pertama kali diperkenalkan oleh Jim Bezdek (Bezdek, 1981). Algoritma FCM diawali dengan menentukan derajat keanggotaan (secara acak) setiap titik data terhadap cluster. Berdasarkan derajat keanggotaan, kemudian ditentukan pusat cluster. Pada kondisi awal, pusat cluster tentu saja masih belum akurat. Derajat keanggotaan selanjutnya diperbaiki berdasarkan fungsi jarak antara titik data dengan pusat cluster (Nascimento et. al., 2003). Dengan memperbaiki pusat cluster dan derajat keanggotaan tiap titik data secara berulang dan terus menerus, maka pusat cluster akan bergeser ke titik yang tepat (dengan kondisi total jarak antara titik data dengan pusat cluster telah mencapai nilai yang diinginkan). Output FCM adalah deretan pusat cluster dan derajat keanggotaan data terhadap setiap cluster (Kusumadewi dan Purnomo, 2004). Algoritma FCM Algoritma FCM adalah sebagai berikut (Kusumadewi & Purnomo, 2004) : 1 Tentukan X sebagai input data yang akan dijadikan cluster dalam bentuk matriks berukuran n x m; dimana n = jumlah sampel data dan 34

51 m = jumlah atribut setiap data. X ij = data sample ke-i (i= 1,2,3, n), atribut ke-j (j = 1,2,3,,m). 2 Tentukan : - Jumlah cluster = c; - Pangkat = w; - Maksimum iterasi = MaxIter; - Error terkecil yang diinginkan = ξ ; - Fungsi obyektif awal = P 0 = 0; - Iterasi awal = t = 1; 3 Bangkitkan bilangan random u ik, i = 1,2,..,n; k=1,2,...,c; sebagai elemen-elemen matriks partisi awal U. Hitung jumlah setiap kolom (atribut) : c Q j = u ik k = 1 j=1,2,,m (14) uik µ ik = Kemudian hitung : Q (15) 4 Hitung pusat cluster ke-k : V kj, dengan k=1,2,,c; dan j=1,2,,m. V n ik i= 1 kj = n w ( µ ) * X ) ( µ ik ) i= 1 w ij j (16) 5 Hitung fungsi keanggotaan pada iterasi ke-t, Pt : µ ik = m ( X ij Vkj ) c m ( X ij Vkj ) k = 1 j= 1 j= w w 1 (17) 35

52 6 Hitung perubahan matriks partisi : n c m P t = ij kj µ ik i= 1 k = 1 j= 1 2 w ( X V ) ( ) (18) dengan: i=1,2,...,n; dan k=1,2,...,c. 7 Periksa kondisi berhenti : - Jika: ( Pt Pt-1 < ξ) atau (t > maxiter) maka berhenti; - Jika tidak: t = t + 1, ulangi langkah ke-4 2. Hyperspherical Fuzzy C-Means Jarak Euclid yang sering digunakan pada algoritma FCM, ternyata bukan merupakan ukuran yang paling cocok untuk membandingkan vector dokumen. Adapun penjelasannya adalah sebagai berikut : misalkan ada dua dokumen X A dan X B yang terdiri dari set term T sebanyak k dengan asumsi kebanyakan term pada T (k ) tidak muncul pada X A dan X B. Diasumsikan juga vektor X A dan X B tidak memiliki term yang sama. Sehingga X A dan X B memiliki banyak memiliki nilai 0 dan jarak Euclid antara keduanya relatif kecil. XA dan XB dinyatakan mirip, padahal yang sesungguhnya tidak. Masalah pada fungsi Euclid adalah ketiadaan term pada dua dokumen dianggap sama dengan kehadiran term yang sama pada dua dokumen. Oleh karena itu, perlu dipikirkan cara atau metode lain yang lebih baik dari jarak Euclid. Mendez & Sacks (2003), mencoba menggunakan Ukuran Kemiripan Kosinus (Cosine Similarity) untuk menggantikan jarak Euclid. Ukuran Kosinus ( ) adalah inner product dari vektor ( dan ) 36

53 setelah dinormalisasi ( ). Semakin tinggi nilai kosinus, semakin tinggi derajat kemiripan antar dokumen. (19) memiliki sifat : dan Dengan transformasi sederhana, diperoleh ukuran ketidakmiripan : (20) dan Berdasarkan eksperimen, Mendes & Sacks (2003) berhasil membuktikan bahwa Ukuran Kemiripan Kosinus menghasilkan hasil cluster yang lebih baik dibandingkan dengan Jarak Euclid. Adapun fungsi obyektif yang digunakan adalah : Karena tidak mencerminkan derajat keanggotaan ( ), maka perlu dihitung dengan menggunakan rumus : (21) (22) 37

54 Fungsi Keanggotaan FCM dan H-FCM Data menjadi anggota sebuah cluster berdasarkan fungsi keanggotaan. Sebagai contoh, diberikan sekelompok data berdimensi tunggal (Gambar 2.12), Gambar 2.15 Sebaran data pada dimensi tunggal Misalkan teridentifikasi dua cluster (A dan B). Pada algoritma K-Means, fungsi keanggotaan menjadi : Gambar 2.16 Kurva S untuk a=1 dan b=8 Pada algoritma FCM & H-FCM, sebuah data tidak secara eksklusif menjadi anggota sebuah cluster. Dalam hal ini, kurva fungsi keanggotaan berbentuk sigmoid untuk menyatakan bahwa setiap data dapat menjadi anggota beberapa cluster dengan derajat keanggotaan yang berbeda (Gambar 2.14). 38

55 Gambar 2.17 Fungsi keanggotaan algoritma FCM & H-FCM 3. Fuzzy Substractive Clustering (FSC) FCM adalah algoritma clustering yang terawasi, sebab pada FCM kita harus terlebih dahulu menentukan banyaknya cluster yang akan dibentuk. Menentukan banyaknya cluster yang tepat merupakan permasalahan utama dalam pendekatan ini (Geva, 1999). Apabila banyaknya cluster belum diketahui, maka kita harus menggunakan algoritma yang tak-terawasi (banyaknya cluster ditentukan oleh algoritma). FSC merupakan algoritma clustering yang tak-terawasiyang diperkenalkan pertama kali oleh Chiu pada tahun 1994 (Chiu, 1994). Algoritma Subtractive Clustering dibangun berdasarkan ukuran kepadatan (density) titik data dalam suatu ruang (peubah). Konsep dasar subtractive clustering adalah menentukan daerah peubah yang memiliki kepadatan data yang tinggi. Titik dengan jumlah tetangga terbanyak akan dipilih sebagai pusat cluster. Titik yang terpilih akan dikurangi tingkat kepadatannya. Kemudian algoritma akan memilih titik lain yang memiliki 39

56 tingkat kepadatan tertinggi lainnya untuk dijadikan sebagai pusat cluster yang lain (Kusumadewi & Purnomo, 2004). Apabila terdapat N buah data: X 1, X 2,.., X n dan dengan menganggap data sudah dalam keadaan normal, maka densitas titik X k dapat dihitung sebagai : D k N = ( ) = exp X k X j 2 j 1 r 2 (23) Dengan X X adalah jarak antara X k dengan X j, dan r adalah k j konstanta positif yang kemudian akan dikenal dengan nama jari-jari (influence range) r. Jari-jari adalah vektor yang akan menentukan seberapa besar pengaruh pusat cluster pada tiap-tiap variabel. Dengan demikian, suatu titik data akan memiliki nilai kepadatan yang besar jika dia memiliki banyak tetangga didekatnya. Setelah menghitung nilai kepadatan setiap titik, maka titik dengan kepadatan tertinggi akan dipilih sebagai pusat cluster. Misalkan X c1 adalah titik yang terpilih sebagai pusat cluster, sedangkan D c1 adalah ukuran kepekatannya. Selanjutnya kepekatan dari titik-titik disekitarnya akan dikurangi menjadi X k X c1 ( ) D = k Dk Dc 1 exp (24) 2 rb 2 dengan r b = q*r a (biasanya squash factor (q) = 1.5). Artinya titiktitik yang ada dekat dengan cluster X c1 akan mengalami pengurangan kepekatan cukup besar. Hal ini menyebabkan titik tersebut akan sulit 40

57 menjadi pusat cluster berikutnya. Biasanya nilai r b bernilai lebih besar dari jari-jari (r). Setelah kepekatan tiap titik disesuaikan, maka selanjutnya akan dicari pusat cluster yang kedua, yaitu X c2. Sesudah X c2 didapat, ukuran kepekatan tiap titik disekitarnya disesuaikan kembali, demikian seterusnya. Penerimaan dan penolakan suatu titik data menjadi pusat cluster ditentukan oleh nilai Rasio, Rasio Terima dan Rasio Tolak. Rasio adalah perbandingan nilai kepekatan suatu data pada perulangan ke-i (i > 1) dengan nilai kepekatan data pada perulangan pertama (i=1). RasioTerima dan RasioTolak merupakan konstanta bernilai antara 0 dan 1 yang digunakan sebagai ukuran untuk menerima dan menolak sebuah titik data kandidat pusat cluster menjadi pusat cluster. Ada 3 kondisi yang mungkin terjadi: a. Jika Rasio > RasioTerima, maka titik data tersebut diterima sebagai pusat cluster baru b. Jika RasioTolak < Rasio < RasioTerima, maka kandidat dapat diterima sebagai pusat cluster jika kandidat memiliki jarak yang cukup jauh dengan pusat cluster terdekat (rasio + jarak dengan pusat cluster terdekat 1). Sebaliknya jika rasio + jarak dengan pusat data terdekat < 1, maka dia ditolak sebagai pusat cluster. c. Jika Rasio RasioTolak, maka sudah tidak ada lagi titik data yang akan dipertimbankan sebagai kandidat pusat cluster, perulangan dihentikan. 41

58 Algoritma Fuzzy Subtractive Clustering Algoritma Fuzzy Subtractive Clustering adalah sebagai berikut (Kusumadewi & Purnomo, 2004) : 1 Tentukan X ij sebagai input data yang akan dicluster i=1,2,...,n; j=1,2,...,m (n = jumlah sampel data dan m = jumlah atribut setiap data) 2 Tetapkan nilai : a. r j (jari-jari setiap atribut data); j=1,2,...,m b. q (squash factor); c. Accept ratio d. Reject Ratio e. XMin (minimum data diperbolehkan) f. XMax (maksimum data diperbolehkan). 3 Normalisasi : X ij X ij XMin j =, i = 1,2,...,n; j=1,2,...,m; (25) XMax XMin j j 4 Tentukan potensi awal setiap titik data a. i = 1; b. Kerjakan hingga i = n : T i = X ij j=1,2,...,m Hitung : T j X kj Dist = kj j=1,2,...,m; k=1,2,...,n; (26) r Potensi awal : Jika m = 1, maka 42

59 D 1 = n k = 1 e ( ) 4 Dist k 2 1 (27) Jika m > 1, maka D i = n k= 1 e 4 2 ( Dist ) kj (28) i = i Cari titik dengan potensi tertinggi a. M = max[di i=1,2,...,n] b. H = i, sedemikian sehingga Di = M; 5 Tentukan pusat cluster dan kurangi potensinya terhadap titik-titik di sekitarnya a. Center =[] b. Vj = X hj ; j=1,2,...,m c. C = 0 (jumlah cluster) d. Kondisi = 1; e. Z = m f. Kerjakan jika (kondisi 1) dan (z 0) Rasio = z/m Jika Rasio > accept_ratio : - Md = -1; - Kerjakan untuk i=1 sampai i = C: i. G ij V j Centerij = j=1,2,...,m (29) r m ii. Sd i = ( G ij ) j= 1 2 (30) 43

60 iii. Jika (Md < 0) atau (Sd < Md), maka Md = Sd; - Smd = Md - Jika rasio + Smd 1, maka kondisi = 1; (Data diterima sebagai pusat cluster) - Jika rasio + Smd < 1, maka kondisi = 2; (Data tidak akan dipertimbangkan kembali sebagai pusat cluster). Jika Kondisi = 1 lakukan : - C = C + 1; - Centerc = V; - Kurangi potensi dari titik-titik dekat pusat cluster : S ij V j X ij = ; j=1,2,...,m; i=1,2,...,n; (31) r j* q D ci = M m 2 4 ( S ij ) j = 1 * e i=1,2,...,n (32) i. D ci = M *e ; i=1,2,...,n. (33) ii. D = D D c (34) iii. Jika D i 0, maka D i = 0; i =1,2,...,n. iv. Z = max[d i i=1,2,...,n] v. Pilih h = 1, sedemikian sehingga Di=Z Jika kondisi = 2 - Dh = 0; - Z = max[di i=1,2,...,n] - Pilih h = i, sedemikian sehingga Di=Z; 6 Kembalikan pusat cluster dari bentuk normal ke bentuk semula 44

61 Center ij = Center ij * (Xmax j Xmin j ) + Xmin j ; (35) 7 Hitung nilai sigma cluster σ = r ( XMax XMin ) / 8 (36) j j * j j Hasil dari algoritma Subtractive Clustering ini adalah matriks pusat cluster (C) dan sigma (σ ) yang akan digunakan untuk menentukan nilai parameter fungsi keanggotaan Gauss, seperti terlihat pada Gambar µ [ x] = 0. 5 σ c σ Gambar 2.18 Fungsi keanggotaan kurva Gauss (Kusumadewi & Purnomo, 2004) Dengan kurva Gauss pada Gambar 2.12, maka derajat keanggotaan titik data X i pada cluster k dapat ditentukan sebagai : µ j= = ki e 1 m ( x ) ij C kj 2 2σ j 2 (37) F. Clustering dalam Sistem Temu Kembali Informasi Tujuan dari setiap algoritma clustering adalah untuk mengelompokkan elemen data berdasarkan ukuran ke(tidak)miripan sehingga relasi dan struktur data yang tidak terlihat dapat diungkapkan. Document clustering untuk temukembali informasi telah mulai dipelajari beberapa dekade yang lalu untuk 45

62 meningkatkan kinerja pencarian dan efisiensi pengambilan (Mendes dan Sacks, 2003). Penggunaan clustering didasarkan pada hipotesis cluster yaitu : dokumen yang relevan dengan query yang diberikan, cenderung mirip satu sama lain dibandingkan dengan dokumen yang tidak relevan, oleh karena dokumen yang relevan dapat dikelompokkan dalam cluster (Rijsbergen, 1979). Selain itu, clustering juga dapat digunakan untuk browsing koleksi dokumen yang sangat besar dan sebagai alat untuk mengatur senarai dokumen hasil query menjadi kelompok-kelompok yang memiliki makna (Cutting at. al, 1992). Penelitian Leuski juga berhasil menunjukkan bahwa ternyata metode clustering lebih efektif dalam membantu pengguna untuk menemukan informasi dibandingkan dengan metode senarai (Leuski, 2001). Dilihat dari urutan pengerjaannya, clustering dalam temu-kembali informasi dibagi dua jenis, sebelum pencarian (static clustering) dan sesudah pencarian (post-retrieval clustering) (Tombros, 2002). Penelitian Terdahulu Berdasarkan kajian literatur yang penulis lakukan, penelitian untuk meningkatkan efektifitas temu-kembali informasi kebanyakan menggunakan model document clustering. Model clustering yang paling banyak digunakan adalah model hirarki dan partisi (Tabel 1). 1. Penelitian pada temu-kembali informasi fuzzy yang lebih komprehensif dilakukan oleh Horng et. al. (2005). Pertama kali, Horng et. al. menggunakan algoritma Fuzzy Agglomerative Hierarchical Clustering untuk membentuk document cluster. Kemudian berdasarkan document 46

63 cluster dan pusat dokumen, dibangun aturan logika fuzzy logic. Terakhir, mereka mengaplikasikan aturan logika fuzzy untuk mengembangkan query pengguna untuk menemukan dokumen yang relevan dengan permintaan pengguna. Implementasi aturan logika fuzzy pada query pengguna menjadikan metode temu-kembali informasi fuzzy lebih efektif, fleksibel dan cerdas. Tabel 2.1 Penelitian tentang document clustering Pustaka Algoritma Clustering Jenis Fuzzy 1 Horng et. al Fuzzy Agglomerative Hierarchical Hirarki Ya 2 Lian et. al S-Grace Hirarki & Tidak Graf 3 Shyu et. al PAM, Single-Link, Group Average- Partisi & Tidak Link & Complete-Link Hirarki 4 Fung et. al Frequent Itemset-based Hirarki Tidak Hierarchical Clustering (FIHC) 5 Wallace et. al Fuzzy Agglomerative Hierarchical Hirarki Ya 6 Mendes & Sacks. Hyperspherical Fuzzy c-means (H- Partisi Ya 2003 FCM) 7 Leuski ε-insentive Fuzzy C-Means (ε- Partisi Ya FCM) 8 Maarek et. al Agglomerative Hierarchical Hirarki Tidak 9 Rüger & Gauch Buckshot Partisi Tidak 2. Lian et. al. (2004) melakukan clustering terhadap dokumen XML dengan mengusulkan algoritma S-Grace. Pada algoritma S-Grace, digunakan Teori Graf untuk mengukur jarak antara dokumen dengan sekelompok dokumen. Walaupun masih sangat memakan waktu, algoritma S-Grace efektif untuk meng-cluster dokumen XML. 3. Shyu et. al. (2004) menggunakan pola akses pengguna pada web untuk meng-cluster dokumen. Pola akses diperoleh dari log server yang 47

64 mencatat karakterisik dokumen web melalui halaman-halaman yang diklik pengguna yang mengikuti link pada dokumen web. Semakin sering dua dokumen web diklik berdasarkan query yang sama, semakin dekat relasi keduanya. Ukuran kedekatan dokumen diukur menggunakan affinitybased probabilistic model. Ada empat algoritma clustering yang digunakan : Partitioning Around Medoids (PAM), Single-Link, Group Average-Link dan Complete Link. Algoritma yang pertama merupakan algoritma clustering partisi dan lainnya adalah hirarki. 4. Salah satu tantangan utama dalam document clustering adalah dimensi yang tinggi, karena satu dokumen saja sudah mengandung ribuan kata. Fung et. al. (2003) mencoba mengatasi masalah tersebut dengan menggunakan frequent itemset. Frequent itemset adalah kata-kata atau istilah yang sering digunakan. Dengan berfokus pada frequent itemset, dimensi dokumen berhasil dikurangi secara drastis. Selanjutnya frequent itemset digunakan sebagai bahan clustering yang menggunakan algoritma clustering hirarki. Berdasarkan pengujian, kinerja metode ini ternyata mengungguli kinerja algoritma HFTC (Hierarchical Frequent Term-based Clustering) yang digunakan oleh Beil et. al. (2002). 5. Permasalahan pendeteksian kategori thematic pada dokumen yang diindeks secara semantic didefinisikan oleh Wallace et. al. (2003). Dengan menggunakan relasi quasi-taxonomic fuzzy dan algoritma fuzzy hierarchical clustering, Wallace et. al. berhasil menjelaskan bagaimana deteksi kategori thematic dapat diperoleh. 48

65 6. Mendes & Sacks (2003) menggunakan algoritma Hyperspherical Fuzzy c- Means Clustering (HFCM) untuk meng-cluster dokumen. Kemudian parameter Akurasi dan Kolektifitas digunakan untuk menilai cluster yang dihasilkan. Selain itu, digunakan algoritma K-Means sebagai pembanding. Berdasarkan hasil eksperimen yang mereka kerjakan, ternyata kinerja algoritma H-FCM mengungguli kinerja K-Means. 7. Penelitian yang dilakukan oleh Leuski (2001) mencoba mengatasi kekurangan dari metode fuzzy C-Means yang sensitif terhadap noise dan pencilan dengan membuat algoritma ε-insentive Fuzzy C-Means (ε-fcm). Hasil pengujian algoritma ε-fcm menunjukkan algoritma ε-fcm lebih tahan (robust) terhadap noise dan pencilan dibandingkan dengan algoritma FCM. 8. Maarek et. al. (2000) melakukan clustering pada web. Input sistem berupa dokumen web yang dinamis (hasil pencarian) dan output yang dihasilkan memiliki siklus hidup singkat karena hanya digunakan untuk tujuan browsing yang interaktif. Karena sifatnya yang interaktif dan online, maka dibutuhkan algoritma clustering yang efisien namun tetap memiliki ketelitian yang tinggi. Dalam hal ini Maarek et. al. memilih Algoritma Complete-link Hierarchical Agglomerative Clustering. Maarek et. al. juga menyediakan lapisan presentasi berbasis java bagi pengguna untuk menelusuri cluster yang dihasilkan. 9. Rüger & Gauch (2000) memfokuskan penelitian pada reduksi dimensi ciri dokumen. Reduksi dimensi dilakukan sebelum proses document clustering yang menggunakan algoritma Buckshot Clustering. Rüger & Gauch 49

66 berhasil menunjukkan bahwa dengan teknik pengurangan dimensi yang mereka kerjakan, tidak hanya mengurangi kompleksitas waktu eksekusi, tapi juga meningkatkan relevansi dan kecepatan document clustering. Selain document clustering, ada beberapa model lain yang digunakan untuk meningkatkan efektifitas temu-kembali informasi, antara lain : Algoritma Fuzzy Matching (Girril & Luk, 1996), model Phrase Indexing Graph (Hammouda & Kamel, 2004), WordNet (Sedding & Kazakoval, 2004) dan Fuzzy Neighborhoods (Miyamoto & Kataoka, 2005). G. Penilaian Kinerja Efektifitas sistem temu kembali informasi diukur dari kemampuannya untuk memuaskan pengguna dalam menemukan dokumen yang relevan (Rijsbergen, 1979). Menurut Cleverdon (Cleverdon at. al, 1966) ada enam kriteria yang dapat mencerminkan kepuasan pengguna : 1. Kemampuan sistem dalam menyediakan material yang relevan 2. Waktu pencarian 3. Presentasi output 4. Usaha yang dilakukan pengguna untuk memperoleh informasi yang diinginkan 5. Akurasi (Precision) merupakan tingkat akurasi pencarian, yaitu rasio antara jumlah dokumen relevan yang terambil dengan seluruh jumlah dokumen yang terambil. Berdasarkan Tabel 2, Akurasi = A B B (38) 50

67 6. Kolektifitas (Recall) adalah rasio antara jumlah dokumen yang terambil pada suatu pencarian dengan jumlah seluruh dokumen yang relevan. Berdasarkan Tabel 2, Kolektifitas = A B A (39) Tabel 2.2 Relevansi & kolektifitas dokumen pada sistem temu-kembali informasi RELEVAN (A) TIDAK-RELEVAN (-A) TERAMBIL (B) A B A B TIDAK TERAMBIL (-B) A B A B 51

68 3. METODOLOGI A. Kerangka Pemikiran Penelitian dilakukan dalam tiga tahap utama : Persiapan, Evaluasi Algoritma dan Pembuatan Prototipe Sistem (Gambar 3.1). Tahap Persiapan terdiri dari pengumpulan dokumen, input file dokumen ke basisdata dan membuat matriks representasi. Evaluasi algoritma dilakukan untuk memilih algoritma fuzzy clustering yang terbaik. Algoritma yang dibandingkan ada tiga, yakni algoritma Fuzzy Subtractive Clustering (FSC), Hyperspherical- Fuzzy C-Means Clustering (H-FCM) dan Fuzzy Competitive Clustering. P E R S I A P A N STUDI PUSTAKA E V A L U A S I Algoritma H-FCM Algoritma FSC Algoritma FCCL Matriks Data Uji E V A L U A S I KRITERIA UJI Precision Recall Speed Algoritma Terbaik PEMBUATAN PROTOTIPE SISTEM Gambar 3.1 Kerangka Pemikiran Penelitian 52

69 Prototipe dikembangkan menggunakan algoritma clustering terbaik di antara ketiga algoritma yang diuji. Prototipe sistem temu kembali informasi bekerja berdasarkan input dokumen dan query, metode representasi dokumen dan query, proses atau metode pencarian dan metode menampilkan hasil query (Gambar 3.2). Pada penelitian ini, dokumen direpresentasikan oleh serangkaian term atau istilah yang memiliki bobot sedangkan query dipecah menjadi untaian kata. Metode pencarian yang digunakan metode Boolean. Gambar 3.2 Cara Kerja Prototipe Sistem Temu-Kembali Informasi B. Bahan dan Alat Dokumen yang digunakan sebagai bahan penelitian adalah artikel dan berita berbahasa Indonesia yang diambil dari beberapa situs Internet. Pembuatan prototipe sistem menggunakan PHP sebagai bahasa pemrogaman, MySQL sebagai Sistem Manajemen Basis Data dan HTML (Hypertext Markup Language) sebagai antar-muka sistem. C. Tata Laksana 1. Tahap Persiapan Pengujian dilakukan dalam 4 tahap (Gambar 3.3). Proses pengolahan data dan pembuatan prototipe selengkapnya dapat dilihat pada Lampiran 1. 53

70 Gambar 3.3 Tata Laksana Persiapan dan Evaluasi a. Pencarian Algoritma Untuk menentukan algoritma yang akan digunakan, dilakukan penelusuran algoritma fuzzy clustering pada literatur. Algoritma yang dicari memiliki sifat fuzzy dan partisi (mengelompokkan dokumen pada satu tingkat). Hasil penelusuran menghasilkan tiga algoritma : FCM, H-FCM dan FSC. b. Pengumpulan data Data yang digunakan adalah artikel yang dikumpulkan dari beberapa situs web. Artikel-artikel tersebut sudah terbagi menjadi beberapa kelompok, yakni berita politik, ekonomi, olah-raga dan iptek. Tidak semua bagian artikel digunakan sebagai data uji, melainkan hanya pargaraf utamanya saja. c. Representasi Data Uji Tujuan dari proses ini adalah untuk mendapatkan matriks bobot berukuran m x n; dimana m = banyaknya dokumen dan n = banyaknya kata. Ada tiga formula pembobotan term pada dokumen, yaitu Term 54

71 Frekuensi (TF), Term Frekuesni Inverse Dokumen Frekuensi (TFIDF) dan Salton. d. Penulisan Program Ketiga algoritma yang akan diuji diimplementasikan dalam program Matlab. Ketiga program tersebut masing-masing dijalankan untuk meng-cluster matriks bobot data. 2. Evaluasi Algoritma Fuzzy Clustering a. Uji Formula Pembobotan Uji formula pembobotan dilakukan untuk mendapatkan formula pembobotan terbaik. Uji ini dilakukan bersamaan dengan uji algoritma. b. Uji Kinerja Algoritma Kinerja algoritma dinilai berdasarkan cluster hasil. Ada tiga kriteria uji yang digunakan, yaitu Akurasi, Kolektifitas dan kecepatan (waktu eksekusi) algoritma. Algoritma terbaik selanjutnya digunakan dalam pengembangan prototipe sistem temu kembali informasi. Ruang lingkup Penelitian Analisa Kebutuhan Pengembangan Prototipe Evaluasi Prototipe Sepesifikasi Sistem Komponen Daur Ulang Pengembangan Software Validasi Sistem Software Hasil Gambar 3.4 Tata Laksana Evaluasi 55

72 3. Pengembangan Prototipe Sistem Dalam pengembangan sistem, prototipe yang dihasilkan bukan merupakan tujuan akhir, melainkan untuk memberikan gambaran sistem yang lebih jelas kepada pengguna (Sommerville, 2000). Pada penelitian ini, prototyping melaksanakan tiga langkah dari enam langkah metode pengembangan sistem (Gambar 3.4). a. Outline Requirements Ada enam kriteria yang harus dipenuhi oleh sistem temu kembali informasi (Cleverdon, 1966), yakni : 1. Kemampuan sistem dalam menyediakan material yang relevan 2. Waktu pencarian yang relatif cepat 3. Presentasi output 4. Usaha pengguna untuk memperoleh informasi yang diinginkan 5. Akurasi 6. Kolektifitas Kriteria tersebut dapat digunakan sebagai parameter validasi dan verifikasi sistem yang dihasilkan. b. Pengembangan Prototipe Prototipe dibagi menjadi tiga modul utama, yaitu modul Representasi & Penyimpanan Dokumen, modul Pencarian dan modul Representasi Hasil. Masing-masing modul dikembangkan dalam dua tahap, yaitu perancangan dan implementasi. Pada tahap akhir, ketiga sub prototipe yang dihasilkan digabung menjadi sebuah prototipe sistem. Prototipe yang dihasilkan selanjutnya diuji apakah sudah 56

73 memenuhi kriteria (akurasi, kolektifitas dan kecepatan) yang diinginkan. Tata laksana Pengembangan Prototipe Sistem selengkapnya dapat dilihat pada Gambar 3.5. Analisis Pembuatan prototipe diawali dengan proses analisis. Tahapan analisis dilakukan untuk memahami kebutuhan, tujuan dan permasalahan dari pengembangan sistem. Pada tahap ini juga ditentukan model data dan fungsi atau modul yang diperlukan untuk mencapai tujuan pengembangan sistem. Analisa Model Disain Implementasi Representasi Dokumen Modul Input Pengujian Metode Pencarian Modul Pencari Prototipe Sistem Implementasi Algoritma Clustering Terbaik Representasi Hasil Modul Representasi Hasil Tidak Apakah Prototipe memenuhi kriteria? Pengembangan Modul Penyimpanan Pengembangan Modul Pencari Pengembangan Modul Representasi Hasil Ya Selesai Gambar 3.5 Tata Laksana Pengembangan Prototipe Sistem Temu Kembali Informasi. 57

74 Perancangan & Implementasi Model Penyimpanan & Representasi Dokumen Dokumen beserta atribut nya (judul, nama pengarang, tahun dan abstrak) disimpan dalam basisdata. Karena pada proses pencarian dokumen direpresentasikan oleh serangkaian istilah yang dimiliki, maka istilah-istilah tersebut juga perlu disimpan dalam database. Rancangan basisdata harus diatur sedemikian rupa, sehingga kita dapat mengetahui dengan cepat dan tepat istilah apa saja yang dimiliki oleh dokumen beserta frekuensi kemunculan dan bobotnya; juga dalam dokumen apa saja suatu istilah ditemukan. Tujuan dari Representasi Dokumen adalah untuk mendapatkan daftar istilah yang dimiliki setiap dokumen. Setiap istilah memiliki nilai bobot pada setiap dokumen yang dihitung berdasarkan rumus (Salton & Buckley, 1988). Setiap istilah dan bobotnya disimpan pada basisdata. Perancangan & Implementasi Model Pencarian Model pencarian terdiri atas model input dan metode pencarian. Pada penelitian ini diusulkan ada dua jenis input yang digunakan untuk pencarian dokumen, yaitu bahasa query dan parameter kedekatan. Bahasa query dirancang untuk dapat menggunakan Operator Boolean (AND dan OR). Parameter kedekatan nantinya akan digunakan untuk memperluas atau mempersempit cakupan pencarian dengan membandingkan derajat keanggotaan dokumen pada cluster hasil. Dokumen yang ditampilkan pada hasil hanyalah dokumen dengan 58

75 derajat keanggotaan sama dengan atau lebih besar dari parameter kedekatan. Implementasi Algoritma Clustering Terbaik Algoritma Fuzzy Clustering yang digunakan merupakan algoritma terbaik hasil pengujian. Algoritma menerima input dokumen hasil pencarian dan matriks bobot istilah setiap dokumen. Output dari algoritma adalah beberapa cluster dokumen hasil pencarian. Perancangan & Implementasi Representasi Hasil Output pencarian harus dirancang sedemikian rupa sehingga dapat menggambarkan pengelompokan dokumen yang ada, tanpa mengurangi kemudahan pengguna dalam mengakses dokumen yang diinginkan. Disain output yang diusulkan akan terdiri atas cluster, dokumen dan derajat keanggotaan dokumen pada cluster. Setelah query dilakukan, pertama kali sistem menampilkan link cluster hasil query. Link cluster dapat diklik untuk membuka halaman yang menampilkan dokumen beserta derajat keanggotaannya pada cluster tersebut. Dokumen ditampilkan berurutan sesuai dengan derajat keanggotaannya. c. Evaluasi Prototipe Dari enam kriteria Cleverdon (1966), hanya tiga kriteria yang digunakan untuk mengevaluasi prototipe, yakni: waktu pencarian, akurasi dan kolektifitas. Tiga kriteria ini dipilih karena dapat dihitung langsung secara kuantitatif. Waktu pencarian dihitung mulai dari pengguna menekan tombol pencarian sampai sistem menampilkan hasil dalam bentuk cluster. 59

76 Akurasi dihitung menggunakan persamaan 36 dan kolektifitas menggunakan persamaan 37. d. Kompleksitas Sistem Kompleksitas waktu sistem dihitung pada proses representasi matriks dokumen dan proses clustering. Proses representasi matriks memiliki T(n) = n (12m + 11) + 23 m + 11 atau T(n) O(nm). Proses clustering yang menggunakan algoritma H-FCM memiliki kompleksitas waktu sebesar O(nc 2 m) (n = total kata pada dokumen, c = total cluster, i = iterasi dan m = total dokumen, dengan c << i < m << n). Secara keseluruhan, sistem memiliki kompleksitas O(nc 2 m). 60

77 4. PERANCANGAN & IMPLEMENTASI SISTEM Dalam Metodogi Rekayasa Sistem, ada empat disain yang dihasilkan, disain data, arsitektur, antarmuka dan komponen (Pressman, 2001). A. Disain Data Disain Data menggambarkan proses transformasi data dalam sistem. Pada penelitian ini data mengalami perubahan dari data file, menjadi basisdata, matriks representasi dokumen, matriks keanggotaan dan data cluster. 1. File Dokumen Pada mulanya dalam bentuk file. Ada dua jenis file, file dokumen dan file buangan. File dokumen merupakan representasi dokumen dimana satu dokumen sama dengan satu file, sedangkan file buangan berisi daftar kata hubung ( dan, atau, sehingga ), artikel seperti amatlah, sematamata, dong dan sebetulnya serta kata-kata yang sangat sering muncul pada dokumen seperti luar, dalam, atas, bawah. Total lebih dari 300 kata dalam file buangan (Tala, 2003). 2. Tabel Dokumen dalam Basisdata Kemudian sistem membaca file dan menyimpan data dalam tabel dokumen dalam basisdata. Tabel dokumen memiliki struktur sebagai berikut : 61

78 Tabel 4.1 Struktur Tabel Dokumen pada Basisdata No Nama Kolom Tipe Data Ukuran 1 ID Integer 8 2 ISI Memo ISI_TERSARING Character DAFTAR_KATA Character TOPIK Character 50 6 KATA_TERBANYAK Integer 4 7 FREKUENSI_MAKSIMUM Integer 4 8 JUMLAH_KATA Integer 4 Kolom ISI digunakan untuk menyimpan isi dokumen agar dokumen dapat ditampilkan kembali secara utuh. Kolom TERM & DAFTAR_KATA merupakan daftar kata yang terdapat pada isi dokumen dan sudah disaring, hanya bedanya kalau pada TERM, kata yang sama dapat muncul lebih dari satu kali (tergantung dari frekuensi kata pada dokumen), sedangkan pada DAFTAR_KATA, kata hanya muncul satu kali. Kolom TERM, DAFTAR_KATA, KATA_TERBANYAK, FREKUENSI_MAKSIMUM dibutuhkan oleh Modul Clustering sebagai bahan perhitungan representasi dokumen. Kolom TOPIK digunakan oleh Modul Clustering sebagai dasar evaluasi clustering, dan terakhir kolom JUMLAH_KATA digunakan sebagai salah satu karakteristik (ukuran) dokumen. 3. Matriks Representasi Dokumen (MRD) MRD berukuran m x n (m = jumlah dokumen dan n = jumlah kata) merupakan representasi dokumen dalam bentuk angka. Proses transformasi dokumen (string) menjadi angka dilakukan dengan menggunakan persamaan (1), (2) dan (3). Karena Banyaknya kata yang 62

79 dimiliki dokumen menyebabkan kolom matriks (n) dokumen membengkak. Padahal, semakin besar dimensi matriks, semakin lama waktu yang dibutuhkan untuk proses clustering. Oleh karena itu perlu dilakukan reduksi dimensi matriks. Pada penelitian ini, reduksi dimensi matriks dilakukan dengan hanya memilih kata dengan Persentase Kemunculan lebih dari x %. Persentase Kemunculan (PK) kata k adalah nilai perbandingan jumlah dokumen yang memiliki kata k dengan total dokumen. Pada tahap evaluasi, matriks disimpan sebagai file, sedangkan pada prototipe, matriks disimpan pada memori. 4. Matriks Keanggotaan (MK) MK yang dihasilkan oleh proses clustering, adalah nilai derajat keanggotaan dokumen terhadap cluster. MK memiliki dimensi m x c (m = jumlah dokumen, c = jumlah cluster). 5. Data Cluster Data cluster merupakan gabungan MK dengan data dokumen pada tabel. Dengan data cluster, pengguna dapat dengan cepat melihat jumlah cluster beserta dokumen anggotanya, judul dokumen dan nilai fuzzy dokumen terhadap cluster. B. Disain Arsitektur dan Komponen Disain arsitektur menggambarkan hubungan antara elemen-elemen (modul) pada perangkat lunak. Ada enam modul yang akan dikembangkan untuk evaluasi dan pengembangan prototipe, yakni modul penyimpanan, pencari, matriks, clustering, representasi hasil dan modul evaluasi. Modul- 63

80 modul tersebut digunakan pada dua tahap penelitian (tahap evaluasi dan tahap pengembangan prototipe). Tahap evaluasi menggunakan modul Penyimpanan, Modul Matriks, Modul Clustering dan Modul Evaluasi (Gambar 4.1). Sedangkan tahap Pengembangan Prototipe menggunakan Modul Penyimpanan, Modul Matriks, Modul Cluster, Modul Pencari dan Modul Representasi Hasil (Gambar 4.2). Dokumen Modul Penyimpanan Modul Matriks Modul Clustering FCM H-FCM File Matriks Keanggotaan (U) Modul Evaluasi Basisdata File Matriks Pola FSC Gambar 4.1 Arsitektur Sistem pada Tahap Evaluasi Dokumen Modul Penyimpanan Modul Matriks Modul Clustering Algoritma Terbaik Modul Representasi Hasil Basisdata Gambar 4.2 Arsitektur Sistem pada tahap Pengembangan Prototipe 64

81 1. Modul Penyimpanan Modul Penyimpanan berfungsi untuk membaca file input (file dokumen dan buangan) untuk disimpan dalam basisdata. Adapun algoritma penyimpanan dokumen yang digunakan adalah sebagai berikut : maxfrek = 0 jumlahkata =0 ISI = isi dokumen Hilangkan tanda baca dan karakter selain huruf Untuk setiap kata dalam dokumen { Jika kata tidak terdapat pada file buangan { terms = terms + kata frek = frekuensi terms if (frek > maxfrek) { maxfrek = frek maxterm = kata Jika kata belum ada pada daftar_kata{ daftar_kata = daftar_kata + kata jumlahkata = jumlahkata + 1 } } } ISI_TERSARING = terms DAFTAR_KATA = daftar_kata FREKUENSI_MAKSIMUM = maxfrek KATA_TERBANYAK = maxterm JUMLAH_KATA = jumlahkata 2. Modul Matriks Modul Matriks berfungsi untuk membaca dokumen (kolom DAFTAR_KATA) pada basisdata dan merepresentasikan dokumen sebagai matriks pola yang siap digunakan untuk proses clustering menggunakan persamaan (1). Output yang dihasilkan oleh Modul Matriks adalah Matriks Representasi Dokumen (MRD) berukuran m x n (m = jumlah dokumen dan n = jumlah kata). Pada tahap evaluasi, matriks disimpan sebagai file, sedangkan pada prototipe, matriks disimpan pada memori. 65

82 3. Modul Clustering Modul clustering merupakan implementasi dari algoritma fuzzy clustering. Ada dua jenis modul clustering, yaitu modul untuk evaluasi dan modul untuk prototipe. Modul evaluasi terdiri dari tiga algoritma clustering (FCM, H-FCM dan FSC) sedangkan modul prototipe hanya satu algoritma. Modul clustering evaluasi dibuat dengan menggunakan Matlab, sedangkan modul clustering prototipe dikembangkan dengan menggunakan PHP. Evaluasi Pada tahap ini, ada tiga Modul Clustering yang digunakan, yaitu Modul FCM untuk algoritma FCM, modul FSC untuk algoritma FSC dan modul H-FCM untuk algoritma H-FCM. Setiap modul dijalankan dengan menggunakan input file matriks yang sama. Outputnya adalah file matriks keanggotaan (U) dokumen terhadap cluster (Tabel 4). Tabel 4.2 Matriks keanggotaan (U) n dokumen terhadap k cluster Dok ID Cluster 1 Cluster 2 Cluster k n U 11 U 21 U U n1 U 12 U 22 U U n2 U 1k U 2k U 3k... U nk Pengembangan Prototipe Prototipe sistem temu-kembali informasi hanya memiliki satu Modul Clustering, yakni Modul Clustering algoritma yang terbaik. Modul ini membaca dan menghasilkan output dari dan ke memori. 66

83 4. Modul Evaluasi Modul evaluasi digunakan untuk mengukur dan membandingkan kinerja dari algoritma FSC, FCM dan H-FCM. File matriks keanggotaan yang dihasilkan oleh setiap modul clustering digunakan sebagai input untuk menghitung nilai Akurasi, Kolektifitas dan Waktu Eksekusi. Akurasi dihitung berdasarkan persamaan (38). Kolektifitas dihitung menggunakan persamaan (37). Sedangkan Waktu Eksekusi adalah waktu yang diperlukan oleh algoritma mulai dari pembacaan input hingga menghasilkan output. Evaluasi dilakukan beberapa kali dengan menggunakan persentasi kemunculan kata yang berbeda. Pada penelitian ini dilakukan percobaan dengan PK 5%, 10%, 15%, 20%. Setiap PK memiliki satu file MRD sendiri. 5. Modul Representasi Hasil Modul ini berfungsi untuk mentransformasikan matriks keanggotaan hasil dari proses pencarian dan clustering menjadi bentuk yang lebih ramah pengguna (user friendly), dimana pengguna dapat dengan cepat mengetahui jumlah cluster dan dokumen (beserta derajat keanggotaan) yang menjadi anggotanya. Modul ini dibuat dengan menggunakan PHP, basisdata MySQL dan Web Server Apache. C. Disain Antarmuka Antarmuka sistem dirancang agar pengguna dapat dengan mudah dan cepat memperoleh informasi yang diinginkan. Antarmuka sistem dirancang 67

84 sesederhana mungkin untuk mengurangi beban komputer dan membuat pengguna lebih fokus terhadap hasil pencarian. Konsep kesederhanaan saat ini merupakan salah satu faktor penting dalam perancangan antarmuka aplikasi pencari. Hal ini terbukti dengan keberhasilan Google ( yang memiliki antarmuka sangat sederhana, menjadi mesin pencari yang paling banyak digunakan. Oleh karena itu, disain antarmuka sistem pada penelitian ini pun dibuat secara sederhana, seperti yang terlihat pada Gambar 4.3. Kata Kunci Jumlah Cluster Cari!! Dokumen pada Cluster 2 << Prev Next >> 1 [1.00] Link judul dokumen 1 2 [0.99] Link judul dokumen 2 3 [0.95] Link judul dokumen [0.45] Link judul dokumen 10 Gambar 4.3. Disain antarmuka sistem 68

85 5. EVALUASI SISTEM A. Karakteristik Dokumen Input Ada 574 dokumen yang digunakan pada penelitian ini yang bersumber dari situs internet dan dikelompokkan menjadi 2 kategori : eksakta (278 dokumen) dan non-ilmiah (296 dokumen). Dokumen ilmiah terdiri dari topik Pemrograman, Bioteknologi, Linux dan Basisdata. Dokumen non-ilmiah terdiri dari topik Saham & Pasar Uang, Seluler, Otomotif dan Sepakbola (Tabel 5.1). Tabel 5.1 Kelompok, topik, jumlah dan sumber dokumen Kelompok Topik Jumlah Sumber Eksakta Non-Eksakta Pemrograman Bioteknologi Linux Basisdata 57 Total Eksakta 278 Saham & Pasar Uang 77 Seluler 73 Otomotif Sepakbola Total Non-Eksakta 296 B. Proses Evaluasi Setelah dokumen disimpan dalam basisdata, selanjutnya algoritma clustering dijalankan. Namun sebelumnya, perlu dilakukan pembentukan matriks representasi dokumen sebagai input algoritma. Hasil dari proses 69

86 clustering adalah matriks keanggotaan dokumen terhadap cluster yang dihasilkan. 1. Pembentukan Matriks Representasi Dokumen Dokumen yang digunakan pada penelitian ini paling sedikit memiliki 148 kata dan paling banyak 3060 kata (rata-rata kata per dokumen) dan diperoleh MRD berukuran 574 x Dari kata, kebanyakan hanya muncul pada satu dokumen, sehingga tidak dapat digunakan sebagai penciri cluster. Oleh karena itu, reduksi dimensi perlu dilakukan. Reduksi dilakukan dengan menggunakan PK (5%, 10%, 15% dan 20%). PK 5% artinya kata yang digunakan sebagai ciri dokumen harus ada paling sedikit di 29 (5% x 547) dokumen. Dengan menggunakan PK 5%, jumlah kata berhasil direduksi dari kata menjadi hanya 624 kata. Dimensi matriks hasil reduksi dapat dilihat pada Tabel 6 dan daftar kata selengkapnya pada lampiran 2, 3, 4 dan 5. Tabel 5.2 Dimensi MRD dengan PK 0%, 5%, 10%, 15% dan 20% Persentase Jumlah Dokumen Minimal Jumlah Kata 5 % % % % MRD dihasilkan dari tiga formula yang berbeda, yakni Tf (1), TfIdf (2) dan Salton (3). Ketiga formula tersebut digunakan untuk menilai mana formula representasi yang terbaik. 70

87 2. Pembentukan Matriks Keanggotaan MRD digunakan sebagai input tiga Modul Clustering (FCM, H-FCM dan FSC) yang menghasilkan masing-masing satu matriks keanggotaan (U) seperti terlihat pada Tabel 7. Karena ada 4 buah MRD dengan PK yang berbeda, maka diperoleh 12 MRD. Tabel 5.3 MRD hasil algoritma H-FCM dengan PK 5% (ID = ID dokumen, C = Cluster) ID C 1 C 2 C 3 C 4 C 5 C 6 C 7 C C. Evaluasi Kinerja Matriks Representasi Dokumen dan Matriks Keanggotaan digunakan sebagai input evaluasi. Kedua-duanya diukur menggunakan parameter yang sama. Ada tiga parameter yang digunakan untuk mengukur kinerja algoritma, yaitu Akurasi (persamaan 38), Kolektifitas (persamaan 37) dan Iterasi & Waktu Eksekusi. Metode Representasi Terbaik Percobaan dilakukan dengan melakukan proses clustering menggunakan seluruh algoritma (FCM, H-FCM dan FSC) dengan input MRD dari tiga formula representasi yang berbeda (Tf, TfIdf dan Salton). Dengan menggunakan input MRD dari formula Tf dan TfIdf, algoritma FCM dan H- FCM ternyata menghasilkan matriks U dengan nilai yang sama semua yakni atau 1/8 (8 = jumlah cluster). Artinya seluruh dokumen dikelompokan 71

88 ke seluruh cluster dengan nilai Sedangkan algoritma FSC menghasilkan kebanyakan nilai 0 dan hanya sedikit yang bernilai satu. Artinya, formula Tf dan TfIdf gagal menangkap karakteristik dokumen Sebaliknya, dengan menggunakan MRD Salton, seluruh proses clustering ternyata dapat menghasilkan matriks keanggotaan U yang memiliki nilai bervariasi. Oleh karena itu, formula Salton dianggap berhasil menangkap ciri pembeda dokumen. Untuk pembahasan selanjutnya, proses evaluasi dan pengembangan prototipe menggunakan formula Salton. Akurasi dan Kolektifitas Hasil evaluasi menunjukkan bahwa algoritma H-FCM memiliki akurasi terbaik pada PK = 10 % dengan akurasi 0.93 dan kolektifitas terbaik 0.92 (Gambar 5.2). Gambar 5.1 menunjukkan hasil perhitungan akurasi, kolektifitas algoritma FCM dan Gambar 5.3 untuk algoritma FSC % Akurasi % 10% % 0.2 Algoritma FCM Kolektifitas Gambar 5.1 Akurasi dan Kolektifitas Algoritma FCM 72

89 % 10% 5% 0.7 Akurasi Algoritma HFCM 20% Kolektifitas Gambar 5.2 Akurasi dan Kolektifitas Algoritma H-FCM % 5% % Akurasi % Algoritma FSC Kolektifitas Gambar 5.3 Akurasi dan Kolektifitas Algoritma FSC Grafik perbandingan kinerja ketiga algoritma selengkapnya dapat dilihat pada Gambar 5.4 (Akurasi) dan Gambar 5.5 (Kolektifitas). 73

90 Akurasi Algoritma HFCM Algoritma FCM Algoritma FSC % 10% 15% 20% Persentase Kata Gambar 5.4 Perbandingan Akurasi algoritma FCM, H-FCM dan FSC Daya Koleksi Algoritma HFCM Algoritma FCM Algoritma FSC 0 5% 10% 15% 20% Persentase Kata Gambar 5.5 Perbandingan Kolektifitas algoritma FCM, H-FCM dan FSC Iterasi dan Waktu Eksekusi Pada penelitian ini juga dibandingkan jumlah iterasi dan waktu eksekusi algoritma. Iterasi dihitung karena ia tidak tergantung dari komputer yang dipakai, sedangkan parameter waktu digunakan untuk menghitung kecepatan 74

91 algoritma secara nyata. Tabel 5.4 menunjukkan jumlah iterasi dan Tabel 5.5 menunjukkan waktu eksekusi. Tabel 5.4 Jumlah iterasi algoritma FCM, H-FCM dan FSC Persentase FCM H-FCM FSC 5 % % % % Rata-Rata Tabel 5.5 Waktu eksekusi algoritma FCM, H-FCM dan FSC (detik) Persentase FCM H-FCM FSC 5 % % % % Rata-Rata Berdasarkan Tabel 5.5, terlihat bahwa algoritma H-FCM membutuhkan iterasi yang paling sedikit (rata-rata = 36.75) dan algoritma FCM membutuhkan iterasi paling banyak. Sedangkan algoritma FCM membutuhkan waktu eksekusi paling sedikit (rata-rata detik) dan algoritma H-FCM membutuhkan waktu yang paling banyak dengan rata-rata detik (Tabel 12). Grafik perbandingan iterasi ditunjukkan oleh Gambar 5.6 dan grafik waktu eksekusi dapat dilihat pada Gambar

92 I t e r a s i H-FCM FCM FSC 0 5% 10% 15% 20% Persentase Kata Gambar 5.6 Perbandingan jumlah iterasi algoritma FCM, HFCM dan FSC Waktu Eksekusi H-FCM FSC FCM % 10% 15% 20% Persentase Kata Gambar 5.7 Perbandingan waktu eksekusi algoritma FCM, HFCM dan FSC Evaluasi pada dokumen berbahasa Inggris Selain dengan dokumen berbahasa Indonesia, evaluasi juga dilakukan terhadap dokumen berbahasa Inggris. Ada 80 dokumen dengan delapan topik (ekonomi, sepak bola, seluler, linux, basisdata, bioteknologi, otomotif dan pemrograman) yang digunakan. Sumber dokumen diperoleh dari situs dan 76

93 Akurasi dan Kolektifitas yang dihasilkan oleh ketiga algoritma dengan dokumen berbahas Inggris ternyata tidak jauh berbeda dibandingkan Akurasi dan Kolektifitas pada dokumen berbahasa Indonesia (Tabel 5.6, 5.7 dan 5.8). Tabel 5.6 Akurasi dan Kolektifitas Algoritma FCM Persentase Akurasi Kolektifitas 5% % % % Tabel 5.7 Akurasi dan Kolektifitas Algoritma H-FCM Persentase Akurasi Kolektifitas 5% % % % Tabel 5.8 Akurasi dan Kolektifitas Algoritma FSC Persentase Akurasi Kolektifitas 5% % % % Bahasa Indonesia vs Bahasa Inggris Pada dokumen berbahasa Indonesia, algoritma H-FCM unggul dengan akurasi 0.93 dan kolektifitas 0.92 pada PK 10%. Sedangkan pada dokumen berbahasa Inggris, algoritma H-FCM unggul dengan nilai akurasi 0.96 dan kolektifitas 0.95 pada PK 5% (perbandingan hasil algoritma selengkapnya dapat dilihat pada Tabel 5.12, Tabel 5.13 dan Tabel 5.14). Tabel 5.9 Perbandingan Akurasi dan Kolektifitas algoritma FCM pada dokumen berbahasa Inggris dan Indonesia Bahasa Persentase Akurasi Kolektifitas Indonesia 10 % Inggris 10 %

94 Tabel 5.10 Perbandingan Akurasi dan Kolektifitas algoritma H-FCM pada dokumen berbahasa Inggris dan Indonesia Bahasa Persentase Akurasi Kolektifitas Indonesia 10 % Inggris 5 % Tabel 5.11 Perbandingan Akurasi dan Kolektifitas algoritma FSC pada dokumen berbahasa Inggris dan Indonesia Bahasa Persentase Akurasi Kolektifitas Indonesia 10 % Inggris 20 % Pemilihan Algoritma Algoritma terbaik dipilih menggunakan Teknik Perbandingan Indeks Kinerja. (Comparative Performance Index, CPI). CPI merupakan indeks gabungan (Composite Index) yang dapat digunakan untuk menentukan penilaian atau peringkat dari berbagai alternatif berdasarkan beberapa kriteria (Marimin, 2004). Kriteria yang dipakai dan algoritma yang diperbandingkan dimasukkan dalam matriks keputusan seperti yang ditunjukkan pada Tabel 5.12 dan Tabel Tabel 5.12 Matriks awal penilaian alternatif pemilihan algoritma terbaik Algoritma Kriteria Akurasi Kolektifitas Waktu FCM H-FCM FSC Bobot Kriteria Tabel 5.13 Matriks hasil transformasi melalui teknik perbandingan indeks Kinerja Algoritma Kriteria Akurasi Kolektifitas Waktu Nilai Peringkat FCM H-FCM FSC Bobot Kriteria

95 Tabel 5.13 menunjukkan bahwa nilai algoritma FCM, H-FCM dan FSC adalah 84.04, dan Dengan demikian algoritma H-FCM sebagai peringkat 1 disusul oleh algoritma FSC dan FCM. D. Pengembangan Prototipe Paradigma pengembangan prototipe dapat bersifat close-ended (throwaway prototyping) atau open-ended (evolutionary prototyping). Pada pendekatan throwaway, prototipe berfungsi sebagai demonstrasi dari kebutuhan, sedangkan pada evolutionary, prototipe digunakan sebagai bagian awal dari tahap dan dapat dipergunakan kembali di tahap perancangan dan implementasi dan prototipe merupakan evolusi pertama dari sistem (Pressman, 2001). Pada penelitian ini, pengembangan prototipe bersifat evolutionary karena aplikasi yang akan dikembangkan banyak menggunakan tampilan visual, banyak berinteraksi dengan user serta membutuhkan proses secara algoritma. Agar pengembangan sistem efektif, prototipe yang dikembangkan harus dapat memungkinkan user melihat hasil dan dapat merekomendasikan ide atau perubahan secara cepat. Prototipe juga harus memperhatikan lingkungan dimana sistem akan berjalan. Oleh karena itu, prototipe dikembangkan dengan membuat sebuah program antar-muka berbasis web yang mirip dengan sistem pencari informasi web pada umumnya. Antar-muka prototipe dibangun mirip dengan antar-muka sistem pencari informasi berbasis web lainnya, dimana pengguna dapat memasukkan kata kunci. Hanya bedanya, pada prototipe pengguna harus memasukkan jumlah 79

96 maksimal cluster yang diinginkan (Gambar 5.8) dan dokumen ditampilkan per cluster dan dokumen memiliki nilai keanggotaan terhadap cluster. Gambar 5.8 Form input kata kunci dan jumlah cluster Dokumen hasil pencarian ditampilkan per cluster, seperti yang ditunjukkan oleh gambar 5.9 yang menampilkan dokumen hasil pencarian pada cluster 2 dari 8 cluster. Gambar 5.10 menunjukkan isi salah satu dokumen.. Navigasi untuk memilih melihat dokumen per halaman Derajat keanggotaan dokumen terhadap cluster Link dokumen Navigasi untuk memilih cluster Gambar 5.9 Tampilan halaman web yang menampilkan hasil pencarian. Untuk memperoleh hasil seperti Gambar 5.6, sistem melakukan proses terhadap input kata kunci dan jumlah cluster, antara lain : melakukan pencarian dokumen dalam basisdata, memproses dokumen menjadi cluster dan menampilkan cluster hasil. Proses tersebut dilakukan secara berurutan. 80

97 Gambar 5.10 Tampilan halaman web yang menampilkan isi dokumen. E. Validasi Sistem Dokumen ujicoba yang digunakan adalah corpus pertanian (Adisantoso, 2004) yang terdiri dari 700 file dokumen pertanian dan 30 frase query. Validasi sistem dilakukan dengan melakukan beberapa frase query terhadap sistem. Nilai PK yang digunakan adalah 10%. Selanjutnya dihitung nilai dari akurasi, kolektifitas dan waktu yang dibutuhkan untuk setiap query (Lampiran 10). Hasil percobaan menunjukkan bahwa secara rata-rata sistem memiliki Akurasi 0.76 dan Kolektifitas 0.64 dengan rata-rata waktu query detik. F. Implikasi & Kebijakan Manajemen Mesin pencari tidak hanya dapat diterapkan secara di Internet, tetapi dapat juga diimplementasikan oleh perusahaan atau institusi pada jaringan Intranet. Mesin pencari tersebut dapat digunakan perangkat untuk mencari dokumendokumen perusahaan. Lalu pertanyaannya, sejauh mana implementasi mesin pencari yang menggunakan cluster mengungguli mesin pencari biasa? Berikut 81