CLUSTERING DOKUMEN MENGGUNAKAN ALGORITMA SELF-ORGANIZING MAP (SOM) (STUDI KASUS : DOKUMEN SKRIPSI DI FAKULTAS PERTANIAN UNS)

Transkripsi

1 CLUSTERING DOKUMEN MENGGUNAKAN ALGORITMA SELF-ORGANIZING MAP (SOM) (STUDI KASUS : DOKUMEN SKRIPSI DI FAKULTAS PERTANIAN UNS) Diajukan untuk Memenuhi Salah Satu Syarat Mencapai Gelar Sarjana Jurusan Informatika HALAMAN JUDUL Disusun Oleh: VERA SURYANINGSIH NIM. M JURUSAN INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET 2015 i

2 ii

3 iii

4 MOTTO Sesali masa lalu karena ada kekecewaan dan kesalahan-kesalahan, tetapi jadikan penyesalan itu sebagai senjata untuk masa depan agar tidak terjadi kesalahan lagi Contoh yang baik adalah nasehat terbaik (Fuller) iv

5 PERSEMBAHAN Skripsi ini penulis persembahkan kepada: Orang tua tercinta, Bapak Suranto dan Ibu Eni Purwaningsih Kakak dan kakak ipar, Mbak Eri dan Mas Didik Keponakan yang ganteng, Dik Naufal Mas Sonny Sahabat serta teman-teman yang telah mensuport dan berjasa banyak Jurusan Informatika FMIPA UNS v

6 KATA PENGANTAR Puji syukur kepada Allah SWT atas segala limpahan rahmat dan karunia- Nya, sehingga penulis dapat menyelesaikan penulisan Tugas Akhir. Sholawat dan salam senantiasa penulis haturkan kepada Rosululloh SAW sebagai pembimbing seluruh umat manusia. Tugas Akhir ini tidak akan selesai tanpa adanya bantuan dari banyak pihak, oleh karena itu penulis menyampaikan terima kasih kepada: 1. Bapak Ir. Ari Handono Ramelan, M.Sc. (Hons), Ph.D,. selaku Dekan FMIPA UNS. 2. Bapak Drs. Bambang Harjito, M.App.Sc., Ph.D., selaku Ketua Jurusan S1 Informatika FMIPA UNS. 3. Ibu Sari Wdya Sihwi, S.Kom., M.T.I., selaku pembimbing I yang telah dengan sabar memberikan bimbingan, petunjuk dan masukan. 4. Bapak Meiyanto Eko Sulistyo, S.T., M.Eng., selaku pembimbing II yang telah dengan sabar memberikan bimbingan, petunjuk dan masukan. 5. Ibu Esti Suryani, S.Si., M.Kom. selaku Pembimbing Akademis yang telah memberikan pengarahan selama proses penyelesaian Tugas Akhir ini. 6. Bapak Ristu Saptono, S.Si., M.T., selaku anggota dewan penguji yang telah memberikan kritik, saran, dan masukan yang membangun. 7. Bapak Prof. Dr Samanhudi, SP, M.Si selaku Pembantu Dekan 1 fakultas Pertanian UNS yang telah memberi validasi serta saran terhadap hasil Tugas Akhir ini. 8. Bapak-Ibu dosen Jurusan Informatika UNS yang telah memberikan ilmu pengetahuan dan pengalaman yang sangat berguna dalam penyusunan Tugas Akhir ini. 9. Bapak Suranto, Ibu Eni Purwaningsih, Mbak Eri, Mas Didik, Naufal, Mas Sonny, serta seluruh keluarga yang selalu mendukung, mendoakan, dan memberi semangat. 10. Teman-teman Jurusan Informatika UNS khususnya angkatan 2009 yang selalu bersedia untuk berbagi informasi, ilmu, dan pengalaman serta selalu memberikan motivasi dan semangat. vi

7 11. Teman-teman kos Pondok Biru & Sri Tanjung yang selalu memberi dukungan, dan hiburan. 12. Semua pihak yang tidak dapat penulis sebutkan satu persatu. Semoga Allah SWT membalas jerih payah dan pengorbanan yang telah diberikan dengan balasan yang lebih baik. Penulis berharap semoga skripsi ini dapat bermanfaat bagi yang berkepentingan khususnya dan bagi pembaca umumnya. Surakarta, 11 Mei 2015 Vera Suryaningsih vii

8 DOCUMENT CLUSTERING USING SELF-ORGANIZING MAP (SOM) ALGORITHM (CASE STUDY: THESIS DOCUMENTS IN THE FACULTY OF AGRICULTURE UNS) VERA SURYANINGSIH Department of Informatics. Faculty of Mathematics and Natural Sciences. Sebelas Maret University ABSTRACT Faculty of Agriculture, Universitas Sebelas University has generated a lot of research, especially thesis documents. If the thesis document is processed, it is possible to be found a pattern that will give benefit for the faculty. Therefore, text mining of the thesis document needs to be done. This research performed clustering to thesis documents in the faculty of Agriculture UNS 2008 to 2013 by using the Self-Organizing Map algorithm. Before the clustering process, the abstracts were processed through the text preprocessing stage and TF-IDF weighting. This research used 81 as cluster number, 1000 as iteration number and 0,1 as learning rate. The results showed that there are several clusters which has a theme that possible can be collaborated with some or all of the department. There are also cluster which it s theme possible can t be collaborated with another department, because only certain department who has done research on the theme of the cluster. But it could be, other departments has not done research on this theme. Department of Agribusiness has a various themes in each year. While the Department of Agrotechnology, department of ITP, and Department of Animal Husbandry just took a few same theme each year. Keyword : Text Mining, Text Preprocessing, TF-IDF, Clustering, Self-Organizing Map. viii

9 CLUSTERING DOKUMEN MENGGUNAKA ALGORITMA SELF-ORGANIZING MAP (SOM) (STUDI KASUS : DOKUMEN SKRIPSI DI FAKULTAS PERTANIAN UNS) VERA SURYANINGSIH Jurusan Informatika, Fakultas MIPA, Universitas Sebelas Maret ABSTRAK Fakultas Pertanian Universitas Sebelas Maret telah menghasilkan banyak dokumen penelitian khususnya berupa skripsi. Jika kumpulan dokumen skripsi tersebut diolah, dimungkinkan akan ditemukan suatu pola yang bermanfaat bagi pihak fakultas. Oleh karena itu, perlu dilakukan text mining terhadap kumpulan dokumen skripsi tersebut. Penelitian ini akan melakukan clustering pada dokumen skripsi di fakultas Pertanian UNS tahun 2008 sampai 2013 dengan menggunakan algoritma Self- Organizing Map. Sebelum dilakukan proses clustering, abstrak terlebih dahulu diolah melalui tahap text preprocessing dan pembobotan TF-IDF. Pada penelitian ini menggunakan inputan cluster sebanyak 81, iterasi sebanyak 1000 dan learning rate sebesar 0,1. Hasil penelitian menunjukkan bahwa ada beberapa cluster yang dimungkinkan tema pada cluster tersebut berpotensi untuk dikolaborasikan dengan beberapa maupun semua prodi. Ada juga cluster yang dimungkinkan tema pada cluster tersebut memang tidak bisa dilakukan kolaborasi, karena hanya prodi tertentu yang pernah melakukan penelitian pada tema cluster tersebut. Namun bisa jadi, prodi lain memang belum mencoba untuk melakukan penelitian pada tema tersebut. Jurusan Agribisnis memiliki penyebaran tren tema yang bervariasi ditiap tahunnya. Sedangkan pada prodi Agroteknologi, prodi ITP, serta prodi Peternakan tema yang banyak diambil ditiap tahunnya hanya di beberapa tema saja. Kata kunci : Text Mining, Text Preprocessing, TF-IDF, Clustering, Selfcommit to user Organizing Map ix

10 DAFTAR ISI HALAMAN JUDUL... i HALAMAN PERSETUJUAN... Error! Bookmark not defined. HALAMAN PENGESAHAN... ii HALAMAN MOTTO... iii HALAMAN PERSEMBAHAN... v KATA PENGANTAR... vi ABSTRACK... viii ABSTRAK... ix DAFTAR ISI... x DAFTAR TABEL... xii DAFTAR GAMBAR... xiii DAFTAR LAMPIRAN... xiv BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian Sistematika Penulisan... 4 BAB II LANDASAN TEORI Dasar Teori Text Mining Text Preprocessing Algoritma Stemming Nazief & Afriani Term Frequency (TF) dan Inverse Document Frequency (IDF) DF Feature Selection Min Max Normalization Clustering Self-Organizing Map (SOM) Penelitian Terkait Kerangka Pemikiran commit... to user 17 x

11 BAB III METODOLOGI PENELITIAN Studi Literatur Pengumpulan Data Penerapan Metode Tahap Text Preprocessing Tahap Pembobotan TF-IDF Tahap Clustering Tahap Analisis Tahap Validasi BAB IV HASIL DAN PEMBAHASAN Deskripsi Data Tahap Text Preprocessing Tahap Pembobotan TF-IDF Normalisasi Data Proses Clustering Analisis Hasil Clustering Validasi BAB V PENUTUP KESIMPULAN SARAN DAFTAR PUSTAKA LAMPIRAN xi

12 DAFTAR TABEL Tabel 2.1 Penelitian Terkait Tabel 4.1 Contoh dokumen untuk perhitungan TF-IDF Tabel 4.2 Hasil dari perhitungan TF serta DF yang belum mengalami proses feature selection Tabel 4.3 Hasil dari perhitungan TF serta DF yang sudah mengalami proses feature selection Tabel 4.4 Hasil perhitungan TF, DF, IDF, dan TF-IDF Tabel 4.5 Perbandingan TF-IDF yang belum ternormalisasi dan TF-IDF yang sudah dinormalisasi dengan Min Max Normalization Tabel 4.6 Perkiraan tema pada setiap cluster C1 - C Tabel 4.7 Distribusi Frekuensi Cluster per Prodi Tabel 4.8 Distribusi Frekuensi Cluster Pertahun Pada Prodi Agribisnis Tabel 4.9 Distribusi Frekuensi Cluster Pertahun Pada Prodi Agroteknologi Tabel 4.10 Distribusi Frekuensi Cluster Pertahun Pada Prodi ITP Tabel 4.11 Distribusi Frekuensi Cluster Pertahun Pada Prodi Peternakan xii

13 DAFTAR GAMBAR Gambar 2.1 Proses Case Folding... 6 Gambar 2.2 Proses Tokenizing... 6 Gambar 2.3 Proses Filtering... 7 Gambar 2.4 Proses Stemming... 7 Gambar 2.5 Arsitektur SOM (Kristanto, 2004) Gambar 3.1 Metodologi Penelitian Gambar 3.2 Proses Text Preprocessing Gambar 4.1 Abstrak dokumen contoh yang belum dilakukan Text Preprocessing Gambar 4.2 Hasil Case Folding terhadap Dokumen Contoh Gambar 4.3 Hasil Tokenizing terhadap Dokumen Contoh Gambar 4.4 Hasil Filtering terhadap Dokumen Contoh Gambar 4.5 Hasil Stemming terhadap Dokumen Contoh Gambar 4.6 Hasil Filtering - Stemming terhadap Dokumen Contoh Gambar 4.7 Topologi SOM Gambar 4.8 Salah Satu Dokumen Disajikan ke dalam Jaringan SOM...31 Gambar 4.9 Radius BMU Gambar 4.10 Topologi SOM untuk data contoh Gambar 4.11 Contoh tampilan hasil per-cluster xiii

14 DAFTAR LAMPIRAN LAMPIRAN 1 Hasil Clustering xiv