KLASTERISASI PADA SUBRUANG DENGAN ALGORITMA PEMBOBOTAN ENTROPI PADA K-MEANS PADA SPARSE DATA BERDIMENSI TINGGI

Transkripsi

1 TUGAS AKHIR CI1599 KLASTERISASI PADA SUBRUANG DENGAN ALGORITMA PEMBOBOTAN ENTROPI PADA K-MEANS PADA SPARSE DATA BERDIMENSI TINGGI AHMAD DENI DWI PRANOTO NRP Dosen Pembimbing I Rully Soelaiman, S.Kom., M.Kom. Dosen Pembimbing II Mediana Aryuni, S.Kom., M.Kom. JURUSAN TEKNIK INFORMATIKA Fakultas Teknologi Informasi Institut Teknologi Sepuluh Nopember Surabaya 2009

2 HALAMAN JUDUL TUGAS AKHIR CI1599 KLASTERISASI PADA SUBRUANG DENGAN ALGORITMA PEMBOBOTAN ENTROPI PADA K-MEANS PADA SPARSE DATA BERDIMENSI TINGGI AHMAD DENI DWI PRANOTO NRP Dosen Pembimbing I Rully Soelaiman, S.Kom., M.Kom. Dosen Pembimbing II Mediana Aryuni, S.Kom., M.Kom. JURUSAN TEKNIK INFORMATIKA Fakultas Teknologi Informasi Institut Teknologi Sepuluh Nopember Surabaya 2009

3 FINAL PROJECT - CI1599 AN ENTROPY WEIGHTING K-MEANS ALGORITHM FOR SUBSPACE CLUSTERING OF HIGH-DIMENSIONAL SPARSE DATA AHMAD DENI DWI PRANOTO NRP First Advisor Rully Soelaiman, S.Kom., M.Kom. Second Advisor Mediana Aryuni, S.Kom., M.Kom. DEPARTMENT OF INFORMATICS Faculty of Information Technology Institut Teknologi Sepuluh Nopember Surabaya 2009

4 KLASTERISASI PADA SUBRUANG DENGAN ALGORITMA PEMBOBOTAN ENTROPI PADA K-MEANS PADA SPARSE DATA BERDIMENSI TINGGI HALAMAN PENGESAHAN TUGAS AKHIR Diajukan Untuk Memenuhi Salah Satu Syarat Memperoleh Gelar Sarjana Komputer pada Bidang Studi Sistem Bisnis Cerdas Program Studi S-1 Jurusan Teknik Informatika Fakultas Teknologi Informasi Institut Teknologi Sepuluh Nopember Oleh: AHMAD DENI DWI PRANOTO Nrp Disetujui oleh Tim Pembimbing Tugas Akhir: 1. Rully Soelaiman, S.Kom., M.Kom...( Pembimbing 1) 2. Mediana Aryuni, S.Kom., M.Kom...( Pembimbing 2) SURABAYA, JULI 2009 HALAMAN PENGESAHAN

5 KLASTERISASI PADA SUBRUANG DENGAN ALGORITMA PEMBOBOTAN ENTROPI PADA K-MEANS PADA SPARSE DATA BERDIMENSI TINGGI Nama Mahasiswa : Ahmad Deni Dwi Pranoto NRP : Jurusan : Teknik Informatika FTIF-ITS Dosen Pembimbing I : Rully Soelaiman, S.Kom., M.Kom. Dosen Pembimbing II : Mediana Aryuni, S. Kom., M.Kom. ABSTRAKSI Pembentukan klaster pada data berdimensi tinggi seringkali berada dalam subruang daripada diseluruh ruang. Sebagai contoh adalah klasterisasi pada data text, klaster-klaster dari dokumen dari topik yang berbeda dikategorikan dalam subset term atau kata kunci. Kata kunci untuk suatu klaster mungkin tidak akan muncul dalam dokumen klaster yang lain, hal ini merupakan permasalahan data sparsity yang dihadapi pada klasterisasi subruang dalam data berdimensi tinggi. Algoritma baru ini mengembangkan proses k-means untuk menghitung bobot masing-masing dimensi dalam klaster dan menggunakan bobot tersebut untuk mengidentifikasi subset dari dimensi yang penting yang mengkategorikan klaster yang berbeda. Hal ini didapatkan dengan memberikan nilai bobot entropi pada obyektif fungsi yang meminimalisasi proses klasterisasi pada k-means. Langkah penyelesaian ditambahkan terhadap k-means untuk menghitung secara otomatis bobot semua dimensi dalam klaster. Uji coba dalam bentuk sintetis data dan real data menunjukan bahwa algoritma baru dapat memberikan hasil klasterisasi yang lebih bagus jika dibandingkan dengan PROCLUS. Algoritma baru ini juga berskala terhadap datasetdataset yang besar. Kata Kunci : penggalian data,variabel pembobot, Klasterisasi Pada Subruang, data berdimensi tinggi i

6 AN ENTROPY WEIGHTING K-MEANS ALGORITHM FOR SUBSPACE CLUSTERING OF HIGH-DIMENSIONAL SPARSE DATA Student s Name : Ahmad Deni Dwi Pranoto Student s Number : Major of Department : Informatics FTIF-ITS First Advisor : Rully Soelaiman, S.Kom., M.Kom. Second Advisor : Mediana Aryuni, S. Kom., M.Kom. ABSTRACT Clustering in high-dimensional data often exist in subspaces rather than in the entrire space. For example, in text clustering, cluster of documents of different topics are categorized by different subset of terms or keywords. The keywords for one cluster may not occur in the documents other clusters, this is data sparsity problem faced in clustering highdimensional data. This new Algorithm extend the k-means process clustering to calculate a weight for each dimension in each cluster dan use the weight values to identify the subset of important dimensions that categorize different cluster. This is achieved by including the weight entropy in the objective function that is minimized in the k-means clustering process. An additional step is added to the k-means clustering porcess to automatically compute the weight of all dimension in each cluster. The experiments on both synthetic data and real data have shown that the new algorithm can generate better clustering results than PROCLUS. The new algorithm is also scalable to large data sets. Key words : data mining, variabel weighting, Subspace Clustering, highdimensional data iii

7 KATA PENGANTAR Bismillahirrahmanirrahim, Syukur Alhamdulillah tak lupa penulis ucapkan kepada Allah Yang Maha Besar atas segala kasih sayang dan karunianya yang telah diberikan sehingga penulis dapat menyelesaikan Tugas Akhir yang berjudul : KLASTERISASI PADA SUBRUANG DENGAN ALGORITMA PEMBOBOTAN ENTROPI PADA K- MEANS PADA SPARSE DATA BERDIMENSI TINGGI Penulis juga turut berterima kasih yang sebanyak-banyaknya atas segala bantuan dari berbagai pihak selama pengerjaan Tugas Akhir ini, khususnya kepada: 1. Ibu dan Bapak yang selalu memberi semangat dan mengirimkan doa dari rumah, beserta Mas Habib, mbak Yeni dan Dik Lia yang selalu mendukung 2. Bapak Rully Soelaiman, S.Kom, M.Kom, selaku pembimbing 1 atas segala bimbingan, motivasi serta kesempatan yang telah diberikan sehingga Tugas Akhir ini dapat terselesaikan dengan baik dan tepat pada waktunya 3. Ibu Mediana Aryuni, S.Kom, M.Kom, yang pernah memberikan pengarahan kepada penulis. 4. Segenap Dosen serta Karyawan Teknik Informatika ITS Surabaya 5. Keluarga keduaku TC 2003, serta keluarga besar HMTC. 6. Teman LAB IBS, NCC, AJK dan RPL yang telah membantu kelancaran penyelesaian Tugas Akhir Ini 7. Mas, mbak serta adek yang lucu-lucu yang selalu memberi motivasi, inspirasi, dan bantuan baik doa maupun materil 8. Serta pihak lainnya yang mungkin tidak dapat tersebutkan disini v

8 Penulis juga memohon maaf yang sebesar-besarnya apabila dalam pengerjaan Tugas Akhir ini masih terdapat banyak kekurangan dan kesalahan, oleh karena itu penulis sangat berharap agar segala pertanyaan, kritik dan saran tentang Tugas Akhir ini dapat dikirimkan melalui ke atau Akhir kata, penulis hanya bisa berharap semoga Tugas Akhir ini dapat memberikan manfaat untuk kita semua, terutama untuk diri penulis sendiri, bangsa serta almamater. Surabaya, Juli 2009 Penulis vi

9 DAFTAR ISI KATA PENGANTAR... v DAFTAR ISI... vii DAFTAR GAMBAR... ix DAFTAR TABEL... xiii BAB 1 PENDAHULUAN LATAR BELAKANG TUJUAN PEMBUATAN TUGAS AKHIR PERUMUSAN MASALAH BATASAN MASALAH METODOLOGI PERANCANGAN SISTEMATIKA PENULISAN... 4 BAB 2 TINJAUAN PUSTAKA DASAR PENGGALIAN DATA DASAR PEMBENTUKAN KLASTER KLASTERISASI PADA SUBRUANG Feature Transformation Feature Selection METODE PEMBENTUKAN KLASTER PADA SUBRUANG Hard subspace Clustering Soft Subspace Clustering BAB 3 ALGORITMA PEMBENTUKAN KLASTER PEMBOBOTAN ENTROPI K-MEANS PEMBOBOTAN ENTROPI K-MEANS ALGORITMA EWKM PARSIAL SOLUSI ALGORITMA EWKM Update Partisi Matrik Update Pusat Klaster Update Bobot dimensi BAB 4 DESAIN DAN IMPLEMENTASI PERANGKAT LUNAK.. 33 vii

10 4.1 DESAIN PERANGKAT LUNAK Perancangan Data Diagram Alir Aplikasi IMPLEMENTASI PERANGKAT LUNAK Lingkungan Implementasi Perangkat Lunak Kelompok Kelas yang Dibutuhkan BAB 5 UJI COBA PERANGKAT LUNAK LINGKUNGAN UJI COBA PENGUJIAN DATA SINTETIS Data yang Digunakan Hasil Pengujian PENGUJIAN DATA ASLI Data yang Digunakan Hasil Pengujian BAB 6 PENUTUP KESIMPULAN SARAN DAFTAR PUSTAKA LAMPIRAN BIODATA PENULIS viii

11 DAFTAR GAMBAR Gambar 2-1. Tahapan Data Mining... 7 Gambar 2-2. Klaster pada Data R Gambar 2-3. Dimensionality pada data set Gambar 2-4. klasterisasi dengan subset Gambar 3-1. fungsi baru K-Means dengan pembobotan entropi Gambar 3-2. algoritma entropy weighting k-means Gambar 3-3. Proses identifikasi obyek dalam klaster Gambar 3-4. pseudo code update partisi matrik Gambar 3-5. Proses update pusat klaster Gambar 3-6. pseudo code update pusat klaster Gambar 3-7. Proses update bobot dimensi Gambar 3-8. pseudo code update bobot dimensi Gambar 4-1. Dataset Input Gambar 4-2. Diagram Global Alir Aplikasi Gambar 4-3. Diagram Alir Algoritma Pembobotan Entropi k-means Gambar 4-4. Diagram Alir Parsial solusi Partisi Matriks Gambar 4-5. Diagram Alir Parsial solusi Pusat Klaster Gambar 4-6. Diagram Alir Parsial solusi Bobot Dimensi Gambar 4-7. Inisialisasi variabel kelas InformationData Gambar 4-8. Metode setdatainformation Gambar 4-9. Metode getvaluedatainformation Gambar Metode getdatainformation Gambar Metode getnumberdata Gambar Metode getnumberdimension Gambar Metode setclassname Gambar Metode getclassname Gambar Metode getnumberclass Gambar Metode setvectorname Gambar Metode getvectorname Gambar Inisialisasi Kelas PartitionMatriks Gambar Metode setinitialpartitionmatrix Gambar Metode updatepartitionmatrix Gambar Metode getvaluepartitionmatrix Gambar Metode getinitialpartitionmatriks Gambar Metode getpartitionmatriks ix

12 Gambar Metode setinitialclustercenter Gambar Metode updateclustercenter Gambar Metode getvalueclustercenter Gambar Metode getclustercenter Gambar Inisialisasi Kelas DimensionWeight Gambar Metode setinitialdimensionweight Gambar Metode updatedimensionweight Gambar Metode getdimensionweight Gambar Metode getdispobj2clust Gambar Metode getdisponupdpm Gambar Metode getdisponupddw Gambar Metode getaccuration Gambar 4-36.Lanjutan Metode getaccuration Gambar Format Data Input dengan Tanda Koma Gambar Inisialisasi Gambar Metode openfile Gambar Metode readfile Gambar Lanjutan Metode readfile Gambar Metode getminmax Gambar Data Hasil Normalisasi Gambar Metode getminmaxnorm Gambar Metode getminmaxnorm Gambar Diagram alir synthetic data Gambar Metode getgeneraterndnumdim Gambar Metode getgeneraterelvdimension Gambar Lanjutan Metode getgeneraterelvdimension Gambar Lanjutan Metode getgeneraterelvdimension Gambar Metode getgenerateindex Gambar Metode getgeneratevariance Gambar Metode getgeneratemeans Gambar Lanjutan Metode getgeneratemeans Gambar Metode getgeneratenumpointcluster Gambar Metode getgeneratedatapoint Gambar Lanjutan Metode getgeneratedatapoint Gambar Lanjutan Metode getgeneratedatapoint Gambar 5-1. Aasil Akurasi (data 16 dimensi) Gambar 5-2. Hasil Akurasi (data 20 dimensi) Gambar 5-3. Hasil Akurasi (data 24 dimensi) Gambar 5-4. Uji Akurasi pada Peningkatan Attribut x

13 Gambar 5-5. Uji Akurasi pada 210 data Gambar 5-6. Uji Waktu pada 210 data Gambar 5-7. Uji Akurasi pada 2100 data Gambar 5-8. Uji Waktu pada 2100 data Gambar 5-9. Uji Rata-rata Akurasi pada Data Segmentasi xi

14 DAFTAR TABEL Tabel 3-1. Parsial Solusi Partisi Matrik Tabel 3-2. lanjutan Parsial Solusi Partisi Matrik Tabel 3-3. Parsial Solusi Update Pusat Klaster Tabel 3-4. Lanjutan Parsial Solusi Update Pusat Klaster Tabel 3-5. Parsial Solusi Update Pusat Klaster Tabel 4-1. Lingkungan Perangkat Keras Tabel 4-2. Lingkungan Perangkat Lunak Tabel 4-3. Parameter untuk generate sintetic data Tabel 5-1. Lingkungan Perangkat Keras Uji Coba Tabel 5-2. Lingkungan Perangkat Lunak Uji Coba Tabel 5-3. Spesifikasi Input Parameter Data Sintetis Tabel 5-4. Confusion Matrik EWKM untuk Uji Akurasi Data Sintetis Tabel 5-5. Spesifikasi Parameter Input Algoritma Tabel 5-6. Spesifikasi Parameter Input (Data 20 dimensi) Tabel 5-7. Spesifikasi Parameter Input (Data 24 dimensi) Tabel 5-8. Spesifikasi Data Segmentasi Citra dan parameter uji Tabel 5-9. Spesifikasi Data Segmentasi Citra... 83