PERBANDINGAN KINERJA METODE K-HARMONIC MEANS DAN PARTICLE SWARM OPTIMIZATION UNTUK KLASTERISASI DATA

Transkripsi

1 PERBANDINGAN KINERJA METODE K-HARMONIC MEANS DAN PARTICLE SWARM OPTIMIZATION UNTUK KLASTERISASI DATA Ahmad Saikhu, Yoke Okta 2 Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember saikhu@its-sby.edu, 2 yoke_okta@cs.its.ac.id Abstrak Proses pengelompokan objek data ke dalam kelas-kelas berbeda ng disebut cluster sehingga objek ng berada pada cluster ng sama semakin mirip dan berbeda dengan objek pada cluster ng lain disebut dengan Clustering. K-Harmonic Means (KHM) merupakan algoritme clustering ng dapat memecahkan masalah inisialisasi pusat cluster pada algoritme K-Means, namun KHM masih belum dapat mengatasi masalah lokal optima. Particle Swarm Optimization (PSO) adalah algoritme stokastik ng dapat digunakan untuk menemukan solusi ng optimal pada sebuah permasalahan numerik. Pada penelitian ini, digunakan algoritme PSO dan algoritme KHM untuk melakukan clustering dan membandingkan hasiln berdasarkan nilai objective function,, dan running time. Uji coba dilakukan dengan 3 skenario terhadap 5 data set ng berbeda. Dari uji coba diperoleh bahwa berdasarkan nilai objective function, F-Meausure dan, metode KHM lebih baik dibanding PSO. Kata kunci: Data Clustering, K-Harmonic Means, Particle Swarm Optimization. PENDAHULUAN Clustering adalah proses pengelompokan objek data ke dalam kelas-kelas berbeda ng disebut cluster sehingga objek ng berada pada cluster ng sama semakin mirip dan berbeda dengan objek pada cluster ng lain [2]. K-Means (KM) adalah salah satu algoritme paling populer ng digunakan untuk proses partisi clustering karena kelakan dan efisiensin pada saat berurusan dengan data ng bank. Meskipun algoritme tersebut mudah diimplementasikan dan dapat bekerja dengan cepat pada bank situasi, algoritme KM memiliki beberapa kelemahan, diantaran hasil cluster sensitif terhadap penentuan awal (inisialisasi) pusat cluster dan hasiln dapat mengarah kepada lokal optima [2]. Untuk mengatasi masalah ng terjadi pada inisialisasi pusat cluster, Zhang, Hsu, dan Dal (999,2000) [8] mengusulkan sebuah algoritme baru ng diberi nama K- Harmonic Means (KHM) ng kemudian dimodifikasi oleh Hammerly dan Elkan (2002). Tujuan dari algoritme ini adalah meminimalisasi rata-rata harmonik dari semua titik pada data set ke seluruh pusat cluster. Meskipun algoritme KHM dapat memecahkan masalah inisialisasi, namun KHM masih belum dapat mengatasi masalah lokal optima [2]. Particle Swarm Optimization (PSO) adalah suatu algoritme stokastik ng dirancang oleh Kennedy dan Eberhart (995), ng diinspirasi oleh perilaku kawanan burung [4]. Pada makalah ini, penulis mengimplementasikan bagaimana algoritme PSO dan algoritme KHM dapat melakukan proses clustering. Berdasarkan hasil uji coba terhadap beberapa data set, didapat bahwa hasil dari algoritme KHM lebih baik daripada PSO. Algoritme KHM masih menghadapi masalah lokal optima, sedangkan PSO dihadapkan pada masalah kecepatan konvergensi dari algoritme PSO [2]. 2. METODE KHM KHM merupakan salah satu metode clustering berbasis terpusat ng diperkenalkan oleh Zhang pada tahun 999 ng kemudian dikembangkan oleh Hammerly dan Elkan pada tahun Tujuan dari algoritme ini adalah meminimalisasi rata-rata harmonik dari semua titik pada data set ke seluruh pusat cluster. Pada K-Means setiap titik data han 26

2 dimasukkan ke satu centroid, ng berarti setiap titik data han memiliki keterkaitan dengan centroid dimana data tersebut dimasukkan. Pada area dengan local density antara titik data dengan centroid ng tinggi, centroid memiliki kemungkinan tidak dapat bergerak dari suatu titik data walaupun faktan terdapat centroid kedua didekatn. Centroid kedua mungkin saja memiliki solusi lokal ng lebih buruk, namun efek global dalam penempatan ulang satu dari dua centroid tersebut mungkin saja dapat berguna bagi proses clustering untuk mendapatkan hasil ng lebih baik. Proses penukaran centroid tersebut tidak dapat terjadi pada algoritme K-Means [8]. Mulai Input data set dan parameter m(c j x i ) : fungsi anggota ng mendefinisikan proporsi dari data point x i milik pusat c j. w(x i ) : fungsi bobot ng mendefinisikan seberapa besar pengaruh data point x i pada proses komputasi ulang parameter centroid pada iterasi selanjutn. Algoritme KHM dapat dilihat pada Gambar dan 2. 2 Untuk setiap data point xi, hitung bobot w(xi) berdasarkan : w (xi) = K j = x i c j p 2 ( K j = x i c j p ) 2 Untuk setiap pusat cj, hitung ulang lokasin terhadap semua data point xi berdasarkan keanggotaan dan bobotn : cj = n i= m c j x i w (x i )x i n i= m c j x i w(x i ) Inisialisasi centroid sebank jumlah cluster dengan memilih secara random dari data Jika lewat batas iterasi atau nilai tidak berubah secara signifikan tidak Hitung Objective function berdasarkan : N k = i= k j = x i c j p Masukkan data point xi ke cluster j dengan nilai m(cj xi) ng terbesar Hitung Untuk setiap data point xi, hitung keanggotaan m(cj xi) pada setiap pusat cj berdasarkan : m(cj xi) = k j = x i c j p 2 x i c j p 2 2 Selesai Gambar 2. Flowchart algoritme KHM bag.2 3. PARTICLE SWARM OPTIMIZATION (PSO) Gambar. Flowchart algoritme KHM bag. Pada algoritme KHM, setiap titik data dicari jarakn ke semua centroid. Rata-rata harmonik sensitif terhadap fakta adan 2 atau lebih centroid ng berada dekat suatu titik data. Algoritme ini secara natural akan menukar satu atau lebih centroid ke area dimana terdapat titik data ng tidak memiliki centroid di dekatn. Semakin baik hasil clustern, nilai fungsi objektif akan semakin kecil [8]. Notasi untuk merumuskan algoritme KHM adalah[2]: X = {x,...,x n } : data ng dicluster C = {c,...,c k } : kumpulan pusat cluster Metode PSO diperkenalkan oleh Kennedy dan Eberhart pada tahun 995. PSO menggunakan sekumpulan partikel ng bekerjasama, dimana setiap partikel merepresentasikan satu kandidat solusi, untuk mengeksplorasi solusi-solusi ng memungkinkan bagi permasalahan optimasi. Masing-masing partikel diinisialisasi secara acak atau heuristik, kemudian partikel partikel tersebut diperbolehkan untuk terbang. Pada setiap langkah optimasi, masing-masing partikel diperbolehkan untuk mengevaluasi kemampuann dan kemampuan partikel-partikel di sekitarn. Masing-masing partikel dapat menyimpan solusi ng menghasilkan kemampuan terbaik 27

3 sebagai salah satu kandidat solusi terbaik untuk semua partikel disekitarn [4]. PSO diinisialisasi dengan pembuatan matriks secara acak. Baris-baris di matriks disebut dengan partikel. Baris-baris tersebut mengandung variabel nilai. Masing-masing partikel akan berpindah berdasarkan jarak dan kecepatan. Partikel memperbaharui kecepatan (velocity) dengan persamaan dan posisin berdasarkan solusi terbaik lokal dan global dengan persamaan 2 [4]. V i t+ =ωv i t + C *R *(P i t X i t )+C 2 *R 2 *(P g t -X i t ) () X t+ i = X t t+ i + V i (2) Variabel i merupakan partikel ke-i dalam kawanan, t merupakan jumlah iterasi, V i adalah kecepatan partikel ke-i dan X i adalah variabel partikel vektor (contohn posisi vektor) dari partikel ke-i pada permasalahan N dimensional. P i adalah solusi terbaik lokal partikel ke-i ng diperoleh, dan P g adalah solusi terbaik global dari seluruh partikel dimana P i dan P g diperoleh berdasarkan nilai fitness ng terbaik [4]. x x 2... x d... x k x k2... x kd Gambar 3. Representasi partikel Mulai konstanta bilangan, sering disebut sebagai cognitive confidence coefficient [4]. Partikel PSO pada kasus data clustering adalah matrix centroid dari tiap cluster ng dibentuk. Partikel pada PSO ditunjukkan pada Gambar 3. k adalah jumlah cluster ng dibentuk dan d adalah dimensi data. Fitness function ng digunakan adalah objective function pada algoritme KHM [2]. Algoritma PSO dapat dilihat pada Gambar 4-6. tidak Gambar 5. Flowchart algoritme PSO bag.2 Untuk setiap particle pc Hitung Objective function berdasarkan : k KHM pc (X,C) = N i= k j = x i c j p Untuk setiap particle pc Untuk setiap data point xi, hitung keanggotaan m(cj xi) pada setiap pusat cj berdasarkan : m pc (c j x i ) = x i c j p 2 k j = x i c j p 2 Jika KHM pc t < KHM pc t- Update pbest pc t dan gbest t t = t+ 3 Input data set dan par k, p, Swarm size, c, c2, Inertia 3 2 Inisialisasi particle sebank Swarm size dengan memilih secara random dari data Inisialisasi velocity = 0 untuk tiap particle Jika t lewat batas iterasi tidak Untuk setiap particle pc Update velocity particle i berdasarkan : Vpc t+ = ωvpc t + C*R*(Ppc t Xpc t ) + C2*R2*(Pg t -Xpc t ) Update posisi particle i berdasarkan : Xpc t+ = Xpc t + Vpc t+ Pilih particle pc dengan nilai KHM pc(x,c) terkecil 2 Masukkan data point x i ke cluster j dengan nilai m pc(c j x i) ng terbesar Gambar 4. Flowchart algoritme PSO bag. R dan R 2 merupakan bilangan acak antara 0 dan, ω adalah beban partikel disebut sebagai innertia weight, C dan C 2 adalah dua Hitung Selesai Gambar 6 Flowchart algoritme PSO bag.3 28

4 4. UJI COBA Uji coba dilakukan terhadap algoritme KHM dan PSO dengan skenario sebagai berikut :. Uji coba dengan parameter p = 2,5 2. Uji coba dengan parameter p = 3 3. Uji coba dengan parameter p = 3,5 Data set ng digunakan sebagai input untuk uji coba adalah data Iris, Glass, Cancer, CMC, dan Wine, dimana kelima data set tersebut disimpan pada file bernama sama dengan ekstensi data. Data didapatkan dari website: ftp://ftp.ics.uci.edu./pub/machine-learningdatabases/. Karakteristik setiap data set dapat dilihat pada Tabel. Selain lima data set, terdapat input parameter ng dapat dilihat pada Tabel 2. Tabel. Karakteristik data set masukan Jumlah Nama Jumlah kelas data set fitur (d) (k) Jumlah data (n) Iris Glass Cancer CMC Wine Tabel 2. Nilai parameter masukan Parameter Nilai P 2,5, 3, dan 3,5 K Sesuai data set Iteration 0 Swarm size 20 c.4968 c Inertia Tabel 3. Hasil dari modul KHM dan PSO pada lima data set dengan p = 2.5 Data Set Kinerja KHM PSO Iris Glass Cancer CMC Wine Nilai parameter p ng digunakan untuk uji coba sistem adalah 2,5, 3, dan 3,5. Nilai parameter k ng diinputkan tergantung dari bank kelas dari tiap data set ng dapat dilihat pada kolom jumlah kelas (k) pada Tabel. Sedangkan nilai untuk parameter ng lain itu Iteration, Swarm size, c, c2, dan Inertia sesuai dengan ng ada pada Tabel 5.2. Nilai parameter tersebut dipilih berdasarkan penelitian seleksi parameter PSO ng dilakukan oleh Shi dan Eberhart [6]. Masing-masing algoritme dijalankan sebank 0 kali untuk setiap data set, kemudian kualitas dari hasil clustering dari ketiga algoritme dibandingkan berdasarkan:. Nilai objective function itu hasil penjumlahan rata-rata harmonic antara titik data dengan seluruh centroid. Semakin kecil nilai, semakin baik kualitas cluster. 2. adalah nilai ng didapatkan dari pengukuran precision dan recall antara class hasil cluster dengan class sebenarn ng terdapat pada data masukan. Precision dan recall bisa didapatkan dengan dengan rumus sebagai berikut [4]: Precision (i,j) = (3) Recall (i,j) = (4) Sedangkan rumus untuk menghitung nilai F- Measure kelas i dengan cluster j adalah sebagai berikut [5] : F(i,j) = (5) n i adalah jumlah data dari kelas i ng diharapkan sebagai hasil query, n j adalah jumlah data dari cluster j ng dihasilkan oleh query, dan n ij adalah jumlah elemen dari kelas i ng masuk di cluster j. Untuk mendapatkan pembobotan ng seimbang antara precision dan recall, digunakan nilai b =. Untuk mendapatkan nilai dari data set dengan jumlah data n, maka rumus ng digunakan adalah sebagai berikut : F = (6) 29

5 Semakin besar nilai, semakin baik kualitas cluster tersebut [2]. Algoritme diimplementasikan menggunakan Matlab 7.0 pada Intel Pentium Dual Core.86 GHz dengan RAM GB. Dari hasil uji coba sistem terhadap 3 skenario itu parameter p = 2.5, 3, dan 3.5 didapatkan hasil objective function,, dan running time dari ketiga algoritme ng dapat dilihat pada Tabel 3-5. Nilai ng dicetak tebal adalah nilai terbaik dan ng dicetak miring adalah ng terbaik kedua. Tabel 4. Hasil dari modul KHM dan PSO pada lima data set dengan p = 3 Kinerja KHM PSO Data Set Iris Glass Cancer CMC Wine Jika dilakukan uji t dan ANOVA terhadap hasil objective function KHM (X,C),, dan running time dari ketiga modul ng terdapat dalam Tabel 3 5, didapatkan hasil sebagai berikut: a. Perbedaan hasil objective function dari kedua algoritme tidak signifikan. b. Nilai F measure dan relatif lebih baik KHM dibandingkan PSO. Iris Tabel 5. Hasil dari modul KHM dan PSO pada 5 data set dengan p = 3.5 Data Set Glass Kinerja KHM PSO Cancer CMC Wine 5. Kesimpulan Setelah dilakukan rangkaian uji coba dan analisis terhadap sistem ng dibuat, dapat disimpulkan: a. Algoritme PSO dan KHM dapat menyelesaikan permasalahan data clustering dengan performa ng cukup baik. b. Perbedaan hasil objective function dari kedua algoritme tidak signifikan. c. Nilai F measure dan lebih baik KHM dibandingkan PSO. 6. Daftar Pustaka [] Cui, X., & Potok, T. E. (2005). Document clustering using Particle Swarm Optimization. In: IEEE swarm intelligence symposium. Pasadena, California. [2] Fengqin Yang, Tieli Sun, Changhai Zhang. 2009, An efficient hybrid data clustering method based on K-harmonic means and Particle Swarm Optimization. [3] Hammerly, G., & Elkan, C. (2002). Alternatives to the k-means algorithm that find better clusterings. In: Proceedings of the th international conference on information and knowledge management (pp ). [4] Kennedy, J., & Eberhart, R. C. (995). Particle swarm optimization. In Proceedings of the 995 IEEE international conference on neural networks (pp ). New Jersey: IEEE Press. [5] Manning, Christopher D., Prabhakar Raghavan, and Hinrich Schutze Introduction to Information Retrieval. Cambridge University Press. [6] Shi, Y. H., Eberhart, R. C., 998. Parameter Selection in Particle Swarm 30

6 Optimization, The 7 th Annual Conference on Evolutionary Programming, San Diego, CA. [7] Ünler, A., & Güngör, Z. (2008). Applying K-harmonic means clustering to the partmachine classification problem. Expert Systems with Applications [8] Zhang, B., Hsu, M., & Dal, U. (999). K-harmonic means a data clustering algorithm. Technical Report HPL Hewlett-Packard Laboratories. 3