PENERAPAN METODE PARTICLE SWARM OPTIMIZATION PADA METODE K-HARMONIC MEANS UNTUK DATA CLUSTERING

Transkripsi

1 PENERAPAN METODE PARTICLE SWARM OPTIMIZATION PADA METODE K-HARMONIC MEANS UNTUK DATA CLUSTERING Yoe Ota a, Ahmad Saihu, S.Si,MT. b Jurusan Teni Informatia, Faultas Tenologi Informasi, Institut Tenologi Sepuluh Nopember, Suraba Abstra Clustering adalah proses pengelompoan obje data e dalam elas-elas berbeda ng disebut cluster sehingga obje ng berada pada cluster ng sama semain mirip dan berbeda dengan obje pada cluster ng lain. K-Harmonic Means (KHM) merupaan algoritme clustering ng dapat memecahan masalah inisialisasi pusat cluster pada algoritme K-Means, namun KHM masih belum dapat mengatasi masalah loal optima. Particle Swarm Optimization (PSO) adalah algoritme stoasti ng dapat digunaan untu menemuan solusi ng optimal pada sebuah permasalahan numeri, namun PSO memilii masalah pada ecepatan onvergensi. Untu mengatasi masalah tersebut terdapat algoritme Particle Swarm Optimization K-Harmonic Means (PSOKHM) ng merupaan penggabungan dari algoritme KHM dan PSO. Pada tugas ahir ini, digunaan algoritme PSOKHM untu melauan clustering data, serta algoritme KHM dan PSO sebagai perbandingan evaluasi hasil cluster berdasaran nilai objective function,, dan running time. Uji coba dilauan dengan 3 senario terhadap 5 data set ng berbeda. Berdasaran hasil uji coba diperoleh bahwa, jia ditinjau dari nilai objective function dan, PSOKHM mampu memberian hasil ng lebih bai. Sedangan bila dilihat dari running time, PSOKHM mampu mengungguli PSO namun lebih bai daripada KHM. Kata unci : Data Clustering, K-Harmonic Means, Particle Swarm Optimization 1. Pendahuluan Clustering adalah proses pengelompoan obje data e dalam elas-elas berbeda ng disebut cluster sehingga obje ng berada pada cluster ng sama semain mirip dan berbeda dengan obje pada cluster ng lain [2]. K- Means (KM) adalah salah satu algoritme paling populer ng digunaan untu proses partisi clustering arena elaan dan efisiensin pada saat berurusan dengan data ng ban. Mesipun algoritme tersebut mudah diimplementasian dan dapat beerja dengan cepat pada ban situasi, algoritme KM memilii beberapa elemahan, diantaran hasil cluster sensitif terhadap penentuan awal (inisialisasi) pusat cluster dan hasiln dapat mengarah epada loal optima [2]. Untu mengatasi masalah ng terjadi pada inisialisasi pusat cluster, Zhang, Hsu, dan Dal (1999,2000) [8] mengusulan sebuah algoritme baru ng diberi nama K-Harmonic Means (KHM) ng emudian dimodifiasi oleh Hammerly dan Elan (2002). Tujuan dari algoritme ini adalah meminimalisasi rata-rata harmoni dari semua titi pada data set e seluruh pusat cluster. Mesipun algoritme KHM dapat memecahan masalah inisialisasi, namun KHM masih belum dapat mengatasi masalah loal optima [2]. Particle Swarm Optimization (PSO) adalah suatu algoritme stoasti ng dirancang oleh Kennedy dan Eberhart (1995), ng diinspirasi oleh perilau awanan burung [4]. Pada paper ini, penulis melauan esplorasi bagaimana algoritme PSO dapat membantu algoritme KHM untu terlepas dari loal optima. Dengan menggunaan edua algoritme tersebut, sebuah algoritme hibrid clustering data ng disebut Particle Swarm Optimization K-Harmonic Means (PSOKHM) dienalan [2]. Berdasaran hasil uji coba terhadap beberapa data set, didapat bahwa hasil dari algoritme PSOKHM lebih bai daripada KHM dan PSO. Algoritme PSOKHM ini han mengatasi masalah loal optima pada algoritme KHM, namun juga meningatan ecepatan onvergensi dari algoritme PSO [2]. Paper ini dapat dibagi sebagai beriut : Bagian 2 memperenalan algoritme clustering KHM. Pada bagian 3 dijelasan bagaimana algoritme PSO dipaai pada proses clustering. Bagian 4 menjelasan Algoritme hibrid PSOKHM. Bagian 5 berisi implementasi dan hasil uji coba terhadap 5 data set, itu Iris, Glass, Cancer, CMC, dan Wine. Kemudian ng terahir, bagian 6 berisi esimpulan. 2. Metode clustering K-Harmonic Means K-Harmonic means merupaan salah satu metode clustering berbasis terpusat ng diperenalan oleh Zhang pada tahun 1999 ng emudian diembangan oleh Hammerly dan Elan pada tahun Tujuan dari algoritme ini adalah meminimalisasi rata-rata harmoni dari semua titi pada data set e seluruh pusat cluster. Pada K-Means setiap titi data han dimasuan e satu centroid, ng berarti setiap titi data han memilii eteraitan dengan centroid dimana data tersebut dimasuan. Pada area dengan loal density antara titi data dengan centroid ng tinggi, centroid memilii emunginan dapat bergera dari suatu titi data walaupun fatan terdapat centroid edua dideatn. Centroid edua ini mungin saja memilii solusi loal ng lebih buru, namun efe global dalam penempatan ulang satu dari dua centroid tersebut mungin saja dapat berguna bagi proses clustering untu mendapatan hasil ng lebih bai. Proses penuaran centroid tersebut dapat terjadi pada algoritme K-Means [8]. Pada algoritme KHM, setiap titi data dicari jaran e semua centroid. Rata-rata harmoni sensitif terhadap fata adan 2 atau lebih centroid ng berada deat suatu titi data. Algoritme ini secara natural aan menuar satu atau lebih centroid e area dimana terdapat suatu titi data ng memilii centroid di deatn. Sehingga semain bai hasil clustern, nilai fungsi objetifn aan semain ecil [8]. Notasi beriut digunaan untu merumusan algoritme KHM [2]: X = {x 1,...,x n } : data ng dicluster C = {c 1,...,c } : umpulan pusat cluster

2 m(c j x i ) : fungsi anggota ng mendefinisian proporsi dari data point x i mili pusat c j. w(x i ) : fungsi bobot ng mendefinisian seberapa besar pengaruh ng dimilii data point x i pada proses omputasi ulang parameter centroid pada iterasi selanjutn. Algoritme KHM dapat dilihat pada Gambar 2.1 dan 2.2. Mulai 1 2 Untu setiap data point x i, hitung bobot w(x i ) berdasaran : K j =1 w (x i ) = x i c j p 2 ( K j =1 x i c j p ) 2 Input data set dan parameter Inisialisasi centroid seban jumlah cluster dengan memilih secara random dari data Hitung Objective function berdasaran : = N i=1 1 j =1 x i c j p Untu setiap data point x i, hitung eanggotaan m(c j x i ) pada setiap pusat c j berdasaran : m(c j x i ) = x i c j p 2 j =1 x i c j p 2 Untu setiap pusat c j, hitung ulang loasin terhadap semua data point x i berdasaran eanggotaan dan bobotn : n i=1 m c j x i w(x i )x i c j = n i=1 m c j x i w (x i ) Jia lewat batas iterasi atau nilai berubah secara signifian Masuan data point x i e cluster j dengan nilai m(c j x i ) ng terbesar Hitung Selesai Gambar 2.1 Flowchart algoritme KHM bag.1 3. Particle Swarm Optimization 1 Metode PSO diperenalan oleh Kennedy dan Eberhart pada tahun PSO menggunaan seumpulan partiel ng beerjasama, dimana setiap partiel merepresentasian satu andidat solusi, untu mengesplorasi solusi-solusi ng memunginan bagi permasalahan optimasi. Masing-masing partiel diinisialisasi secara aca atau heuristi, emudian partiel partiel tersebut diperbolehan untu terbang. Pada setiap langah optimasi, masing-masing partiel diperbolehan untu mengevaluasi emampuann dan emampuan partiel-partiel di seitarn. Masing-masing partiel dapat menyimpan solusi ng menghasilan emampuan terbai sebagai salah satu andidat solusi terbai untu semua partiel diseitarn [4]. PSO diinisialisasi dengan pembuatan matris secara aca. Baris-baris di matris disebut dengan partiel. Barisbaris tersebut mengandung variabel nilai. Masing-masing partiel aan berpindah berdasaran jara dan ecepatan. Partiel memperbaharui ecepatan (velocity) dengan persamaan 3.1 dan posisin berdasaran solusi terbai loal dan global dengan persamaan 3.2 [4]. V i t+1 = ωv i t + C 1 *R 1 *(P i t X i t ) + C 2 *R 2 *(P g t -X i t ) (3.1) 2 Gambar 2.2 Flowchart algoritme KHM bag.2 X t+1 i = X t t+1 i + V i (3.2) Variabel i merupaan partiel e-i dalam awanan, t merupaan jumlah iterasi, V i adalah ecepatan partiel e-i dan X i adalah variabel partiel vetor (contohn posisi vetor) dari partiel e-i pada permasalahan N dimensional. P i adalah solusi terbai loal partiel e-i ng diperoleh, dan P g adalah solusi terbai global dari seluruh partiel dimana P i dan P g diperoleh berdasaran nilai fitness ng terbai [4]. R 1 dan R 2 merupaan bilangan aca antara 0 dan 1, ω adalah beban partiel disebut sebagai innertia weight, C 1 dan C 2 adalah dua onstanta bilangan, sering disebut sebagai cognitive confidence coefficient [4]. Partiel PSO pada asus data clustering adalah matrix centroid dari tiap cluster ng dibentu. Representasi partiel PSO dapat dilihat pada Gambar 3.1. x 11 x x 1d... x 1 x 2... x d Gambar 3.1 Representasi partiel Dimana adalah jumlah cluster ng dibentu dan d adalah dimensi data. Fitness function ng digunaan pada asus ini adalah objective function pada algoritme KHM [2]. Algoritme PSO dapat dilihat pada Gambar

3 Mulai 3 2 Input data set dan parameter, p, Swarm size, c1, c2, dan Inertia Inisialisasi particle seban Swarm size dengan memilih secara random dari data Inisialisasi velocity = 0 untu tiap particle Update velocity particle i berdasaran : Jia t lewat batas iterasi Pilih particle pc dengan nilai KHM pc (X,C) terecil Masuan data point x i e cluster j dengan nilai m pc (c j x i ) ng terbesar Hitung V pc t+1 = ωv pc t + C 1 *R 1 *(P pc t X pc t ) + C 2 *R 2 *(P g t -X pc t ) Update posisi particle i berdasaran : X pc t+1 = X pc t + V pc t+1 1 Gambar 3.2 Flowchart algoritme PSO bag.1 1 Hitung Objective function berdasaran : N KHM pc (X,C) = i=1 1 j =1 x i c j p Untu setiap data point x i, hitung eanggotaan m(c j x i ) pada setiap pusat c j berdasaran : m pc (c j x i ) = x i c j p 2 j =1 x i c j p 2 Jia KHM pc t < KHM pc t-1 Update pbest pc t dan gbest t t = t+1 Gambar 3.3 Flowchart algoritme PSO bag Gambar 3.4 Flowchart algoritme PSO bag.3 4. Algoritme PSOKHM KHM merupaan algoritme clustering ng dapat memecahan masalah inisialisasi pusat cluster pada algoritme K-Means. Mesipun algoritme KHM dapat memecahan masalah inisialisasi, namun KHM masih belum dapat mengatasi masalah loal optima. Untu mendapatan solusi optimal, terdapat algoritme stoasti ng bernama PSO, namun algoritme PSO memilii masalah pada ecepatan onvergensi. Untu mengatasi masalah tersebut, Fengqin Yang, Tieli Sun, dan Changhai Zhang (2009) mengintegrasian algoritme PSO dengan KHM, sehingga didapat algoritme clustering hybrid ng disebut PSOKHM. Algoritme PSOKHM menggunaan KHM dengan empat ali iterasi terhadap partiel setiap delapan generasi sehingga fitness value dari setiap partiel meningat. Partiel adalah sebuah vetor dari bilangan real dari dimensi *d, dimana adalah ban cluster dan d adalah dimensi data ng dicluster. Fitness function ng dipaai untu algoritme PSOKHM adalah objective function dari algoritme KHM [2]. Algoritme PSOKHM dapat dilihat pada Gambar 4.1 dan Uji Coba Selesai Uji coba dilauan terhadap algoritme KHM, PSO, dan PSOKHM dengan senario sebagai beriut : 1. Uji coba dengan parameter p = 2,5 2. Uji coba dengan parameter p = 3 3. Uji coba dengan parameter p = 3,5 Lima data set digunaan sebagai input untu uji coba terhadap sistem. Data set ng digunaan adalah Iris, Glass, Cancer, CMC, dan Wine, dimana elima data set tersebut disimpan pada file bernama sama dengan estensi data. Data set bisa didapatan dari website : ftp://ftp.ics.uci.edu./pub/machine-learning-databases/. Karateristi setiap data set dapat dilihat pada Tabel 5.1. Selain lima data set ng telah disebutan di atas, terdapat beberapa input parameter ng dapat dilihat pada Tabel 5.2.

4 Tabel 5.1 Karateristi data set masuan Nama data set Jumlah elas () Jumlah fitur (d) Jumlah data (n) Iris Glass Cancer CMC Wine Tabel 5.2 Nilai parameter masuan 1 2 Update tiap centroid dengan menjalanan modul KHM Gen3 = Gen3+1 Jia Gen3 < 4 Parameter Nilai p 2,5, 3, dan 3,5 Sesuai data set Iteration 10 Swarm size 20 c c Inertia Jia Gen1 < 5 Pilih particle pc dengan nilai KHM pc (X,C) terecil Masuan data point x i e cluster j dengan nilai m pc (c j x i ) ng terbesar Hitung Mulai Input data set dan parameter, p, Swarm size, c1, c2, dan Inertia Selesai Inisialisasi particle seban swarm size dengan memilih secara random dari data Inisialisasi velocity = 0 untu tiap particle Gen1 = 0 Gen2 = Gen3 = 0 Lauan Modul PSO untu mengupdate particle pc Gen2 = Gen2+1 Jia Gen2 < 8 Ambil posisi particle pc sebagai centroid awal 1 2 Gambar 4.2 Flowchart algoritme PSOKHM bag.2 Nilai parameter p ng digunaan untu uji coba sistem adalah 2,5, 3, dan 3,5. Nilai parameter ng diinputan tergantung dari ban elas dari tiap data set ng dapat dilihat pada olom jumlah elas () pada Tabel 5.1. Sedangan nilai untu parameter ng lain itu Iteration, Swarm size, c1, c2, dan Inertia sesuai dengan ng ada pada Tabel 5.2. Nilai parameter tersebut dipilih berdasaran penelitian selesi parameter PSO ng dilauan oleh Shi dan Eberhart [6]. Masing-masing algoritme dijalanan seban 10 ali untu setiap data set, emudian ualitas dari hasil clustering dari etiga algoritme dibandingan berdasaran : 1. Nilai objective function itu hasil penjumlahan rata-rata harmoni antara titi data dengan seluruh centroid. Semain ecil nilai, semain bai ualitas cluster tersebut. 2. adalah nilai ng didapatan dari penguuran precision dan recall antara class hasil cluster dengan class sebenarn ng terdapat pada data masuan. Precision dan recall bisa didapatan dengan dengan rumus sebagai beriut [2]: Precision (i,j) = n ij n j (5.1) Gambar 4.1 Flowchart algoritme PSOKHM bag.1

5 Recall (i,j) = n ij n i (5.2) Sedangan rumus untu menghitung nilai elas i dengan cluster j adalah sebagai beriut [2] : F(i,j) = b2 +1.(p i,j.r(i,j )) b 2.p i,j +r(i,j ) (5.3) n i adalah jumlah data dari elas i ng diharapan sebagai hasil query, n j adalah jumlah data dari cluster j ng dihasilan oleh query, dan n ij adalah jumlah elemen dari elas i ng masu di cluster j. Untu mendapatan pembobotan ng seimbang antara precision dan recall, digunaan nilai b = 1. Untu mendapatan nilai dari data set dengan jumlah data n, maa rumus ng digunaan adalah sebagai beriut : F = ni i max n j {F(i, j)} (5.4) Semain besar nilai, semain bai ualitas cluster tersebut [2]. Algoritme diimplementasian menggunaan Matlab 7.0 pada Intel Pentium Dual Core 1.86 GHz dengan RAM 1 GB. Dari hasil uji coba sistem terhadap 3 senario itu parameter p = 2.5, 3, dan 3.5 didapatan hasil objective function,, dan running time dari etiga algoritme ng dapat dilihat pada Tabel Nilai ng diceta tebal adalah nilai terbai dan ng diceta miring adalah ng terbai edua. Tabel 5.3 Hasil dari modul KHM, PSO, dan PSOKHM pada lima data set dengan p = 2.5 Iris Glass Cancer CMC Wine KHM PSO PSOKHM Jia dilauan uji t dan ANOVA terhadap hasil objective function KHM (X,C),, dan running time dari etiga modul ng terdapat dalam Tabel , didapatan hasil sebagai beriut : a. Berdasaran nilai confidence interval dari hasil uji t terhadap objective function KHM (X,C) pada Gambar 5.1, didapatan bahwa hasil dari algoritme PSOKHM lebih bai daripada algoritme KHM dan PSO. Dari Gambar 5.1 juga dapat dilihat bahwa perbedaan hasil objective function dari etiga algoritme signifian. Hal ini dapat dilihat dari nilai P ng besar. Tabel 5.4 Hasil dari modul KHM, PSO, dan PSOKHM pada lima data set dengan p = 3 Iris Glass Cancer CMC Wine KHM PSO PSOKHM Tabel 5.5 Hasil dari modul KHM, PSO, dan PSOKHM pada 5 data set dengan p = 3.5 Iris Glass Cancer CMC Wine Gambar 5.1 Hasil uji t dan Anova terhadap objective function KHM (X,C) KHM PSO PSOKHM

6 b. Berdasaran nilai confidence interval dari hasil uji t terhadap pada Gambar 5.2, didapatan bahwa hasil dari algoritme PSOKHM lebih bai daripada algoritme KHM dan PSO. Karena nilai F- Measure semain bai jia nilain semain besar, maa nilai confidence intervaln dilihat berlawanan. Gambar 5.2 Hasil uji t dan Anova terhadap Dari Gambar 5.2 juga dapat dilihat bahwa perbedaan hasil dari etiga algoritme signifian. Hal ini dapat dilihat dari nilai P ng besar. c. Berdasaran nilai confidence interval dari hasil uji t terhadap running time pada Gambar 5.3, didapatan bahwa hasil dari algoritme PSOKHM lebih bai daripada algoritme PSO, namun lebih buru jia dibandingan dengan algoritme KHM. b. PSOKHM han meningatan ecepatan onvergensi pada algoritme PSO, namun juga membantu algoritme KHM untu terlepas dari loal optima. c. Jia dibandingan dengan algoritme KHM, algoritme PSOKHM memerluan watu ng lebih lama pada proses omputasi, sehingga PSOKHM sebain diapliasian apabila watu ng disediaan sangat terbatas. Daftar Pustaa [1] Cui, X., & Poto, T. E. (2005). Document clustering using Particle Swarm Optimization. In: IEEE swarm intelligence symposium. Pasadena, California. [2] Fengqin Yang, Tieli Sun, Changhai Zhang. 2009, An efficient hybrid data clustering method based on K- harmonic means and Particle Swarm Optimization. [3] Hammerly, G., & Elan, C. (2002). Alternatives to the -means algorithm that find better clusterings. In: Proceedings of the 11th international conference on information and nowledge management (pp ). [4] Kennedy, J., & Eberhart, R. C. (1995). Particle swarm optimization. In Proceedings of the 1995 IEEE international conference on neural networs (pp ). New Jersey: IEEE Press. [5] Manning, Christopher D., Prabhaar Raghavan, and Hinrich Schutze Introduction to Information Retrieval. Cambridge University Press. [6] Shi, Y. H., Eberhart, R. C., Parameter Selection in Particle Swarm Optimization, The 7 th Annual Conference on Evolutionary Programming, San Diego, CA. [7] Ünler, A., & Güngör, Z. (2008). Applying K- harmonic means clustering to the partmachine classification problem. Expert Systems with Applications [8] Zhang, B., Hsu, M., & Dal, U. (1999). K-harmonic means a data clustering algorithm. Technical Report HPL Hewlett-Pacard Laboratories. Gambar 5.3 Hasil uji t dan Anova terhadap Running time Dari hasil uji ANOVA terhadap running time terdapat perbedaan ng signifian antara algoritme KHM dengan algoritme PSO dan PSOKHM, hal ini dapat dilihat dari nilai P mendeati nilai Kesimpulan Setelah dilauan rangaian uji coba dan analisis terhadap sistem ng dibuat, maa dapat diambil esimpulan sebagai beriut : a. Algoritme PSOKHM dapat menyelesaian permasalahan data clustering dengan performa ng lebih bai dibandingan dengan algoritme KHM dan PSO jia dilihat pada hasil objective function dan.