K-Means Penerapan, Permasalahan dan Metode Terkait

Transkripsi

1 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), K-Means Penerapan, Permasalahan dan Metode Terat Yud Agusta, PhD STMIK STIKOM BALI, Denpasar, Bal yud@stom-bal.ac.d Abstract: K-Means s a type of unsupervsed classfcaton method whch parttons data tems nto one or more clusters. K-Means tres to model a dataset nto clusters so that data tems n a cluster have smlar characterstc and have dfferent characterstcs from the other clusters. In ths paper, the development of K-Means and problems usually nvolved when usng the method are llustrated. Some related nformaton are also explaned ncludng the method for choosng the most approprate number of clusters, the ssue between supervsed and unsupervsed classfcaton, an extended development of K-Means whch usng the ernel trc and mxture modellng whch s smlar to K-Means n terms of the algorthm used. The algorthm of the methods descrbed n ths paper are also provded. Keywords: K-Means, Membershp Functon, Mxture Modellng, Supervsed and Unsupervsed. 1. Pendahuluan Data Clusterng merupaan salah satu metode Data Mnng yang bersfat tanpa arahan (unsupervsed). Ada dua jens data clusterng yang serng dpergunaan dalam proses pengelompoan data yatu herarchcal (hrar) data clusterng dan non-herarchcal (non hrar) data clusterng. K-Means merupaan salah satu metode data clusterng non hrar yang berusaha memparts data yang ada e dalam bentu satu atau lebh cluster/elompo. Metode n memparts data e dalam cluster/elompo sehngga data yang meml araterst yang sama delompoan e dalam satu cluster yang sama dan data yang mempunya araterst yang berbeda delompoan e dalam elompo yang lan. Adapun tujuan dar data clusterng n adalah untu memnmalsasan objectve functon yang dset dalam proses clusterng, yang pada umumnya berusaha memnmalsasan varas d dalam suatu cluster dan memasmalsasan varas antar cluster. Data clusterng menggunaan metode K-Means n secara umum dlauan dengan algortma dasar sebaga berut [6] : 47

2 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), Tentuan jumlah cluster 2. Aloasan data e dalam cluster secara random 3. Htung centrod/rata-rata dar data yang ada d masng-masng cluster 4. Aloasan masng-masng data e centrod/rata-rata terdeat 5. Kembal e Step 3, apabla mash ada data yang berpndah cluster atau apabla perubahan nla centrod, ada yang d atas nla threshold yang dtentuan atau apabla perubahan nla pada objectve functon yang dgunaan d atas nla threshold yang dtentuan Dalam tulsan n beberapa hal terat dengan metode K-Means n berusaha untu djelasan, termasu d antaranya beberapa pengembangan yang telah dlauan terhadap K-Means, beberapa permasalahan yang harus dperhtungan dalam menggunaan metode K-Means dalam pengelompoan data, ulasan mengena eberadaan K-Means d antara metode penglasfasan dengan arahan (supervsed) dan tanpa arahan (unsupervsed), ulasan sngat mengena metode K-Means untu dataset yang mempunya bentu husus dan mxture modellng, serta algortma dar metode-metode pengelompoan yang mash dgolongan sebaga pengembangan metode K-Means. 2. Perembangan Penerapan K-Means Beberapa alternatf penerapan K-Means dengan beberapa pengembangan teor-teor penghtungan terat telah dusulan. Hal n termasu pemlhan: 1. Dstance space untu menghtung jara d antara suatu data dan centrod [1,3,7,8,9] 2. Metode pengaloasan data embal e dalam setap cluster [1,3,6,7,8,9,16] 3. Objectve functon yang dgunaan [1,3,6,7,8,9,16] 2.1. Dstance Space Untu Menghtung Jara Antara Data dan Centrod Beberapa dstance space telah dmplementasan dalam menghtung jara (dstance) antara data dan centrod termasu d antaranya L 1 (Manhattan/Cty Bloc) dstance space [9], L 2 (Eucldean) dstance space [3], dan L p (Mnows) dstance space [9]. Jara antara dua tt x 1 dan x 2 pada Manhattan/Cty Bloc dstance space dhtung dengan menggunaan rumus sebaga berut [8] : dmana: p : Dmens data. : la absolut D L1 ( x2, x1) x 2 x 1 1 Sedangan untu L 2 (Eucldean) dstance space, jara antara dua tt dhtung menggunaan rumus sebaga berut [3] : p j 1 p L ( x2, x1) x 2 2 x1 2 j 1 x 2 j x 1 j ( ) 2 x x D (2) 2 j 1 j (1) 48

3 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), dmana: p : Dmens data L p (Mnows) dstance space yang merupaan generalsas dar beberapa dstance space yang ada sepert L 1 (Manhattan/Cty Bloc) dan L 2 (Eucldean), juga telah dmplementasan [9]. Tetap secara umum dstance space yang serng dgunaan adalah Manhattan dan Eucldean. Eucldean serng dgunaan arena penghtungan jara dalam dstance space n merupaan jara terpende yang bsa ddapatan antara dua tt yang dperhtungan, sedangan Manhattan serng dgunaan arena emampuannya dalam mendetes eadaan husus sepert eberadaaan outlers dengan lebh ba Metode Pengaloasan Ulang Data e Dalam Masng-Masng Cluster Secara mendasar, ada dua cara pengaloasan data embal e dalam masng-masng cluster pada saat proses teras clusterng. Kedua cara tersebut adalah pengaloasan dengan cara tegas (hard), dmana data tem secara tegas dnyataan sebaga anggota cluster yang satu dan tda menjad anggota cluster lannya, dan dengan cara fuzzy, dmana masng-masng data tem dberan nla emungnan untu bsa bergabung e setap cluster yang ada. Kedua cara pengaloasan tersebut daomodasan pada dua metode Hard K-Means [6] dan Fuzzy K-Means [3,8,9]. Perbedaan d antara edua metode n terleta pada asums yang dpaa sebaga dasar pengaloasan. Hard K-Means Pengaloasan embal data e dalam masng-masng cluster dalam metode Hard K-Means ddasaran pada perbandngan jara antara data dengan centrod setap cluster yang ada. Data daloasan ulang secara tegas e cluster yang mempunya centrod terdeat dengan data tersebut. Pengaloasan n dapat drumusan sebaga berut [6] : { D( x, v )} 1 d mn a 0 lannya dmana: a : Keanggotaan data e- e cluster e- v : la centrod cluster e- (3) Fuzzy K-Means Metode Fuzzy K-Means (atau lebh serng dsebut sebaga Fuzzy C-Means) mengaloasan embal data e dalam masng-masng cluster dengan memanfaatan teor Fuzzy. Teor n mengeneralsasan metode pengaloasan yang bersfat tegas (hard) sepert yang dgunaan pada metode Hard K-Means. Dalam metode Fuzzy K-Means dpergunaan varabel membershp functon, u, yang meruju pada seberapa besar emungnan suatu data bsa menjad anggota e dalam suatu cluster. Pada Fuzzy K-Means yang dusulan oleh Bezde [3], dperenalan juga suatu varabel m yang merupaan weghtng exponent dar membershp functon. Varabel n dapat mengubah besaran pengaruh dar membershp functon, u, dalam proses clusterng menggunaan metode Fuzzy K-Means. m mempunya wlayah nla 49

4 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), m>1. Sampa searang n tda ada etentuan yang jelas berapa besar nla m yang optmal dalam melauan proses optmas suatu permasalahan clusterng. la m yang umumnya dgunaan adalah 2. Membershp functon untu suatu data e suatu cluster tertentu dhtung menggunaan rumus sebaga berut [3,8,9] : 2 c 1 (, ) m D x v 1 D( x, v j ) u (4) j dmana: u : Membershp functon data e- e cluster e- v : la centrod cluster e- m : Weghtng Exponent Membershp functon, u, mempunya wlayah nla 0 u 1. Data tem yang mempunya tngat emungnan yang lebh tngg e suatu elompo aan mempunya nla membershp functon e elompo tersebut yang mendeat anga 1 dan e elompo yang lan mendeat anga Objectve Functon Yang Dgunaan Objectve functon yang dgunaan hususnya untu Hard K-Means dan Fuzzy K-Means dtentuan berdasaran pada pendeatan yang dgunaan dalam pon 2.1. dan pon 2.2. Untu metode Hard K-Means, objectve functon yang dgunaan adalah sebaga berut [6] : c 2 J ( U, V ) a D( x, v ) (5) 1 1 dmana: : Jumlah data c : Jumlah cluster a : Keanggotaan data e- e cluster e- v : la centrod cluster e- a mempunya nla 0 atau 1. Apabla suatu data merupaan anggota suatu elompo maa nla 1 dan sebalnya. Untu metode Fuzzy K-Means, objectve functon yang a dgunaan adalah sebaga berut [3,8,9] : dmana: : Jumlah data c : Jumlah cluster c m 2 J ( U, V ) ( u ) D( x, v ) (6)

5 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), m : Weghtng exponent u : Membershp functon data e- e cluster e- v : la centrod cluster e- D sn u bsa mengambl nla mula dar 0 sampa Beberapa Permasalahan yang Terat Dengan K-Means Beberapa permasalahan yang serng muncul pada saat menggunaan metode K-Means untu melauan pengelompoan data adalah: 1. Dtemuannya beberapa model clusterng yang berbeda 2. Pemlhan jumlah cluster yang palng tepat 3. Kegagalan untu converge 4. Pendetesan outlers 5. Bentu masng-masng cluster 6. Masalah overlappng Keenam permasalahan n adalah beberapa hal yang perlu dperhatan pada saat menggunaan K-Means dalam mengelompoan data. Permasalahan 1 umumnya dsebaban oleh perbedaan proses nsalsas anggota masng-masng cluster. Proses ntalsas yang serng dgunaan adalah proses nsalsas secara random. Dalam suatu stud perbandngan [13], proses nsalsas secara random mempunya ecenderungan untu memberan hasl yang lebh ba dan ndependent, walaupun dar seg ecepatan untu converge lebh lambat. Permasalahan 2 merupaan masalah laten dalam metode K-Means. Beberapa pendeatan telah dgunaan dalam menentuan jumlah cluster yang palng tepat untu suatu dataset yang danalsa termasu d antaranya Partton Entropy (PE) [3] dan GAP Statstcs [15]. Satu hal yang patut dperhatan mengena metode-metode n adalah pendeatan yang dgunaan dalam mengembangan metode-metode tersebut tda sama dengan pendeatan yang dgunaan oleh K-Means dalam memparts data tems e masng-masng cluster. Permasalahan egagalan untu converge, secara teor memungnan untu terjad dalam edua metode K-Means yang djelasan d dalam tulsan n. Kemungnan n aan seman besar terjad untu metode Hard K-Means, arena setap data d dalam dataset daloasan secara tegas (hard) untu menjad bagan dar suatu cluster tertentu. Perpndahan suatu data e suatu cluster tertentu dapat mengubah araterst model clusterng yang dapat menyebaban data yang telah dpndahan tersebut lebh sesua untu berada d cluster semula sebelum data tersebut dpndahan. Deman juga dengan eadaan sebalnya. Kejadan sepert n tentu aan mengabatan pemodelan tda aan berhent dan egagalan untu converge aan terjad. Untu Fuzzy K-Means, walaupun ada, emungnan permasalahan n untu terjad sangatlah ecl, arena setap data dperlengap dengan membershp functon (Fuzzy K-Means) untu menjad anggota cluster yang dtemuan. 51

6 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), Permasalahan eempat merupaan permasalahan umum yang terjad hampr d setap metode yang melauan pemodelan terhadap data. Khusus untu metode K-Means hal n memang menjad permasalahan yang cuup menentuan. Beberapa hal yang perlu dperhatan dalam melauan pendetesan outlers dalam proses pengelompoan data termasu bagamana menentuan apaah suatu data tem merupaan outlers dar suatu cluster tertentu dan apaah data dalam jumlah ecl yang membentu suatu cluster tersendr dapat danggap sebaga outlers. Proses n memerluan suatu pendeatan husus yang berbeda dengan proses pendetesan outlers d dalam suatu dataset yang hanya terdr dar satu populas yang homogen. Permasalahan elma adalah menyangut bentu cluster yang dtemuan. Tda sepert metode data clusterng lannya termasu Mxture Modellng [1,7,16], K-Means umumnya tda mengndahan bentu dar masng-masng cluster yang mendasar model yang terbentu, walaupun secara natural masng-masng cluster umumnya berbentu bundar. Untu dataset yang dperraan mempunya bentu yang tda basa, beberapa pendeatan perlu untu dterapan. Hal n aan dbahas lebh lanjut dalam Bab 5 dan Bab 6. Masalah overlappng sebaga permasalahan terahr serng seal dabaan arena umumnya masalah n sult terdetes. Hal n terjad untu metode Hard K-Means dan Fuzzy K-Means, arena secara teor, metode n tda dperlengap feature untu mendetes apaah d dalam suatu cluster ada cluster lan yang emungnan tersembuny. 4. Sem-Supervsed Classfcaton? K-Means merupaan metode data clusterng yang dgolongan sebaga metode penglasfasan yang bersfat unsupervsed (tanpa arahan). Pengategoran metode-metode penglasfasan data antara supervsed dan unsupervsed classfcaton ddasaran pada adanya dataset yang data temnya sudah seja awal mempunya label elas dan dataset yang data temnya tda mempunya label elas. Untu data yang sudah mempunya label elas, metode penglasfasan yang dgunaan merupaan metode supervsed classfcaton dan untu data yang belum mempunya label elas, metode penglasfasan yang dgunaan adalah metode unsupervsed classfcaton. Selan masalah optmas pengelompoan data e masng-masng cluster, data clusterng juga dasosasan dengan permasalahan penentuan jumlah cluster yang palng tepat untu data yang danalsa. Untu edua jens K-Means, ba Hard K-Means dan Fuzzy K-Means, yang telah djelasan d atas, penentuan jumlah cluster untu dataset yang danalsa umumnya dlauan secara supervsed atau dtentuan dar awal oleh pengguna, walaupun dalam penerapannya ada beberapa metode yang serng dpasangan dengan metode K-Means. Karena secara teor metode penentuan jumlah cluster n tda sama dengan metode pengelompoan yang dlauan oleh K-Means, evaldan jumlah cluster yang dhaslan umumnya mash dpertanyaan. Melhat eadaan dmana pengguna umumnya serng menentuan jumlah cluster sendr secara terpsah, ba tu dengan menggunaan metode tertentu atau berdasaran pengalaman, 52

7 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), d sn, edua metode K-Means n dapat dsebut sebaga metode sem-supervsed classfcaton, arena metode n mengaloasan data tems e masng-masng cluster secara unsupervsed dan menentuan jumlah cluster yang palng sesua dengan data yang danalsa secara supervsed. 5. K-Means untu Data yang Mempunya Bentu Khusus Beberapa dataset yang mempunya bentu tertentu memerluan suatu metode pemecahan husus yang dsesuaan dengan eadaan data tersebut. Gambar 1. menglustrasan suatu dataset yang mempunya bentu husus yang alau dmodel dengan metode K-Means, ba Hard K-Means dan Fuzzy K-Means aan memberan hasl yang tda mewal eadaan dataset tersebut. Untu eperluan sepert tu, beberapa penelt [5,10,11] telah mengusulan pengembangan metode K-Means yang secara husus memanfaatan ernel tr, dmana data space untu data awal d-mappng e feature space yang berdmens tngg. Beberapa hal yang perlu dperhatan dalam pengembangan metode K-Means dengan ernel tr n adalah bahwa data pada feature space tda lag dapat ddefnsan secara esplst, sehngga penghtungan nla membershp functon dan centrod tda dapat dlauan secara langsung. Beberapa tr penghtungan telah dusulan dalam menurunan nla edua varabel yang dperluan tersebut [5,10,11]. Dengan penerapan tr perhtungan terhadap edua varabel tersebut, objectve functon yang dgunaan dalam menla apaah suatu proses pengelompoan sudah converge atau tda juga aan berubah. 6. Mxture Modellng Gambar 1. Salah Satu Dataset yang Mempunya Bentu Khusus Mxture modellng [1,7,16] merupaan salah satu jens data clusterng dmana dalam pemodelannya, data dalam suatu elompo dasumsan terdstrbus sesua dengan salah satu jens dstrbus statst yang ada. Mxture Modellng merupaan metode yang mempunya cara optmas yang sama dengan K-Means melalu proses optmzaton and maxmzaton. Berbeda dengan metode Hard K-Means dan Fuzzy K-Means, perbandngan 53

8 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), jumlah data yang tercaup d dalam masng-masng cluster juga mempengaruh hasl ahr dar proses data clusterng. Perbandngan jumlah data yang terdapat d dalam masng-masng cluster serng dstlahan dengan nama relatve abundance. Dstrbus statst yang palng serng dgunaan dalam data clusterng menggunaan metode mxture modellng adalah dstrbus Gaussan/ormal. Dsampng arena emudahan penurunan berbaga rumus yang dperluan, ecenderungan umum yang ada pada saat melauan observas adalah bahwa data yang ddapatan umumnya dalam eadaan terdstrbus secara normal. Berbeda dengan K-Means, dstance space yang dgunaan d dalam mxture modellng berbass dstrbus Gaussan/ormal adalah Mahalanobs dstance space. Mahalanobs dstance space yang serng datan dengan dstrbus multvarate Gaussan menghtung jara dengan rumus sebaga berut [1,7] : D Mahalanobs T 1 ( x2, x1 ) x2 x1 ( x2 x1) Σ ( x2 x1) Mahalanobs (7) dmana: (.) T : Transpose dar sebuah matrs (.) -1 : Inverse dar sebuah matrs Σ : Varance Covarance matrs Proses pengaloasan embal data e masng-masng cluster menggunaan metode mxture modelng umumnya sama dengan proses pengaloasan menggunaan metode Fuzzy K- Means. Perbedaannya terleta pada cara penghtungan nla eanggotaan (Fuzzy K-Means) dan nla probabltas data (Mxture Modellng) untu menjad anggota suatu cluster. Penghtungan nla emungnan suatu data untu menjad anggota suatu cluster dlauan dengan menghtung nla probabltas data tersebut untu berada pada suatu cluster dalan dengan relatve abundance dar cluster yang bersangutan sepert berut n [1,7.16] : r p π f ( x θ ) (8) dmana: p : Probabltas data e- menjad anggota cluster e- π : Relatve abundances cluster e- f( x r r θ) : Dstrbus probabltas cluster e- θ : Parameter yang tercaup d dalam dstrbus yang dasumsan untu cluster e- Dalam Mxture Modellng, pemlhan jumlah cluster umumnya dlauan dengan metode yang secara teor sama dengan metode yang dgunaan untu mendefnsan araterst masng-masng cluster. Kedua egatan ba pendefnsan araterst masng-masng cluster dan pemlhan jumlah cluster yang palng tepat juga dlauan secara smultan. Beberapa teor yang serng dgunaan sebaga dasar teor dalam metode Mxture Modellng adalah Penalsed Maxmum Lelhood yang umumnya memasangan metode Maxmum Lelhood untu mendefnsan araterst masng-masng cluster dan metode pemlhan jumlah cluster sepert Aae Informaton Crteron (AIC) [2] atau Schwarz s Bayesan 54

9 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), Informaton Crteron (BIC) [14]. Beberapa metode berbass teor Bayesan juga serng dgunaan sepert Marov Chan Monte Carlo (MCMC) [12] dan Mnmum Message Length (MML) [1,16]. AutoClass [4], salah satu perangat luna Mxture Modellng, mengasumsan suatu model mxture sebaga suatu model Bayesan etwors, dmana dalam pendefnsan arater masng-masng cluster, perangat luna tersebut menggunaan metode Maxmum A Posteror (MAP). Salah satu metode dar sean banya metode yang serng dgunaan dalam mengevaluas jumlah cluster adalah Schwarz s Bayesan Informaton Crteron (BIC) yang dalam proses optmasnya menggunaan rumus sebaga berut [14] : BIC L + p log (9) 2 dmana: L : egatve log dar lelhood functon untu model yang ddapat p : Jumlah free parameter yang destmas : Jumlah data Lelhood functon untu sudah model mxture umumnya ddefnsan dengan rumus sebaga berut: c r L π f ( x θ ) (10) 1 1 dmana: : Jumlah data c : Jumlah cluster π : Relatve abundances cluster e- f( x r r θ) : Dstrbus probabltas cluster e- θ : Parameter yang tercaup d dalam dstrbus yang dasumsan untu cluster e- Beberapa elebhan dar Mxture Modellng dar K-Means adalah adanya pengembangan metode penentuan jumlah cluster yang palng sesua untu suatu data tertentu yang secara teor sama dengan proses pengaloasan data tem e masng-masng cluster. Kelebhan lannya adalah Mxture Modellng mempunya emampuan untu mendetes eberadaan suatu cluster yang overlap dengan cluster yang lan. Dstrbus statst yang dterapan d dalam Mxture Modellng mempunya elebhan dalam menangan masalah overlappng n. Beberapa perlengapan juga memungnan untu dtambahan dalam mengaomodas pendetesan outlers ataupun menangan bentu-bentu cluster yang tda normal [1]. Gambar 2. menunjuan perbandngan antara K-Means dan Mxture Modellng dalam memodel USA s equty dan bond funds data. Plottng yang dtunjuan dalam gambar merupaan plottng dar nla prncpal component data yang danalsa. Dalam pemodelan n K-Means dpasangan dengan Partton Entropy (PE) [3] dalam menentuan jumlah cluster yang danalsa, sedangan Mxture Modellng mengaplasan prnsp Mnmum Message 55

10 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), Length (MML) [1,16]. Dalam pemodelan n, PE menghaslan 2 cluster sedangan MML menghaslan 4 clusters. Gambar 2. Perbandngan Hasl Pemodelan Funds Data Antara K-Means dan Mxture Modellng Sepert yang dtunjuan dalam gambar, K-Means umumnya membag data d bagan tengah tanpa memran omposs dan eadaan data yang dmodel, sedangan Mxture Modellng dengan MML membag data dengan menyesuaan pada eadaan data dengan melhat sebaran dan dstrbus data yang danalsa. 7. Algortma K-Means Hard K-Means Metode Hard K-Means melauan proses clusterng dengan mengut algortma sebaga berut [6] : a. Tentuan jumlah cluster b. Aloasan data sesua dengan jumlah cluster yang dtentuan c. Htung nla centrod masng-masng cluster d. Aloasan masng-masng data e centrod terdeat e. Kembal e Step c. apabla mash terdapat perpndahan data dar satu cluster e cluster yang lan, atau apabla perubahan pada nla centrod mash d atas nla threshold yang dtentuan, atau apabla perubahan pada nla objectve functon mash d atas nla threshold yang dtentuan. Untu menghtung centrod cluster e-, v, dgunaan rumus sebaga berut: v j 1 x j (11) dmana: : Jumlah data yang menjad anggota cluster e- 56

11 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), Untu penghtungan membershp functon dgunaan rumus pada persamaan (3). Fuzzy K-Means Metode Fuzzy K-Means melauan proses clusterng dengan mengut algortma sebaga berut [3,8,9] : a. Tentuan jumlah cluster b. Aloasan data sesua dengan jumlah cluster yang dtentuan c. Htung nla centrod dar masng-masng cluster d. Htung nla membershp functon masng-masng data e masng-masng cluster e. Kembal e Step c. apabla perubahan nla membershp functon mash d atas nla threshold yang dtentuan, atau apabla perubahan pada nla centrod mash d atas nla threshold yang dtentuan, atau apabla perubahan pada nla objectve functon mash d atas nla threshold yang dtentuan. Untu menghtung centrod cluster e-, v, dgunaan rumus sebaga berut: v ( u 1 j 1 ( u dmana: : Jumlah data m : Weghtng exponent u : Membershp functon data e- e cluster e- Sedangan untu menghtung membershp functon data e- e cluster e- dgunaan rumus pada persamaan (4). Mxture Modellng Berbaga algortma memungnan untu dgunaan dalam memecahan proses optmas mxture modellng termasu d antaranya random search, smulated annealng, Marov Chan Monte Carlo (MCMC) maupun algortma geneta. Untu maalah n, dpaparan metode random search yang memberan nla jumlah cluster secara random d awal setap proses optmas. Algortma yang dgunaan adalah sebaga berut [1] : a. Tentuan jumlah cluster b. Aloasan data secara random e masng-masng cluster yang telah dtentuan 1. Htung means (sama dengan centrod pada K-Means) dar masng-masng cluster 2. Htung standar devas/varance covarance dar masng-masng cluster 3. Htung nla probabltas masng-masng data e masng-masng cluster 4. Kembal e Step b.1, apabla perubahan nla probabltas mash d atas nla threshold yang dtentuan, atau apabla perubahan pada nla centrod mash d atas nla threshold yang dtentuan, atau apabla perubahan pada nla objectve functon mash d atas nla threshold yang dtentuan. c. Kembal e Step a. apabla mash ada jumlah cluster yang ngn danalsa. ) m ) x m j (12) 57

12 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), Dengan asums bahwa data terdstrbus secara normal, means cluster e-, µ, dhtung dengan menggunaan rumus sama dengan metode Fuzzy K-Means dengan u merupaan nla probabltas data tersebut termasu d dalam cluster e-. Sedangan standar devas/varance covarance cluster e-, σ Σ, dhtung dengan menggunaan rumus sebaga berut: dmana: : Jumlah data µ : Means cluster e- Σ 2 ( x µ ) σ 1 1 (13) 1 ( x µ )( x 1 µ ) sedangan untu menghtung nla probabltas data e- e cluster e- dgunaan rumus penghtungan probabltas sepert pada persamaan (8). T (14) 8. Kesmpulan Dar pembahasan yang telah duraan d dalam tulsan n beberapa esmpulan bsa ddapatan, termasu: 1. Ada beberapa perembangan penerapan yang telah dmplementasan terhadap metode K-Means termasu pemlhan dstance space, cara pengaloasan ulang data e cluster dan objectve functon yang dgunaan. K-Means juga telah dembangan untu bsa memodel dataset yang mempunya bentu husus dengan memanfaatan ernel tr. 2. Ada beberapa permasalahan yang perlu untu dperhatan dalam menggunaan metode K-Means termasu model clusterng yang berbeda-beda, pemlhan model yang palng tepat untu dataset yang danalsa, egagalan untu converge, pendetesan outlers, bentu masng-masng cluster dan permasalahan overlappng. Daftar Pustaa [1] Agusta, Y. (2004). Mnmum Message Length Mxture Modellng for Uncorrelated and Correlated Contnuous Data Appled to Mutual Funds Classfcaton, Ph.D. Thess, School of Computer Scence and Software Engneerng, Monash Unversty, Clayton, 3800 Australa. [2] Aae, H. (1974). A ew Loo At The Statststcal Model Identfcaton, IEEE Transactons on Automatc Control AC-19(6):

13 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), [3] Bezde, J. C. (1981). Pattern Recognton wth Fuzzy Objectve Functon Algortmss, Plenum Press, ew Yor. [4] Cheeseman, P. and Stutz, J. (1996). Bayesan Classfcaton (AutoClass): Theory and Results, n U. M. Fayyad, G. Patetsy-Shapro, P. Smyth and R. Uthurusamy (eds), Advances n Knowledge Dscovery and Data Mnng, AAAI Press/MIT Press, Cambrdge, MA, pp [5] Grolam, M. (2002). Mercel Kernel Based Clusterng n Feature Space, IEEE Transactons on eural etwors, Vol. 13, o. 3, pp [6] MacQueen, J. B. (1967). Some Methods for classfcaton and Analyss of Multvarate Observatons, Proceedngs of 5-th Bereley Symposum on Mathematcal Statstcs and Probablty, Bereley, Unversty of Calforna Press, 1: [7] McLachlan, G. J. and Peel, D. (2000). Fnte Mxture Models, John Wley and Sons, ew Yor. [8] Myamoto, S. and Agusta, Y. (1995). An Effcent Algorthm for L1 Fuzzy c-means and ts Termnaton, Control and Cybernetcs 24(4): [9] Myamoto, S. and Agusta, Y. (1995). Algorthms for L1 and Lp Fuzzy C-Means and Ther Convergence, n C. Hayash,. Oshum, K. Yajma, Y. Tanaa, H. H. Boc and Y. Baba (eds), Data Scence, Classfcaton, and Related Methods, Sprnger-Verlag, Toyo, Japan, pp [10] Myamoto S. and aayama, Y. (2003). Algorthms of Hard C-Means Clusterng Usng Kernel Functons n Support Vector Machnes, Journal of Advanced Computatonal Intellgence and Intellgent Informatcs, Vol. 7, o. 1, pp [11] Myamoto, S. and Suzu, D. (2003). Fuzzy C-Means Clusterng Usng Kernel Functons n Support Vector Machnes, Journal of Advanced Computatonal Intellgence and Intellgent Informatcs, Vol. 7, o. 1, pp [12] eal, R. M. (1991). Bayesan Mxture Modelng by Monte Carlo Smulaton, Techncal Report CRG-TR-91-2, Department of Computer Scence, Unversty of Toronto, Toronto, Canada. [13] Pena, J. M., Lozano, J. A. and Larranaga, P. (1999). An emprcal comparson of four ntalzaton methods for the -means algorthm. Pattern Recognton Lett., 20: [14] Schwarz, G. (1978). Estmatng the Dmenson of a Model, The Annals of Statstcs 6:

14 Jurnal Sstem dan Informata Vol. 3 (Pebruar 2007), [15] Tbshran, R., Walter, G. and Haste, T. (2000). Estmatng the umber of Clusters n a Dataset usng the Gap Statstcs, Techncal Report 208, Department of Statstcs, Stanford Unversty, Standford, CA 94305, USA. [16] Wallace, C. S. and Boulton, D. M. (1968). An Informaton Measure for Classfcaton, Computer Journal 11(2):