PENGARUH PENGGUNAAN METODE POWER DAN TRUNCATED POWER PADA PCA-PART UNTUK INISIALISASI K-MEANS ABSTRACT

Transkripsi

1 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung PENGARUH PENGGUNAAN METODE POWER DAN TRUNCATED POWER PADA PCA-PART UNTUK INISIALISASI K-MEANS Ere Sadewo 1, Muhammad Mashur 2, dan Al Rdho Barabah 3 1 Mahasswa Pascasarana, Jurusan Sasa, F-MIPA ITS Surabaya 2 Jurusan Sasa, F-MIPA ITS Surabaya 3 Jurusan Ten Kompuer dan Informas, Polen Elerona Neger Surabaya Surel: ere@bps.go.d ABSTRACT K-Means was one of he mos popular cluserng algorhms, famous because s smplcy n mplemenaon and speed n compung me. As an erave algorhm, K- Means s sensve o cluserng nalzaons, and end o produce local opmum soluon. To have global opmum, one mus resar K-Means a number of mes, whch was neffcen, nor guaranees ha he fnal soluon wll be unque. One of K-Means modfed form ha resulng global opmum soluon reached by applyng PCA-Par for s nalzaon. In hs paper, we ry o opmze PCA-Par for K-Means nalzaon by mplemenng Power and Truncaed Power mehod on s egenvalue compuaon. The effecveness of he use of boh mehods s measured by s compung me and he fnal Whn Cluser Sum Square of Error (WC-SSE). The sudy usng 12 daase from UCI Machne Learnng Reposory shows ha essenally, he Power and Truncaed Power mehod s more effcen on compung me, and accuracy. There were no sgnfcan dfference beween Power and Truncaed Power mehod on compung me, bu Truncaed Power gves beer accuracy han he Power mehod on WC-SSE crera. Keyword: Cluserng, K-Means, PCA-Par, power Mehod, runcaed Power PENDAHULUAN Salah sau ens algorma cluserng yang palng banya dgunaan adalah K- Means. Keunggulan erpenng algorma n adalah sanga mudah unu derapan dan membuuhan wau ompuas yang relaf snga dbandngan algorma lannya. Namun algorma n mash meml eurangan, arena sebaga suau algorma dengan pendeaan eraf, K-Means sensf erhadap onds nsalsas awal cluserng (Bradley dan Fayyad, 1998). Dalam algorma K-Means sandar, pemlhan nsalsas awal yang dlauan secara aca sehngga cenderung menghaslan hasl cluserng yang hanya onvergen pada opmum loal. Agar cluser yang dhaslan dapa daaan sebaga opmum 1326

2 1327 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung yang berlau secara global, dperluan adanya seumlah pengulangan algorma K- Means. Abanya, da erdapa adanya amnan solus cluser yang dhaslan un. Salah sau alernaf unu mendapaan hasl cluserng yang opmum pada K- Means adalah dengan memodfas proses nsalsas yang basanya dlauan melalu meode random seed dan random paron. Ja dalam prosesnya sebagan besar meode modfas pada nalsas K-Means mash mengandung unsur random, maa Su dan Dy (2004) memperenalan suau meode deermns unu nsalsas K-means. Proses nsalsas dlauan dengan memproyesan daa e dalam suau gars pada ruang eucldean dan memparsnya berdasaran egenveor yang dhaslan Prncpal Componen Analyss (PCA). Dengan memanfaaan PCA unu menemuan cluser yang menyumbangan Sum Square Error (SSE) erbesar, maa aan ddapa bahwa pars erhadap cluser dengan SSE erbesar ersebu secara eraf aan memperecl SSE yang ddapaan pada ahap ahr. Meode ersebu denal sebaga PCA-Par. Dengan menggunaan banuan PCA, maa PCA-Par dapa menghndar adanya edapasan dan pemborosan wau yang dabaan oleh adanya pengulangan K- Means. penggunaan PCA-Par unu nsalsas K-Means memberan hasl yang serupa dengan nla SSE mnmal yang ddapaan melalu 100 al pengulangan K- Means sandar (Su dan Dy, 2006). Meode n uga dnla sanga ompef a dbandngan dengan K-Means++, yang merupaan salah salah sau meode nsalsas erba sampa saa n (Celeb dan Kngrav, 2012). Su dan Dy (2004) meneanan pada penngnya penggunaan nla egenvalue erbesar sebaga dasar unu meneapan cluser yang aan dpars. Pada enyaaannya, operas alabar mars yang dgunaan seper Householder-QR, mash melbaan cara faorsas, sehngga danggap urang efsen. Unu menngaan ecepaan wau ompuas PCA-Par pada nsalas K-Means, Su dan Dy (2004) mengusulan adanya penggunaan meode eras Power. Meode Power meml elemahan yau ea selsh anara nla egenvalue erbesar ( 1 ) dan egenvalue erbesar edua ( 2 ) sanga ecl, maa waa wau yang dbuuhan unu mencapa nla yang onvergen menad lamba (Saad, 2011). Unu mengansaps adanya emungnan ersebu, dalam penelan n uga aan dgunaan meode Truncaed Power (Yuan dan Zhang, 2013). Sebagamana halnya Meode Power,

3 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung Meode Truncaed Power dplh arena cuup sederhana dan efef dalam memecahan masalah opmas nonconvex. Sebagamana pada meode Power, penggunaan meode Truncaed Power yang bersfa eraf meml poens unu menghaslan selsh nla aba peralan veor yang melbaan nga eelan aau olerans erenu. Oleh arena u aan del, seauh mana pengaruh perbedaan egenveor yang dhaslan oleh edua meode ersebu pada Sum Square Error Whn Cluser (SSE-WC) ahr yang dhaslan oleh PCA-Par unu nsalsas K-Means. METODE Ja msalan A a 1, 2,..., n merupaan suau arbu dar veor berdmens n, dan X { x 1,2,..., r} merupaan daa pada A. Algorma K-Means membenu K pars dar X yang dsebu sebaga cluser S { s, 1, 2,..., K}, dmana erdapa suau M { m 1,2,..., n( s )} yang merupaan anggoa dar S dan M X. Seap cluser ersebu meml suau pusa C { c 1, 2,..., }. Algorma K-Means Menuru Su dan Dy (2006), slah K-Means dapa daran sebaga proses unu menempaan seap daa x e dalam cluser dengan nla raa-raa yang meml ara erdea. Dengan deman, uuan ahr dar K-Means adalah unu memnmuman SSE danara seluruh -cluser. 2. (1) 1 x s J( s ) x Sum Square Error merupaan rera opmas K-Means yang palng banya dgunaan (Duda dan Har, 2000). Sebaga suau algorma yang sanga rngas (Greedy Algorhm), K-Means hanya dapa onvergen pada suau mnmum loal. Menuru Ara dan Barabah (2007), langah yang dgunaan dalam algorma K-Means dapa delasan sebaga beru: ). Memula algorma dengan membangan pusa cluser awal c secara random 1328

4 ). Menghung ara d ( x, c) anara seap veor ddapaan pada ) Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung ). mengelompoan x e dalam s yang meml d ( x, c) mnmum x erhadap pusa cluser c yang v). Hung pusa cluser baru p 1 c m( s, ), dmana p n( s ) p 1 v). Mengulang mula dar langah ) hngga C C 1 Menuru Koves e al. (2001), algorma ersebu aan berhen pada eras e pada suau nla a K-Means mencapa C C C 1. Pars Cluser Menggunaan PCA Dengan membag sebuah cluser, aan ddapaan suau nla SSE baru yang merupaan hasl penumlahan dar SSE seap pars cluser. Ja merupaan raa-raa dar cluser C yang aan dbag, maa Seelah membag cluser C menad dua sub cluser yau C 1 dan C 2, aan ddapaan nla raa-raa baru yau 1 dan 2. Dengan deman nla SSE yang baru berubah menad: (2) 2 2 baru 1 2 x C x C SSE x x 1 2 Seap d-dmens veor x dan raa-raa dapa drepresenasan pada suau umlah erbobo dar ndependen, sehngga x d y dan s s s 1,,..., d 1 2 d s s s 1, yau veor bass oronormal yang lner dan (3) Dalam hal n, Su dan Dy (2006) elah membuan bahwa nla memnmuman SSE baru adalah euvalen dengan nla p yang memasmalan p p p p p p 1p p p p 2 p p x C x C x C p yang ( y ) ( y ) ( y ) (4) Selanunya PCA-Par aan memlh p sebaga omponen yang beronrbus erhadap nla SSE erbesar. Egenveor erbesar dar mars ovarans merupaan bagan yang meml onrbus erhadap SSE erbesar (Fuunaga, 1990). Unu

5 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung mendapaan egenveor dar egenvalue erbesar, dapa dlauan dengan menggunaan meode Householder-QL/QR. Pada meode n, mars ovaran ddeomposs menad mars Upper Hessenberg, emudan dlanuan dengan faorsas mpls QL/QR dengan pergeseran. Secara sederhana, meode nsalsas menggunaan PCA-Par unu K-Means dapa dulsan sebaga beru: ). Kumpulan seluruh daa x pada sau cluser suau y dan, suau pada veor y dhaslan egenvalue dengan nla erbesar C, proyesan x C dan pada menggunaan egenveor yang ). Pars veor y e dalam dua bagan, dengan menggunaan sebaga ). Plh poong, hung SSE yang dhaslan se daa d seap bagan yang baru C sebaga cluser berunya yang aan dpars a SSE yang dhaslan lebh besar dbandngan dengan bagan pars lannya, ulang hngga ddapaan sebanya K-cluser. Meode Power Sesua eorema Abel-Ruffn, unu persamaan polnomal yang berdmens lebh besar dar lma, da erdapa solus alabar umum. Unu mendapaan solus dgunaan meode eras. Msalan erdapa suau mars smers A beruuran p x p, yang hanya meml sau egenvalue 1, yang nlanya secara absolu lebh besar dbandngan dengan seluruh egenvalue yang dmlnya. Ja u 1 Au, maa dengan mengambl suau veor u0 yang sembarang dan da nol, aan ddapaan: u 1 0 u Au A( Au ) A u u Au A( A u ) A u u Au A( A u ) A u Au Maa berdasaran Raylegh Quoen (5) u u lm u u

6 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung Semenara u barsan veor yang dnormalan u aan onvergen pada u u egenveor dar 1. Meode Truncaed Power Meode Truncaed Power yang dperenalan dengan ehususan pada permasalahan egenvalue pada daa yang bersfa sparse. Ja erdapa A, suau mars smers semdefn posf beruuran p x p, maa permasalahan egenvalue unu - sparse yang erbesar beruuan memnmuman benu uadra un u p 1331 u Au dengan veor yang menyebar dengan da lebh dar elemen yang bernla da nol: (, ) max max A u Au dengan u 1, u. p 0 u Noas melambangan ara l, semenara melambangan ara l, yang menghung umlah omponen bernla da nol pada veor. Ja erdapa suau * A, suau submars uama beruuran x dar mars A, yang meml nla egenvalue erbesar, maa (, ) max A aan sebandng dengan * max ( ) A. Sebaga salah sau solus dar permasalahan ersebu, dlauan pembangan suau barsan egenveor -sparse u0, u1,... dar suau pendeaan awal u 0. Selanunya dberan suau se ndes F, dengan T u( F) max( u Au) dmana u 1, dan supp( u) F u p Pada seap ahap, veor peranara u 1 dalan dengan mars A, emudan seap masuan dpoong nlanya e nol, ecual unu masuan yang erbesar. Dengan aa lan a erdapa suau veor u dan se ndes F, maa operas pemoongan Truncae( u, F) suau baasan dar u e F, sehngga u merupaan suau veor yang dhaslan dengan membua [ Truncae( u, F )] F 0 selannya Haslnya berupa veor yang emudan aan dnormalan un ara sehngga menad veor u.

7 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung Secara umum, meode Truncaed Power dapa dulsan sebaga beru: ). Pada 1, hung u Au / Au ' 1 1 ). Ja F u, merupaan ndes dar ' sup(, ) ' u dengan nla absolu yang erbesar, maa hung ' uˆ Truncae( u, F ) ). Normalan u uˆ / u ˆ v). Ulang langah ) dengan 1hngga onvergen Sumber Daa Pada penelan n dgunaan 12 se daa esng yang dambl dar UCI Machne Learnng Reposory. Pemlhan se daa ersebu dlauan dengan mempermbangan varas umlah obe (N), umlah varabel/ arbu (D), sera umlah cluser/elas yang sebenarnya (K ). Dar seluruh se daa yang dgunaan, hanya erdapa sau buah se daa yang beraegor sparse, yau pada daa CNAE-9. Pada seap se daa, cluserng aan dulang sebanya 100 al. Selan u uga aan del pengena pengaruh penggunaan meode penyelesaan egenvalue yang dgunaan erhadap SSE ahr yang erbenu. Pengolahan daa dlauan dengan menggunaan sofware Malab 2013a. Tabel 1 Desrps se daa yang dgunaan dalam penelan ID Se Daa N D K (1) (2) (3) (4) (5) 1 Abalone Cardoographc Ionosphere Irs Isole leer recognon lbras movemen DB Mus(clean2) roc vs mnes Shule (salog)-ranng Wne wne qualy Sumber: hp://archve.cs.uc.edu/ml/ 1332

8 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung HASIL DAN PEMBAHASAN Hasl cluserng dengan menggunaan meode PCA-Par unu nsalsas K- Means menunuan bahwa penggunaan meode Power dan Truncaed Power da selalu menghaslan wau ompuas yang lebh cepa dbandngan dengan meode Householder-QR. Dar 12 se daa yang dgunaan, erdapa ga se daa dmana wau ompuas PCA-Par K-Means sandar lebh ba dbandngan dengan penggunan meode Power dan Truncaed Power. Hal n erad ea umlah elompo yang dbenu lebh dar 20, sedangan banyanya dmens sed. Kea umlah dmens besar, maa meode Power dan Truncaed Power selalu memberan hasl yang lebh ba dbandngan dengan meode sandar. Secara umum, da erdapa perbedaan sgnfan wau ompuas anara meode Power dan Truncaed Power. Namun a dbandngan dengan meode sandar, penggunaan edua meode ersebu lebh efsen. Tabel 2 Perbandngan Raso Wau Kompuas PCA-Par Unu Insalsas K-Means Dengan Menggunaan Meode Power dan Truncaed Power Terhadap Householder-QR ID Se Daa Power Trunc Power (1) (2) (3) (4) 1 Abalone Cardoographc Ionosphere Irs Isole leer recognon lbras movemen DB Mus(clean2) roc vs mnes Shule (salog)-ranng Wne wne qualy Sumber: hasl pengolahan Dar ss eepaan hasl cluserng yang duur menggunaan rera SSEwhn cluser, ernyaa penggunaan meode penghungan egenvalue yang berbeda uga aan menghaslan cluser dengan SSE yang berbeda. Mespun secara umum da erdapa perbedaan yang sgnfan, namun dapa daaan bahwa penggunaan meode Power dan Truncaed Power memberan hasl yang lebh aura. Hal n erlha 1333

9 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung perbandngan besaran SSE whn cluser yang dhaslan oleh penggunaan meode Power dan Truncaed Power erhadap sandar. Dar Tabel 3, dapa erlha bahwa meode Truncaed Power memberan nla SSE palng mnmal dbandngan dengan edua meode lannya. Tabel 3 Perbandngan Raso SSE yang dhaslan PCA-Par Unu Insalsas K-Means Dengan Menggunaan Meode Power dan Truncaed Power Terhadap Householder-QR ID Se Daa H-QL/QR Power Trunc Power (1) (2) (3) (4) (5) 1 Abalone Cardoographc Ionosphere Irs Isole leer recognon 5.92E E E+09 7 lbras movemen DB 5.88E E E+08 8 Mus(clean2) roc vs mnes Shule (salog)-ranng Wne wne qualy Sumber: hasl pengolahan KESIMPULAN Hasl penguan erhadap 12 se daa yang meml araers berbeda memberan esmpulan bahwa penggunaan meode Power dan Truncaed Power lebh ba unu derapan pada PCA-Par unu nsalsas K-Means dbandngan dengan meode sandar. Dar ss ecepaan, ddapa bahwa wau ompuas yang dhaslan melalu penggunaan meode Power dan Truncaed Power lebh efsen dbandngan dengan sandar. Mespun deman, da erdapa perbedaan sgnfan wau ompuas anara meode Power dan Truncaed Power. Dar ss auras, SSE whn cluser yang dhaslan oleh edua meode ersebu secara raa-raa selalu lebh ba dbandngan dengan meode sandar. Mespun deman, penggunaan meode Truncaed Power aan memberan hasl cluserng yang lebh ba dan sabl dbandngan dengan meode Power. 1334

10 Semnar Nasonal Sans & Tenolog V Lembaga Penelan Unversas Lampung DAFTAR PUSTAKA Ara, K., Barabah, A.R., Herarchcal K-Means: an algorhm for cenrods nalzaon for K-Means. Repors of he Faculy of Scence and Engneerng 36 (1).Saga: Saga Unversy Bradley, P.S., Fayyad, U.M., Refnng Inal Pons for K-Means Cluserng. In: Proc. 15 h Inernaonal Conference on Machne Learnng (ICML98). J. Shavl (ed.). pp Morgan Kaufmann, San Francsco Celeb, M.E., Kngrav, H.A., Deermnsc Inalzaon of he K-Means Algorhm Usng Herarchcal Cluserng. Inernaonal Journal of Paern Recognon and Arfcal Inellgence, 26(7): Duda, R., Har, P., Sor, D., Paern Classfcaon, second ed. John Wley and Sons, New Yor. Fuunaga, K., Inroducon o Sascal paern Recognon. Academc Press, Boson, MA. Köves, B., Boucher, J.M., Saoud, S., Sochasc K-Means algorhm for vecor quanzaon. Paern Recognon Le. 22, pp Saad, Y Numercal Mehods for Large Egenvalue Problems 2 nd Edon. Socey for Indusral and Appled Mahemahcs, Phladepha. Su, T., Dy, J., A Deermnsc Mehod for Inalzng K-Means Cluserng. In: Proc. 16 h IEEE Inernaonal Conference on Tools wh Tools wh Arfcal Inellgence (ICTAI2004), pp , In Search of Deermnsc Mehod for Inalzng K-Means and Gaussan Mxure Cluserng. Inellgen Daa Analyss. Vol. 11, No. 4, pp Yuan, X.T., Zhang T., Truncaed Power Mehod for Sparse Egenvalue Problems. Journal of Machne Learnng Research, 14. pp