PERBANDINGAN METODE MODEL-BASED DENGAN METODE K-MEAN DALAM ANALISIS CLUSTER

Transkripsi

1 PERBANDINGAN METODE MODEL-BASED DENGAN METODE K-MEAN DALAM ANALISIS CLUSTER Tmbul Pardede Unverstas Terbua ABSTRACT K-mean method s a clustern method n whch roupn technques are based only on dstance measure amon observed obects, wthout consdern statstcal aspects. Modelbased clustern s a method that use statstcal aspects, as ts theoretcal bass.e. probablty maxmum crteron. Ths model has several varatons wth a varety of eometrcal characterstcs obtaned by mean Gauss component. Data partton s conducted by utlzn EM (expectaton-maxmzaton) alorthm. Then by usn Bayesan Informaton Crteron (BIC) the best model s obtaned. Ths research amed to comparn result of roupn methods between model-based clustern and K-mean clustern. The results showed that model-based clustern was more effectve n separatn overlap roups than K- mean. Keywords: BIC, EM alorthm, K-mean clustern method, model-based clustern method. Analss cluster merupaan suatu metode penelompoan satuan obe penamatan menad beberapa elompo obe penamatan berdasaran peubah-peubah yan dml. Analss n menadan obe-obe yan terleta dalam elompo yan sama relatf lebh homoen dbandnan denan obe-obe pada elompo yan berbeda. Dewasa n terdapat beberapa metode cluster yan dapat delompoan berdasaran alortma proses yan dlauan, yan ten yan berdasaran uuran ara sebaa bass penelompoannya. Metode berbass uuran ara n terdr dar metode cluster berherar denan penabunan (alomeratve), antara lan metode Ward dan ua metode cluster ta berherar, msalnya metode K-mean (Anderber 973). Metode cluster n meml ten yan berbeda dalam proses pembentuan elompo, namun ten tersebut hanya memperhatan uuran ara antar obe penamatan. Metode-metode n tda mempertmbanan aspe statstnya, sepert sebaran datanya. Metode model-based adalah suatu metode yan berbeda denan metode cluster yan ddasaran pada uuran ara. Metode n merupaan suatu alortma cluster yan terolon baru. Analss n dlauan berdasaran pada aspe statst yatu menunaan rtera emunnan masmum dalam memutusan hasl elomponya. Metode n mempunya beberapa model denan berbaa macam sfat eometrs yan dperoleh melalu omponen Gauss. Dar metode-metode cluster yan telah dunapan d atas, tda semua metode dapat dunaan untu menanalss data, hususnya apabla data penamatannya cuup besar atau data penamatannya merupaan data cluster yan saln tumpan tndh. Sern muncul pertanyaan menena Berapa banya cluster yan ada?, Metode cluster apa yan dunaan?. Penuna statsta sernal melauan denan coba-coba (tral and error) untu mendapatan hasl yan bermana atau yan dapat dnterpretasan sesua denan masalah aannya (Sswad & Suharo,

2 Pardede, Perbandnan Metode Model-Based denan Metode K-Mean dalam Analss Cluster 999). Hal n sudah baran tentu aan menmbulan subetvtas penuna statsta dalam memutusan hasl cluster tersebut. Oleh arena tu upaya membandnan hasl penelompoan metode model-based denan metode cluster yan ddasaran pada uuran ara (metode K-mean) menad suatu hal yan perlu dan menar untu da. Berdasaran permasalahan tersebut, tuuan peneltan n adalah untu membandnan hasl penelompoan metode model-based denan metode K-mean dalam analss cluster. Peneltan n dharapan dapat member reomendas yan tepat tentan metode cluster yan dunaan dalam penelompoan data yan cenderun terdapat cluster yan saln tumpan tndh. Metode Cluster K-Mean Metode K-mean merupaan suatu metode cluster ta berherar, yatu metode cluster yan menyeat obe penamatan e dalam cluster. Metode n pada umumnya daplasan pada uus data yan beruuran relatf besar. Macqueen dalam Johnson dan Wchern (998) menambaran alortma cluster untu menyeles n unt data e dalam cluster adalah berdasaran edeatan pusat (rataan) yan dsusun denan tahapan berut n.. Menambl unt data pertama yan dunaan sebaa pusat cluster awal.. Menabunan setap (n-) data yan merupaan ssa anota e pusat cluster terdeat. Kemudan dhtun masn-masn pusat (rataan) cluster baru yan terbentu dar hasl penabunan. 3. Setelah semua data dabunan pada tahap, pusat cluster yan terbentu dadan sebuah tt pusat (rataan) cluster. Kemudan dlauan penabunan embal dar setap unt data e dalam tt pusat terdeat. Suatu cluster yan onveren dperoleh denan memperba secara berulan tt pusat cluster yan terbentu pada tahap e-3 melalu penabunan semua n data e tt pusat terdeat. Cluster yan onveren dtanda denan adanya tt pusat yan tetap dan tda ada la perubahan anota d antara cluster. Uuran etamrpan antar obe penamatan yan dunaan dalam analss cluster adalah ara antar obe. Jara antar dua obe harus ddefnsan sedeman rupa sehna seman pende ara antar dua obe, seman ecl etamrpannya. Nla uuran etamrpan yan sern dunaan adalah ara Eucld dan ara Mahalanobs. Jara Mahalanobs dunaan bla semua peubah saln berorelas atau tda saln ortoonal, sebalnya ara Eucld dunaan bla antar peubah saln bebas atau saln ortoonal (Johnson & Wchern, 998). Jara Eucld antara obe e- p dan obe e- denan p peubah ddefnsan denan d X X - Mahalanobs ddefnsan denan d x x S x x ovarans. / / dan ara denan S adalah matrs Metode Cluster Model-Based Dalam metode model-based (Fraley & Raftery, 998), dasumsan bahwa data dbantan oleh sebaran peluan campuran denan setap subpopulas mewal suatu cluster yan berbeda. Msalan X, X,..., Xn adalah varabel aca multvarat (p-varat) dar suatu populas, denan p 99

3 Jurnal Matemata, Sans, dan Tenolo, Volume 8, Nomor, September 007, menyataan dmens data dan n menyataan banyanya obe penamatan. Ke-n obe penamatan n danap berasal dar campuran G subpopulas G, G,..., G yan masn-masn terdr atas n data denan n n. Secara umum funs epeatan peubah aca anda n dapat dnyataan sebaa funs epeatan campuran berhna denan xθ f π f xθ ; Ω x () f merupaan funs epeatan θ yan tda detahu dan π dan 0,,..., π G, yatu subpopulas e- denan vetor parameter π merupaan propors data yan berasal dar subpopulas e- denan, sedanan, adalah uus semua parameter dar funs epeatan campuran yan berasal dar ruan parameter (Mclachlan & Basford, 988). Denan asums X,X,...X n bebas stoast dan dent denan funs epeatan f x θ merupaan funs epeatan penamatan x dar cluster e- maa Funs emunnan sebaran campuran (mxture lelhood) pada persamaan () adalah: n L( ) π f x θ () f x adalah funs epeatan Dalam peneltan n dfousan pada suatu asus denan peubah anda campuran normal (Gauss) denan parameter matrs oraam, yan dnyataan dalam bentu: x x p π terdr dar vetor rataan dan exp f (x ; ) (3) Dalam Metode model-based, dasumsan bahwa data dbantan denan funs epeatan peubah anda campuran. Data bantan tersebut dcran oleh cluster ellpsodal yan terpusat pada rataan (Fraley & Raftery, 999). Karaterst eometr (bentu (shape), volume, dan orentas (orentaton)) cluster dhtun denan matrs oraam yan dparametersasan untu menentuan batasan antar cluster. Banfeld & Raftery (993) menembanan metode model-based denan memparametersasan setap matrs oraam melalu suu deomposs nla cr dalam bentu : D A D (4) denan : D adalah matrs ortoonal dar vetor cr, yan menelasan orentas dar omponen e-, 00

4 Pardede, Perbandnan Metode Model-Based denan Metode K-Mean dalam Analss Cluster A adalah matrs daonal denan masn-masn unsurnya proporsonal terhadap nla cr dar, yan menelasan bentu, adalah salar yan menelasan volume. Sebaa lustras, model I mempunya volume sama dan semua cluster berbentu bola (sphercal). Model DAD mempunya cr eometr sama dan semua cluster berbentu ellpsodal. Model D A D mempunya model tanpa batasan denan setap cluster mempunya cr eometr yan berbeda. Tabel menunuan matrs oraam campuran normal anda dan nterpretas eometr (Fraley & Raftery, 999). Tabel. Interpretas eometr dan parametersas matrs oraam normal anda. untu model dalam model campuran Volume Bentu Geometr Orentas Tebaran Smbol Mclust I Sama Sama - Sphercal EI Berbeda Sama - Sphercal VI I DAD Sama Sama Sama Ellpsodal EEE D A D Berbeda Berbeda Berbeda Ellpsodal VVV D AD Sama Sama Berbeda Ellpsodal EEV D AD Berbeda Sama Berbeda Ellpsodal VEV Pendua Kemunnan Masmum Model Campuran melalu Alorthma EM Alortma EM (Expectaton- maxmzaton) merupaan metode perhtunan teratf terhadap masalah penduaan emunnan masmum parameter pada data tda lenap. Model data y x,z z z,z,..., z merupaan vetor ndator yan ddefnsan lenap, dmana denan :, x G z ;,..., n ;,..., (5) 0, lannya. Alortma EM n terdr dar dua tahap yatu tahap E untu penduaan dan tahap M untu pemasmuman. Denan asums Z bebas dan dent menurut sebaran multnomal denan peluan,,..., dan funs epeatan x denan z adalah f x θ emunnan data lenap (complete-data lelhood) adalah z, maa funs 0

5 Jurnal Matemata, Sans, dan Tenolo, Volume 8, Nomor, September 007, L( θ,π,z x) n z π f x θ n lolelhood) adalah L θ,π,z x) z lnπ lnf x θ Ja x θ atau funs lo emunnan data lenap (complete-data (. f merupaan model campuran sebaran normal anda yatu f x θ f ( x ; ) maa funs lo emunnan data lenap pada model campuran normal anda adalah: n, L( θ,π,z x) z lnπ lnf(x ; ) (6) denan tahap E pada teras EM pada model campuran normal anda dperoleh z π f x μ, π f x μ, ^ z merupaan duaan peluan ahr untu parameter ;,..., n ;,..., x dalam elompo e-. Pendua emunnan masmum θ dan π dperoleh denan memasuan nla (7) ^ z e dalam persamaan (6), yatu n ^ ^ ^ * L ( θ,π,z x) zlnπ lnf ( x ; ). * Kemudan L ( θ,π,z x) dmasmuman denan tahap M pada teras EM. Deman proses teras n berlansun hna dperoleh hasl teras yan onveren. Tahapan penduaan dan pemasmuman untu asus model campuran normal anda dparametersasan melalu deomposs nla cr sepert pada persamaan (4). Pemlhan Model Cluster denan Fator Bayes Dalam aplas analss cluster ada dua masalah yan dhadap, yatu pemlhan metode cluster dan memutusan umlah cluster. Untu menanan edua masalah n dlauan pendeatan model campuran melalu fator Bayes (Bayes Factor). Salah satu euntunan pendeatan model campuran denan menunaan pendeatan fator Bayes adalah dapat membandnan antar model. Sstemata pemlhan tda hanya untu parametersas model (metode cluster yan dunaan), tetap ua banyanya cluster. Msalan X adalah data penamatan, M dan M adalah dua model yan berbeda denan parameter masn-masn adalah dan. Interal atau marnal emunnan (Interal or marnal lelhood) ddefnsan sebaa: P X M P X, M P M d =, denan P M adalah sebaran awal, denan adalah parameter model M. 0

6 Pardede, Perbandnan Metode Model-Based denan Metode K-Mean dalam Analss Cluster Fator Bayes ddefnsan sebaa raso dar nteral emunnan dar edua model, yan P( X M ) B. Metode n dembanan secara umum untu lebh dar dua model (Kass & P( X M ) Raftery, 995). Kass & Raftery (995) menemuaan bahwa nteral emunnannya dapat ddeat denan pendeatan fator Bayes melalu alortma EM (Espetas-Masmum). Pendeatan n dsebut BIC (Bayesan Informaton Crteron) denan formulas sebaa berut. ln P X ln P X θ M, V M ln(n) BIC denan P X M : adalah nteral emunnan untu model M V : adalah banyanya parameter bebas yan ddua pada model M P X θ, M : adalah emunnan masmum model campuran untu model M θ : adalah duaan emunnan masmum untu parameter pada model M. Nla BIC terbesar menndasan bahwa model tersebut adalah model yan paln laya. Fraley & Raftery (998) membuat strate metode model-based denan cara menombnasan cluster berherar penabunan, alortma EM, dan fator Bayes denan lanah-lanah sebaa berut.. Tentuan banya cluster masmum (m) dan hmpunan model campuran anda normal.. Lauan cluster berherar penabunan untu setap model campuran normal anda. Hasl cluster n dtransformas e dalam peubah ndator pada persamaan (5), yan emudan dunaan sebaa nla awal untu alortma EM. 3. Lauan alortma EM untu setap model dan masn-masn banya cluster, 3,., m, yan dawal denan lassfas cluster berherar. 4. Htun nla BIC untu asus satu cluster pada setap model dan untu model emunnan campuran denan parameter optmal dar alortma EM untu, 3,., m cluster. 5. Plotan nla BIC untu setap model. Nla BIC terbesar menndasan bahwa model tersebut adalah model yan paln laya. METODOLOGI Data yan dunaan dalam peneltan n adalah data hasl smulas, yan dbantan denan menunaan peranat luna proram Mntab.. Data yan dbantan terdr dar 3 cluster denan 3 peubah dan umlah penamatan tap cluster yan dcobaan sebesar 50, 00 dan 50. Keta cluster yan aan dbantan dbuat dalam 3 macam onds, () eta cluster saln terpsah, () satu cluster terpsah dan dua cluster tumpan tndh, dan (3) eta cluster saln tumpan tndh. Untu membantan banyanya penamatan yan tumpan tndh, maa dcobaan 3 ens uuran ara antara dua nla tenah (pusat) cluster, yan dsesuaan denan auh deatnya ara antara vetor rataan cluster. Untu melhat penaruh tnat orelas antara peubah terhadap hasl ahr cluster, dcobaan 3 tnat orelas, yatu tnat rendah (0.0), tnat orelas 03

7 Comp Comp Comp Jurnal Matemata, Sans, dan Tenolo, Volume 8, Nomor, September 007, sedan (0.50) dan tnat orelas tn (0.80). Selan tu sebaa contoh penerapan untu menduun hasl peneltan n, dambl data seunder, yatu data Irs yan banya dunaan dalam buu tes statsta multvarat dan dalam paet proram statsta sepert S-plus dan Mntab. Prosedur analss data dlauan sebaa berut.. Data hasl bantan, selanutnya dlauan analss cluster denan menunaan paet proram Splus 000 untu metode K-mean, sedanan untu metode model-based dunaan paet proram Mclust denan nterface Splus Bandnan hasl cluster masn-masn metode denan cluster yan sebenarnya (dtentuan saat smulas). 3. Htun persentase salah penelompoan dar masn-masn metode, emudan haslnya dbandnan. 4. Persentase salah penelompoan yan terecl menunuan bahwa metode yan dunaan lebh ba. HASIL DAN PEMBAHASAN Data yan dbantan terdr dar 8 asus data smulas denan masn-masn asus terdr dar 3 cluster. Semua asus data dbedaan atas onds penelompoan, ara antar pusat cluster, tnat orelas dan banya data. Setap asus data dunaan sebaa data awal ba masn-masn metode K-mean dan metode model-based. Keta Cluster Saln Terpsah Persentase salah penelompoan untu onds eta cluster saln terpsah dperoleh hasl yan sama besar pada edua metode yan dbandnan, yatu 0%. In menunuan bahwa penelompoan setap metode sesua dan tepat denan penelompoan yan sebenarnya (dtentuan saat smulas). Hal n dsebaban oleh uuran ara antar vetor rataan cluster yan relatf auh dan varans setap peubah cenderun ecl sehna obe penamatan menelompo d setar vetor rataannya (lhat Gambar ). Persentase salah penelompoan n tda terpenaruh terhadap banya obe penamatan tap cluster, eta ara antar pusat cluster dan ua tnat orelas antar peubah V V V d deat, tnat orelas rendah dan V V V b. d sedan, tnat orelas rendah dan V3 8 V c. d auh, tnat orelas rendah dan Gambar. Pola smulas data untu onds eta cluster saln terpsah denan banya obe penamatan untu tap cluster sebesar V

8 Comp Comp Comp Pardede, Perbandnan Metode Model-Based denan Metode K-Mean dalam Analss Cluster Satu Cluster Terpsah dan Dua Cluster Tumpan Tndh Pada Gambar dsaan hasl plot dua omponen utama pertama dar onds penelompoan satu cluster terpsah dan dua cluster tumpan tndh, tnat orelas rendah denan banya obe penamatan tap cluster sebesar 50 penamatan V V V V V V V V V a. d deat, tnat orelas rendah dan b. d sedan, tnat orelas rendah dan c. d auh, tnat orelas rendah dan Gambar. Pola smulas data untu onds satu cluster terpsah dan dua cluster tumpan tndh denan banya obe penamatan tap cluster sebesar Persentase salah penelompoan untu onds n dperoleh hasl sepert tercantum pada Tabel. Metode model-based memperoleh persentase salah penelompoan terecl dan bahan auh lebh ecl persentase penelompoannya dbandnan metode K-mean. Dtnau dar ara antar pusat cluster, terad penurunan salah penelompoan denan seman auh ara antar pusat cluster untu edua metode cluster. Dtnau dar tnat orelas antar peubah menunuan bahwa metode model-based terad penurunan persentase salah penelompoan dar tnat orelas rendah e tnat orelas tn, walaupun penurunan n hampr tda ada perbedaan yan berart. Untu banya obe penamatan tap cluster sebesar 50 mempunya pola persentase salah penelompoan yan tda auh berbeda denan obe penamatan tap cluster sebesar 00 dan 50. Tabel. Persentase Salah Penelompoan pada Konds Satu Cluster Terpsah dan Dua Cluster Saln Tumpan Tndh. Tnat Korelas Metode n=00 Jara Jara Jara Deat Sedan Jauh Deat Sedan Jauh Deat Sedan Jauh Rendah K-mean Model-based Sedan K-mean Model-based Tn K-mean Model-based

9 Comp Comp Comp Jurnal Matemata, Sans, dan Tenolo, Volume 8, Nomor, September 007, Hasl penelompoan edua metode cluster yan dbandnan, menunuan bahwa metode model-based lebh efetf dalam memsahan elompo-elompo pada onds satu cluster terpsah dan dua cluster tumpan tndh dbandnan metode K-mean. Keta Cluster Saln Tumpan Tndh Persentase salah penelompoan untu onds eta cluster saln tumpan tndh dsaan pada Tabel 3. Metode model-based pada tnat orelas rendah dan tnat orelas sedan denan eta ens ara yan dcobaan tda mampu memsahan elompo-elompo yan saln tumpan tndh. Hal n munn dsebaban oleh obe-obe penamatannya menelompo pada satu cluster (lhat Gambar 3). Sehna secara eometrs dar 6 model dar metode model-based tda mampu memsahan cluster yan saln tumpan tndh. Bahan metode model-based n menanuran bahwa aan lebh efetf a penelompoannya dba dalam atau 4 cluster V V V V V V V V V a. d deat, tnat orelas rendah dan b. d sedan, tnat orelas rendah dan c. d auh, tnat orelas rendah dan Gambar 3. Pola smulas data untu onds eta cluster saln tumpan tndh denan banya obe penamatan untu tap cluster sebesar Hasl penelompoan edua metode yan dbandnan menunuan bahwa metode model-based lebh efetf memsahan cluster yan saln tumpan tndh apabla tnat orelas tn dan ara antar pusat cluster relatf sedan dan auh. Sebalnya, apabla tnat orelas tn denan ara antar pusat cluster relatf deat dan ua pada tnat orelas rendah dan sedan denan ara antar pusat cluster deat, sedan dan auh, edua metode yan dbandnan tda efetf dalam memsahan cluster yan tumpan tndh. Tabel 3. Persentase salah penelompoan pada onds eta cluster saln tumpan tndh Tnat Korelas Metode n=00 Jara Jara Jara Deat Sedan Jauh Deat Sedan Jauh Deat Sedan Jauh Rendah K-mean Model-based Sedan K-mean Model-based Tn K-mean Model-based

10 Comp Pardede, Perbandnan Metode Model-Based denan Metode K-Mean dalam Analss Cluster Data Irs Data Irs merupaan contoh las yan sern dunaan dalam buu-buu tes statst untu menlustrasan masalah penelompoan data. Data Irs n adalah seens buna yan terdr dar 4 peubah yatu, Panan Petal (PP), Lebar Petal (LP), Panan Sepal (PS) dan Lebar Sepal (LS). Masn-masn peubah terdr dar 50 penamatan, setap uuran peubah terba atas ta speses yatu Irs Setosa (IS), Irs Verscolor (IC), dan Irs Vrnca (IV) yan masn-masn terdr dar 50 penamatan LS PS LP PP Gambar 4. Plot dua omponen utama pertama pada data Irs Berdasaran hasl plot dua omponen utama pertama (lhat Gambar 4) dapat dunaan sebaa petunu awal bahwa speses IS terpsah dar edua speses lannya. Ilustras data Irs n dapat mewal onds satu cluster terpsah dan dua cluster tumpan tndh. Dar Tabel 4 terlhat bahwa untu elompo IC, metode model-based memperoleh 5 amatan masu dalam elompo IV, yan seharusnya masu dalam elompo IC, sementara untu metode K-mean memperoleh salah penelompoan sebesar amatan masu dalam elompo IV, yan seharusnya masu dalam elompo IC. Untu elompo IV, metode model-based dapat memsahan denan tepat elompo IV dar dua elompo lannya, sedanan untu metode K- mean memperoleh salah penelompoan yan cuup besar, yatu sebesar 4 amatan masu dalam elompo IC. Tabel 4. Hasl penelompoan data Irs menad 3 cluster dan persentase salah penelompoannya. Metode cluster IS (50,0,0) IC (0,50,0) IV (0,0,50) Salah penelompoan K-mean (50,0,0) (0,48,) (0,4,36) 6 (0.67%) Model-based (50,0,0) (0,45,5) (0,0,50) 5 (3.33%) Ket.: (50,0,0) : 50 masu elompo IS, 0 masu elompo IC dan 0 masu elompo IV Salah penelompoan terecl terad pada metode penelompoan model-based sebesar 3.33% (5 penamatan), sementara persentase salah penelompoan metode K-mean sebesar 0.67% (6 penamatan). 07

11 Jurnal Matemata, Sans, dan Tenolo, Volume 8, Nomor, September 007, Salah penelompoan yan terad dsn hanya melbatan speses IC dan IV, sementara untu speses IS tda terpenaruh untu edua metode yan dcobaan. Hal n dsebaban oleh cuup deatnya ara antar pusat cluster speses IC denan speses IV, sehna menyebaban speses IS meman benar-benar terpsah dar dua speses lannya. KESIMPULAN Hasl peneltan n menunuan bahwa secara umum metode model-based lebh efetf memsahan cluster yan saln tumpan tndh dbandnan denan metode K-mean. Dalam hal untu data lapanan yan cenderun terdapat cluster yan saln tumpan tndh dsaranan menunaan metode model-based. REFERENSI Anderber, M.R. (973). Cluster analyss for applcatons, New Yor: Academc Press. Banfeld, J.D. & Raftery, A.E. (993). Model-based Gaussan and non-gaussan clustern. Bometrcs, 49, Fraley, C. & Raftery, A.E. (998). How many clusters? Whch clustern method? Answers va modelbased cluster analyss. The Computer Journal, 4, Fraley, C. & Raftery, A.E. (999). MCLUST: Software for model-based clustern analyss. Journal of Classfcatons, 6, Johnson, R.A. & Wchern, D.W. (998). Appled multvarate statstcal analyss, 4 th Edton. New Jersey: Prentce-Hall. Kass, R.E. & Raftery, A.E. (995). Bayes Factor. Journal of the Amercan Statstcal Assocaton, 90, Mclachlan, G.J. & Basford, K.E. (988). Mxture models: Inference and applcatons to clustern, New Yor: Marcel Deer. Sswad & Suharo, B. (999). Analss esploras data peubah anda. Boor: Jurusan Matemata FMIPA IPB. Boor. 08