(M.6) FUZZY C-MEANS CLUSTERING DENGAN ANALISIS ROBUST

Transkripsi

1 (M.6) FUZZY C-MEANS CLUSTERING DENGAN ANALISIS ROBUST 1Nor Indah FitriyaNingrum, 2 Suwanda, 3 Anna Chadidjah 1Mahasiswa JurusanStatistika FMIPA UniversitasPadjadjaran 2Jurusan Statistika FMIPA Universitas Islam Bandung 3Jurusan StatistikaFMIPA UniversitasPadjadjaran 1 nifningrum@gmail.com, 2 wanda_100358@yahoo.co.id, 3anna_chadidjah@ yahoo.co.id Abstrak C-means clustering adalah salah satu metode pengelompokan non hierarki yang paling banyak digunakan. Kelemahan c-means jika sifat pengelompokan sulit untuk dideskripsikan secara pasti. Dalam prakteknya kondisi ketidakpastian lebih sering ditemui dalam mengklasifikasikan suatu kondisi. Karena itu kemudian muncul teori himpunan fuzzy (kabur, tidakpasti) yang mendasari berkembangnya metode fuzzy clustering, dimana salah satunya adalah fuzzy c-means (FCM). Keberadaan noise dan data pencilan dalam clustering sering menyebabkan hasil analisis yang kurang menggambarkan kondisi sebenarnya, karena taksiran pusat cluster menjadi semakin jauh dari nilai sebenarnya. Salah satu faktor yang berperan penting terhadap keefektifan FCM adalah pangkat penimbang m. Nilai m optimum turut mempengaruhi ketahanan FCM terhadap noise dan pencilan.dalama nalisis robust, untuk melihat pengaruh dari penambahan observasi individual dapat digunakan fungsi φ dari kurva pengaruh Influence Curve (IC) penaksir pusat cluster. Kata kunci: FCM, data pencilan, pangkat penimbang, analisis robust. 1. PENDAHULUAN Clustering analysis (analisispengelompokan) merupakan salah satu teknik yang digunakan untuk menggabungkan unit-unit observasi kedalam cluster atau kelompok dimana unit-unit dalam tiap cluster bersifat homogeny sehingga mirip satu dengan yang lain, sedangkan antar cluster berbeda (heterogen) satu dengan yang lain berdasarkanvariabel yang digunakan untuk pengelompokan (Sharma: 1996). Metode dalam Clustering analysis secara umum dibedakan menjadi hierarki dan non hierarki (partisi). C-means clustering adalah salah satu metode non hierarki yang paling banyak digunakan karena lebih sederhana dan cepat prosesnya. Metodec-means bertujuan membagi n observasi ke dalam c cluster dimana tiap observasi menjadi anggotadari cluster dengan nilai rata-rata terdekat, melalui proses perulangan (iterasi) hingga pengelompokan tersebut konvergen. C-means dapat digolongkan sebagai hard clustering (de Oliveira dan Pedrycz: 2007), dimana setiap elemen menjadi 353

2 anggota dari suatu cluster tertentu dengan batasan yang jelas. Hal ini merupakan kelemahan c-means jika sifat pengelompokan sulit untuk di deskripsikan secara pasti. Dalam prakteknya, kondisi ketidakpastian lebih sering ditemui dalam mengklasifikasikan suatu kondisi. Pada kasus dimana mendefinisikan keanggotaan suatu kelompok tidak jelas batasannya atau menjadi tidak pasti, pengelompokan objek dengan hard clustering menjadi kurang tepat. Teori himpunan fuzzy (kabur, tidak pasti) mendasari berkembangnya metode fuzzy clustering, dimana salah satunya adalah fuzzy c-means (FCM) yang merupakan implementasi secara fuzzy dari c-means clustering. Metode ini memungkinkan suatu elemen menjadi anggota dari satu cluster atau lebih, sehingga menghasilkan pengelompokan yang lebih teliti. Pengaruh noise dan pencilan pada clustering analysis pada umumnya adalah menyebabkan hasil pengelompokan menjadi kurang bagus, dan mengurangi keakuratan informasi yang dihasilkan. Data yang mengandung noise dan pencilan berdampak pada nilai pusat cluster yang semakin jauh terhadap nilai sesungguhnya. Karena itu kemudian terdapat banyak pengembangan pada algoritma FCM. Salah satu faktor yang berperan penting terhadap keefektifan FCM adalah pangkat penimbang m. Nilai parameter m menunjukkan tingkat ke-fuzzy-an (fuzzifier) dari suatu fungsi keanggotaan dalam fuzzy clustering. Nilai m turut mempengaruhi ketahanan FCM terhadap noise dan pencilan (Wu: 2010). 2. METODE DAN PEMBAHASAN Pengelompokan yang didasarkan pada teori himpunan fuzzy atau disebut dengan fuzzy clustering. Dalam Leski (2003), metode fuzzy clustering mulai diperkenalkan oleh Ruspini (1969), dan Dunn (1973) menerapkan metode tersebut berdasarkan pada minimalisasi fungsi kriteria. Filosofi dan sistem matematika fuzzy clustering secara lebih lengkap dibahas oleh Bezdek (1981). Berbedadenganc-means dimana tiap objek menjadi anggota dari suatu cluster tertentu dengan batasan yang jelas, pada FCM memungkinkan keanggotaan tiap objek terbagi pada beberapa cluster. Disini diberlakukan kondisi μ = μ x dengan nilai pada selang 0 sampai dengan 1 sebagai fungsi keanggotaan dari himpunan fuzzy µ i pada X dimana μ = 1 untuk semua x j. Semakin besar nilai μ x menunjukkan semakin dekat objek tersebut pada titik pusat cluster tertentu. Algoritma iteratif FCM memerlukan kondisi agar dapat meminimumkan fungsi objektif J FCM seperti berikut: J = J (X, U, V) = μ x v, (1) 354

3 Dimana U = μ εm adalah matriks partisi fuzzy berdimensi cxn, V = [v, v,, v ] adalah vektor berdimensi s dari c-pusat cluster, dan pangkat penimbang m>1 adalah indeks ke-fuzzy-an. Kondisi yang diperlukan untuk meminimumkan (U, V) diperoleh dengan menambahkan batasan(constraint) pengganda Lagrange terhadap fungsi objektif J FCM (Höppnerdkk.: 1999) sehingga didapatkan: J (X, U, V, λ) = J + λ = μ x v + λ μ 1. (2) Fungsitersebutkemudianditurunkanterhadapmasing-masing parameter sehingga didapatkan rumus penghitungan fungsi keanggotaan tiap objek: μ = () () Dan titik pusat cluster dihitung dengan: v =, (3). (4) Ukuran jarak yang sering digunakan adalah jarak Euclidean, karena lebih mudah dalam penerapannya. Pangkat penimbang m(fuzzifier) adalah parameter ke-fuzzy-an yang berpengaruh besar terhadap performa pengelompokan FCM. Ketika nilai m mendekati satu, maka FCM mendekati algoritmac-means. Sedangkan jika nilai m mendekati tak hingga, solusi yang dihasilkan dapat bersifat tunggal (stable solution) dimana pusat data sekaligus menjadi pusat dari tiap cluster (unique optimizer). Disini, FCM akan menghasilkan output (U, x ) sebagai titik tetap (fixed point). Karena itu, memilih pangkat penimbang yang tepat menjadi sangat penting. Dalam Yu dkk. (2004), beberapa literatur yang mengkaji masalah pangkat penimbang antara lain Bezdek (1976) yang menyarankan nilai m=2, serta Pal dan Bezdek (1995) dengan menggunakan indeks validitas kelompok menyarankan nilai m pada selang [1,5;2,5] Yu dkk. (2004) kemudian mengembangkan suatu teori menggunakan nilai eigen maksimum dari matriks F, λ (F ). Misalkanu=U * maka: F = f ; f = 1 n. (5) Agar (U, x ) tidak menjadi solusi stabil yang tidak diinginkan, diperoleh dua aturan dalam pemilihan pangkat penimbang yaitu berupa batas atas nilai m sebagai berikut: 1) Aturan α m (,) jika min(s, n 1) 3, (6) (,) 355

4 2) Aturan β m jika λ (F ) (F ) < 0,5, (7) dimana s merupakan dimensi dari data (ukuran variabel untuk pengelompokan). Keberadaan noise dan data pencilan sering menyebabkan hasil analisis yang kurang menggambarkan kondisi sebenarnya. Noise dalam statistik merupakan variasi atau pengaruh acak yang tidak dapat dijelaskan yang terdapat dalam suatu sampel atau pengukuran.secara umum, noise dalam suatu himpunan data menyebabkan kurangnya presisi dan mungkin tidak dapat diperoleh hasil yang sama jika dilakukan penghitungan ulang. Data pencilan (outlier) dapat didefinisikan sebagai pengamatan yang tidak mengikuti sebagian besar pola dan terletak jauh dari pusat data. Dalam clustering, data normal menjadi bagian dari cluster berukuran besar. Sedangkan pencilan menjadi anggota cluster berukuran kecil atau yang tersebar anggotanya, bahkan membentuk cluster sendiri. Akibatnya, pusat cluster yang ditaksir menjadi kurang akurat. Untuk membedakan antara efek noise dan pencilan sendiri sebenarnya juga tidak mudah, terlebih pada data berdimensi besar. Pada kenyataannya, sering kali data mengandung noise dan pencilan. Oleh karena itu, metode FCM selayaknya bersifat robust. Istilah robustness menandakan ketidakpekaan terhadap penyimpangan kecil dari asumsi yang digunakan. Suatu prosedur statistik yang robust harus efisien, stabil, dan adanya penyimpangan yang lebih besar tidak berakibat fatal terhadap model. Dalam analisis robust, untuk melihat pengaruh dari penambahan observasi individual (misalnyadinyatakandengan x) terhadap nilai suatu penaksir dapat digunakan kurva pengaruh Influence Curve (IC), atau disebut juga fungsi pengaruh. Penaksir-M merupakan salah satu bentuk penaksir dalam statistik yang paling fleksibel digunakan, dimana untuk taksiran θ dinyatakan dengan meminimumkan bentuk ρ(x, θ) = min! atau melalui persamaan implicit φ(x, θ) = 0 dimana (x, θ) = ρ(x, θ). Jikaφ(x, θ) = φ(x θ) dan F merupakan fungsi distribusi dari x, maka fungsi pengaruhnya dapat dirumuskan menjadi (Huber danronchetti: 2009) : IC(x, F, θ) = () [()]() (8) Terlihat bahwa fungsi pengaruh dari suatu penaksir-m proporsional terhadap fungsi φ penaksir tersebut. Jika fungsi pengaruh dari penaksir tidak dibatasi, maka adanya data pencilan dapat menyebabkan permasalahan, dimana fungsi φ digunakan untuk menyatakan derajat pengaruhnya. 356

5 Misalkan dalam FCM, loss function antara titik data x j dengan pusat kelompok vi adalah ρx v = μ x v, (9) Dengan fungsi φ ρx v = ρx v = 2μ x v. (10) Dengan memecahkan persamaan ρx v = 0, maka diperoleh hasil v = μ x μ, yang tak lain menunjukkan bahwa taksiran pusat cluster v i merupakan sebuah penaksir-m. Dengan demikian, fungsi φ dari taksiran v i dapat menunjukkan robustness dalam FCM. Menurut Wu (2010), pengaruh dari penambahan objek akan menjadi sangat kecil dengan semakin besarnya nilai m. Karena itu, FCM menjadi semakin robust terhadap noise dan data pencilan dengan nilai m yang besar. Untuk melihat ketahanan FCM, maka digunakan beberapa nilai m dalam proses clustering. Tahapan pada algoritma FCM dengan analisis robustsecara garis besar adalah sebagai berikut: 1) Menentukan banyak cluster c yang akan digunakan. 2) Menghitung batas atas pangkat penimbang m, dengan terlebih dulu mencari λ (F ). 3) Menjalankan algoritma fuzzy c-means clustering untuk n objek yang akan dikelompokkan dengan1 < m batas atas nilai. Langkah-langkah dalam algoritma FCM(Babuska:2009) diawali dengan menentukan inisiasi matriks partisi secara random dimana U () εm atau elemen matriks U () ε[0; 1].Selanjutnya ulangi untuk nilai l=1,2, : 4) Hitung matriks V () atau vektor pusat clusterv () berdasarkan Persamaan (4) untuk 1 i c. 5) Hitung ukuran jarak d x, v = x v dimana 1 i c,1 j n. 6) Hitung kembali matriks partisi berdasarkan Persamaan (3) untuk 1 j n jika d x, v > 0 untuk semua nilai i. Jika d x, v = 0 maka gunakan batasan μ = 1. 7) Hentikan proses jika U () U () < ε, dimana ε merupakan termination criterion, biasanya dapat menggunakan nilai 0,001 atau 0,01. Jika U () U () ε, maka kembali ke langkah 1). 8) Menganalisis robustness hasil pengelompokan melalui kurva φ dari taksiran v i. Percobaan oleh Wu (2010) untuk mendukung pernyataan di atas adalah dengan menggunakan himpunan data yang diasumsikan terdiri dari dua cluster dengan nilai pusat 0 357

6 dan 2, dimana Gambar 1 menunjukkan fungsi keanggotaan dan fungsi φpada cluster dengan pusat kelompok 0. Gambar 1(a) 1(d) menunjukkan kurva fungsi keanggotaan pada beberapa tingkat nilai m, mulai dari 1,5 hingga 6. Pada Gambar 1(e) 1(h) menunjukkan fungsi φ yang semakin stabil, jika nilai m semakin besar. Hanya saja pada nilai m=6, fungsi keanggotaan cenderung mendekati 0,5 sehingga keanggotaan dari objek pada dua cluster tersebut menjadi susah ditentukan. Wu kemudian menyarankan untuk mengambil nilai mε[1,5; 4]. Gambar 1. Fungsi keanggotaan dengan nilai m (a) 1,5 (b) 2 (c) 4 (d) 6 dan fungsi dengan nilai m (e) 1,5 (f) 2 (g) 4 (h) 6. Selanjutnya uji pada himpunan data IRIS (n=150, s=4, c=3) digunakan untuk menglihat pengaruh parameter m terhadap error count. Dari tiga kelompok, Iris Setosa, Iris Versicolor dan Iris Virginica, dua jenis terakhir merupakan dua cluster dengan overlapping yang kuat. Clustering error counts (jumlah kesalahan pengelompokan pada data berlabel) dari data ini kurang lebih 16. Terlihat pada Gambar 2 bahwa error counts menurun hingga kira-kira 13 pada nilai m yang semakin besar. Hasil ini turut mendukung robust properties dari FCM ketika nilai m semakin besar. 3. KESIMPULAN Berdasarkan uraian di atas, ditunjukkan bahwa FCM dengan data yang mengandung noise dan pencilan dapat diatasi dengan menggunakan nilai m yang optimal. Penentuan nilai m yang akan digunakan dapat memanfaatkan aturan batas atas parameter m seperti yang telah dibahas sebelumnya.sedangkan fungsi φ dari taksiran pusat clusterv i dapat digunakan untuk menunjukkan robustness dalam FCM. Gambar 2. Error counts pada himpunan data IRIS. 358

7 4. DAFTAR PUSTAKA Babuska, R Fuzzy and Neural Control Chapter 4: Fuzzy Clustering: Melalui < [22/7/11] de Oliveira, J.V., dan Pedrycz, W (editor) Advances in Fuzzy Clustering and its Applications. Chishester: John Wiley & Sons, Inc. Huber, P.J. dan Ronchetti, E Robust Statistics, Second Edition. New Jersey: John Wiley & Sons, Inc. Höppner, F., dkk Fuzzy Cluster Analysis-Methods for Classification, Data Analysis and Image Recognition. Chichester: John Wiley & Sons, Inc. Leski, J Towards a robust fuzzy clustering. Elsevier Fuzzy Sets and Systems 137: Pal, N.R. dan Bezdek, J.C On Cluster Validity for the Fuzzy c-means Model. IEEE Transactions on Fuzzy Systems Vol. 3, No. 3. Sharma, S Applied Multivariate Techniques. New York: John Wiley & Sons, Inc. Wu, K.L Parameter Selections of Fuzzy C-Means Based on Robust Analysis. Waset Academy of Science, Engineering and Technology 65. Melalui < [25/6/11] Yu, J., dkk Analysis of the Weighting Exponent in the FCM. IEEE Transactions on System, Man, and Cybernetics Part B: Cybernetics, Vol. 34, No. 1: