Clustering. Kholistianingsih, 10/306701/PTK/06919 Jurusan Teknik Elektro FT UGM, Yogyakartaan

Transkripsi

1 Clustering Kholistianingsih, 10/306701/PTK/06919 Jurusan Teknik Elektro FT UGM, Yogyakartaan 7.6.ALGORITMA CLUSTERING YANG LAIN Pada bagian ini, kita mempertimbangkan algoritma yang menghasilkan cluster tunggal dan tidak termasuk kategori optimisasi fungsi harga atau sekuensial. Competitive Leaky Learning Algorithm Competive Leaky Learning (LLA) merupakan algorithm yang cocok untuk mengungkap cluster seragam. Jumlah cluster, m, dari himpunan data X, diasumsikan telah diketahui. Tujuan dari LLA adalah untuk memindahkan m vektor parameter berdimensi l, w j, j = 1,..., M, ke daerah yang "padat" dalam titik-titik dari X. Setiap parameter vektor menggambarkan satu daerah "padat" (cluster). Strateginya adalah kompetisi antara w j tersebut. Algorithmis LLA bersifat iterative yaitu dimulai dengan beberapa perkiraan awal w 1 (0),..., w m (0), untuk w 1,..., w m,. Pada setiap iterasi, t, vektor x disajikan pada algoritma dan w j (t -1) yang lebih dekat dengan x daripada w k (t -1) lainnya, untuk k = 1..., m (k j)didentifikasi. w j (t -1) adalah pemenang dalam kompetisi pada x, dan w j (t) dihitung dengan persamaan 7.2. (7.2) Sedangkan w k (t) yang lain dihitung dengan persamaan 7.3. Dengan w >> l. Cluster C j (t), pada clustering yang dibentuk pada itersi ke-t, terdiri dari semua xx dimana w j (t) yang lebih dekat dibandingkan dengan bobot yang lain dengan j=1,,m. Harus dipastikan bahwa, dalam satu epoch, yang terdiri dari N iterasi brerturut-turut, semua vektor data yang akan diperhatikan oleh LLA. Konvergensi dicapai bila nilai-nilai w j tersebut hampir tidak berubah antara dua epoch yang berurutan atau jumlah maksimum epoch telah dicapai. Keluaran adalah perkiaraan nilai-nilai w j dan clustering yang sesuai dimana setiap cluster yang terdiri C j terdiri dari semua vektor x dari X yang terletak lebih dekat dengan w j daripada bobot lainnya. Untuk menerapkan LLA pada himpunan data X, ketik (7.3) 1

2 dimana: X berisi vektor data dalam kolom-kolomnya, w_ini berisi perkiraan awal dari bobot di kolom-kolomnya, m adalah jumlah bobot (digunakan hanya ketika w_ini kosong), eta_vec adalah vektor dua dimensi yang berisi parameter η w dan η l dari algoritma, sed adalah "seed" untuk built-inmatlab fungsi rand, max_epoch adalah jumlah epoch maksimum pada algoritma yang diperbolehkan, e_thres adalah parameter (skalar) yang digunakan dalam kondisi akhir, init_ proc didefinisikan sebagai di PCM, w berisi perkiraan akhir dari bobot di kolom-kolomnya, bel adalah vektor berdimensi N yang elemen ke-i berisi indeks dari bobot yang terletak paling dekat dengan xi, epoch adalah bilangan epoch yang dilakukan oleh algoritma dalam rangka untuk mencapai kondisi konvergen. Keterangan Parameter Pesat Pembelajaran η w dan η l dipilih pada rentang [0, 1] dengan η w >> η l. Secara geometris berbicara, semua bobot bergerak menuju vektor data x dengan berdasar algoritma. Namun, yang kalah, bergerak dengan pesat yang lebih lambat daripada pemenang, seperti yang ditunjukkan dengan pilihan nilai η w dan η l. LLA "memaksakan" struktur pengelompokan/clustering pada X, seperti halnya dengan sebagian besar algoritma yang telah dibahas. LLA tidak terlalu sensitif terhadap inisialisasi dari w j karena, bahkan jika w j pada awal terletak jauh dari daerah dimana vektor-vektor data berada, secara bertahap akan bergerak ke wilayah tersebut sebagaimana pada Pers. (7.3). Oleh karena itu, kemungkinan untuk menang di suatu x yang diberikan terjadi setelah beberapa iterasi. Untuk η l = 0, skema pembelajaran dasar kompetitif dicapai. Dalam hal ini, hanya pemenang diperbarui (Yaitu, bergerak ke arah vektor data x ), sedangkan nilai-nilai dari bobot lainnya tetap tidak berubah. Hal ini membuat sensitifitas algoritma terhadap inisialisasi kurang karena jika w j awal terletak jauh dari daerah mana vektor-vektor data berada, kemungkinan untuk kalah dalam semua kompetisi untuk vektor-vektor dari X. Dalam hal ini, tidak ada cara dapat bergerak mendekat ke daerah di mana data berada dan sehingga tidak memiliki kemampuan untuk mewakili secara fisik cluster yang terbentuk di X (sehingga w j adalah juga disebut bobot mati). Algoritma pembelajaran kompetitif lain telah diusulkan dalam literatur ini. Dalam Algoritma yang mirip adalah adalah skema self-organizing map (SOM). Namun, dalam bobot-bobot SOM, W J saling terkait [Theo 09, Bagian 15.3]. Latihan Terapkan LLA pada himpunan data X 3 yang dihasilkan dalam Contoh 7.5.1, untuk m, = 4 m = 3, dan m=6. Gunakan η w = 0,1 dan η l = 0,0001, max_epoch = 100, dan e_thres = 0,0001. Gunakan fungsi MATLAB distant_init inisialisasi w j. Untuk setiap kasus, plot titik data (semua dengan warna yang sama) serta w j (perkiraan akhir). 2

3 2. Ulangi langkah 1 untuk m = 4, di mana sekarang η l = 0,01. Perhatikan bahwa, dalam kasus di mana jumlah bobot yang dibawah atau diatas perkiraan, clustering yang dihasilkan tidak sesuai dengan struktur clustering sebenarnya dari titik di X 3. Selain itu, jika η l tidak jauh lebih kecil dari η w, algoritma memberikan hasil yang buruk, bahkan jika m adalah sama dengan jumlah cluster yang benar. Latihan Terapkan LLA pada himpunan data X 5 yang dihasilkan dalam Contoh 7.5.3, untuk m = 2, mengadopsi nilainilai parameter yang digunakan dalam Latihan Petunjuk Perhatikan bahwa berhasil mengidentifikasi dua cluster meskipun mereka memiliki ukuran yang secara signifikan berbeda, dengan kata lain, k-means dan FCM. Latihan Terapkan LLA pada himpunan data X 3 yang dihasilkan dalam Contoh 7.5.1, untuk m = 4 di mana sekarang w j diinisialisasi sebagai w 1 (0) = [5,5, 4,5] T, w 2 (0) = [4,5, 5,5] T, w 3 = [5, 5] T, dan w 4 = [50, 50] T. Gunakan η w = 0,1 dan (a) η l = 0,0001 dan (b) η l = 0 (skema belajar kompetitif dasar). Perhatikan bahwa untuk η l = 0,0001, semua bobot mewakili cluster di X 3, meskipun bobot w 4 telah diinisialisasi jauh dari daerah di mana titik X 3 berada. Untuk η l = 0, bagaimanapun, W 4 tidak berubah. Valley-Seeking Clustering Algorithm Berdasarkan metode ini (dikenal sebagai VS), cluster dianggap sebagai puncak dari pdf, p (x), yang menggambarkan X, terpisahkan oleh lembah-lembah. Berbeda dengan algoritma-algoritma sebelumnya, di sini tidak ada bobot-bobot (vektor-vektor parameter) yang digunakan. Sebaliknya, pengelompokan/ clustering didasarkan pada daerah lokal, V (x), sekitar setiap vektor data x X. Metode yang terakhir didefinisikan sebagai himpunan vektor-vektor di X (termasuk x) yang terletak dengan jarak dari x kurang daripada a, di mana a adalah parameter yang ditetapkan pengguna. Sebagai ukuran jarak, Jarak Euclidean mungkin digunakan (jarak lain dapat juga digunakan). VS juga membutuhkan suatu nilai (di atas perkiraan) jumlah cluster, m. Algoritma bersifat iteratif, dimulai dengan tugas awal dari vektor X untuk m cluster; pada setiap epoch (N iterasi yang berurutan) semua vektor data yang disajikan sekali. Selama epoch ke-t dan untuk setiap x i dalam X, i = 1,..., N,daerah V(x i ) ditentukan dan cluster di mana sebagian besar vektor data yang merupakan milik V (xi) diidentifikasi dan disimpan. Setelah semua vektor data yang telah disajikan (selama epoch ke-t), reclustering/pengelompokkan kembali berlangsung dan setiap x i sekarang ditugaskan ke cluster yang memiliki jumlah titik terbesar dalam V (x i ). Algoritma berakhir ketika tidak terjadi reclustering lagi antara dua epoch yang berurutan. Untuk menerapkan algoritma VS pada himpunan data X, ketik dimana: X berisi vektor data dalam kolom-kolomnya, a adalah parameter yang menentukan ukuran dari lingkungan ketetanggaan V (x) dari titik data x, 3

4 Keterangan bel_ini adalah sebuah vektor berdimensi yang koordinat ke-i berisi label dari cluster dimana vektor x i diinisialisasi, max_iter adalah jumlah iterasi maksimum yang diperbolehkan, bel adalah vektor berdimensi N yang memiliki struktur yang sama seperti bel_ini, yang dijelaskan sebelumnya dan berisi label cluster x i setelah konvergen, iter adalah jumlah iterasi yang dilakukan sampai konvergensi tercapai. Dalam kasus tertentu, VS dapat mengatasi cluster tidak seragam. Algoritma sensitive dengan pilihan nilai a. Salah satu cara untuk mengatasi sensitivitas ini adalah dengan menjalankan algoritma untuk beberapa nilai a dan hati-hati menginterpretasikan hasil. Algorithma sensitif terhadap inisialisasi tugas dari vektor data untuk cluster. Inisialisasi yang buruk menghasilkan clustering yang buruk. Salah satu penyelesaian adalah dengan menjalankan algoritma yang lain (misalnya, algoritma sekuensial) dan menggunakan clustering hasil sebagai harga awal untuk VS. VS adalah algoritma mode-seeking. Artinya, jika digunakan nilai yang melebihi jumlah cluster sebenarnya dari X sebagai nilai awal, maka pada prinsipnya, setelah konvergensi, beberapa dari mereka akan menjadi kosong. Ini berarti bahwa VS tidak memaksakan struktur pengelompokan pada X. Dalam hal ini, menyerupai PCM. Latihan Pertimbangkan himpunan data X 3 yang dihasilkan dalam Contoh Gunakan kuadrat jarak Euclidean dan terapkan algoritma VS untuk a = 12,1.52,22,..., 82. Untuk definisi pengelompokan/clustering awal (a) gunakan m = 7 cluster dengan inisialisasi acak, dan (b) output dari algoritma BSAS dengan = 2,5. Untuk setiap kasus, plot hasil clustering dan buat kesimpulan. Petunjuk Untuk membangkitkan inisialisasi clustering acak ketik Untuk membangkitkan inisialisasi clustering menggunakan algoritma BSAS, ketik 4

5 Untuk menerapkan VS pada X 3 dan untuk plot hasil clustering, ketik VS dengan inisialisasi acak gagal untuk mengidentifikasi struktur pengelompokan/clustering X 3 ; sebaliknya ketika inisialisasi dengan BSAS. Hal ini terjadi karena, dalam kasus di mana adalah "kecil," BSAS cenderung untuk menghasilkan beberapa compact cluster kecil tanpa overlap yang signifikan. Penerapan VS antara lain pada clustering akan menggabungkan cluster tetangga yang kecil menjadi bagian dari cluster yang lebih besar. Sebaliknya, dengan inisialisasi acak, pengelompokan/clustering awal cenderung memiliki beberapa cluster yang overlap, yang lebih sulit untuk menangani (dalam hal ini, setiap V (x i ) mungkin berisi titik-titik dari semua cluster). Perhatikan bahwa tidak semua nilai-nilai dari a, tepat untuk mengungkap struktur pengelompokan/clustering yang benar dari X 3. Latihan Ulangi Latihan untuk himpunan data X 5 yang dihasilkan dalam Contoh Petunjuk Perhatikan bahwa VS berhasil mengidentifikasi dua kelompok yang mempunyai ukuran yang berbeda secara signifikan. Contoh Bangkitkan dan plot data set X 8, yang berisi 650 vektor data berdimensi pertama berada sekitar setengah lingkaran dengan jari-jari r = 6, yang berpusat di (-15,0), dan memiliki koordinat kedua positif. 200 berikutnya terletak sekitar ruas garis dengan titik akhir (10, -7) dan (10,7). 100 berikutnya terletak sekitar setengah lingkaran dengan jari-jari r = 3, yang berpusat di (21,0), dan memiliki koordinat kedua negatif. Akhirnya, 50 titik terakhir milik spiral Archimedes dan didefinisikan sebagai (x, y) = (a sp θ cos (θ), a sp θ sin (θ)), di mana a sp = 0,2 (parameter yang ditetapkan pengguna) dan θ = π, π + s, π +2 s,.., 6π, di mana s = 5π/ Gunakan kuadrat jarak Euclidean dan menerapkan algoritma VS X 8 untuk a = 1 2,1.5 2,2 2,.., Untuk definisi pengelompokan/clustering awal, menggunakan output dari algoritma BSASdengan =2,5. Gambarkan kesimpulan anda. 3. Pertimbangkan hasil dari VS jika setengah lingkaran di X 8, yang sesuai dengan kelompok ketiga dati titik-titik, dipusatkan di (12,0). 5

6 Penyelesaian. Ambil langkah-langkah berikut: Langkah 1. Untuk membangkitkan kelompok pertama dari titik-titik di X 8, ketik Untuk membangkitkan kelompok kedua, ketik Untuk membangkitkan kelompok ketiga, ketik 6

7 Dan, untuk membangkitkan kelompok ketiga, ketik Langkah 2. Untuk nilai-nilai a dalam rentang [4 2, 6 2 ], VS berhasil mengidentifikasi cluster-cluster pada X 8 (lihat Gambar 7.9 (a)). Langkah 3. Untuk skenario alternatif (Gambar 7.9 (b)), VS gagal (mengidentifikasi dua cluster paling kanan sebagai sebuah cluster tunggal). Dengan demikian, kami menyimpulkan bahwa VS dapat menangani dengan cluster bentuk tidak teratur hanya di bawah asumsi bahwa mereka benar-benar terpisah satu sama lain. Gbr 7.9. Clustering yang dihasilkan oleh algoritma VS dalam Contoh 7.6.1: (a) langkah 2(empat cluster); (b) langkah 3 (tiga cluster). Titik-titik dari cluster yang berbeda ditunjukkan dengan lambing/baying-bayang abu-abu yang berbeda. Clustering Spektral Algoritma pengelompokan/clustering spektral memanfaatkan konsep-konsep teori graph dan kriteria optimasi tertentu yang mengacu pada teori matrik. Lebih khusus, algoritma semacam ini membangun sebuah graf berbobot, G, di mana (a) masing-masing titik, v i, sesuai dengan titik, x i, dari himpunan data X, dan kemudian (b) asosiasi sebuah bobot w ij dengan tepi e ij yang menghubungkan dua simpul, v i dan v j. 7

8 Bobot wij merupakan indikasi dari "jarak" antara titik data yang sesuai x i dan x j. Tujuannya adalah untuk memotong grafik dalam m komponen terputus melalui optimasi kriteria. Komponen ini mengidentifikasi kelompok/cluster dibawah X. Dalam sekuelnya, kita mempertimbangkan kasus 2-cluster (yaitu, m = 2); kriteria yang akan dioptimalkan adalah dipotong yang disebut normalized cut atau potongan ternormalisasi, atau Ncut [Theo 09, Bagian ]. Sebelum menjelaskan algoritma, dijelaskan dulu beberapa definisi. Di antara berbagai cara untuk mendefinisikan bobot dari grafik, yang umum adalah (7.4) di mana e dan σ2 parameter yang ditetapkan pengguna dan menunjukkan jarak Euclidean. Dengan kata, diberikan titik data x i, untuk semua titik x j yang terletak dari x i sebuah jarak yang lebih besar daripada e, kita memberikan w ij = 0. Untuk titik x j yang jarak dari x i kurang dari e, bobot w ij menurun sesuai jarak antara x i dan kan x j meningkat. Jadi, bobot-bobot mengkodekan informasi yang berkaitan dengan jarak antara titik-titik pada X. Setelah graf berbobot telah dibentuk, tujuannya adalah untuk membagi (memotong) menjadi dua bagian, katakanlah A dan B, sehingga titik di A dan B memiliki kesamaan paling kecil dibandingkan dengan bipartitioning lainnya. Kesamaan dalam hal ini adalah diukur dalam hal jarak bobot terkait. Berdasarkan kriteria normalized cut, pemisahan dua bagian dari grafik (cluster) sangat berperan sehingga tepi-tepi yang menghubungkan dua bagian memiliki jumlah bobot minimum (mengindiksikan cluster terpisahkan sebanyak mungkin berdasarkan dengan kriteria yang digunakan). Kriteria normalized cut juga mempertimbangkan "volume" dari cluster dan perhatikan untuk menghindari pembentukan kelompok kecil yang terisolir. Optimasi masing-masing ternyata menjadi NP-hard. Hal ini diatasi dengan sedikit formulasi ulang masalah, yang kemudian menjadi masalah eigenvalue-eigenvector dari matriks Laplace dari grafik. Matriks Laplace secara langsung berkaitan bobot asosiasi dengan grafik, yaitu, ia mengkodekan informasi jarak antara titik yang dapat dikelompokkan [Theo 09, Bagian ]. Untuk menerapkan algoritma yang dijelaskan pada himpunan data X, ketik dimana: X vektor berisi data dalam kolom-kolomnya, e adalah parameter yang mendefinisikan ukuran dari lingkungan ketetanggaan sekitar setiap vektor, sigma2 adalah parameter yang ditetapkan pengguna yang mengontrol lebar dari fungsi Gaussian dalam Pers. (7.4), bel adalah vektor berdimensi N yang berisi elemen ke-i beriri label dari cluster data vektor ke-i diberikan. 8

9 Keterangan algoritma pengelompokan/clustering spektral memaksakan struktur pengelompokan/clustering pada X. Pada prinsipnya, algoritma pengelompokan spektral dapat memulihkan cluster berbagai bentuk algoritma. Pengelompokan spektral lain yang berasal optimasi kriteria seperti yang disebut ratio-cut telah diusulkan [Theo 09, Bagian ]. Sebuah diskusi tentang kualitas clustering bahwa hasil dari metode pengelompokan spektral dapat ditemukan di [Guat 98]. Dalam kasus di mana lebih dari dua cluster yang diharapkan, skema sebelumnya dapat digunakan secara hierarkis. Artinya, di setiap langkah menghasilkan cluster yang dipartisi lagi menjadi dua kelompok [Shi 00]. Sebuah pendekatan yang berbeda dapat ditemukan di [Luxb 07]. Latihan Perhatikan himpunan data X 2 dari Latihan dan terapkan algoritma sebelumnya yang menggunakan e = 2 dan sigma2 = 2. Gambarkan kesimpulan. Petunjuk Perhatikan bahwa algoritma memaksakan struktur pengelompokan/clustering berdasarkan X 2, meskipun X 2 tidak memiliki struktur pengelompokan/clustering. Latihan Bangkitkan dan plot himpunan data X 9, yang terdiri dari 200 vektor berdimensi pertama dari distribusi Gaussian dengan mean [0, 0] T; titik yang tersisa berasal dari distribusi Gaussian dengan mean [5, 5] T. Kedua distribusi berbagi matriks kovarians identitas. 2. Terapkan algoritma clustering spektral sebelumnya pada X 9 menggunakan e = 2 dan sigma2=2. Gambarkan kesimpulan. Petunjuk Perhatikan bahwa algoritma dengan benar mengidentifikasi kelompok dalam X 9. Contoh Lakukan hal berikut: 1. Bangkitkan dan plot himpunan data X 10 yang terdiri dari 400 titik data yang terletak di sekitar dua lingkaran. Secara khusus, 200 titik pertama yang berada di lingkaran dengan jari-jari r1 = 3, yang berpusat di (0,0); sisa titik terletak di sekitar lingkaran dengan jari-jari r2 = 6, yang berpusat di (1,1). 2. Terapkan algoritma clustering spektral pada X 10 untuk e = 1,5 dan sigma2 = 2 dan plot hasilnya. 3. Ulangi hal ini untuk e = 3. Berikan komentar pada hasil. 9

10 Penyelesaian. Ambil langkah-langkah berikut: Langkah 1. Untuk menghasilkan himpunan data X 10, ketik Plot himpunan data dengan mengetikan Langkah 2. Untuk menerapkan algoritma clustering spectral, ketik 10

11 Gbr Hasil clustering dari penerapan algoritma clustering spectral pada himpunan data X 10 pada Contoh ketika (a)e=1,5 dan (b)e=3. Titik-titik yang diberikan cluster yang sama ditunjukkan dengan lambing yang sama. Terlihat peka terhadap pilihan parameter. Plot hasil clustering (lihat Gbr 7.10.(a)), ketik Langkah 3. Bekerja seperti pada langkah 2, pengaturan e sama dengan 3 (Gambar 7.10 (b)). Membandingkan Gambar 7.10(a) dan7.10(b), perhatikan pengaruh nilai-nilai parameter pada kualitas clustering yang dihasilkan.menyediakan penjelasan fisik untuk itu. Latihan Ulangi Contoh untuk kasus di mana lingkaran kedua ini berpusat di (3,3), untuk berbagai nilai e dan sigma2. Berikan komentar pada hasil. Petunjuk Perhatikan bahwa, dalam kasus ini, algoritma gagal untuk mengidentifikasi dua cluster (overlap) ALGORITMA CLUSTERING HIRARKI Berbeda dengan algoritma pengelompokan/clustering yang telah dibahas sejauh ini, yang kembali pada clustering tunggal, algoritma pada bagian ini adalah hierarchy ofn nested clustering, di mana N adalah jumlah titik data dalam X. Sebuah pengelompokan/clustering,, Terdiri dari k cluster, dikatakan bersarang di clustering, berisi r (<k) cluster, jika masing-masing cluster dalam adalah bagian dari cluster di. Sebagai contoh, clustering 1 = {{x1, x2}, { x3}, {x4, x5}} adalahbersarang di clustering 2 = {{x1, x2, x3}, {x4, x5}}?, tapi 1 tidak bersarang dalam 3 = {{x1, x3}, {x2}, {x4, x5}} atau dalam 4 = {{x1, x3, x4}, {x2, x5}}. 11

12 Dua kategori utama dari algoritma pengelompokan hirarki adalah: agglomerative. Dengan clustering awal 0 terdiri dari N cluster, masing-masing berisi satu elemen X. Clustering 1 diperoleh pada langkah berikutnya, berisi (N -1) cluster dan 0 bersarang di dalamnya. Akhirnya, N-1 clustering diperoleh, yang berisi sebuah cluster tunggal (seluruh himpunan data X). Divisive/memecah belah. Di sini jalur balik diikuti. Cluster awal 0 terdiri dari cluster tunggal (seluruh himpunan data X). Pada langkah selanjutnya clustering 1 adalah dibuat, yang terdiri dari dua cluster dan bersarang di 0. Akhirnya, N-1 clustering diperoleh, yang terdiri dari N cluster, masing-masing berisi satu elemen dari X. Untuk selanjutnya, kita hanya mempertimbangkan pengelompokan algoritma agglomerative.khususnya, (a) skema algoritma agglomerative umum dan (b) algoritma tertentu yang berkaitan dengan yang dibahas Skema Agglomerative Umum Skema (dikenal sebagai GAS) dimulai dengan clustering 0 yang terdiri dari N cluster, masing-masing berisi vektor data tunggal. Clustering t (hirarki clustering pada tingkat ke-t ) terdiri dari (a)cluster dibentuk oleh penggabungan dari dua cluster "paling mirip" ("jarak paling kecil") clustering t-1. Dan (b) semua cluster sisa dari clustering t-1. Clustering yang dihasilkan t sekarang berisi (N-t) cluster (perhatikan bahwa t-1 mengandung (N-t +1) cluster). Algoritma berlanjut sampai clustering N-t dibuat, di mana semua titik menjadi milik cluster tunggal. Ia mengembalikan hirarki clustering. Keterangan Jika dua titik sama-sama dalam sebuah cluster tunggal pada clustering t (level ke-t pada hirarki clustering), mereka akan tetap berada dalam cluster yang sama untuk semua clustering berikutnya (yaitu, untuk t+1,..., N-1 ). Jumlah operasi yang diperlukan oleh GAS adalah O (N3). Isu penting yang terkait dengan GAS adalah definisi dari sebuah ukuran kedekatan antara cluster. Untuk selanjutnya, kita membahas definisi rekursif dari jarak (dinotasikan dengan d ( )) antara dua cluster, khususnya, jarak antara setiap pasangan cluster dalam clustering t didefinisikan dalam hal jarak antara pasangan-pasangan pada cluster t-1. Hal ini menimbulkan beberapa algoritma agglomerative hirarkis yang paling banyak digunakan. Jika d (x i, x j ) menunjukkan jarak antara dua vektor data. Menurut definisi, jarak antara dua elemen cluster tunggal didefinisikan sebagai jarak antara elemen-elemen mereka: d({x i }, {x j }) d (x i, x j ). Mempertimbangkan dua cluster C q, C s pada clustering t, t> 0 level ke-t hirarki): Jika kedua C q dan C s termasuk dalam clustering t-1 (level ke-t-1), Jarak mereka tetap tidak berubah di t. Jika C q adalah hasil dari penggabungan cluster C i dan C j dalam clustering t-1, dan C s adalah cluster lain yang berbeda dari C i dan C j dalam t-1, maka d (C q, C s ) didefinisikan sebagai (7.5) Pilihan yang berbeda dari parameter a i, a j, b, dan c menimbulkan pengukuran jarak yang berbeda antar 12

13 cluster dan akibatnya menyebabkan algoritma pengelompokan/clustering yang berbeda. Dua diantaranya mengikuti Algoritma Clustering Agglomerative Tertentu Jalir tunggal: Ini hasil dari GAS jika dalam Pers. (7.5) kita atur a i = a j = 0,5, b = 0, dan c =- 0,5. Dalam hal ini Persamaan (7.5) menjadi (7.6) Persamaan (7.6) juga dapat ditulis sebagai (7.7) Jalur Lengkap: Ini hasil dari GAS jika dalam Persamaan (7.5) kita atur a i = a j = 0,5, b = 0, dan c = 0,5. Dalam hal ini Persamaan (7,5) menjadi (7.8) Ternyata Persamaan (7.8) juga dapat ditulis sebagai (7.9) Contoh Pertimbangkan himpunan data set X 11 = {x1, x2, x3, x4, x5, x6} dan menjadi matriks 6 6 yang elemen(i, j), d ij, adalah jarak antara vektor data x i dan x j (lihat Gambar 7.11). 1. Terapkan, langkah demi langkah, algoritma jalur tunggal di X Ulangi langkah 1 untuk algoritma jalur lengkap. Gbr Himpunan data yang dipertimbangkan dalam Contoh Angka (1, 3, 3,5, 3,6, 3,7) menunjukkan jarak masing-masing. Besar nilai jarak tidak ditampilkan. 13

14 Penyelesaian. Ambil langkah-langkah berikut: Langkah 1. Algoritma jalur tunggal. Inisialisasi 0 = {{x1}, {x2}, { x3}, {x4}, {x5}, {x6}} (clustering hirarki level 0). Dua kelompok terdekat pada 0 adalah { x1}dan {x2}, dengan d ({x1}, {x2}) = 1. Ini digabungkan untuk membentuk pengelompokan berikutnya, 1 = {{x1, x2}, { x3}, {x4 }, {x5}, {x6}} (level 1). Karena cluster yang paling dekat dalam 1 adalah {x1, x2} dan {x3}, dengan Persamaan (7.7), d ({x1, x2}, { x3}) = min (d ({x1}, {x3}), d ({x2}, {x3})) = 3 adalah jarak minimum antara setiap pasang cluster 1. Jadi, 2 = {{x1, x2, x3}, {x4}, {x5}, {x6}} (level 2). Cluster terdekat pada 2 adalah {x4 } dan {x5} karena d ({x4}, {x5}) = 3.5 adalah jarak minimum antara setiap pasang cluster 2. Jadi, jarak minimum antara setiap pasang cluster 3 = {{x1, x2, x3}, {x4, x5}, {x6}} (level 3). Demikian pula, cluster yang paling dekat dalam jarak minimum antara setiap pasang cluster 3 adalah {x4, x5} dan {x6}, karena d ({x4, x5}, {x6}) = min (d ({x4}, {x6}), d ({x5}, {x6 }) = 3,6 adalah jarak minimum antara setiap pasangan cluster di jarak minimum antara setiap pasang cluster 3, dan jarak minimum antara setiap pasang cluster 4 = {{x1, x2, x3}, {x4, x5, x6}} (level 4). Akhirnya, dua kelompok dalam jarak minimum antara setiap pasang cluster 4 yang bergabung untuk membentuk pengelompokan akhir, jarak minimum antara setiap pasang cluster 5 = {{x1, x2, x3, x4, x5, x6}} (level 5). Perhatikan bahwa d ({x1, x2, x3}, {x4, x5, x6}) = Min i = 1, 2, 3, j = 4, 5, 6 d (x i, x j ) = 20. Langkah 2. algoritma jalur lengkap. Inisialisasi 0 = {{x1}, {x2}, { x3}, {x4}, {x5}, {x6}} (clustering hirarki level 0). Dua kelompok terdekat pada 0 adalah { x1}dan {x2}, dengan d ({x1}, {x2}) = 1. Ini digabungkan untuk membentuk pengelompokan berikutnya, 1 = {{x1, x2}, { x3}, {x4 }, {x5}, {x6}} (level 1). Karena cluster yang paling dekat dalam 1 adalah {x4 } dan {x5} karena d ({x4}, {x5}) = 3.5, yang merupakan jarak minimum antara semua pasangan cluster dalam 1 (sesuai dengan Pers. (7.9), d ({x1, x2}, { x3}) = max (d ({x1}, { x3}), d ({x2}, { x3})) = 4). Jadi, 2 = {{x1, x2}, {x3}, { x4,x5}, {x6}} (Level 2). Cluster terdekat 2 adalah {x4, x5} dan {x6} karena d ({x4, x5}, {x6}) = max (d ({x4}, {x6}), d ({x5}, {x6})) = 3,7 adalah jarak minimum antara setiap pasang kelompok dalam 2. Jadi, 3 ={{x1, x2}, {x3}, {,x4,x5, x6}} (level 3). Demikian pula, cluster terdekat 3 adalah {x1, x2} dan { x3} karena d ({x1, x2}, {} x3) = max (d ({x1}, { x3}), d ({x2}, { x3}) = 4 adalah jarak minimum antara sepasang kelompok dalam 3. Jadi, 4 = {{x1, x2, x3}, {x4, x5, x6}} (level 4). Akhirnya, dua kelompok dalam 4 yang bergabung untuk membentuk pengelompokan akhir, 5 = {{x1, x2, x3, x4, x5, x6}} (level 5). Perhatikan bahwa d ({x1, x2, x3}, {x4, x5, x6}) = max i = 1, 2, 3, j = 4, 5, 6 d (xi, xj) = 26. Dendrogram Sebuah isu yang sering timbul pada algoritma clustering hirarki yang memperhatikan visualisasi dari hierarki yang terbentuk. Satu alat yang sering digunakan disebut proximity dendogram/dendrogram kedekatan (lebih spesifik, dendogram ketaksamaan(kesamaan) ukuran jarak ketaksamaa(kesamaan) antar cluster digunakan). Ini memiliki struktur pohon seperti yang ditunjukkan pada Gambar 7.12, yang menunjukkan dendrogram ketaksamaan pada hirarki clustering setelah menerapkan algoritma jalur tunggal untuk himpunan data X

15 Pada level 0 hirarki, masing-masing vektor data membentuk cluster tunggal. Pada tingkat 1, {x1} dan {x2} digabungkan menjadi cluster tunggal, membentuk clustering 1. ini digambarkan dengan bergabung mereka dengan sambungan yang ditunjukkan pada gambar, yang sesuai dengan ketaksamaan tingkat 1. Kita mengatakan bahwa clustering 1 dibentuk di ketaksamaan tingkat 1. Pada tingkat kedua dari hirarki, cluster {x1, x2 } dan { x3} digabungkan dan sambungan di ketaksamaan tingkat 3 dimasukkan. Jadi, clustering 2 terbentuk pada ketaksamaan tingkat 3. Melanjutkan dengan prinsip ini, kita dapat melihat bagaimana bagian yang tersisa dari dendrogram dibangun. 0, 1, 2, 3, 4, 5 dibuat pada ketaksamaan tingkat 0 1, 3, 3,5, 3,6, 20, masing-masing. Gbr 7.12 Dendrogram Ketaksamaan yang dihasilkan oleh algoritma jalur tunggal bila diterapkan pada himpunan data X 11 dalam Contoh Gbr 7.13 Dendrogram Ketaksamaan diperoleh dengan algoritma jalur lengkap bila diterapkan pada himpunan data X 11 pada Contoh

16 Jelaslah, dendrogram kedekatan merupakan alat yang berguna dalam memvisualisasikan informasi mengenai hirarki clustering. Kegunaannya menjadi lebih jelas dalam kasus di mana jumlah titik data yang besar (Gambar 7.13 menunjukkan dendrogram ketaksamaan yang dibentuk oleh algoritma jalur lengkap ketika diterapkan pada himpunan data X 11 ). Untuk menjalankan skema agglomerative umum (GAS), ketik Dimana prox_mat adalah matrik ketaksamaan N N untuk N vektor dari himpunan data X, (Prox_mat (i, j) adalah jarak antara x i dan x j vektor), code adalah bilangan bulat yang menunjukkan algoritma clustering yang digunakan (1 singkatan jalur tunggal; 2 singkatan untuk jalur lengkap), bel adalah matriks N N yang elemen (i, j) berisi label cluster untuk vektor ke-j dalam clustering ke-i. (Baris pertama dari bel sesuai dengan pengelompokan N-cluster, baris kedua, pengelompokan (N -1)-cluster, dan baris N, untuk pengelompokan cluster tunggal), thres adalah vektor berdimensi N yang mengandung tingkat ketaksamaan di mana setiap pengelompokan baru terbentuk. Keterangan Clustering dihasilkan oleh algoritma jalur tunggal dibentuk pada tingkat ketaksamaan yang lebih rendah, sementara yang dihasilkan oleh algoritma jalur lengkap terbentuk pada tingkat ketaksamaan yang lebih tinggi. Hal ini disebabkan fakta bahwa operator min dan max digunakan untuk menentukan ukuran jarak mereka. Semua algoritma yang lain berkompromi antara kasus-kasus ekstrim tersebut. Algoritma seperti unweighted pair group method average (UPGMA), unweighted pair group method centroid (UPGMC), Ward, atau varians minimum semua berasal dari Persamaan. (7.5) untuk pilihan yang berbeda dari parameter [,Theo 09 Bagian ]. Suatu hal yang penting dengan algoritma hirarki adalah kemonotonan. Kita mengatakan bahwa suatu hirarki dari clustering yang dihasilkan oleh seperti algoritma menampilkan properti monotonisitas jika tingkat ketaksamaan dimana hirarki clustering ke-t, 1, terbentuk lebih besar dari tingkat ketaksamaan dari semua clustering terbentu pada tingkat sebelumnya. Kemonotonan adalah properti dari algoritma clustering, bukan dari kumpulan data. Hal ini dapat ditunjukkan bahwa algoritma jalur tunggal dan jalur lengkap menampilkan properti monotonisitas, sementara algoritma agglomerative lain tidak (misalnya, UPGMC, dijelaskan pada [, Theo 09 Bagian ]). Hubungan tunggal dan lengkap-link algoritma, serta sejumlah orang lain, mungkin berasal dari kerangka teori grafik [Theo 09, Bagian ]. Dalam kasus di mana terdapat hubungan (yaitu, lebih dari sepasang cluster berbagi jarak minimum yang sama pada tingkat ke-t dari hirarki pengelompokan), satu pasang secara acak dipilih untuk digabung. Pilihan ini berpengaruh, secara umum, hirarki pengelompokan dibentuk oleh jalur lengkap dan semua algoritma pengelompokan lainnya yang berasal dari Persamaan(7.5). Kecuali algoritma jalur tunggal. 16

17 7.7.3 Pemilihan Clustering Terbaik Ketika sebuah hirarki clustering/pengelompokan tersedia, sebua isu penting adalah pilihan clustering/pengelompokan tertentu yang paling mewakili struktur clustering untuk himpunan data X. Beberapa metode telah diusulkan untuk masalah ini. Salah satu metode yang sederhana adalah untuk mencari hirarki untuk cluster yang memiliki masa hidup yang lama. Masa hidup suatu cluster didefinisikan sebagai perbedaan mutlak antara tingkat kedekatan di mana cluster terbentuk dan tingkat kedekatan di mana itu diserap ke dalam cluster yang lebih besar. Dalam dendrogram pada Gambar 7.12,misalnya, cluster {x1, x2, x3} dan {x4, x5, x6} memiliki masa hidup yang lama, yang menunjukkan bahwa clustering yang paling mewakili himpunan data yang sesuai adalah {{x1, x2, x3}, {x4, x5, x6}}. Pendapat serupa berlaku untuk yang dendrogram pada Gambar Dua metode lain yang diusulkan dalam [Bobe 93] dan juga dibahas dalam [Theo 09]. Dalam pembahasan ini, kami mempertimbangkan versi lanjutan salah satu dari mereka. Menurut metode ini, dimana clustering yang paling representatif dari X dalam hirarki berisi cluster yang menunjukkan "ketaksamaan rendah" di antara anggotanya. "Derajat ketidaksamaan" dalam cluster C diukur dari segi kuantitas dimana d (x, y) adalah ketaksamaan antara vektor-vektor x dan y. Selain itu, ambang batas ketaksamaan, θ, digunakan. Kriteria untuk pemilihan clustering dalam hirarki yang paling menggambarkan struktur clustering dari X dapat dinyatakan sebagai Pemilihan clustering t jika terdapat sebuah cluster C dalan clustering t+1 dengan h(c) >. Parameter θ dapat didefinisikan sebagai di mana μ dan σ adalah mean dan deviasi standar dari ketaksamaan-ketaksamaan antara titik-titik data X dan λ adalah parameter yang ditetapkan pengguna. Jelaslah bahwa pilihan nilai λ sangat penting. Untuk menghindari risiko ketergantungan pada nilai tunggal λ, kita dapat bekerja sebagai berikut. Jika λ memindai rentang nilai dan diperoleh, untuk setiap nilai tersebut, clustering t yang memenuhi kriteria sebelumnya. Kemudian, tidak termasuk kasus-kasus di mana? 0 dan N-1 telah dipilih, hitung fraksi dari berapa kali jumlah clustering masing-masing telah dipilih dan, akhirnya, pertimbangkan clustering terpilih yang paling besar frekuensinya sebagai yang paling mungkin untuk mewakili himpunan data dalam studi. Namun, perhatikan bahwa, sejalan dengan clustering terpilih berdasarkan frekuensi paling besar, clustering terpilih berdasarkan frekuensi lebih sedikit berikutnya mungkin sesuai data dengan baik (terutama jika mereka telah memilih angka frekuensi yang signiikan). Setelah semua, ini adalah manfaat utama clustering hirarki -itu dianjurkan lebih dari clustering yang sesuai dengan data dengan alasan yang cukup baik. Ini mungkin berguna dalam memberikan sebuah "gambar" yang lebih lengkap dari struktur clustering X. Untuk menerapkan teknik yang dijelaskan sebelumnya, ketik Dimana prox_mat dan bel didefinisikan sebagai dalam fungsi agglom, 17

18 lambda adalah vektor dari nilai-nilai parameter λ, yang clustering (selain 0 dan N ) diperoleh, cut_point_tot adalah vektor yang berisi indeks dari clustering yang dipilih untuk nilai λ yang diberikan, hist_cut adalah vektor yang komponen ke-t berisi jumlahberapa kali clustering telah dipilih (termasuk clustering1-cluster dan cluster N). Fungsi ini juga menghasilkan plot histogram yang sesuai. Contoh Bangkitkan dan plot himpunan data X 12, menggunakan langkah-langkah yang diikuti dalam Contoh Di sini masing-masing dari empat cluster terdiri dari 10 titik. Lalu 1. Hitunglah matriks yang berisi (kuadrat Euclidean) jarak antara setiap pasangan vektor pada X 12 dan vektor yang mengakumulasi elemen-elemen baris diagonal atas. 2. Terapkan algoritma jalur tunggal dan jalur lengkap pada X 12 dan gambarkan dendrogram (ketaksamaan)yang sesuai. 3. Tentukan clustering yang terbaik sesuai dengan struktur clustering pada X 12. Beri komentar pada hasil. Penyelesaian Untuk membangkitkan himpunan data X 12, ketik Plot X 12 (lihat Gbr 7.14(a), ketik Kemudian diproses sebagai berikut Langkah 1. Untuk menghitung matrik jarak untuk vektor data pada X 12, ketik 18

19 Gbr (a) himpunan data X 12, dipertimbangkan dalam Contoh (b)-(c). Dendogram ketaksamaan diperoleh dengan algoritma jalur tunggal dan jalur lengkap, masing-masing, ketika mereka diterapkan pada X 12. Sumbu horizontal berisi label vektor data. Untuk menumpuk jarak terhitung pada sebuah vektor data, ketik Langkah 2. Untuk menerapkan algoritma jalur tunggal pada X 12 dan menggambar dendogram ketaksamaan yang sesuai (lihat Gbr. 7.14(b)), ketik 19

20 Fungsi linkage adalah fungsi MATLAB built-in, yang melakukan clustering/pengelompokan agglomerative dan mengembalikan hasilnya ke format yang berbeda (lebih kompak namun kurang dapat dipahami), dibandingkan dengan bentuk yang diadopsi dalam fungsi agglom. Selain itu, fungsi dendrogram juga MATLAB built-in, yang mengambil sebagai input, output dari linkage dan menggambar dendrogram yang sesuai.kesamaan bekerja dalam jalur lengkap, di mana sekarang argumen kedua dalam fungsi agglom akan sama dengan 2 dan argumen kedua dari fungsi linkage sama dengan complete. (Lihat juga Gambar 7.14 (c)) Langkah 3. Untuk menentukan clustering hirarki yang dihasilkan oleh algoritma jalur tunggal yang paling sesuai dengan struktur X 12, ketik Fungsi ini membentuk histogram dengan frekuensi pemilihan setiap cluster (lihat Gambar 7.15 (a)). Perhatikan bahwa batang pertama sesuai dengan kasus clustering/pengelompokan 2-cluster. Histogram yang sesuai untuk algoritma jalur lengkap ditunjukkan pada Gambar 7.15 (b). Dari Gambar 7.14 (b) dan (c), maka bahwa clusterings dalam hirarki yang dihasilkan oleh algoritma jalur lengkap yang terbentuk pada tingkat ketaksamaan lebih tinggi dibandingkan dengan clustering yang dihasilkan oleh algoritma jalur tunggal. Meskipun begitu dan perbedaan kecil lainnya, kedua dendrogram menunjukkan bahwa clustering 2-cluster dan 4-klaster yang paling sesuai dengan struktur pengelompokan pada X 12. Hal ini dibuktikan dengan histogram pada Gambar 7.15 dan ini sejalan dengan intuisi kita (Lihat Gambar 7.14 (a)). Gbr Pemilihan clustering yang struktur clustering-nya paling cocok dengan X 12. (a) - (b) histogram menunjukkan pemilihan frekuensi clustering pada hirarki yang dihasilkan algoritma jalur tunggal dan jalur lengkap, masing-masing, ketika mereka diterapkan pada himpunan data X 12 (yang clustering 0 dan N-1 telah dikecualikan). Latihan Bangkitkan dan plot himpunan data X 13, menggunakan cara yang diikuti pada Contoh 7.6.1, di sini dengan empat cluster terdiri dari 30,, 20 10, dan 51 titik, masing-masing. Ulangi Contoh untuk X 13. Gambarkan kesimpulan. Perhatikan bahwa algoritma jalur tunggal dan lengkap pada prinsipnya dapat mendeteksi cluster berbagai bentuk asalkan terpisahkan dengan baik. 20

21 DAFTAR PUSTAKA [1] Theodoridies, Sergios., and Koutroumbas, Kostantinos., 2010, An Introduction to Pattern Recognition: A MATLAB Approach, Academic Press, Burlington USA. 21

22 22