JULIO ADISANTOSO - ILKOM IPB 1

Transkripsi

1 KOM341 Temu Kembal Informas KULIAH #9 Text Clusterng Clusterng Pengelompokan, penggerombolan Proses pengelompokan sekumpulan obyek ke dalam kelas-kelas obyek yang memlk sfat sama. Unsupervsed learnng JAS - DEPT. ILMU KOMPUTER IPB 2 Yahoo! Herarchy Scatter/Gather: Cuttng, Karger, and Pedersen (30) agrculture bology physcs CS space dary crops botany cell AI courses magnetsm forestry agronomy evoluton HCI relatvty craft mssons JAS - DEPT. ILMU KOMPUTER IPB 3 JAS - DEPT. ILMU KOMPUTER IPB 4 Vvsmo ( Menggunakan cluster Hpotess : dokumen dengan teks yang mrp memlk keterkatan. Oleh karena tu, untuk menngkatkan recall: Kelompokkan dokumen pada korpus. Jka query q cocok dengan dokumen d, maka berkan uga dokumen lan yang sekelompok dengan d. Contoh: query car uga akan memberkan dokumen tentang automoble (karena satu kelas). JAS - DEPT. ILMU KOMPUTER IPB 5 JAS - DEPT. ILMU KOMPUTER IPB 6 JULIO ADISANTOSO - ILKOM IPB 1

2 Isu pada Clusterng Representas dokumen: Ruang vektor? Normalsas? Ukuran kesamaan/arak Banyaknya kelas: Tetap Tergantung pada data Harus dhndar umlah kelas yang terlalu sedkt atau terlalu banyak. Mengapa? Apa yang membuat dokumen berhubungan? Ideal : kesamaan semantk Prakts : kesamaan statstk Menggunakan ukuran kesamaan Cosne Dokumen sebaga vektor Untuk beberapa algortme, lebh mudah memperhatkan arak antar dokumen, dbandng kesamaannya. JAS - DEPT. ILMU KOMPUTER IPB 7 JAS - DEPT. ILMU KOMPUTER IPB 8 Algortme Clusterng Parttonal algorthms Dmula dengan sebagan secara acak Dlakukan teras: K means clusterng Model based clusterng Herarchcal algorthms Bottom-up, agglomeratve Top-down, dvsve Parttonng Algorthms Metode parts: susun parts n dokumen ke dalam K kelompok Formulas masalah: Dketahu koleks dokumen dan nla K Dapatkan parts K kelompok dokumen yang mengoptmumkan parts dengan krtera tertentu: Globally optmal: exhaustvely enumerate all parttons Effectve heurstc methods: K-means and K-medods algorthms JAS - DEPT. ILMU KOMPUTER IPB 9 JAS - DEPT. ILMU KOMPUTER IPB 10 K-means Asumskan tap dokumen sebaga vektor bernla blangan rl Kelompokkan dokumen berdasarkan centrod pada suatu cluster c : r 1 r µ(c x c x r c Penempatan elemen pada clusters berdasarkan arak terhadap centrod dar cluster yang ada (smlartes) Algortme K-means Plh K dokumen secara acak {s 1, s 2, s K } sebaga seed. Lakukan teras: Untuk setap dokumen d, masukkan d ke cluster c sehngga arak(x, s ) adalah mnmum. Perbak centrod tap cluster c s = µ(c ) JAS - DEPT. ILMU KOMPUTER IPB 11 JAS - DEPT. ILMU KOMPUTER IPB 12 JULIO ADISANTOSO - ILKOM IPB 2

3 Contoh K-means (K=2) Kapan Iteras Berhent? Jumlah teras dtentukan Parts dokumen tdak berubah Poss centrod tdak berubah x x JAS - DEPT. ILMU KOMPUTER IPB 13 JAS - DEPT. ILMU KOMPUTER IPB 14 Memlh Seed Cluster yang dhaslkan tergantung pada pemlhan seed d awal (secara acak). Contoh Herarchcal Clusterng Membangun hrark taksonom berbass denah pohon (dendogram) dar sekumpulan dokumen. Jka mula dengan B dan E sebaga centrod, maka akan konvergen ke {A,B,C} dan {D,E,F} Jka mula dengan D dan F sebaga centrod, maka akan konvergen ke {A,B,D,E} dan {C,F} anmal vertebrate nvertebrate fsh reptle amphb. mammal worm nsect crustacean JAS - DEPT. ILMU KOMPUTER IPB 15 JAS - DEPT. ILMU KOMPUTER IPB 16 Dendogram Cluster dperoleh dengan memotong dendogram pada level tertentu. Herarchcal Agglomeratve Clusterng (HAC) Mula dengan setap dokumen sebaga suatu obyek tersendr Gabungkan setap obyek yang memlk sfat sama (ukuran kesamaan palng tngg, atau ukuran arak palng kecl) Lakukan langkah kedua d atas seterusnya, dan berhent ka semua obyek berada pada satu kelompok JAS - DEPT. ILMU KOMPUTER IPB 17 JAS - DEPT. ILMU KOMPUTER IPB 18 JULIO ADISANTOSO - ILKOM IPB 3

4 Menggabungkan Cluster Sngle-lnk Menggunakan obyek yang palng dekat atau palng sama Complete-lnk Menggunakan obyek yang palng auh atau palng tdak sama Average-lnk Menggunakan nla rata-rata dar setap anggota tap cluster Sngle Lnk Menggunakan ukuran kesamaan yang terbesar dar tap pasangan. sm( c, c max sm( x c, y c Setelah c dan c dgabung, maka ukuran kesamaan dar cluster yang dhaslkan dengan cluster lannya, c k, adalah: sm (( c ) max( sm( c ), sm( c )) JAS - DEPT. ILMU KOMPUTER IPB 19 JAS - DEPT. ILMU KOMPUTER IPB 20 Sngle Lnk Complete Lnk Menggunakan ukuran kesamaan yang terkecl dar tap pasangan. sm( c, c mn sm( x c, y c Setelah c dan c dgabung, maka ukuran kesamaan dar cluster yang dhaslkan dengan cluster lannya, c k, adalah: sm (( c ) mn( sm( c, ck ), sm( c )) JAS - DEPT. ILMU KOMPUTER IPB 21 JAS - DEPT. ILMU KOMPUTER IPB 22 Complete Lnk Average Lnk Menggunakan rata-rata dar pasangan ukuran kesamaan. sm( c, c 1 r r sm( c ( c 1) r r r r x ( c c ) y ( c c ) : y x Merupakan komprom dar pendekatan sngle lnk dan complete lnk. JAS - DEPT. ILMU KOMPUTER IPB 23 JAS - DEPT. ILMU KOMPUTER IPB 24 JULIO ADISANTOSO - ILKOM IPB 4

5 Bagamana Cluster yang Bak? Krtera nternal: menghaslkan cluster yang bak dmana: Kesamaan antar anggota dalam suatu cluster (ntracluster) adalah tngg Kesamaan antar anggota dar cluster yang berbeda (nter-cluster) adalah rendah Kualtas ukuran tergantung pada representas dokumen dan ukuran kesamaan yang dgunakan Beberapa Ukuran Kesamaan Inner Product Dce Coeffcent Cosne Coeffcent Jaccard Coeffcent 2 X + Y X Y X + Y JAS - DEPT. ILMU KOMPUTER IPB 25 JAS - DEPT. ILMU KOMPUTER IPB 26 Bagamana Cluster yang Bak? Krtera eksternal: dukur dengan menggunakan data kelas yang bak yang sudah dketahu (gold standard). Asumskan ada C kelas-kelas yang bak (gold standard), d) sedangkan algortma cluster kta menghaslkan k clusters, π 1, π 2,, π k dengan n anggota. Purty, raso antara kelas yang domnan pada cluster π dan ukuran cluster π 1 Purty(ω max ( n ) C n JAS - DEPT. ILMU KOMPUTER IPB 27 Contoh Purty Cluster I Cluster II Cluster III Cluster I: Purty = 1/6 (max(5, 1, 0) 5/6 Cluster II: Purty = 1/6 (max(1, 4, 1) 4/6 Cluster III: Purty = 1/5 (max(2, 0, 3) 3/5 JAS - DEPT. ILMU KOMPUTER IPB 28 Rand Index (RI) #anggota Cluster yang sama Cluster yang berbeda Benar Sama A C Contoh : Sngle Lnk Dokumen A, B, C, D, dan E mempunya ukuran kesamaan sebaga berkut Benar Berbeda B D A + D RI = A + B + C + D JAS - DEPT. ILMU KOMPUTER IPB 29 JAS - DEPT. ILMU KOMPUTER IPB 30 JULIO ADISANTOSO - ILKOM IPB 5