Proses mengelompokkan suatu set objek ke dalam kelompok-kelompok objek yang sejenis. Bentuk yang paling umum digunakan adalah unsupervised learning

Ukuran: px

Mulai penontonan dengan halaman:

Download "Proses mengelompokkan suatu set objek ke dalam kelompok-kelompok objek yang sejenis. Bentuk yang paling umum digunakan adalah unsupervised learning"

Sonny Chandra
6 tahun lalu
Tontonan:

1 CLUSTERING

2 DEFINISI Clustering : Proses mengelompokkan suatu set objek ke dalam kelompok-kelompok objek yang sejenis Bentuk yang paling umum digunakan adalah unsupervised learning # Unsupervised learning belajar dari data # Supervised learning contoh yang telah diklasifikasikan Merupakan topik yang penting dan banyak diaplikasikan pada IR

3 CLUSTERING Algoritma clustering akan membagi suatu objek menjadi subset objek, dimana tiap subset berisi objek yang dianggap sejenis

4 CLUSTERING Clustering dapat digunakan untuk mengorganisasikan dokumen yang diperoleh

5 ALASAN PERLUNYA DOKUMEN DIKELOMPOKKAN Analisa keseluruhan Korpus User interface yang lebih bagus (yang dicluster koleksinya) Untuk visualisasi koleksi dokumen dan topiknya Untuk memperbaiki recall pada hasil pelacakan Hasil pelacakan yang lebih baik (yang dicluster hasil perolehan dokumen) Untuk navigasi yang lebih baik dari hasil pelacakan User recall akan lebih tinggi

6 ANALISA KESELURUHAN KORPUS Koleksi dipecah menjadi beberapa kelompok berdasarkan isi dokumen yang sejenis User dapat melakukan browsing pada topik-topik yang ada pada koleksi Perlu diberi label tertentu dari setiap node topik yang ada Contoh : Di yahoo hirarki secara manual Sering tidak ada informasi dari koleksi yang baru

7 ANALISA KESELURUHAN KORPUS Contoh hirarki pada Yahoo

8 VISUALISASI DOKUMEN DAN TOPIKNYA

9 MEMPERBAIKI RECALL DARI PELACAKAN Hipotesa cluster : Dokumen dengan teks yang mirip adalah berkaitan Untuk memperbaiki recall : Kelompokkan dokumen pada korpus sebelumnya Jika suatu query cocok dengan dok D maka berikan juga dokumen yang sekelompok dengan dok D Harapannya : jika ada query pakaian maka akan diberikan juga dokumen tentang baju Karena clustering akan menggelompokkan dokumen tentang baju dan pakaian dalam satu kelompok

10 NAVIGASI YANG LEBIH BAIK DARI HASIL PELACAKAN Untuk mengelompokkan hasil pelacakan sesuai dengan temanya Clusty.com

11 NAVIGASI YANG LEBIH BAIK DARI HASIL PELACAKAN Lebih visual Kartoo.com

12 CONTOH CLUSTERING

13 CONTOH CLUSTERING

14 ISU PADA CLUSTERING Bagaimana representasi pada clustering? Representasi dokumen Perlu ukuran kemiripan / jarak Berapa jumlah cluster Jumlah tetap yang sudah adilakuakn pada korpus? Sepenuhnya tergantung pada data? Hindari cluster terlalu besar atau kecil Jika terlalu besar tambahan satu klik dari user jadi sia-sia

15 APA YANG MEMBUAT DOKUMEN BERKAITAN Ideal : semantic similarity Praktis : statistical similarity Misal menggunakan cosine similarity Dokumen sebagai vektor Kebanyakan algoritma lebih mudah jika berpikir ada jarak diantara dokumen (dari pada similarity)

16 JENIS-JENIS ALGORITMA CLUSTERING Berdasarkan hubungan antara : Cluster kelompok yang dihasilkan Objek sesuatu yang ditempatkan pada kelompok Properties cara kita merepresentasikan sesuatu Properti : feature yang direpresentasikan dari sebuah dokumen Isi properti kata (kata/frase) Dapat memanfaatkan anotasi (nama, lokasi, organisasi, kejadian, hubungan) Dapat menggunakan metadata (penulis, tanggal, genre, kata kunci )

17 JENIS-JENIS ALGORITMA CLUSTERING Hubungan antara properties dengan cluster Monothetic : semua item pada cluster punya properties yang sama (mis : burung) Polythetic : semua item pada cluster punya sebagian besar properties (dokumen punya banyak kata) Hubungan antara objek dengan cluster Eksklusif : setiap objek menjadi anggota satu cluster Overlapping : setiap objek dapat menjadi anggota dari beberapa cluster Hubungan antara cluster dan cluster Ordered : ada cluster yang menjadi bagian dari cluster lain (hirarki) Unordered : setiap cluster dibuat sama

18 JENIS-JENIS ALGORITMA CLUSTERING

19 HIERARCHICAL VS FLAT Hierarchical Digunakan untuk analisa detail Memberikan lebih banyak informasi daripada flat Tidak ada algoritma yang paling baik Kurang efisien Ada dua jenis : Bottom-up (agglomerative) dan Top-down (divisive) Flat Biasanya dimulai dengan suatu partisi acak (partial) Digunakan untuk efisiensi K-means sangat sederhana K-means tidak masuk akal untuk beberapa jenis data (misal : nama)

20 HIERARCHICAL CLUSTERING : TOP-DOWN VS BOTTOM-UP

21 BOTTOM-UP CLUSTERING : MENENTUKAN SIMILARITY ANTAR CLUSTER

22 MENGUKUR SIMILARITY Digunakan untuk membandingkan dua objek Properti yang diinginkan sesuai dengan fungsi similarity, S(X,Y) S(X,Y) bertambah jika X dan Y mempunyai feature yang sama Biasanya S(X,Y) = 0 jika X dan Y tidak mempunyai feature yang sama Ada berbagai fungsi similarity Secara umum tidak ada fungsi yang paling baik

23 CONTOH PENGUKURAN SIMILARITY

24 SIMILARITY DARI PASANGAN DOKUMEN (COSINE NORMALIZATION) +

25 DOKUMEN / MATRIKS DOKUMEN

26 SINGLE LINK

27 COMPLETE LINK

28 AVERAGE LINK

29 CONTOH HIERARCHICAL CLUSTERING

30 CONTOH : SINGLE LINK

31 CONTOH : SINGLE LINK (LANJUTAN)

32 CONTOH (LANJUTAN)

33 CONTOH : SINGLE LINK (LANJUTAN)

34 CONTOH : SINGLE LINK

35 CONTOH : SINGLE LINK (LANJUTAN)

36 DENDOGRAM : HIERACHICAL CLUSTERING

37 APA YANG MEMBUAT CLUSTERING BAIK?

38 FLAT CLUSTERING : K - MEANS

39 FLAT CLUSTERING : K-MEANS

40 K-MEANS : PARTISINYA CEPAT

41 K-MEANS u( c) 1 c x c x

42 CONTOH K-MEANS (K=2)

43 KONDISI PEMBERHENTIAN Diantaranya : Posisi centroid tidak berubah Partisi dokumen tidak berubah

44 PEMILIHAN SEED

45 DESKRIPSI CLUSTER

46 MENGEVALUASI CLUSTER

47 MENGEVALUASI CLUSTER

48 BERAPA JUMLAH CLUSTER?

49 PEMILIHAN FEATURE

50 BIG ISSUE : LABELING

51 BAGAIMANA MEMBERI LABEL PADA CLUSTER?

52 PELABELAN

dokumen-dokumen yang mirip

JULIO ADISANTOSO - ILKOM IPB 1

JULIO ADISANTOSO - ILKOM IPB 1 KOM341 Temu Kembali Informasi KULIAH #9 Text Clustering (Ch.16 & 17) Clustering Pengelompokan, penggerombolan Proses pengelompokan sekumpulan obyek ke dalam kelas-kelas obyek yang memiliki sifat sama.