Bayesian Classifier. Bahan Kuliah Data Mining. Dr. Taufik Fuadi Abidin, S.Si., M.Tech. Program Studi Teknik Informatika FMIPA Universitas Syiah Kuala

Transkripsi

1 Naïve Bayesian Classifier Dr. Taufik Fuadi Abidin, S.Si., M.Tech Program Studi Teknik Informatika FMIPA Universitas Syiah Kuala Bahan Kuliah Data Mining

2 Outline Pertemuan Dasar Teori Bayesian Naïve Bayesian Classifier Asumsi yang Diberikan Dataset (Categorical?) Contoh Klasifikasi Menggunakan Naïve Bayesian

3 Klasifikasi Perlu Training Set Klasifikasi adalah proses pembelajaran secara terbimbing (supervised learning) Untuk melakukan klasifikasi, dibutuhkan training set sebagai data pembelajaran Setiap sampel dari training set memiliki atribut dan klas label

4 Dua Tahapan Klasifikasi Learning (training): Pembelajaran menggunakan data training (untuk Naïve Bayesian Classifier, nilai probabilitas dihitung dalam proses pembelajaran) Testing: Menguji model menggunakan data testing Sumber: Bing Liu, Web Data Mining

5 Teori Bayesian: Sebagai Dasar X adalah data sampel dengan klas (label) yang tidak diketahui H merupakan hipotesa bahwa X adalah data dengan klas (label) C. P(H) adalah peluang dari hipotesa H P(X) adalah peluang data sampel yang diamati P(X H) adalah peluang data sampel X, bila diasumsikan bahwa hipotesa benar (valid)

6 Teori Bayesian: Sebagai Dasar Untuk masalah klasifikasi, yang dihitung adalah P(H X), yaitu peluang bahwa hipotesa benar (valid) untuk data sample X yang diamati: P ( H X ) = P( X H) P( H) P( X )

7 Naïve Bayesian Classifier Adalah metode classifier yang berdasarkan probabilitas dan Teorema Bayesian dengan asumsi bahwa setiap variabel X bersifat bebas (independence) Dengan kata lain, Naïve Bayesian Classifier mengansumsikan bahwa keberadaan sebuah atribut (variabel) tidak ada kaitannya dengan beradaan atribut (variabel) yang lain Warna Bentuk Diameter Jenis Buah Merah Bulat 5 cm Apel Kuning Bulat 4 cm Jeruk Kuning Panjang 15 cm Pisang

8 Naïve Bayesian Classifier Karena asumsi atribut tidak saling terkait (conditionally independent), maka: n P( X Ci) = P( xk Ci) k = 1 Bila P(X Ci) dapat diketahui melalui perhitungan di atas, maka klas (label) dari data sampel X adalah klas (label) yang memiliki P(X C i )*P(C i )maksimum

9 Dataset age income student credit_rating buys_computer <=30 high no fair no <=30 high no excellent no high no fair yes >40 medium no fair yes >40 low yes fair yes >40 low yes excellent no low yes excellent yes <=30 medium no fair no <=30 low yes fair yes >40 medium yes fair yes <=30 medium yes excellent yes medium no excellent yes high yes fair yes >40 medium no excellent no Bila data baru yang belum memiliki class adalah: X =(age<=30, Income=medium, Student=yes, Credit_rating= Fair) Class: C1: buys_computer = yes C2:buys_computer= no

10 Naïve Bayesian Classifier: Contoh Hitung P(x k Ci) untuk setiap Class i: P(age= <30 buys_computer= yes ) = 2/9=0.222 P(age= <30 buys_computer= no ) = 3/5 =0.6 P(income= medium buys_computer= yes )= 4/9 =0.444 P(income= medium buys_computer= no ) = 2/5 = 0.4 P(student= yes buys_computer= yes)= 6/9 =0.667 P(student= yes buys_computer= no )= 1/5=0.2 P(credit_rating= fair buys_computer= yes )=6/9=0.667 P(credit_rating= fair buys_computer= no )=2/5=0.4 X=(age<=30,income =medium, student=yes,credit_rating=fair)

11 Naïve Bayesian Classifier: Contoh P( X Ci) Hitung P(X Ci) untuk setiap Class: P(X buys_computer= yes ) = x x x = P(X buys_computer= no ) = = n P( xk k = x 0.4 x 0.2 x 0.4 =0.019 Ci)

12 Naïve Bayesian Classifier: Contoh P(X Ci)*P(Ci ): P(X buys_computer= yes ) * P(buys_computer= yes ) = P(X buys_computer= no ) * P(buys_computer= no ) = X memiliki klas buys_computer=yes karena P(X buys_computer= yes )memiliki nilai maksimum pada perhitungan di atas

13 Naïve Bayesian: Summary Kekuatan: Mudah diimplementasi Memberikan hasil yang baik untuk banyak kasus Kelemahan: Harus mengasumsi bahwa antar fitur tidak terkait (independent) Dalam realita, keterkaitan itu ada Keterkaitan tersebut tidak dapat dimodelkan oleh Naïve Bayesian Classifier

14 Latihan Class: C1: buys_computer = yes C2:buys_computer= no Tentukan klas label dari X: X =(Outlook<=Rain, Temperature=Cool, Humidity=High, Wind=Weak)

15 Praktikum: Naïve Bayesian Classifier Menggunakan Weka

16 Questions & Discussion