Klasifikasi. Agenda. Pendahuluan Klasifikasi Induksi Pohon Keputusan Klasifikasi Bayesian classification 31/10/2014

Transkripsi

1 Klasifikasi S1 Teknik Informatika Fakultas Teknologi Informasi Universitas Kristen Maranatha Agenda Pendahuluan Klasifikasi Induksi Pohon Keputusan Klasifikasi Bayesian classification 2 1

2 Pendahuluan Klasifikasi: klasifikasidata berdasarkantraining set and nilai-nilai(class labels) dalamklasifikasiatribut, danmenggunakannyadalamklasifikasidata baru memprediksi label kelas secara kategorikal (diskrit/nominal) Prediksi memodelkan fungsi kontinyu, mis. prediksi nilai hilang atau tidak diketahui Contoh aplikasi Persetujuan kredit: pinjaman aman atau beresiko Target pemasaran: konsumen potensial Diagnosis medis Deteksi penipuan Teknik-teknik: Klasifikasi: decision tree induction, Bayesian classification, Bayesian belief network, neural network, k-nearest neighbourclassifier, CBR, algoritma genetic, rough set, fuzzy logic Prediksi: Linear, nonlinear, generalized linear regression 3 Klasifikasi: Proses Dua Langkah Konstruksi Model: menjelaskan sebuah set dari class yang ditentukan sebelumnya Setiapsample diasumsikantermasukclass yang ditentukan sebelumnya, ditentukan oleh label atrbut dari class Kumpulan sample yang dipakai untuk konstruksi model: set training Model direpresentasikansebagaiaturan klasifikasi, pohon keputusan, ataurumus matematka Pemakaian Model: mengklasifikasi obyek obyek di masa datang atau yang tidak diketahui Estimasi keakuratan model Label yang diketahui dari test sample dibandingkan dengan hasil klasifikasi dari model Tingkat keakuratan = persentasedarikumpulantest sample yang diklasifikasikan dengan benar oleh model Set tes bersifat independen terhadap set training Jika tingkat keakuratan dapatditerima, pakaimodel untukklasifikasisample data yang class labelnya belum diketahui 4 2

3 Proses (1): Konstruksi Model Training Data Algoritma Klasifikasi NAME RANK YEARS TENURED Mike Assistant Prof 3 no Mary Assistant Prof 7 yes Bill Professor 2 yes Jim Associate Prof 7 yes Dave Assistant Prof 6 no Anne Associate Prof 3 no DM-MA/S1IF/FTI/UKM/ Klasifier (Model) IF rank = professor OR years > 6 THEN tenured = yes Proses (2): Menggunakan Model dalam Prediksi Klasifier Data Testing NAME RANK YEARS TENURED Tom Assistant Prof 2 no Merlisa Associate Prof 7 no George Professor 5 yes Joseph Assistant Prof 7 yes 6 Data Tidak Diketahui (Jeff, Professor, 4) Tenured? 3

4 Evaluasi metode Klasifikasi Keakuratan Prediksi: kemampuanmodel untukmemprediksi secarabenarclass label untuk data baru Kecepatan: biaya komputasi untuk menghasilkan dan menggunakan model Kehandalan: kemampuan model untuk membuat prediksi yang benar jika terdapat noise atau missing data Skalabilitas: kemampuanmembangunmodel secaraefisiendalamdata yang berjumlah sangat besar Pemahaman: tingkat pemahaman dan pengertian yang disediakan oleh model 7 Induksi Pohon Keputusan Pohon keputusan: strukturpohon, tiapinternal node menyatakan sebuah test pada suatu atribut, tiap cabang menyatakanhasiltest, dan node daunmenyatakanclass. Node paling atas adalah node akar(root). Algoritmapembentukanpohon: (top down recursive, divide and conquer) Tree mulai dengan node akar Jikaseluruhsample adadiclass yang sama, makanode tsb menjadi leaf dan diberi label dengan class tsb. Jika tidak, gunakan information gain untuk memilih atribut yang paling baik dalam memisahkan sample ke class. Buat cabang untuk tiap nilai dari atribut test Ulangi proses pembuatan tree sampai: Seluruh sample masuk ke class yang sama, atau Tidak terdapat lagi atribut yang dapat memisahkan data sample Tidak terdapat sample untuk cabang test atribut 8 4

5 Induksi Pohon Keputusan: Training Dataset age income student credit_rating buys_computer <=30 high no fair no <=30 high no excellent no high no fair yes >40 medium no fair yes >40 low yes fair yes >40 low yes excellent no low yes excellent yes <=30 medium no fair no <=30 low yes fair yes >40 medium yes fair yes <=30 medium yes excellent yes medium no excellent yes high yes fair yes >40 medium no excellent no 9 Keluaran: Sebuah Pohon Keputusan untuk buys_computer age? <=30 overcast >40 student? yes credit rating? no yes excellent fair no yes yes 10 5

6 Pengukuran Seleksi Atribut: Information Gain (ID3/C4.5) Pilih atribut dengan information gain tertinggi Bilap i : probabilitassembarangtupledalamd termasuk class C i, diestimasisbg C i, D / D Expected information(entropy) untuk klasifikasi suatu tuple dalam D: m Info D) = p i log ( p ) ( 2 i= 1 Information(setelahmemakaiA utkmembagid kedlmv v partisi) utk klasifikasi D: Dj Info A( D) = I( Dj) D Information gained dengan pencabangan pada atribut A j= 1 Gain(A) = Info(D) Info (D) 11 A i Seleksi Atribut: Information Gain g Class P: buys_computer = yes g Class N: buys_computer = no Info ( D) = I (9,5) = log ( ) log 2 ( ) = age p i n i I(p i, n i ) <= > Info age ( D) = 5 I means age <=30 has 5 out of 14 (2,3) 14 samples, with 2 yes es and 3 no s. Hence age income student credit_rating buys_computer <=30 high no fair no <=30 high no excellent no high no fair yes Similarly, >40 medium no fair yes >40 low yes fair yes >40 low yes excellent no low yes excellent yes Gain( income) <=30 medium no fair no <=30 low yes fair yes Gain( student) >40 medium yes fair yes <=30 medium yes excellent yes medium no excellent yes Gain( credit _ high DM-MA/S1IF/FTI/UKM/2010 yes fair yes 12 >40 medium no excellent no I (2,3) I (3,2) = I (4,0) Gain( age) = Info( D) Info ( D) = age = = rating) =

7 Klasifikasi dalam Basis Data Besar Klasifikasi problem klasik yang diteliti secara ekstensif oleh ahli statistik dan peneliti machine learning Skalabilitas: klasifikasi kumpulan data dengan jutaan contoh dan ratusan atribut dengan kecepatan yang masuk akal Mengapa memakai induksi pohon keputusan dalam data mining? Kecepatan belajar relatif lebih tinggi(dibandingkan cara klasifikasi yang lain) Mudah diubah menjadi aturan dan mudah dipahami Dapat memakai SQL query utk mengakses basis dat Tingkat akurasinya dapat setara dengan metode klasifikasi yang lain 13 Klasifikasi Bayesian Bayesian classifier : klasifier statistik. Dapat memprediksikan kemungkinan keanggotaan class, misalnya probabilitas suatusample menjadianggotasuatuclass tertentu. Bayesian classification didasari oleh teorema Bayes P(X H) P(H) P(H X) = P(X) 14 7

8 Teorema Bayes X : data sample yang label classnya belum diketahui H : hipotesis, misalnya data sample X anggota class C. Untuk classification, kita ingin menentukan P(H X), yaitu probabilitas hipotesis H dipenuhi terhadap sample data X. P(H X) : posterior probability / posteriori probability untuk H sesuai kondisi X. MisalnyaBuah, digambarkandenganwarna danbentuk. JikaX : merah,bulat ; H : X adalahapel maka P(H X) : keyakinan bahwax adalahapelkarena X adalahmerah dan bulat 15 Teorema Bayes P(H) : prior probability / probability awaldarih. Mis. probabilitas bahwa data sample adalah apel, tanpa peduli bagaimana wujud sample P(X H) : posterior probability untuk X, probabilitas observasi sample X, bila hipotesis dipenuhi Mis. probabilitas X adalah merah & bulat jika kita tahu bahwa X adalah apel. P(X) : prior probability dari X, yaitu probability bahwa sample data diobservasi Mis. probabilitasbahwadata sample adalahmerah & bulat. 16 8

9 Klasifikasi Naive Bayesian Cara kerja naive Bayesian : Tiap data sample dengan n atribut disajikan dalambentukn-dimensional feature vector, X = (x 1,x 2,.,x n ) Misalkanterdapatm class, C 1,C 2, C m. Dengan data sample X, klasifier akan memprediksibahwax adalahanggotaclass yang memiliki posterior probability tertinggi dengan kondisi X. 17 Klasifikasi Naïve Bayesian Sesuai teorema Bayes: P(X Ci) P(Ci) P(Ci X) = P(X) KarenaP(X) konstanuntukseluruhclass, makahanyap(x Ci) P(Ci) yang perlu dimaksimalkan. P(Ci) = Si/S, dengansi adalahjumlahtraining sample dariclass Ci, dans adalah jumlah seluruh training sample. Karena menghitung P(X Ci) memerlukan komputasi mahal, maka dibuat asumsi yaitu bahwa tidak ada hubungan ketergantungan antar atribut. HitungP(Xk Ci) = Sik/Si. Sikadalahjumlahtraining sample class Ciyang mempunyai nilai Xk, Si adalah jumlah training sample dari class Ci. 18 9

10 Klasifier Naïve Bayesian: Training Dataset Class: C1:buys_computer = yes C2:buys_computer = no Data sample X = (age <=30, Income = medium, Student = yes Credit_rating = Fair) age income student credit_rating buys_c <=30 high no fair no <=30 high no excellent no high no fair yes >40 medium no fair yes >40 low yes fair yes >40 low yes excellent no low yes excellent yes <=30 medium no fair no <=30 low yes fair yes >40 medium yes fair yes <=30 medium yes excellent yes medium no excellent yes high yes fair yes >40 medium no excellent no 19 Klasifier Naïve Bayesian: Contoh P(C i ): P(buys_computer= yes ) = 9/14 = P(buys_computer= no ) = 5/14= X = (age <= 30, income = medium, student = yes, credit_rating = fair) Compute P(X C i ) for each class P(age = <=30 buys_computer= yes ) = 2/9 = P(age = <= 30 buys_computer= no ) = 3/5 = 0.6 P(income = medium buys_computer = yes ) = 4/9 = P(income = medium buys_computer = no ) = 2/5 = 0.4 P(student = yes buys_computer= yes) = 6/9 = P(student = yes buys_computer = no ) = 1/5 = 0.2 P(X C i ) :P(X buys_computer= yes ) = x x x = P(X buys_computer= no ) = 0.6 x 0.4 x 0.2 x 0.4 = P(X C i )*P(C i ) : P(X buys_computer= yes ) * P(buys_computer= yes ) = (MAX) P(X buys_computer= no )* P(buys_computer= no ) = Therefore, X belongs to class ( buys_computer = yes ) P(credit_rating= fair buys_computer = yes ) = 6/9 = P(credit_rating= fair buys_computer = no ) = 2/5 =

11 Menghindari Masalah 0-Probability Naïve Bayesian prediction memerlukan setiap conditional prob. harus nonzero. Jika tidak, predicted probability akan bernilai 0 P( X Ci) n P( xk Ci) k = 1 Mis. Terdapatdataset dengan1000 tuples, income=low (0), income= medium (990), and income = high (10), Memakai Laplacian correction ( Laplacian estimator) Tambahkan 1 pada setiap kasus Prob(income = low) = 1/1003 Prob(income = medium) = 991/1003 Prob(income = high) = 11/1003 = Estimasi corrected prob. mendekati perhitungan uncorrected 21 Klasifier Naïve Bayesian: Komentar Keuntungan Mudah diimplementasikan Memberikan hasil cukup baik pada banyak kasus Kerugian Asumsi: class conditional independence => kehilangan akurasi Secara Praktis, dependency ada di antara variabel Mis., hospitals: patients: Profile: age, family history, dll Symptoms: fever, cough, dll Disease: lung cancer, diabetes, dll Dependency antaravariabeltidakdapatdimodelkandengannaïve Bayesian Classifier Bagaimana menangani dependency? Bayesian Belief Networks 22 11

12 Menggunakan Aturan IF-THEN untuk Klasifikasi Representasi pengetahuan dalam bentuk IF-THEN rules R: IF age= youth AND student= yes THEN buys_computer = yes Rule antecedent/precondition vs. rule consequent Penilaian rule: coverage and accuracy n covers = # of tuplescovered by R n correct = # of tuplescorrectly classified by R coverage(r) = n covers / D /* D: training data set */ accuracy(r) = n correct / n covers Jika lebih dari satu rule ditrigger, maka perlu conflict resolution Size ordering: berikan prioritas tinggi untukrules yang bersifat toughest (mis., rule denganmost attribute test) Class-based ordering: mengurangi order dari prevalence atau misclassification cost per class Rule-based ordering (decision list): rules diorganisasi menjadi satu daftar prioritas, mengikuti ukuran kualitas rule atau saran pakar. 23 Ekstraksi aturan dari Pohon Keputusan Rules lebih mudah dipahami dibandingkan tree Satu rule diciptakan untuk setiap jalur dari akar ke daun Setiap pasang attribute-value dalam suatu jalur membentuk conjunction: daun adalah class prediction Rules bersifat mutually exclusive dan exhaustive Example: Rule extraction from our buys_computer decision-tree IFage= young AND student= no IFage= young AND student= yes IF age = mid-age THENbuys_computer = no THENbuys_computer = yes THEN buys_computer = yes IF age = old AND credit_rating = excellent THEN buys_computer = yes IF age = young AND credit_rating = fair THEN buys_computer = no no student? age? <= >40 yes yes credit rating? excellent fair no yes yes 24 12

13 Latihan id member age student income class:buys_funky_tshirt 1 no <=20 n high n 2 yes <=20 n high n 3 no n high y 4 no n medium y 5 no y low y 6 yes y low n 7 yes y low y 8 no <=20 n medium n 9 no <=20 y low y 10 no y medium y 11 yes <=20 y medium y 12 yes n medium y 25 Latihan Dengan training data set tersebut, buatlah decision tree-nya. Jangan lupa sertakan langkah-langkah, perhitungan, serta pertimbangan untuk menghilangkan node tertentu (jika ada). Cari prediksi dengan naïve Bayesian classifier untuk sample X = (member=yes, age=26..30, student=no, income=high), sertakan langkah-langkah dan perhitungannya