Pengenalan Pola/ Pattern Recognition

Transkripsi

1 Pengenalan Pola/ Pattern Recognition Bayesian Decision Theory Team Teaching

2 Klasifikasi 1. Teori Keputusan Bayes ü Keputusan didukung probabilitas posterior ü Keputusan mempertimbangkan Risk/Cost 2. Fase Training & Testing Data Univariate Normal Distribution Multivariate Normal Distribution

3 Klasifikasi Memberikan label kelas kepada obek baru yang belum diketahui kelasnya tau Memasukkan obek ke dalam kelas tertentu

4 Prosedur Keputusan Bayes Prosedur pengenalan pola dan pengambilan keputusan Obect Collect Data Observables X Feature Selection Features x sta0s0cal Inference risk/cost minimiza0on Inner belief w c0on α X --- merupakan semua data observasi menggunakan sensors dan instruments yang tersedia x --- merupakan himpunan fitur yang dipilih dari komponen X, atau fungsi linier dari X. w --- adalah inner belief/perception tentang subect dari kelas/group/kategori. α --- adalah aksi/keputusan yang kita ambil untuk x. Dari prosedur tersebut didapatkan definisi dari 3 ruang vektor sebagai berikut: x Ω d, w Ω k, α Ω α x = { x 1, x w= { w, w 1 2,..., x 2 d },..., w k adalah } adalah vector dan d menyatakan banyak fitur kelas pola dan k menyatakan banyak kelas

5 Contoh Klasifikasi Ikan X=adalah Image/ citra ikan, Diagnosis Medis X= semua hasil test medis, citra hasil scan x=(brightness, length, fin,.) w=tingkat kepercayaan kita bahwa tipe ikan tersebut adalah { sea bass, salmon, trout, } x =(blood pressure, glucose level, cough, x- ray.) W=tipe penyakit yang diderita yaitu { Flu, cold, TB, pneumonia, lung cancer } α=merupakan keputusan tipe ikan yang dipilih, pada kasus ini { sea bass, salmon, trout, } α=keputusan untuk penanganan yang diberikan pada pasien, yaitu { Tylenol, Hospitalize, }

6 Fokus Metode subects Observables X Features x Inner belief w Decision α Collect Data: control sensors Feature Selec0on sta0s0cal Inference risk/cost minimiza0on Pada teori keputusan Bayes, kita perhatikan dua langkah terakhir yang mengasumsikan bahwa observasi telah dilakukan dan fitur telah dipilih sebelumnya.

7 Teori Keputusan Bayes Features x sta0s0cal Inference Inner belief p(w x) risk/cost minimiza0on Decision α(x) Two probability tables: a). Prior p(w) b). Likelihood p(x w) risk/cost function (is a two-way table) λ(α w) Tingkat kepercayaan terhadap class w dihitung menggunakan aturan Bayes : p( x w) p( w) p ( w x) = p( x) Tingkat resiko dihitung dengan : k i x) = λ( i w )p(w x) = 1 R( α α

8 Bayesian Statistical Inference Features x sta0s0cal Inference Inner belief p(w x) risk/cost minimiza0on Decision α(x)

9 Teorema Bayes Menggunakan teori peluang bersyarat p ( w x) = p( x w) p( w) p( x) w = kelas x = feature {x 1, x 2,.. x n } p(w x) = Posterior p(x w) = likelihood p(w) = prior p(x) = evidence

10 Prior Probaility Prior probability adalah peluang kemunculan sebuah kelas dari seluruh pengamatan yang dilakukan Dikatakan prior sebab peluang ini diadikan pengetahuan awal/ pengerahuan dasar atau prior believe/kepercayaan dasar, sebelum memperha0kan faktor lainnya. Misalkan dalam sebuah pengamatan kolam ikan, terdapat dua ikan, yaitu ikan lele (ω 1 ) dan ikan pa0n (ω 2 ): Dilakukan pengambilan ikan secara acak sebanyak 10 kali. Dari 10 kali pengambilan didapatkan 7 ikan lele dan 3 ikan patin. Jika kemudian suatu saat dilakukan pengambilan ikan lagi, yang langsung dimasukkan ke dalam karung tanpa terlihat (fiturnya tidak terlihat), maka Probabilitas prior ikan baru ini adalah ikan lele adalah P (ω 1 ) = 7/10 = 0.7 Probabilitas prior ikan baru ini adalah ikan patin adalah P (ω 2 ) = 3/10 = 0.3 turan keputusan untuk ikan baru : Karena ω 1 ) > ω 2 ), maka kepercayan dasar kita, bahwa ikan ke-11 yang ada di dalam karung adalah ikan lele

11 Likelihood Likelihood adalah peluang kemunculan nilai-nilai fitur pada kelas tertentu Misalkan dari pengamatan 10 ikan yang diambil, yaitu 7 ikan lele dan 3 ikan patin. Dengan menggunakan fitur panang kumis x = {panang, pendek} Dari 7 ikan lele yang diambil, 5 ekor memiliki kumis panang, dan 2 ekor memiliki kumis pendek. Dari 3 ikan patin yang diambil, semua berkumis pendek Maka likelihoodnya: Peluang yang kumis panang adalah lele: kumis=panang lele) = 5/7 Peluang yang kumis panang adalah patin: kumis=panang patin) = 0/3 Peluang yang kumis pendek adalah lele: kumis=pendek lele) = 2/7 Peluang yang kumis pendek adalah patin: kumis=pendek patin) = 3/3

12 Evidence Menghitung peluang kemunculan nilai-nilai fitur dari semua pengamatan Misalkan dari pengamatan 10 ikan yang diambil, yaitu 7 ikan lele dan 3 ikan patin. Dengan menggunakan fitur panang kumis x = {panang, pendek} Dari 7 ikan lele yang diambil, 5 ekor memiliki kumis panang, dan 2 ekor memiliki kumis pendek. Dari 3 ikan patin yang diambil, semuanya berkumis pendek Maka evidencenya: Peluang kemunculan ikan berkumis panang (entah lele ataupun patin) dari seluruh pengamatan adalah kumis panang) = 5/10 Peluang kemunculan ikan berkumis pendek (entah lele ataupun patin) dari seluruh pengamatan adalah kumis pendek) = 5/10 Catatan: sering kali nilai evidence ini tidak perlu dihitung, sebab dalam kasus klasifikasi, yang dicari adalah nilai peluang yang terbesar, dan evidence dalam rumus bayes adalah penyebut yang nilainya sama untuk setiap kelas

13 Contoh No Panang Kumis Kelas Ikan 1 Panang Lele 2 Panang Lele 3 Panang Lele 4 Panang Lele 5 Panang Lele 6 Pendek Lele 7 Pendek Lele 8 Pendek Patin 9 Pendek Patin 10 Pendek Patin 11 Pendek?

14 Contoh 2 Bagaimana ika fiturnya dalah data numerik yang bersifat kontinyu?

15 Fase Data Training Contoh Dataset (Smurf or Troll) : (Misal hanya menggunakan 1 fitur, yaitu Height ) à menggunakan konsep univariate normal distribution. No Height Creature Smurf Smurf Smurf Smurf Troll Troll Troll Jika data ke-8 memiliki Height = 2, tentukan kelas Creaturenya!

16 Fase Data Training Karena data fiturnya adalah data kontinyu, maka perhitungan peluangnya dengan menggunakan sebaran normal Langkah-langkah penyelesaian : 1. Menghitung Standar Deviasi dari trolls dan smurfs Stroll dan Ssmurf.

17 Fase Data Training 2. Menghitung Prob. Likelihood dari trolls dan smurfs.

18 Fase Data Training 3. Menghitung Prob. Prior dari trolls dan smurfs. 4. Sehingga didapatkan Prob. Posterior berikut : dan Jika smurf 2 ) > troll 2 ) maka Height = 2 masuk kelas Smurf. Dan sebaliknya.

19 Bagaimana ika datanya memiliki fitur lebih dari satu?

20 Fase Data Training Jika fiturnya lebih dari satu, maka dapat digunakan : Teori Peluang Biasa : Contoh : Fitur(R,T,D) Kelas(C) : rash (R), temperature (T), dizzy(d). : 1 atau 0. (Terdapat 40 data training) Fase Training : (Meringkas data training sesuai dengan frekuensi)

21 Fase Data Testing Tentukan kelas dari sebuah obek, ika fiturnya R = 0, T =1, dan D = 0 Karena C=0 010) > C= 1 010), maka data itu masuk ke kelas 0

22 Bagaimana ika fiturnya lebih dari satu, dan datanya continyu? Sangat rumit, dan melibatkan pangkat matriks. Perhatikan contoh berikut!

23 Fase Data Training No (Width) sebagai Fitur ke-1 (Lightness) Sebagai Fitur ke-2 Kelas Salmon Sea Bass Sea Bass Salmon..... M Sea Bass

24 Fase Data Training Jika fiturnya lebih dari satu, maka gunakan : Distribusi Normal multivariate (Data Kontinyu) : Contoh : Curvature Diameter Quality Control Result Passed Passed Passed Passed Not passed Not passed Not passed Jika diketahui Curvatur Chip Ring = 2.81 dan Diameter Chip Ring = 5.46 maka, Tentukan kelas Quality Control Result-nya?

25 Fase Data Training Jika fiturnya lebih dari satu, maka gunakan : Distribusi Normal multivariate (Data Kontinyu) : Fase Training : X = features (variables independent) Y = Kelas/ Group (variables dependent) 1. Labeling Dataset : 2. Memisahkan x berdasarkan group :

26 Fase Data Training Jika fiturnya lebih dari satu, maka gunakan : Distribusi Normal multivariate (Data Kontinyu) : Fase Training : X = features (variables independent) Y = Kelas/ Group (variables dependent) 3. Hitung µi = mean features dari group i dan µ = mean global x i 0 4. Hitung (Mean Corrected) : (x i minus mean global)

27 Fase Data Training Jika fiturnya lebih dari satu, maka gunakan : Distribusi Normal multivariate (Data Kontinyu) : Fase Training : 5. Hitung matrik Kovarian group i

28 Fase Data Training Jika fiturnya lebih dari satu, maka gunakan : Distribusi Normal multivariate (Data Kontinyu) : Fase Training : 6. Hitung Likelihood dari Curvatur = 2.81 dan Diameter = 5.46 : Sehingga didapat nilai p(2.81,5.46 Passed) dan p(2.81,5.46 Not_passed)

29 Fase Data Training Jika fiturnya lebih dari satu, maka gunakan : Distribusi Normal multivariate (Data Kontinyu) : Fase Training : 7. Jadi Prob. Posterior Curvatur = 2.81 dan Diameter = 5.46 adalah sbb : Probabilitas Prior : p(passed) = 4/7 dan p(not_passed) = 3/7 p ( Passed 2.81,5.46) = p(not _ passed 2.81, 5.46) = p(2.81,5.46 Passed ) p( Passed ) p(2.81,5.46) p(2.81, 5.46 Not _ passed)p(not _ Passed) p(2.81, 5.46) Jika p(passed 2.81,5.46) > p(not_passed 2.81,5.46), maka Curvatur = 2.81 dan Diameter = 5.46 masuk kelas Passed.

30 Langkah ke-6 membutuhkan penyelesaian yang rumit, sehingga sangat sederhana ika dihitung dengan menggunakan Naïve Bayes

31 Metode klasifikasi Naïve Bayes

32 Klasifikasi Naïve Bayes Munculnya ide metode klasifikasi Naïve Bayes : Metode klasifikasi ini diturunkan dari penerapan teorema Bayes dengan asumsi independence (saling bebas). Naïve Bayes Classifier adalah metode pengklasifikasian paling sederhana dari model pengklasifikasian yang ada dengan menggunakan konsep peluang, dimana diasumsikan bahwa setiap atribut contoh (data sampel) bersifat saling lepas satu sama lain berdasarkan atribut kelas.

33 Klasifikasi Naïve Bayes pa yang dapat kita lakukan apabila data(d) mempunyai beberapa atribut atau fitur? sumsi Naïve Bayes : tribut yang mendeskripsikan contoh data adalah saling independen pada hipotesis klasifikasi. d h) = a 1,...,a T h) = a t h) Naïve Bayes mengedepankan penyerderhanaan, sehingga kemungkinan hasil keputusan tidak sesuai realita yang ada. Namun metode ini bekera dengan baik secara praktis. Beberapa aplikasi yang telah dikembangkan dengan metode klasifikasi Naïve Bayes : Diagnosa Medis Klasifikasi Teks t

34 Klasifikasi Naïve Bayes sumsikan diantara fitur i adalah independen pada suatu kelas. Rumus umum Naïve Bayes : Probabilitas Likelihood : Probabilitas Posterior : d = { 1, 2,, n } data (d) dengan fitur ( 1 sampai n ) C merupakan kelas ) ( )... ( ) ( ),...,, ( ) ( n n C P C P C P C P C P = = d ),...,, ( ) ( ) ( ),...,, ( ) ( ),...,, ( ),...,, ( n n i i n n n P C P C P P C P C P C P = = =

35 Fase Training & Testing Tahap Pembelaaran (Training) : Pada setiap kelas C, estimasikan Prior C). Pada setiap fitur, estimasikan Likelihood =v i C) untuk setiap nilai fitur v i. Tahap Penguian (Testing) : beberapa fitur (v 1, v 2,...,, v k ), pilih kelas yang memaksimalkan Posterior : ),...,, ( ) ( ) ( ),...,, ( n n i i n P C P C P C P = =

36 Naïve Bayes Data Kontinyu (1 of 2) Naive bayes classifier uga dapat menangani atribut bertipe kontinyu. Salah satu caranya adalah menggunakan distribusi Gaussian. Distribusi ini dikarakterisasi dengan dua parameter yaitu mean (µ), dan variansi(σ 2 ). Untuk setiap kelas Y, peluang kelas bersyarat untuk atribut X i dinyatakan dengan persamaan distribusi Gaussian.

37 Naïve Bayes Data Kontinyu (2 of 2) Fungsi densitas mengekspresikan probabilitas relatif. Data dengan mean µ dan standar deviasi σ, fungsi densitas probabilitasnya adalah : ϕ µ, σ ( x) = ( x µ ) 1 2σ 2πσ 2 e µ dan σ dapat diestimasi dari data, untuk setiap kelas. ϕ µ, σ ( x) untuk menghitung Likelihood X C) 2 2

38 Visualisasi Data Kontinyu ϕ µ, σ ( x) ϕ µ, σ ( x) = ( x µ ) 1 2σ 2 2πσ e 2 2 x

39 Contoh Studi Kasus II Play Tennis data : Hari Cuaca Suhu Kelembaban rah ngin Play Tennis 1 Cerah Panas Tinggi Stabil Tidak 2 Cerah Panas Tinggi Labil Tidak 3 Mendung Panas Tinggi Stabil Ya 4 Huan Sedang Tinggi Stabil Ya 5 Huan Dingin Normal Stabil Ya 6 Huan Dingin Normal Labil Tidak 7 Mendung Dingin Normal Labil Ya 8 Cerah Dingin Tinggi Stabil Tidak 9 Cerah Dingin Normal Stabil Ya 10 Huan Sedang Normal Stabil Ya 11 Cerah Sedang Normal Labil Ya 12 Mendung Sedang Tinggi Labil Ya 13 Mendung Panas Normal Stabil Ya 14 Huan Sedang Tinggi Labil Tidak Tentukan Keputusan Bermain Tennis (Ya atau Tidak) dengan kondisi fitur x=(cuaca=cerah, Suhu=Dingin, Kelembaban=Tinggi, ngin=labil)!

40 Contoh Studi Kasus II Penyelesaian : Diketahui : x = (Cuaca=Cerah, Suhu=Dingin, Kelembaban=Tinggi, ngin=labil)! Menggunakan Konsep Naïve Bayes : hnb = argmax h) x h) h [ Ya, Tidak] = argmax h) at h) h [ Ya, Tidak] t = argmax h) Cua = Cer h) Suh = Ding h) Kel h [ Ya, Tidak] Menghitung Probabilitas untuk PlayTennis (Ya atau Tidak) : = Ting h) ng = Lab h) PlayTennis = Ya) = 9 /14 = 0.64 PlayTennis = Tidak ) = 5 /14 = 0.36 ngin = Labil PlayTennis = Ya) = 3/ 9 = 0.33 ngin = Labil PlayTennis = Tidak ) = 3/ 5 = 0.60 etc. Cerah Ya) Dingin Ya) Tinggi Ya) Labil Ya) Ya) = Cerah Tidak ) Dingin Tidak ) Tinggi Tidak ) Labil Tidak ) Tidak ) Karena Tidak x) > Ya x) maka PlayTennis ( x) = Tidak =

41 Risk/Cost Minimiza0on Features x sta0s0cal Inference Inner belief p(w x) risk/cost minimiza0on Decision α(x)

42 turan Keputusan turan keputusan merupakan fungsi mapping dari ruang fitur ke himpunan keputusan yang akan diambil α α(x): Ω d Ω Keputusan yang acak (random) tidak akan optimal Keputusan yang dibuat berdasarkan fungsi yang meminimalkan resiko / average cost R = R( α( x) x) p( x) dx Fungsi tersebut akan minimal ketika keputusan yang kita ambil dibuat untuk meminimalkan cost /resiko untuk setiap instance/data x Ω Ω α( x) = arg min R( α x) = arg min λ( α w α α k = 1 ) p( w x)

43 Bayessian Error Pada kasus khusus, seperti klasifikasi ikan, aksi yang diambil adalah klasifikasi yang diasumsikan eror : 0/1 Resiko klasifikasi x ke class α i adalah, λ( α w λ( α w Keputusan optimal adalah memilih class yang memiliki probabilitas posterior maximum α x) = arg min(1 p( α x)) = arg max p Total resiko untuk aturan keputusan (Bayesian error) i i ) = 0 if ) = 1 if α = w i i α w R( αi x) = p(w x) = 1 p( αi x) w ( ( α x) Ω α α i Ω α R = p( error) = p( error x) p( x) dx = (1 p( α( x) x)) p( x) dx

44 Fase Data Training Contoh Dataset (Ikan Salmon & Sea Bass) : (Misal hanya menggunakan 1 fitur, yaitu Width ) à menggunakan konsep Risk/ Cost. No (Width) sebagai Fitur 1 Kelas 1 9 Salmon 2 11 Sea Bass 3 9 Sea Bass 4 12 Salmon..... M 15 Sea Bass

45 Latihan 1 Perhatikan grafik distribusi pada proses klasifikasi ikan Sea Bass (ω 2 ) dan ikan Salmon (ω 1 ). 1 : Memberikan hasil keputusan bahwa ikan yang diui coba adalah termasuk kelas ikan Sea Bass. 2 : Memberikan hasil keputusan bahwa ikan yang diui coba adalah termasuk kelas ikan Salmon. Probabilitas Prior ikan Sea Bass dan Salmon masing-masing ω 2 ) = 2/3 dan ω 1 ) = 1/3. Biaya/Cost ika hasil klasifikasinya adalah ikan salmon, tapi sebenarnya ikan tersebut adalah ikan sea bass sebesar λ( 2 ω 2 ) = $2, dan Biaya ika hasil klasifikasinya adalah ikan Sea Bass, tapi sebenarnya ikan tersebut adalah Salmon sebesar λ( 1 ω 1 ) = $1. Tentukan hasil keputusan klasifikasi ika input x = 13, dimana probabilitas likelihoodnya masingmasing x ω 1 ) = 0,28 dan x ω 2 ) = 0,17 dengan pertimbangan Cost/ Resiko yang ada! Penyelesaian : Diketahui : ω 1 à Kelas Salmon ω 2 à Kelas Sea Bass 1 à Decide Input is Sea Bass 2 à Decide Input is Salmon λ( 2 ω 2 ) = $2 dan λ( 1 ω 1 ) = $1 λ( i w ) = 0 satuanbiaya ika i = w ( mengarah pada kelas yang sama) λ( i w ) 0 satuanbiaya ika i w ( mengarah pada kelas yang berbeda)

46 Latihan 1 (Cont.) (Menghitung Jawab : Probabilitas Posterior ) xω1) ω1) ω 1 x) = x) (0,28)(1/ 3) = P ( xω1) ω1) + xω2) ω2) = = xω2) ω2) ω 2 x) = x) (0,17)(2/3) = P ( xω1) ω1) + xω2) ω2) = = (0,28)(1/ 3) ((0,28)(1/ 3)) + ((0,17)(2/3)) 0,0924 0, ,1139 (0,17)(2/3) ((0,28)(1/ 3)) + ((0,17)(2/3)) 0,1139 0, ,1139 = = 0,0924 0,2063 0,1139 0,2063 = = 0,4479 0,5521 R( i (Menghitung Risk/Cost) 2 x) = λ( i ω ) ω x) = 1 (2 menyatakan banyaknya kelas) R( x) = λ ( 2 ω1) ω1 x) + λ( 2 ω2) ω2 2 x = (($ 0)(0,4479)) + = $ 0 + $1,1042 = $1,1042 (($2)(0,5521)) R( x) = λ ( 1 ω1) ω1 x) + λ( 1 ω2) ω2 1 x = (($ 1)(0,4479)) + (($0)(0,5521)) = $ 0, $0 = $0,4479 Keputusan dilihat dari nilai : α( x) = arg min R( x) Melihat nilai biaya resiko dari R( 1 x) < R( 2 x), maka x = 13 masuk kelas Sea Bass. i ) )

47 Selesai