IKI30320 Kuliah Nov Ruli Manurung. Syntax & Semantics. Compact conditional distributions. Efficient Inference.

Transkripsi

1 Outline IKI 30320: istem erdas : Bayesian Networks akultas Ilmu Komputer Universitas Indonesia 28 November Review Bayesian Network Probability theory merangkum ketidakpastian sbg. bilangan. ull joint probability distribution = inference as addition Efficiency: absolute & independence Bayes Rule: inference dengan probability Notasi graf yang menyatakan independence dalam suatu domain. Node menyatakan sebuah random variable. Arc (directed edge) menyatakan hubungan kausal langsung (direct influence). Arahnya dari variable sebab ke variable akibat. Node sibling menyatakan variable yang ly independent karena parent-nya. onditional distribution untuk setiap node terhadap parent-nya: P(X i Parents(X i )) idak ada cycle di dalam Bayesian Network (d.k.l. directed acyclic graph atau DAG)

2 ontoh kedokteran gigi ontoh lain opologi sebuah Bayesian Network menyatakan hubungan independence: Weather avity Anto sedang di kantor. etangganya, John, menelpon mengatakan alarm anti-perampoknya bunyi. etangganya, Mary, tidak menelpon. Kadang-kadang alarmnya nyala karena gempa bumi. Apakah ada perampok di rumah Anto? Variable dalam domain: Burglar, Earthquake, Alarm, Johnalls, Maryalls oothache atch Weather independent dari semua variable lain. oothache dan atch ly independent karena avity. Hubungan sebab akibat: Perampok bisa membuat alarm nyala. Gempa bumi bisa membuat alarm nyala. Alarm bisa membuat John menelpon. Alarm bisa membuat Mary menelpon. ontoh Bayesian Network Bayesian Network = ringkas B E Burglary P(A B,E) Johnalls P(B).001 Alarm A P(J A) Earthquake Maryalls P(E).002 A P(M A) B J A onditional probability sebuah node dgn. k parent = O(2 k ). E M Untuk n buah variable: O(n 2 k ) Bandingkan dengan O(2 n ) untuk full joint distribution.

3 Rekonstruksi full joint distribution Membangun Bayesian Network Bayesian Network adalah deskripsi lengkap sebuah domain. ull joint distribution bisa diperoleh dari local distribution: P(X 1,..., X n ) =Π n i = 1P(X i Parents(X i )) ontoh: hitung probabilitas John menelpon, Mary menelpon, alarm nyala, tidak ada perampok, tidak ada gempa bumi. P(j m a b e) = P(j a)p(m a)p(a b, e)p( b)p( e) = = Bagaimana membangun sebuah Bayesian Network? ebuah algoritma: 1 Pilih ordering variable X 1,..., X n 2 or i = 1 to n ambahkan X i ke network Pilih parent dari X 1,..., X i 1 shg. P(X i Parents(X i )) = P(X i X 1,..., X i 1 ) Agar Bayesian Network sah... X i harus ly independent terhadap semua X 1,..., X i 1 yang bukan anggota Parents(X i ) karena Parents(X i ). hain rule & independence ontoh membangun Bayesian Network Algoritma di slide sebelumnya menggunakan chain rule: P(A, B,, D) = P(A B,, D)P(B,, D) = P(A B,, D)P(B, D)P(, D) = P(A B,, D)P(B, D)P( D)P(D) Ini spt. membangun Bayesian Network dengan urutan D,, B, A tanpa independence. Bagaimana jika, mis: A ly independent thd. B karena dan D B ly independent thd. karena D: P(A, B,, D) = P(A, D)P(B D)P( D)P(D) Mis. kita pilih urutan: Maryalls, Johnalls, Alarm, Burglar, Earthquake. Maryalls Burglary Alarm Johnalls Earthquake P(J M) = P(J)? idak P(A J, M) = P(A J)? P(A J, M) = P(A)? idak P(B A, J, M) = P(B A)? Ya P(B A, J, M) = P(B)? idak P(E B, A, J, M) = P(E A)? idak P(E B, A, J, M) = P(E A, B)? Ya

4 Naive vs. paranoid... Mulailah dari penyebab Naive Bayes model emua variable akibat dianggap saling ly independent karena variable sebab. ull joint distribution (paranoid?) emua random variable dianggap saling mempengaruhi. Maryalls Johnalls Alarm Burglary Earthquake Yang kita cari: analisa domain-specific yang menghasilkan informasi independence yang benar! Menentukan independence sulit untuk arah non-causal. Menghitung probability sulit untuk arah non-causal. Ukuran Bayesian Network pun lebih besar: =13 nilai onditional independence lebih intuitif pada causal model! Kesimpulan: mulai dari variable sebab dulu. ontoh yang lebih rumit... ontoh yang LEBIH rumit... Diagnosa awal: mobil mogok! estable node: nilainya bisa diukur ixable node: nilainya bisa diatur Hidden node: hanya untuk menyederhanakan struktur network-nya battery age alternator broken fanbelt broken Menentukan nilai asuransi mobil... ocioecon Age Goodtudent Mileage RiskAversion eniorrain Extraar VehicleYear battery dead no charging Drivingkill MakeModel DrivingHist Antilock DrivQuality Airbag arvalue HomeBase Antiheft battery meter battery flat no oil no gas fuel line blocked starter broken Ruggedness Accident OwnDamage heft ushioning Otherost Ownost lights oil light gas gauge car won t start dipstick Medicalost Liabilityost Propertyost

5 Deterministic nodes Noisy-OR Distribution onditional distribution sebuah node dgn. k parent exponential dlm. k. Ada beberapa representasi yang lebih efisien canonical distribution onditional distribution dari suatu deterministic node bisa dihitung sepenuhnya dari nilai parent-nya. Dkl, nilai probabilitasnya bisa dinyatakan sebagai suatu fungsi: X = f (Parents(X)) Misalnya, hidden variable pada contoh mobil mogok: No_charging = Alternator_broken anbelt_broken Battery_flat = Battery_dead No_charging Nilainya diperoleh dari truth table Noisy-OR distribution mirip dalam logic, tapi ada uncertainty: Berapakah ketidakpastian sebuah variable gagal mengakibatkan proposition bernilai true? ontoh: P( fever cold, flu, malaria) = 0.6 P( fever cold, flu, malaria) = 0.2 P( fever cold, flu, malaria) = 0.1 old lu Malaria P(ever) P( ever) = = = = Jumlah parameter linier thd. jumlah parent Variable dengan nilai kontinyu Variable diskrit, parent kontinyu Bagaimana kalau nilai variable kontinyu? abel? Gunakan canonical distribution: fungsi dengan parameter. ontoh: ubsidy? ost Harvest Probabilitas dari Buy? jika diketahui ost adalah soft threshold : P(buys c) ost c Diskrit: ubsidy?, Buys? Kontinyu: Harvest, ost Buys? Distribusi probit adalah integral dari fungsi Gaussian: Φ(x) = R x N(0, 1)(x)dx P(Buys? = true ost = c) = Φ(( c + µ)/σ)

6 Variable kontinyu by enumeration P(c h, subsidy) ost c Harvest h Mis. mau hitung probabilitas ada perampok jika John dan Mary menelpon. P(b j, m) = α P P e a P(b)P(e)P(a b, e)p(j a)p(m a) = αp(b) P e P(e) P a P(a b, e)p(j a)p(m a) P(j a).90 P(e).002 P(b).001 P(j a) P(j a) P( e).998 P(a b,e) P( a b,e) P(a b, e) P( a b, e) P(j a).05 Model Linear Gaussian sering dipakai: P(ost = c Harvest = h, ubsidy? = true) = N(a t h + b t, σ t )(c) 0 1 = 1 σ t 2π 2! 1 2 c (a t h + b t ) A σ t P(m a) P(m a) P(m a) P(m a) Perhatikan bahwa P(j a)p(m a) dihitung untuk setiap nilai e. Gunakan dynamic programming: hitung sekali, simpan hasilnya! Approximate inference ontoh sampling Pendekatan lain: jangan hitung nilai persis, tapi cukup di-sample (Monte arlo). P() loudy Ide dasar Ambil N sample dari distribusi Bayes Net Estimasi posterior probability dari query event: ˆP Berapa kali query event terjadi dari N kali sample? Dibagi N. lim N ˆP konvergen terhadap P P( ) R P(W,R) P(R )

7 ontoh sampling ontoh sampling P() P() loudy loudy P( ) P(R ) P( ) P(R ) R P(W,R) R P(W,R) ontoh sampling ontoh sampling P() P() loudy loudy P( ) P(R ) P( ) P(R ) R P(W,R) R P(W,R)

8 ontoh sampling ontoh sampling P() P() loudy loudy P( ) P(R ) P( ) P(R ) R P(W,R) R P(W,R) Bayes Net cocok utk. representasi (causal) independence Mulai dari variable penyebab, tambahkan variable akibat distribution dengan representasi canonical Exact inference bisa dipercepat dengan dynamic programming Approximate inference bisa dilakukan dengan sampling