Markov o C ha h in i s

Transkripsi

1 MCMC

2 Markov Chains.

3 Menaksir Parameter The basic paradigm: Model Parameters: Θ Data set MLE / bayesian approach Input data: terdapat t observasi sbb :X 1, X 2 X t -dengan asumsi i.i.d (independent identical distributed) Heads - P(H) Tails - 1-P(H).

4 Markov Process Markov Property: Keadaan sistem pada waktu t +1 hanya bergantung pada keadaan sistem pada waktu t Pr [ X x X L X = x Lx ] = [ X = x X x ] t + 1 = t+ 1 1 t 1 t Pr t+ 1 t+ 1 t = t X 1 X 2 X 3 X 4 X 5 Stationary Assumption: Probabilitas transisi adalah independen dari waktu (t) [ ] Pr X = t 1 b X = + t a = pab 4

5 Markov Process Cuaca: Hujan hari ini 40% hujan besok 60% tidak hujan besok Tdk hujan hari ini 20% hujan besok 80% tdk hujan besok Stochastic FSM: hujan Tdk hujan 0.2 5

6 Markov Process Cuaca: Hujan hari ini 40% hujan besok 60% tidak hujan besok Tdk hujan hari ini 20% hujan besok 80% tdk hujan besok The transition matrix: P = Stochastic matrix: Jumlah dari element baris= 1 Double stochastic matrix: Jumlah dari element baris & kolom = 1 6

7 Markov Process Coke vs. Pepsi Jika seseoramg membeli minuman cola terakhirnya adalah adalah Coke, ada kemungkinan 90% bahwa pembelian cola berikutnya juga akan Coke. Jika seseoramg membeli minuman terakhirnya adalah adalah pepsi, ada kemungkinan 80% bahwa pembelian cola berikutnya juga akan pepsi. transition matrix: P = coke 0.2 pepsi 7

8 Markov Process Coke vs. Pepsi Example (cont) Andaikan bahwa seseorang saat ini pembeli Pepsi, berapa probabilitas bahwa ia akan membeli Coke dua pembelian dari sekarang? Pr[ Pepsi?Coke ] = Pr[ PepsiCokeCoke ] + Pr[ Pepsi Pepsi Coke ] = 0.2 * * 0.2 = 0.34 P 2 = 0.9 = = Pepsi?? Coke 8

9 Markov Process Coke vs. Pepsi Example (cont) Andaikan bahwa seseorang saat ini pembeli Coke, berapa probabilitas bahwa ia akan membeli Pepsi tiga pembelian dari sekarang? 3 P = =

10 Markov Process Coke vs. Pepsi Example (cont) Asumsikan setiap orang membuat satu pembelian cola per minggu Misalkan 60% dari semua orang sekarang minum Coke sisanya pepsi Berapa persentasi dari semua org yang minum Coke tiga minggu dari skrg? P = P = Pr[X 3 =Coke] = 0.6 * * = Q i - the distribution in week i Q 0 =(0.6,0.4) - initial distribution Q 3 = Q 0 * P 3 =(0.6438,0.3562) 10

11 Markov Process Coke vs. Pepsi Example (cont) Simulation: 2/3 Pr[X i = Cok ke] [ 2 1 ] = [ 2 1 ] stationary distribution coke pepsi week - i 11

12 Pengenalan Markov Chain Monte Carlo

13 Monte Carlo principle Untuk menghitung nilai ekspektasi dapat dilakukan dengan mengambil sejumlah sampel dari suatu dist yang IID E N 1 ( f ) = E f ( x) p( x) N ( i) f ( x ) ( f ) = N N i= = 1 x

14 Contoh 14

15 Markov chain Monte Carlo p(x) X

16 Markov chains Markov chain pada ruang X dengan matriks transisi T adalah proses acak(infinite sequence dari variabel acak) (x (0), x (1), x (t), ) pada X yang memenuhi p( x x,..., x ) = T( x, x ( t) ( t 1) (1) ( t 1) ( t) Peluang keadaan tertentu pada waktu t tergantung hanya pada keadaan saat t-1 Jika transition probabilities adalah fixed untuk semua t, maka rantai disebut homogeneous 0.4 ) T= x x 1 x 3

17 Markov Chains for sampling Agar Markov chain menghasilkan dist p(x), diperlukan nilai awal x (1) t p ) ( x) p( ) ( ( 1) x x t

18 Stationary distribution Andaikan Markov chain sbb: T= The stationary distribution adalah x x 1 x x =

19 Ergodicity Claim: Untuk memastikan bahwa rantai konvergen ke distribusi stasioner maka syarat cukupnya: Irreducibility: dapat berpindah ke state mana saja dari mana saja p ) x ( t ( y) > Aperiodicity: tidak terjebak dalam siklus 0 gcd{ t : p ( t) x ( y) > 0} = 1

20 Contoh 20

21 Markov Chains for sampling detailed balance (reversibility) condition: p( x ) T ( x, y) = p( y) T ( y, x) Bukti = [p T]( y) p( x) T ( x, y) = p( y) T ( y, x) = p( y) T ( y, x) = p( y) x x x

22 DB p( x ) T ( x, y) = p( y) T ( y, x) 22

23 Non DB 23

24 Metropolis intuition r=π(x )/π(x t ) r=1.0 x* x t x*

25 MH ALgorithm 25

26 Mengapa Metropolis algorithm Bayesian komputasi Bayesian posterior P(M D) P(D M)P(M) Code

27 27

28 #Simulate data Y<-rbinom(10,1,0.3) n<-10 # #Prior distribution prior<-function(th) { 2*cos(4*pi*th)^2 } #Posterior distribution up to constant posterior<-function(th) { ifelse((th>=0)&(th<=1),th^sum(y)*(1-th)^(n-sum(y))*cos(4*pi*th)^2,0) } #Posterior distribution (exact) fullposterior<-function(th) { const<-0 for (x in seq(0,1,0.0001)) { const<-const+posterior(x)* } ifelse((th>=0)&(th<=1),posterior(th)/const,0) } # 28

29 #Simulation program #N length of Markov chain #eps standard error of normal proposol distribution # run<-function(n=10000,eps=0.02) { p<-rep(0,n) rej<-0 acc<-0 par(mfrow=c(1,2)) th<-runif(1) post<-fullposterior(seq(0,1,0.01)) for (i in (1:N)) { #normal proposal new<-th+rnorm(1,0,eps) #this would be an independence sampler: #new<-runif(1) #acceptance probability a<-min(1,posterior(new)/posterior(th)) if (runif(1)<a) th<-new p[i]<-th if (th==new) { acc<-acc+1 } else { rej<-rej+1 } #Plot chain and histogram only every 100 steps if (i%%100==0) { plot(p[1:i],type="l",lwd=2) hist(p[1:i],breaks=seq(0,1,0.02),0.2,lwd=2) lines(seq(0,1,0.01),post*i*0.02,col=2) } } return(list(p=p,accept=acc,reject=rej)) } r<-run(10000,0.01) 29

30 X~N(0,1) Candidate dist Ratio Generate Normal 30

31 Bentuk Simple 31

32 MCMC.norm = function(n,a,x0) { Xs=rep(NA, N) accepts=0 X=X0 for(i in 1:N) { Y=X+runif(1,-a,a) if(log(runif(1,0,1))<(x^2-y^2)/2){ X=Y accepts=accepts + 1 } Xs[i]=X } cat("acceptance Rate = ", accepts/n, "\n") } MCMC.norm(1000,a=2,X0=0) code 32

33 Latihan code 33