Proses Keputusan Markovian

Transkripsi

1 Proses Keputusan Marovian 1

2 Pengantar Proses eputusan Marovian adalah proses eputusan stoasti/probabilistidimana banyanya state adalah hingga (finit). Melibatan dua buah matris: matris transisi (P) dan reward(r)(revenue/cost) bergantung epada alternatif eputusan yang tersedia. Tujuannya adalah menentuan ebijaan optimal yang memasimuman revenue yang diharapan atas sejumlah hingga atau tahingga tahapan (stage). 2

3 The Gardener Problem Produtivitas (P 1 ) dan fungsi return (R 1 ) tanah tanpa ferlitizer: (1) good, (2) fair, dan (3) poor untu tahun searang dan beriutnya adalah sbb:

4 Produtivitas (P 2 ) dan fungsi return (R 2 ) tanah dengan ferlitizer: (1) good, (2) fair, dan (3) poor untu tahun searang dan tahun beriutnya adalah sbb:

5 Apa eputusan yang aan diambil? Bila ativitas aan berlanjut dalam watu yang terhingga / terbatas (finite): Model tahapan terbatas (finite-stage). Bila ativitas aan berlanjut dalam watu yang taterhinnga / taterbatas (infinite): Model tahapan taterbatas (infinite-stage). 5

6 Model Finite-Stage m= banya state pada setiap stage (year) ( misalan 3) f n (i) = revenue optimal yang diharapan dari stage (tahun) n, n+1,, N (dalam hal ini N=3); iadalah state dari sistem (yaitu:(1) good, (2) fair dan (3) poor). =1,2 (yaitu banyanya alternatif tersedia: tanpa dan dengan fertilizer) 6

7 Rumus persamaan reursif programa dinamis yang digunaan adalah: max{ } ) ( 1 = = = v i f r p v m j ij ij i 7 { } 1 2,..., 1,, ) ( max ) ( max ) ( 1 1 = + = = = + N n j f p v i f v i f m j n ij i n i N

8 Solusi Stage 3: v i Solusi Optimal i =1 =2 f 3 (i) *

9 Stage 2: i v i + p i1 f 3 (1)+ p i2 f 3 (2) + p i3 f 3 (3) Solusi Optimal =1 =2 f 2 (i) * x x x.4 = x x x.4 = x x x.4 =

10 Stage 1: i v i + p i1 f 2 (1)+ p i2 f 2 (2) + p i3 f 2 (3) Solusi Optimal =1 = 2 f 1 (i) *

11 Kesimpulan: Solusi optimal menunjuan bahwa untu tahun 1 dan 2 harus menerapan fertilizer (* = 2). Tahun e 3, fertilizer diterapan hanya jia sistem dalam state 2 atau 3 (ondisi fairatau poor). Total revenue yang diharapan untu tiga tahun adalah f 1 (1)=10.74 jia state sistem di tahun 1 adalah good, f 1 (2)=7.92 jia fair dan f 1 (3)=4.23 jia poor. 11

12 Problem set 19.2A No. 1 Sebuah perusahaan aan menilai status produ pentingnya setiap tahun dan memutusan apaah berhasil (status 1) atau gagal (status 2). Ada dua perlauan yang aan diambil yaitu dengan mengilanan (=1) atau tida (=2). Matris P1 dan P2 adalah probabilitas transisi dengan mengilanan dan tida mengilanan selama sebarang tahun. Matris return yang terait dengan P1 dan P2 adalah R1 dan R2. Carilah eputusan optimal selama tiga tahun beriutnya P1 = R1 = P2 = R2 =

13 Problem set 19.2A No. 2 Sebuah perusahaan dapat mengilanan melalui radio, Tv atau surat abar. Biaya ilan per minggu pada tiga media diperiraan sebesar $200, $900 dan $300. Perusahaan dapat menggolongan volume penjualannya selama setiap minggu dengan (1) gagal, (2) bagus atau (3) sangat bagus. Probabilitas transisi yang terait dengan media ilan adalah sebagai beriut: PRadio = ; PTV = ; PSK = Return per minggu (dalam ribuan dollar) untu etiga media ilan berturut-turut adalah sebagai beriut. Carilah ebijaan mengilanan optimal selama tiga minggu beriutnya RRadio = ; RTV = ; RSK =

14 Model Infinite-Stage Ada dua metode untu menyelesaian masalah infinite-stage: Exhaustive Enumeration Method (mengevaluasi semua stationary policies yang mungin dari masalah eputusan) Policy iteration (secara umum lebih efisien arena hal ini menentuan ebijaan optimum secara iteratif) 14

15 Metode Exhaustive Enumeration Misalan masalah eputusan mempunyai Sstationary policies, dan asumsian P s dan R s berturut-turut adalah matris transisi dan revenue terhadap ebijaan s=1,2,,s. Langah metode enumersi adalah: 1. Hitung v is, untu setiap ebijaan s dan state i=1,2,,m. 2. Hitung π s s i,long-run probabilities dari matris transisi P dengan rumus: π s P s = π s π s 1 + π 2s + + π s m =1 dengan π s = (π s 1, π 2s,, π s m ) 3. Tentuan Es = jumlah semua πs i vs i ;(i=1,,m). 4. E S * = mas {E s } 15

16 Example Gardener problem mempunyai total 8 ebijaan statinary, seperti ditunjuan dalam tabel beriut. Kebijaanstasionary Action 1 Do not fertilize 2 Fertilize regardless of the state 3 Fertilize if in state 1 4 Fertilize if in state 2 5 Fertilize if in state 3 6 Fertilize if in state 1or 2 7 Fertilize if in state 1or 3 8 Fertilize if in state 2or 3 16

17 Matris Ps dan Rs ebijaan 3 hingga 8 diturunan dari matris ebijaan 1 dan 2 yang diberian oleh: 17