BAB 1. Rantai Markov 1.1 ILUSTRASI

BAB 1 Rantai Markov 1.1 ILUSTRASI (Ilustrasi 1) Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang silih berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin hujan mungkin juga panas. Tentu saja peluang besok hujan akan lebih besar dibanding peluang besok akan panas. Begitu pula jika hari ini panas. Besok akan lebih mungkin panas dibandingkan hujan. Jika hari Senin hujan, berapa peluang bahwa hari Selasa akan hujan? Berapa peluang bahwa hari Kamis akan hujan? (Ilustrasi 2) Pada 23 Juni lalu sekitar pukul 21.30 mobil yang dikemudikan suami saya terperosok masuk lubang di jalan tol lingkar luar Jakarta, kira-kira 2 kilometer dari Pintu Tol Pondok Ranji arah Jakarta. Ban dan gadi-gading roda rusak. Esoknya saya mengajukan klaim asuransi Sinar Mas kepada SiMas Bekasi. Pada 1 Juli saya mendapat jawaban bahwa klaim asuransi ditolak dengan alasan: bagian yang rusak hanya ban dan gading-gading roda. Tak mengenai badan mobil. Padahal, tercantum jelas di dalam pasal-pasal polis asuransi maupun surat penolakan bahwa ban dan gading-gading roda tidak dijamin, kecuali disebabkan oleh Pasal 1 angka 1.1. Isi pasal itu, pertanggungan ini menjamin kerusakan yang secara langsung disebabkan oleh tabrakan, benturan, terbalik, tergelincir atau terperosok. Asuransi Sinar Mas berusaha menghindar dari kewajiban dengan alasan mengada-ada, bahkan mengingkari aturan yang dibuatnya sendiri (Surat Pembaca KOMPAS; 3/08/2010). Andaikan suatu hari saya mengajukan klaim lagi ke Asuransi Sinar Mas, berapa peluang bahwa klaim saya akan diterima? (Ilustrasi 3) Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya untuk berlari pagi. Swari akan pergi lewat pintu depan atau belakang dengan peluang sama. Ketika meninggalkan rumah, Swari memakai sepatu olah raga atau sandal jenis crocs jika sepatu tidak tersedia di depan pintu yang dia 1

lewati (Dalam praktiknya, Swari harus bertelanjang kaki jika ternyata sandal crocs yang harus dipakai. Tak lain alasannya karena sang ayah tidak suka apabila Swari memakai sandal crocs). Ketika pulang, Swari akan masuk lewat pintu depan atau belakang dan meletakkan sepatunya dengan peluang sama. Diketahui bahwa Swari memiliki 4 pasang sepatu olah raga. Berapa peluang bahwa Swari akan sering berolah raga dengan bertelanjang kaki? MA4081 Pros.Stok. 2 K. Syuhada, PhD.

1.2 DEFINISI Proses stokastik {X n } adalah Rantai Markov: n = 0, 1, 2,... nilai yang mungkin adalah hingga atau terhitung P ( ) X n+1 = j X n = i, X n 1 = i n 1,..., X 1 = i 1, X 0 = i 0 = Pij distribusi bersyarat X n+1, diberikan keadaan lampau (past states) X 0, X 1,..., X n 1 dan keadaan sekarang (present state) X n, hanya bergantung pada keadaan sekarang keadaan (state): i 0, i 1,..., i n 1, i, j P ij peluang bahwa proses akan berada di keadaan j dari keadaan i; P ij 0, i, j 0; P ij = 1, i = 0, 1,... j=0 Matriks peluang transisi P ij adalah sbb: P 00 P 01 P 02 P 10 P 11 P 12... P i0 P i0 P i0... 1. Jika hari ini hujan maka besok akan hujan dengan peluang α; jika hari ini tidak hujan maka besok akan hujan dengan peluang β. Matriks peluang transisinya adalah... 2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2. MA4081 Pros.Stok. 3 K. Syuhada, PhD.

3. Tiga item produk A dan tiga item produk B didistribusikan dalam dua buah paket/kotak sedemikian hinga setiap paket terdiri atas tiga item produk. Dikatakan bahwa sistem berada dalam keadaan i, i = 0, 1, 2, 3 jika dalam paket pertama terdapat i produk A. Setiap saat (langkah), kita pindahkan satu item produk dari setiap paket dan meletakkan item produk tersebut dari paket 1 ke paket 2 dan sebaliknya. Misalkan X n menggambarkan keadaan dari sistem setelah langkah ke-n. Matriks peluang transisinya adalah... 4. Menurut Kemeny, Snell dan Thompson, Tanah Australia diberkahi dengan banyak hal kecuali cuaca yang baik. Mereka tidak pernah memiliki dua hari bercuaca baik secara berturut-turut. Jika mereka mendapatkan hari bercuaca baik maka esok hari akan bersalju atau hujan dengan peluang sama. Jika hari ini mereka mengalami salju atau hujan maka besok akan bercuaca sama dengan peluang separuhnya. Jika terdapat perubahan cuaca dari salju atau hujan, hanya separuh dari waktu besok akan menjadi hari bercuaca baik. Tentukan matriks peluang transisi dari Rantai Markov yang dibentuk dari keadaan-keadaan diatas. 5. Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya untuk berlari pagi. Swari akan pergi lewat pintu depan atau belakang dengan peluang sama. Ketika meninggalkan rumah, Swari memakai sepatu olah raga atau sandal jenis crocs jika sepatu tidak tersedia di depan pintu yang dia lewati (Dalam praktiknya, Swari harus bertelanjang kaki jika ternyata sandal crocs yang harus dipakai. Tak lain alasannya karena sang ayah tidak suka apabila Swari memakai sandal crocs). Ketika pulang, Swari akan masuk lewat pintu depan atau belakang dan meletakkan sepatunya dengan peluang sama. Diketahui bahwa Swari memiliki 4 pasang sepatu olah raga. Bentuklah suatu Rantai Markov dari proses diatas. MA4081 Pros.Stok. 4 K. Syuhada, PhD.

1.3 PELUANG N-LANGKAH Persamaan Chapman-Kolmogorov Misalkan Pij n menyatakan peluang transisi n-langkah suatu proses di keadaan i akan berada di keadaan j, ij = P (Y k+n = j Y k = i), n 0, i, j 0. Persamaan Chapman-Kolmogorov adalah alat untuk menghitung peluang transisi n + m-langkah: +m ij = k=0 ikp m kj, untuk semua n, m 0 dan semua i, j. Pik np kj m menyatakan peluang suatu proses dalam keadaan i akan berada di keadaan j dalam n+m transisi, melalui keadaan k dalam n transisi/langkah. 1. Jika hari ini hujan maka besok akan hujan dengan peluang α; jika hari ini tidak hujan maka besok akan hujan dengan peluang β. Matriks peluang transisi 4 langkah adalah 2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2. Matriks peluang transisinya adalah sbb: 0.7 0 0.3 0 0.5 0 0.5 0 0 0.4 0 0.6 0 0.2 0 0.8 Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari Kamis akan hujan? MA4081 Pros.Stok. 5 K. Syuhada, PhD.

Peluang transisi tak bersyarat? Misalkan α i = P (X 0 = i), i 0, dimana i=0 α i = 1. Peluang tak bersyarat dapat dihitung dengan mensyaratkan pada keadaan awal, P (X n = j) = P (X n = j X 0 = i) P (X 0 = i) = i=0 i=0 ij α i Seorang pensiunan H menerima 2 (juta rupiah) setiap awal bulan. Banyaknya uang yang diperlukan H untuk dibelanjakan selama sebulan saling bebas dengan banyaknya uang yang dia punya dan sama dengan i dengan peluang P i, i = 1, 2, 3, 4, 4 i=1 P i = 1. Jika H memiliki uang lebih dari 3 di akhir bulan, dia akan memberikan sejumlah uang lebih dari 3 itu kepada orang lain. Jika setelah dia menerima uang diawal bulan H memiliki uang 5, berapa peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan berikut? Keadaan: 1 jumlah uang sebanyak 1 yang H punya di akhir bulan 2 jumlah uang sebanyak 2 yang H punya di akhir bulan 3 jumlah uang sebanyak 3 yang H punya di akhir bulan Misalkan {Y n, n 0} adalah Rantai Markov dengan peluang transisi P ij. Misalkan Q ij adalah peluang transisi yang mentransformasikan semua keadaan dalam A ke keadaan tetap/hilang (absorbing states), maka 1, i A, j = i; Q ij = 0, i A, j i; P ij, yang lain. Peluang Y n dalam keadaan awal i dan tidak berada di keadaan lain dalam A sampai waktu n, untuk i, j / A adalah P (Y n = j Y 0 = i, Y k / A, k = 1,..., n) = Q n ij r / A Qn ir MA4081 Pros.Stok. 6 K. Syuhada, PhD.

1.4 JENIS KEADAAN Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika ij > 0 untuk suatu n 0. Akibatnya, keadaan j dapat diakses dari keadaan i jika dan hanya jika dimulai dari keadaan i proses akn masuk ke keadaan j. Jika keadaan j tidak dapat diakses dari keadaan i maka peluang masuk ke keadaan j dari keadaan i adalah nol. Catatan: Dua keadaan i dan j yang saling akses satu sama lain dikatakan berkomunikasi (communicate). Notasi: i j. Sifat-sifat: 1. Keadaan i berkomunikasi dengan keadaan i untuk semua i 0 2. Jika keadaan i berkomunikasi dengan keadaan j maka keadaan j berkomunikasi dengan keadaan i 3. Jika keadaan i berkomunikasi dengan keadaan j dan keadaan j berkomunikasi dengan keadaan k maka keadaan i berkomunikasi dengan keadaan k Dua keadaan yang berkomunikasi dikatakan berada dalam kelas (class) yang sama. Setiap dua kelas dari keadaan-keadaan dapat identik (identical) atau saling asing (disjoint). Rantai Markov dikatakan tidak dapat direduksi (irreducible) jika hanya terdapat sebuah kelas dan semua keadaan berkomunikasi satu sama lain. 1. Diketahui matrik peluang transisi: 0.5 0.5 0 0.5 0.25 0.25 0 0.33 0.67 Apakah rantai Markov dengan peluang transisi diatas tidak dapat direduksi (irreducible)? 2. Apakah yang dapat anda katakan tentang rantai Markov dengan matriks peluang transisi berikut: 0.5 0.5 0 0 0.5 0.5 0 0 0.25 0.25 0.25 0.25 0 0 0 1 MA4081 Pros.Stok. 7 K. Syuhada, PhD.

Untuk setiap keadaan i, misalkan f i peluang bahwa dimulai dari keadaan i proses akan kembali ke keadaan i. Keadaan i dikatakan recurrent jika f i = 1. Dikatakan transient jika f i < 1. Jika keadaan i recurrent maka proses akan terus kembali ke keadaan i Jika keadaan i transient? f n 1 i (1 f i ), n 1? Misalkan { 1, Yn = i; I n = 0, Y n 1. Misalkan n=0 I n menyatkan banyaknya periode proses berada dalam keadaan i, dan ( ) E n=0 I n Y 0 = i = n=0 ii maka keadaan i adalah recurrent jika n=0 ii = ; transient jika n=0 ii < Jika keadaan i recurrent dan keadaan i berkomunikasi (communicate) dengan keadaan j maka keadaan j recurrent 1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks peluang transisi: 0 0 0.5 0.5 1 0 0 0 0 1 0 0 0 1 0 0 Tentukan keadaan mana yang recurrent dan keadaan mana yang transient! MA4081 Pros.Stok. 8 K. Syuhada, PhD.

2. Bagaimana dengan rantai Markov dengan matriks peluang transisi: 0.5 0.5 0 0 0 0.5 0.5 0 0 0 0 0 0.5 0.5 0 0 0 0.5 0.5 0 0.25 0.25 0 0 0.5? Misalkan ( ) P Y n = i, Y n 1 i,..., Y 1 i Y 0 = i = ii adalah peluang kembali ke keadaan i yang pertama di langkah ke-n, dan n=1 ii = f ii = f i adalah peluang kembali ke keadaan i. Definisi: Keadaan i adalah recurrent jika f i = 1, Keadaan i adalah transient jika f i < 1, Kita dapat juga mendefinisikan sbb: 1 f i = P (T i = Y 0 = i) f i = P (T i < Y 0 = i) dimana T i adalah waktu untuk kunjungan pertama ke keadaan i. Teorema: Jika N banyak kunjungan ke keadaan i diberikan Y 0 = i, maka Bukti: E(N Y 0 = i) = 1/(1 f i ) E(N Y 0 = i) = E(N T i =, Y 0 = i) P (T i = Y 0 = i) + E(N T i <, Y 0 = i) P (T i < Y 0 = i) ( ) = 1(1 f i ) + 1 + E(N Y 0 = i) f i MA4081 Pros.Stok. 9 K. Syuhada, PhD.