Bab 6: Rantai Markov Waktu Kontinu Atina Ahdika, S.Si, M.Si Statistika FMIPA Universitas Islam Indonesia 2015
Pendahuluan Rantai Markov Waktu Kontinu Pendahuluan Pada bab ini, kita akan belajar mengenai rantai markov waktu kontinu yang analog dengan rantai markov diskrit yang telah dibahas sebelumnya. Rantai markov waktu kontinu juga memiliki sifat Markov, yaitu diberikan keadaan sekarang, maka keadaan pada masa yang akan datang saling bebas dengan keadaan pada masa lampau.
Pendahuluan Salah satu contoh dari rantai markov waktu kontinu telah kita temui sebelumnya, yaitu proses Poisson. Misalkan banyaknya kedatangan sampai waktu t (yaitu N t ) adalah keadaan dari suatu proses pada waktu t, maka proses Poisson merupakan rantai Markov waktu kontinu dengan keadaan-keadaan 0, 1, 2,... di mana keadaan selalu bertambah dari keadaan n ke keadaan n + 1, n 0. Proses demikian dikenal dengan istilah proses kelahiran murni karena ketika sebuah transisi terjadi, maka keadaan akan selalu bertambah satu.
Pendahuluan Lebih jauh lagi, model Eksponensial yang dapat berpindah hanya dari keadaan n baik ke keadaan n 1 maupun ke keadaan n + 1 dalam satu kali transisi dinamakan model kelahiran-kematian. Untuk model tersebut, transisi dari keadaan n ke keadaan n + 1 dianggap sebagai proses kelahiran, sedangkan transisi dari keadaan n ke keadaan n 1 dianggap sebagai proses kematian.
Pendahuluan Model kelahiran dan kematian secara luas banyak diaplikasikan pada studi tentang sistem biologi dan studi tentang sistem antrian di mana keadaan yang ada merepresentasikan banyaknya nasabah dalam sistem.
Rantai Markov Waktu Kontinu Proses Markov Misalkan suatu proses stokastik waktu kontinu {X t, t 0} bernilai bilangan bulat tak negatif. Sesuai analogi dengan definisi rantai Markov waktu diskrit, suatu proses {X t, t 0} adalah rantai Markov waktu kontinu (RMWK) jika untuk semua s, t 0 dan bilangan bulat tak negatif i, j, x u, 0 u < s P(X t+s = j X s = i, X u = x u, 0 u < s) = P(X t+s = j X s = i) Dengan kata lain, sebuah RMWK adalah suatu proses stokastik yang memiliki sifat Markov yaitu peluang bersyarat dari keadaan X t+s diberikan keadaan sekarang X s dan keadaan pada masa lampau X u, 0 u < s, hanya bergantung pada keadaan pada masa sekarang dan saling bebas dengan keadaan pada masa lampau.
Proses Markov Sebagai tambahan, jika P(X t+s = j X s = i) saling bebas dari s, maka RMWK dikatakan memiliki peluang transisi homogen atau stasioner. Semua rantai Markov pada materi ini akan diasumsikan memiliki peluang transisi stasioner.
Proses Markov Misalkan sebuah RMWK masuk ke keadaan i pada suatu waktu, misalkan, waktu 0, dan misalkan proses tersebut tidak meninggalkan keadaan i (tidak terjadi transisi) selama 10 menit ke depan. Berapa peluang bahwa proses tidak akan meninggalkan keadaan i selama 5 menit selanjutnya? Karena proses berada di keadaan i pada waktu 10, maka berdasarkan sifat Markov, peluang bahwa proses akan tetap berada di keadaan i selama interval [10, 15] merupakan peluang (tak bersyarat) bahwa proses tetap berada di keadaan i selama minimal 5 menit. Misalkan T i menyatakan lamanya waktu proses berada di keadaan i sebelum berpindah ke keadaan lain, maka P(T i > 15 T i > 10) = P(T i > 5) atau secara umum, P(T i > s + t T i > s) = P(T i > t) untuk semua s, t 0. Dengan demikian, peubah acak T i bersifat memoryless dan berdistribusi eksponensial.
Proses Markov Perhatikan proses Markov (stasioner) dengan ruang parameter kontinu (parameternya biasanya adalah waktu). Transisi dari satu keadaan ke keadaan lain dapat terjadi dalam waktu yang singkat. Berdasarkan sifat Markov, waktu yang dihabiskan dalam sebuah sistem diberikan sebarang keadaan bersifat memoryless; distribusi dari waktu yang tersisa bergantung semata-mata hanya pada keadaan namun tidak pada lamanya waktu yang telah dihabiskan di keadaan tersebut.
Proses Markov Sebuah proses Markov X t ditentukan oleh matriks generator atau matriks laju transisi. q i,j = lim t 0 P(X t+ t = j X t = i), i j t Peluang per satuan waktu bahwa sistem melakukan transisi dari keadaan i ke keadaan j laju transisi atau intensitas transisi Total laju transisi keadaan i adalah q i = j i q i,j, umur suatu keadaan Eksp(q i ) Berikut ini adalah laju di mana peluang keadaan i berkurang. Definisikan q i,i = q i
Matriks Laju Transisi Matriks Laju Transisi Matriks laju transisi dituliskan sebagai berikut q 0,0 q 0,1 q 0 q 0,1 Q = q 1,0 q 1,1 = q 1,0 q 1.......... Jumlah tiap baris adalah nol.
Laju Transisi dan Peluang Transisi Matriks Laju Transisi Kaitan antara laju transisi dengan peluang transisi adalah sebagai berikut p i,j = lim P(X t+ t = j X t+ t i, X t = i) t 0 P(X t+ t = j, X t+ t i X t = i) = lim t 0 P(X t+ t i X t = i) i,j q i,j i j = jq 0 i = j
Matriks Laju Transisi Jika dituliskan dalam bentuk matriks peluang transisi, maka 0 q 0,1 q 0,2 q i,j q i,j j i j i q P = 1,0 q q i,j 0 1,2 q i,j j i j i...... Total jumlah per baris adalah satu.
Peluang Keadaan Rantai Markov Waktu Kontinu Matriks Laju Transisi Vektor peluang keadaan π i (t) = P(X t = i) sekarang adalah fungsi yang bergantung waktu, yaitu d π(t) = π(t) Q dt dengan π(t) = (π 0 (t) π 1 (t) π 2 (t) ) Berdasarkan sistem persamaan diferensial, misalkan π(t) = Ce Qt, maka d dt π(t) = d dt (CeQt ) = QCe Qt = Qπ(t)
Matriks Laju Transisi Misalkan nilai awal C = π(0), maka solusi formal untuk vektor peluang keadaan yang bergantung waktu adalah π(t) = π(0)e Qt
Global Balance Conditions Matriks Laju Transisi Solusi stasioner π = lim t π(t) tidak tergantung waktu, dengan demikian π Q = 0 Kondisi kesetimbangan tersebut memperlihatkan kesetimbangan antara peluang kejadian masuk dan kejadian keluar dari i.
Matriks Laju Transisi q 0 q 0,1 q 0,2 π Q = (π 0 π 1 π 2 ) q 1,0 q 1 q 1,2 = 0...... q 0 π 0 + q 1,0 π 1 + q 2,0 π 2 +... = 0 q 0,1 π 0 q 1 π 1 + q 2,1 π 2 +... = 0. Jika bagian yang negatif dipindah ruas ke kanan, maka q 1,0 π 1 + q 2,0 π 2 +... = q 0 π 0 q 0,1 π 0 + q 2,1 π 2 +... = q 1 π 1.
Matriks Laju Transisi Secara umum, kita peroleh persamaan kesetimbangan tersebut yaitu Untuk baris ke-j q j π j = i j π i q i,j atau dengan kata lain q j,i π j = i j i j π j q j,i = i j i j π i q i,j π i q i,j
Proses Kelahiran-Kematian Proses Kelahiran-Kematian Perhatikan sebuah sistem di mana keadaan di setiap waktu direpresentasikan oleh banyaknya orang yang berada dalam sistem tersebut. Misalkan setiap kali ada i orang dalam sistem, maka kedatangan baru masuk ke dalam sistem dengan laju eksponensial sebesar λ i orang meninggalkan sistem dengan laju eksponensial sebesar µ i
Proses Kelahiran-Kematian Dengan kata lain, setiap kali ada i orang di dalam sistem, maka waktu sampai kedatangan berikutnya berdistribusi eksponensial dengan mean 1 λ i dan saling bebas dengan waktu sampai keberangkatan berikutnya di mana keberangkatan tersebut berdistribusi eksponensial dengan mean 1 µ i. Sistem seperti ini disebut proses kelahiran-kematian. Parameter {λ i } i=0 dan {µ i } i=1 secara berturut-turut adalah laju kedatangan (kelahiran) dan laju keberangkatan (kematian).
Proses Kelahiran-Kematian Dengan demikian, sebuah proses kelahiran-kematian merupakan RMWK dengan keadaan {0, 1,...} di mana transisi dari keadaan i hanya bisa berpindah ke keadaan j = i + 1 atau j = i 1. λ i jika j = i + 1 q i,j = µ i jika j = i 1 0 lainnya Atau jika digambarkan
Proses Kelahiran-Kematian Matriks untuk Q adalah λ 0 λ 0 0 0... µ 1 (λ 1 + µ 1 ) λ 1 0... Q = 0 µ 2 (λ 2 + µ 2 ) λ 2... 0 0 µ 3 (λ 3 + µ 3 )..........
Proses Kelahiran-Kematian Dengan menggunakan hubungan di atas, maka diperoleh matriks P sebagai berikut 0 1 0 0... µ 1 λ λ 1 +µ 1 0 1 λ 1 +µ 1 0... µ P = 0 2 λ λ 2 +µ 2 0 2 λ 2 +µ 2... µ 0 0 3 λ 3 +µ 3 0..........
Proses Kelahiran-Kematian Dengan demikian, diperoleh hubungan antara laju transisi dengan peluang transisinya secara umum adalah: P 01 = 1 λ i P i,i+1 =, i > 0 λ i + µ i P i,i 1 = µ i, i > 0 λ i + µ i
Peluang Kesetimbangan Proses Kelahiran-Kematian Peluang Kesetimbangan Proses Kelahiran-Kematian Untuk menyelesaikan kasus di atas, kita akan menggunakan global balance condition pada keadaan-keadaan 0, 1,..., k. Berdasarkan kesetimbangan proses masuk dan keluar, maka λ k π k = µ k+1 π k+1, k = 0, 1, 2,... Selanjutnya kita peroleh bentuk rekursif π k+1 = λ k µ k+1 π k Berdasarkan persamaan rekursif di atas, kita bisa menuliskan semua peluang keadaan dalam bentuk π 0 yaitu π k = λ k 1 λ k 2... λ 0 π 0 = Π k 1 i=0 π 0 µ k µ k 1... µ 1 µ i+1 λ i
Peluang Kesetimbangan Proses Kelahiran-Kematian Ingat! Peluang keadaan memiliki sifat π k = 1. Dengan menggunakan sifat tersebut, kita peroleh k=0 k=0 π k = π 0 + k=1 1 = π 0 [1 + 1 π 0 = 1 + k=1 Π k 1 i=0 k=1 Π k 1 i=0 λ i µ i+1 π 0 Π k 1 i=0 λ i µ i+1 λ i µ i+1 Setelah memperoleh nilai π 0, maka kita juga bisa mendapatkan nilai dari π k. ]
Contoh Rantai Markov Waktu Kontinu Peluang Kesetimbangan Proses Kelahiran-Kematian 1. Misalkan suatu proses kelahiran dan kematian memiliki konstan birth rate λ = 2 dan konstan death rate µ = 3. Tentukan nilai π 0 dan π k pada model tersebut dengan menggunakan analisis persamaan kesetimbangan!
Peluang Kesetimbangan Proses Kelahiran-Kematian Solusi: Perhatikan proses berikut
Peluang Kesetimbangan Proses Kelahiran-Kematian Dengan menggunakan persamaan kesetimbangan diperoleh 2π 0 = 3π 1 π 1 = 2 3 π 0 2π 1 = 3π 2 π 2 = 2 3 π 1 =. 2π k 1 = 3π k π k = ( ) 2 k π 0 3 ( ) 2 2 π 0 3
Selanjutnya, gunakan sifat π k = 1 π k = k=0 k=0 k=0 Peluang Kesetimbangan Proses Kelahiran-Kematian ( ) 2 k π 0 3 ( ) 2 k 3 k=1 ( ) ] 2 k 3 1 = π 0 + π 0 1 = π 0 [1 + π 0 = 1 1 + k=1 k=1 ( 2 ) = 1 k 1 + 2 = 1 3 3 Substitusikan nilai π 0 ke dalam persamaan π k sehingga diperoleh ( ) 2 k π k = π 0 = 1 ( ) 2 k 3 3 3
Peluang Kesetimbangan Proses Kelahiran-Kematian 2. Misalkan di sebuah Bank terdapat tiga orang teller dan dua buah kursi tunggu. Misalkan setiap nasabah datang dengan laju λ dan waktu layanan di setiap teller adalah sebesar µ. Hitunglah peluang bahwa tidak ada nasabah yang datang ke Bank jika diketahui λ = 1 dan µ = 2! Tentukan pula peluang terdapat 4 nasabah di dalam Bank!
Peluang Kesetimbangan Proses Kelahiran-Kematian Solusi: Perhatikan ilustrasi berikut:
Peluang Kesetimbangan Proses Kelahiran-Kematian Jadi, prosesnya dapat digambarkan dalam diagram:
Peluang Kesetimbangan Proses Kelahiran-Kematian Maka λπ 0 = µπ 1 π 1 = λ µ π 0 λπ 1 = 2µπ 2 λπ 2 = 3µπ 3 λπ 3 = 3µπ 4 λπ 4 = 3µπ 5 π 2 = λ 2µ π 1 = 1 2 π 3 = λ 3µ π 2 = 1 6 π 4 = λ 3µ π 3 = 1 18 π 5 = λ 3µ π 4 = 1 54 ( ) λ 2 π 0 µ ( ) λ 3 π 0 µ ( ) λ 4 π 0 µ ( ) λ 5 π 0 µ
Peluang Kesetimbangan Proses Kelahiran-Kematian Dengan menggunakan sifat jumlah total peluang maka diperoleh π 0 + λ µ π 0 + 1 2 [ π 0 ( ) λ 2 π 0 + 1 µ 6 1 + λ µ + 1 2 ( λ µ ( ) λ 3 π 0 + 1 ( ) λ 4 π 0 + 1 ( ) λ 5 π 0 = 1 µ 18 µ 54 µ ) 2 + 1 ( ) λ 3 + 1 ( ) λ 4 + 1 ( ) ] λ 5 = 1 6 µ 18 µ 54 µ Diketahui λ = 1 dan µ = 2, maka peluang tidak ada nasabah datang ke Bank adalah [ π 0 1 + 1 2 + 1 2.1 4 + 1 6.1 8 + 1 18. 1 16 + 1 54. 1 ] = 1 32 1.6499π 0 = 1 π 0 = 0.606
Peluang Kesetimbangan Proses Kelahiran-Kematian Selanjutnya, peluang terdapat empat nasabah di Bank adalah: π 4 = 1 54 ( ) λ 5 π 0 µ = 1 54. 1 32.0.606 = 0.0003507
Peluang Kesetimbangan Proses Kelahiran-Kematian 3. (Model Perbaikan Sebuah Mesin) Di dalam sebuah toko terdapat M mesin dan seorang tukang. Misalkan lamanya waktu untuk masing-masing mesin bekerja sebelum akhirnya rusak berdistribusi Eksponensial dengan rate λ dan lamanya waktu mesin tersebut diperbaiki oleh tukang berdistribusi Eksponensial dengan rate µ. Berapa peluang bahwa sebanyak n mesin akan tidak digunakan? Berapa rata-rata banyaknya mesin yang tidak digunakan? (Petunjuk: Gunakan persamaan kesetimbangan untuk menyelesaikan masalah tersebut, keadaannya menyatakan banyaknya mesin yang rusak).
Peluang Kesetimbangan Proses Kelahiran-Kematian Solusi: Misalkan sistem berada di keadaan n jika sebanyak n mesin tidak digunakan, maka proses tersebut merupakan proses birth and death dengan parameter: µ n = µ n 1 { (M n)λ n M λ n = 0 n > M
Peluang Kesetimbangan Proses Kelahiran-Kematian Proses tersebut dapat digambarkan sebagai berikut:
Peluang Kesetimbangan Proses Kelahiran-Kematian Dengan menggunakan persamaan kesetimbangan maka, Mλπ 0 = µπ 1 π 1 = Mλ µ π 0 (M 1)λπ 1 = µπ 2 π 2 = (M 2)λπ 2 = µπ 3 π 3 = (M n)λπ n = µπ n+1. Secara umum diperoleh π n yaitu (M 1)λ (M 1)Mλ2 π 1 = µ µ 2 π 0 (M 2)λ (M 2)(M 1)Mλ3 π 2 = µ µ 3 π 0 (M n + 1)(M n + 2)... (M 1)Mλn π n = µ n π 0 ( ) M! λ n = π 0 (M n)! µ
Peluang Kesetimbangan Proses Kelahiran-Kematian Selanjutnya gunakan sifat M π n = 1 sehingga diperoleh: M π n = n=0 n=0 M n=0 M! (M n)! 1 = π 0 + π 0 M 1 = π 0 [1 + π 0 = 1 + M n=1 n=1 M n=1 1 ( ) λ n π 0 µ M! (M n)! M! (M n)! ( ) n M! λ (M n)! µ ( ) λ n µ ( ) ] λ n µ
Peluang Kesetimbangan Proses Kelahiran-Kematian Substitusikan nilai π 0 ke dalam persamaan π n dan diperoleh peluang bahwa sebanyak n mesin tidak digunakan yaitu π n = M! (M n)! ( ) λ n π 0 = µ ( ) n M! λ (M n)! µ 1 + M n=1 M! (M n)! ( λ µ ) n
Peluang Kesetimbangan Proses Kelahiran-Kematian Selanjutnya, rata-rata banyaknya mesin yang tidak digunakan adalah M nπ n = n=0 M n=0 1 + M ( ) n n M! λ (M n)! µ ( ) n M! λ (M n)! µ n=1
Peluang Kesetimbangan Proses Kelahiran-Kematian 4. Di dalam suatu kantor kecamatan, terdapat tiga petugas yang melayani proses pembuatan KK (P 1, P 2, P 3 ). Setiap warga yang akan mengurus KK harus menyelesaikan urusan kelengkapan administrasi di P 1, kemudian perekapan data di P 2, dan terakhir adalah tandatangan serta menerima berkas KK sementara di P 3. Petugas P 1 melayani dengan laju µ = 3, petugas P 2 dengan laju µ = 2, dan petugas P 3 dengan laju µ = 4. Setiap warga datang ke kantor kecamatan dengan laju λ = 3. Berapa peluang ada n orang di dalam kantor kecamatan?
Pustaka Pustaka Pustaka Ross, Sheldon M. 2007. Introduction to Probability Models; 9th Edition. New York: Academic Press. Taylor, Howard M. dan Samuel Karlin. 1975. A First Course in Stochastic Processes; Second Edition. New York: Academic Press. Virtamo, J. 38.143 Queueing Theory/ Probability Theory.