6.6 Rantai Markov Kontinu pada State Berhingga Markov chain kontinu 0 adalah proses markov pada state 0, 1, 2,.... Diasumsikan bahwa probabilitas transisi adalah stasioner, pada persamaan, (6.53) Pada bagian ini kita hanya mempertimbangkan kasus dimana state S berhingga, diberikan tanda {0, 1, 2,..., N}. Sifat Markov menyatakan bahwa memenuhi (a) 0 (b) 1, i,j=0,1,...,n dan (c) untuk, 0 (Chapman Kolmogorov relation) dan ditambahkan pernyataan bahwa (d) lim 1, 0, Jika menunjukkan matrik kemudian sifat (c) dapat ditulis dengan. 0 tersusun pada notasi matrik,, 0 (6.54) Sifat (d) menegaskan bahwa kontinu pada t=0 karena kenyataannya P(0) = (matrix identitas) dipenuhi pada (6.54). Dari persamaan (6.54) bahwa P(t) kontinu untuk semua t>0. Pada kenyataannya jika s=h>0 pada (6.54), dari sifat (d) kita peroleh lim lim 6.55 Dengan kata lain, untuk t>0 dan 0<h<t kita tulis (6.54) dengan bentuk (6.56) Tetapi P(h) mendekati identitas ketika h cukup kecil dan [invers dari P(h)] ada, dan juga mendekati identitas I. Oleh karena itu, lim lim (6.57) Hubungan limit (6.55) dan (6.57) menunjukkan bahwa P(t) adalah kontinu. Sebenarnya, P(t) tidak hanya kontinu tetapi juga differensiable dalam limit lim lim,, (6.58)
ada, dimana 0 < dan 0 <. Dimulai dengan hubungan 1,, Membagi dengan h, dan memisalkan h menurun menuju nol secara langsung menghasilkan hubungan., kecepatan q dan q mememberikan deskripsi yang sangat kecil dari proses dengan q h oh, 1 q h oh. Berbeda dengan deskripsi distribusi yang sangat kecil (infinitesimal), deskripsi singgah dari proses menghasilkan sebagai berikut: dimulai pada state i, proses singgah terdapat untuk durasi yang berdistribusi exponential dengan parameter q. Proses ini kemudian melompat ke state j i dengan probabilitas P q /q ; waktu singgah dengan state j berdistibusi exponential dengan parameter q, dan seterusnya. Urutan dari state-state yang dikunjungi dalam proses, dinotasikan ξ, ξ,,adalah Rantai Markov dengan parameter diskrit, disebut Markov Chain Embedded. Dikondisikan pada urutan state,,, waktu singgah berturut-turut,,, masing masing adalah variable independen berdistribusi exponential dengan parameter,,, berturut-turut. Dengan asumsi bahwa (6.58) terbukti kita dapatkan sebuah pernyataan eksplisit untuk pada bentuk matrix yang sangat kecil (infinitesimal). Hubungan limit (6.58) dapat dinyatakan secara singkat kedalam bentuk matrix lim 6.59 yang menunjukkan bahwa A adalah turunan matrix dari saat 0. Dapat dirumuskan 0.
Dengan bantuan dari (6.59) dan mengacu pada (6.54) kita dapatkan 6.60 Limit yang berada disebelah kanan dan menjadi persamaan diferensial matrix 6.61 dimana menunjukkan elemen matrix /. Keberadaan adalah sebuah konsekuensi yang jelas dari (6.59) dan (6.60). Contoh : Rantai Markov dua state. Berdasarkan rantai Markov dengan state 0,1 yang matrixnya sangat kecil (infinitesimal) adalah 0 1 0 1 Proses ini bergantian antara state 0 dan 1. Waktu singgah pada state 0 adalah independen dan berdistribusi eksponensial dengan parameter. Pada state 1 adalah independen dan berdistribusi eksponensial dengan parameter. Pada kasus khusus, persamaan diferensial matrix (6.61) menjadi, elemen pertama dari persamaan diatas adalah 6.62 selanjutnya 1, yang terdapat pada (6.62) memberikan. Misalkan. Kemudian
yang dapat diintegralkan secara langsung sehingga menghasilkan Kondisi awal 0 1 menentukan integrasi konstan menjadi /. Sehingga dan 6.63 Karena 1, kita dapatkan 6.64 dan, dengan simetri 6.65 6.66 Kembali pada rantai Markov umum pada state 0, 1,,, persamaan diferensial (6.61) berdasarkan kondisi awal 0 dapat diselesaikan dengan metode standard untuk menghasilkan formula Ι Α t! 6.67
Ketika rantai markov irreducible (semua state terhubung) maka 0 untuk,,, dan lim 0 ada dengan independen dari state awal i. Distribusi limitnya dapat ditemukan dengan menghilangkan limit pada (6.61), mengingat bahwa lim 0. Hasil persamaan untuk,,, adalah 0 Α,,, yang sama seperti, 0, 1,, 6.68 Persamaan (6.68) bersama dengan 1 6.69 menentukan distribusi limitnya. Persamaan (6.68) mempunyai interpretasi keseimbangan massa yang membantu kita dalam memahaminya. Pada ruas kiri menjelaskan tingkat jangka panjang ( the long run rate) pada partikel tersebut yang mengeksekusi proses rantai Markov yang bergerak pada state j. Tingkat ini harus sama dengan tingkat jangka panjang ( the long run rate) pada partikel yang datang pada state j jika keseimbangan harus dipertahankan. Dengan kedatangan suatu partikel harus dari state, dan sebuah partikel bergerak dari state ke state j pada tingkat. Oleh karena itu, pada ruas kanan memberikan total tingkat partikel yang datang. Contoh Pergerakan Industri dan Prinsip Peter. Misalkan kita anggap bahwa sebuah posisi penggambar pada sebuah perusahaan mesin yang besar dapat ditempati oleh seorang pekerja pada setiap tiga level : T=Trainee, J=Junior, dan S=Senior Penggambar. Misalkan X(t) menunjukkan tingkat seseorang pada posisi waktu t, dan anggap bahwa X(t) muncul sebagai rantai Markov dimana matriks yang sangat kecil
A= 0 0 Sehingga seorang Trainee tetap pada urutannya untuk distribusi waktu secara eksponensial yang mempunyai parameter dan kemudian menjadi penggambar Junior. Seorang penggambar Junior tetap pada level untuk sebuah rentang waktu yang berdistribusi eksponensial berparameter. Kemudian penggambar Junior meninggalkan posisi dan digantikan oleh Trainee dengan probabilitas, atau dipromosikan untuk penggambar Senior dengan probabilitas, dan seterusnya. Sebagai alternatifnya, kita boleh mendeskripsikan model dengan menentukan perpindahan pada interval waktu pendek sesuai dengan Pr, Pr, Pr, Pr, dan Pr 1, untuk i = T, J,S Persamaan untuk distribusi kesetimbangan (,, ) sesuai dengan (6.68) 1 dan penyelesaiannya,,,
Misal kita anggap contoh numerik untuk perbandingan dengan sebuah model alternatif yang terbentuk kemudian. Kita anggap bahwa rata-rata waktu pada ketiga state adalah State Waktu Rata-Rata T 0.1 J 0.2 S 1.0 dan bahwa penggambar Junior tetap dan digantikan oleh Trainee dengan probabilitasnya dan dipromosikan untuk penggambar Senior dengan probabilitas. Anggapan ini mengarah pada penyelesaian 10, 2, 3, 1. Probabilitas kesetimbangannya adalah dan 15 15 110 103 5 0.11 45 10 0.22 45 =0.67 Tapi durasi yang dihabiskan orang dalam posisi yang diberikan secara umum tidak berdistribusi eksponensial. Distribusi bimodal adalah sering kali diamati pada banyak orang pergi agak cepat, sementara yang lain bertahan untuk waktu yang penting (substansial). Sebuah penjelasan yang mungkin untuk fenomena ini adalah ditemukan pada Prinsip Peter, dimana menyatakan bahwa seorang pekerja dipromosikan sampai akhirnya mencapai sebuah posisi dimana dia tidak kompeten. Ketika hal ini terjadi, pekerja tetap dalam pekerjaannya tersebut sampai pensiun. Kemudian kita modifikasi model pergerakan industri untuk mengakomodasikan Prinsip Peter dengan mempertimbangkan dua jenis dari penggambar Junior, Kompeten dan Tidak kompeten. Kita anggap bahwa p sebagian kecil dari Trainee yang kompeten, dan q = 1-p adalah Tidak Kompeten. Kita anggap bahwa penggambar Junior Kompeten tetap pada level untuk durasi berdistribusi eksponensial dengan parameter dan kemudian dipromosikan ke penggambar Senior. Akhirnya, seorang penggambar Junior yang tidak kompeten tetap pada posisinya sampai ia pensiun, sebuah persinggahan berdistribusi eksponensial dengan parameter, dan kemudian dia digantikan oleh seorang Trainee. Matriks yang sangat kecil yang relevan didapatkan oleh
Durasi pada posisi penggambar Junior sekarang mengikuti hukum probabilitas yang merupakan campuran dari densitas eksponensial. Untuk membandingkan model ini dengan model sebelumnya, misalkan,, 2.86, dan 10. Angka tersebut dipilih sehinngga membuat durasi rata-rata sebagai penggambar Junior, 1 1 3 5 0.10 2 0.35 0.2 5 4.0 2.0 1.0 0.6 0.4 0.2 0.1 0.06 0.04 0.02 0 0.2 0.4 0.6 0.8 1.0 Gambar 6.6. Densitas eksponensial (garis lurus) versus densitas eksponensial campuran (garis kurva). Kedua distribusi mempunyai rata-rata yang sama. Sebuah skala logaritmik digunakan untuk menunjukkan perbedaan. Sama dengan penghitungan sebelumnya. Densitas probabilitas durasi ini adalah 10 2.86. untuk 0.
Densitas ini digambarkan pada Gambar 6.6 untuk perbandingan dengan densitas eksponensial 5, yang memiliki rata-rata yang sama. Kecenderungan bimodal diindikasikan pada ketika mendekati nol dan sangat besar. Dengan angka yang telah didapatkan dan 10 dan 1 seperti sebelumnya, distribusi stasioner (,,, ) didapatkan dengan menyelesaikan Penyelesaiannya 0.111, 0.155 0.667, 0.067 10 2.86, 1 2.86 4, 10 6, 1 10, 1. Kita gunakan dua pengamatan sebelum meninggalkan contoh ini. Pertama, limit probabilitas,, dan = tepat antara dua model. Ini adalah kejadian umum dalam pemodelan stokastik, dimana dalam perilaku limit dari sebuah proses agak sensitif terhadap rincian tertentu tentang model dan bergantung hanya pada kejadian pertama atau probabilitas. Ketika hal ini terjadi, asumsi model matematika dapat ditentukan. Pengamatan kedua adalah pokok dari Prinsip Peter. Kita mengasumsikan bahwa dari Trainee adalah pengggambar Junior yang kompeten dan hanya yang Tidak Kompeten. Namun dalam jangka panjang, seorang Penggambar Junior ditemukan tidak kompeten dengan probabilitas = 0.155/(0.155+0.067)= 0.70! Contoh Redundansi dan Fenomena Burn-in Sebuah sistem reservasi maskapai memiliki dua online, dan satu cadangan. Komputer gagal beroperasi setelah durasi berdistribusi eksponensial memiliki parameter dan digantikan dengan cadangan. Ada satu fasilitas perbaikan dan waktu perbaikan yang berdistribusi eksponensial dengan parameter. Anggap adalah jumlah komputer dalam kondisi operasi pada waktu t. Kemudian adalah sebuah rantai Markov dengan matriks yang sangat kecil
0 1 2 Distribusi stasioner,, memenuhi,,,, 0 1 2 0 0 1, 1 1 / / 1 / / 1 / Ketersediaan atau probabilitas bahwa setidaknya satu computer sedang beroperasi adalah 1. Sering kali dalam praktek asumsi dari distribusi eksponensial tidak realistis maka dari itu disebut fenomena burn-in. Ide ini paling baik dijelaskan dari segi laju hazard (bahaya) dihubungkan dengan fungsi densitas probabilitas (pdf) dari waktu kegagalan non negatif waktu T. Mengingat bahwa mengukur probabilitas bersyarat yang gagal dalam interval selanjutnya diberikan, itu terus maju ke waktu t, dan oleh karena itu kita mempunyai, untuk 0 Dimana F(t) adalah fungsi comulatif probabilitas (cdf) dengan fungsi densitas probabilitas (pdf)f(t). Laju hazard konstan untuk semua t yang sesuai untuk fungsi densitas probabilitas eksponensial untuk 0. Fenomena burn-in digambarkan oleh laju hazard dengan awal yang tinggi dan kemudian menurun ke level yang konstan,
dimana masih terjadi, mungkin kemudian muncul lagi. Itu sesuai pada situasi barang pabrik baru atau baru diperbaiki memiliki probabilitas yang signifikan dari kegagalan awal penggunaannya. Jika item ini bertahan dalam periode ini, bagaimanapun juga akan dioperasikan secara eksponensial. Kesalahan awal mungkin sesuai dalam kegagalan memproduksi atau perbaikan yang salah atau mungkin properti lain yang digunakan. Setiap orang kenal dengan perbaikan automobile yang mempunyai pengalaman fenomena burn-in. Salah satu cara yang mungkin banyak model fenomena burn-in adalah menggunakan campuran dari densitas eksponensial. r(t) 2 1.2.4.6.8 Gambar 6.7 laju hazard sesuai dengan densitas diberikan pada (6.70). laju hazard tertinggi pada 1 nilai awal merupakanfenomena burn-in., 0 (6.70) dimana 0 1 1 dan, adalah positif. Fungsi densitas untuk 0.1, 10, 0.9, dan 0.909 1 1.1 berarti satu. Laju hazard digambarkan dalam gambar 6.7 dimana level awal burn-in tertinggi adalah jelas. Mungkin kita menggabungkan kecocokan fenomena burn-in ke campuran densitas eksponensial (6.70) dengan mengembangkan state yang ditunjukkan dalam tabel :
Notasi 0 1 1 2 2 State Keduanya rusak 1 operasi, mempunyai parameter 1 operasi, mempunyai parameter 2 operasi, mempunyai parameter 2 operasi, mempunyai parameter Persamaan (6.70) bersesuaian untuk probabilitas bahwa operasi akan dimulai dalam distribusi eksponensial dengan parameter dan probabilitas dengan parameter. Karena itu mempunyai matriks seperti ini : 0 1 1 2 2 0 1 1 2 2 Distribusi stasioner dapat ditentukan dengan cara yang biasa dengan mengaplikasikan (6.69) Contoh Soal : Cuaca kota Bekasi dapat diperkirakan sebagai berikut 1. Jika hari ini cerah maka besok akan berpeluang 60% cuaca cerah, 30% berawan, dan 10% akan turun hujan. 2. Jika hari ini berawan maka besok akan berpeluang 40% cuaca cerah, 45% berawan, dan 15% akan turun hujan. 3. Jika hari ini hujan maka besok akan berpeluang 15% cuaca cerah, 60% berawan, dan 25% akan turun hujan Jika pada hari Jumat hujan maka perkiraan cuaca hari Senin adalah? Penyelesaian : Time Markov Chain terdapat 3 fase, kita misalkan 1= cerah, 2= berawan, 3= hujan, dan sebelum hari Jumat kita anggap 0, maka π ( 0) = (0,0 1, )
.6.3.1 A =.4.45.15 Matrik transisi.15.6.25 Cuaca pada hari Sabtu π (1).6.3.1 π ( 1) = π (0) A = (0,0,1).4.45.15 =.15.6.25 (.15,.6,.25 ) maka 15% peluang akan cerah, 60% akan berawan, dan 25% hujan Cuaca pada hari Minggu π (2).6.3.1 π ( 2) = π (1) A = (.15,.6,.25).4.45.15 =.15.6.25 Cuaca pada hari Senin π (3) π ( 3) = π (2) A = (.4316,.42,.1484) (.3675,.465,.1675 ) maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan.