Penelitian Operasional II Rantai Markov 49 4. RANTAI MARKOV 4. PENDAHULUAN Dalam masalah pengambilan suatu keputusan, seringkali kita diperhadapkan dengan suatu ketidakpastian. Permasalahan ini dapat dimodelkan secara matematis asalkan ketikdakpastian tersebut memiliki pola yang teratur sehingga dapat dinyatakan sebagai sebuah model probabilistik. 4.2 PROSES STOKASTIK Suatu proses stokastik dapat didefinisikan sebagai kumpulan peubah acak berindex {X t }, dimana index t bergerak sepanjang himpunan T yanag diberikan. Seringkali T merupakan himpunan bilangan bulat tak negatif dan X t mewakili suatu karakteristik yang terukur pada waktu t. Contoh 4.: X t : Dapat menyatakan tingkat inventori dalam tiap minggu (atau bulan) dari suatu produk, atau dapat pula menyatakan jumlah permintaan dari produk tersebut tiap minggu (atau bulan). Jika T adalah himpunan yang dapat dihitung (countable set) maka proses stokastik tersebut dikatakan sebagai Proses stokastik dengan waktu diskrit, misalnya {X t, t=,, }. Jika T adalah suatu interval pada garis real, maka proses stokastik tersebut dikatakan sebagai proses stokastik dengan waktu kontinu, misalnya {X t, t }. Index T seringkali menyatakan waktu, karena itu X t disebut sebagai keadaan (state) dari proses pada saat t. Secara ringkas proses stokastitik dapat didefinisikan sebagai berikut : Definisi 4.2: Proses Stokastik merupakan serangkaian random variabel yang berubah terhadap waktu pengamatan. { X(t), t T} dimana : X(t) = state (keadaan) yang acak t = waktu (saat pengamatan) Contoh 4.3: Sebuah toko kamera memiliki stok dari suatu model kamera tertentu yang dapat dipesan mingguan. Misalkan: D, D 2, mewakili permintaan kamera tersebut selama minggu ke-, ke-2, dan asumsikan bahwa D i independen dan probabilitas distribusinya diketahui, misalnya X adalah jumlah kamera yang ada
Rantai Markov 5 Penelitian Operasional II pada keadaan awal (merupakan maksimum level inventori), X adalah jumlah kamera pada akhir minggu I, X 2 adalah jumlah kamera pada akhir minggu II, dst. Asumsikan X = 3. Minggu malam toko tersebut melakukan pemesanan kamera dan akan dikirimkan pada hari Senin. Toko ini menggunakan kebakan (s,s * ) yaitu jika jumlah kamera yang ada pada akhir minggu kurang dari s= (tidak ada stok kamera) maka toko akan memesan S=3. Pada kondisi lain toko tidak melakukan pemesanan (jika stok kamera ada, toko tidak memesan). Diasumsikan bahwa penjualan akan rugi jika permintaan melebihi persediaan yang ada. Kasus ini merupakan proses stokastik {X t } dengan t =,, state yang ada pada kasus ini adalah,,2,3 yang mewakili jumlah kamera yang mungkin ada pada akhir minggu. Peubah acak X t bukan merupakan peubah bebas dan dapat dinyatakan secara iteratif sebagai berikut : X t+ = max{(3 Dt + ),} max{(xt Dt+ ),} Xt < X t 4.3 RANTAI MARKOV Suatu proses stokastik {X t } dikatakan memiliki sifat markov jika : P{X t+ = j X = k, X = k, X t- = k t-, X t = I} = P{X t+ = j X t = i} Untuk t =,, dan untuk tiap i, j, k, k,., k t-. Sifat markov ini dikatakan sebagai berikut : Bahwa probabilitas bersyarat dari kejadian di masa mendatang, jika diketahui kejadian dimasa lalu dan kondisi saat ini X t = i, adalah tidak tergantung pada masa lalu dan hanya tergantung pada kondisi dari proses saat ini Probabilitas bersyarat P{X t+ = j X t = i} dikatakan sebagai probabilitas transisi. Jika untuk setiap i dan j : P{X t+ = j X t = i} = P{X = j X = i}, untuk semua t =,,.. maka probabilitas transisi ( langkah) dikatakan stasioner, (probabilitas transisi tidak berubah terhadap waktu) dinotasikan dengan p. Jika untuk setian i dan j : P{X t+ = j X t = i} = P{X n = j X = i}, untuk semua t =,,.. Probabilitas bersyarat ini dinotasikan dengan p dan disebut sebagai probabilitas transisi n-langkah. p : probabilitas bersyarat dimana peubah acak X, dimulai dari state i, akan berapa pada state j setelah tepat n langkah (unit waktu). karena p adalah probabilitas bersyarat maka harus memenuhi sifat-sifat : p i dan j, n =,,2, (sifat ketidaknegatifan)
Penelitian Operasional II Rantai Markov 5 m j= p = i dan j n =,,2, (jumlahan dari probabilitas = ) Matriks transisi n langkah : state M p p P = p p............... M p m p m p m p m p mm Definisi 4.4 : Rantai Markov Suatu proses stokastik {X t, t =,,..} dikatakan merupakan suatu rantai markov dengan state terbatas (finite state markov chain) jika memiliki sifat-sifat sebagai berikut : () Memiliki jumlah state yang terbatas (2) Memiliki sifat markov (3) Probabilitas transisinya stasioner (4) Memiliki himpunan probabilitas awal P{X = i} i Contoh 4.5: Dari contoh 4.3, {X t } merupakan proses stokastik dengan X t : Jumlah kamera yang mungkin ada pada akhir minggu ke-t (sebelum pesanan diterima) Tentukan probabilitas trasnsisi langkahnya! p p p2 p3 = p p p2 p3 P p 2 p2 p22 p23 p3 p3 p32 p33 Asumsikan D t memiliki distribusi Poisson dengan parameter λ =. Penyelesaian : X t+ = max{(3 Dt + ),} max{(xt Dt+ ),} Xt < X t max{(3 D t ),} Xt X t = max{(xt D t ),} Xt <
Rantai Markov 52 Penelitian Operasional II.8 Di dapat P =.632.264.8.84.368.368.84.368.368.368.368.368 Contoh 4.6: Model dari kondisi suatu stok barang tertentu. Pada akhir suatu hari tertentu kondisi sutau stok dicatat. Jika stok meningkat hari ini maka probabilitas bahwa stok esok hari meningkat adalah.7. Jika stok hari ini menurun maka probabilitas bahwa stok esok hari meningkat adalah.5 Model ini merupakan rantai markov dimana : State = stok meningkat dan State = stok menurun Maka matriks transisinya adalah :.7.3 P =.5.5 Jika model ini dikembangkan menjadi : bahwa kondisi stok esok berubah atau tidak tergantung pada hari ini dan kemarin maka kemungkinan-kemungkinan yang ada adalah sebagai berikut : - Jika dalam 2 hari terakhir stok meningkat, besok akan meningkat dengan probabilitas.9 - Jika hari ini meningkat, kemarin menurun, besok akan meningkat dengan probabilitas.6 - Jika hari ini menurun, kemarin meningkat, besok akan meningkat dengan probabilitas.5 - Jika dalam 2 hari terakhir stok menurun, besok akan meningkat dengan probabilitas.3 Model ini juga merupakan rantai markov dengan : State : stok hari ini meningkat kemarin meningkat State : stok hari ini meningkat kemarin menurun State 2 : stok hari ini menurun kemarin meningkat State 3 : stok hari ini menurun kemarin menurun Matriks transisi : P = P(X t = j X t- = i) P =.9.6.5.3..4.5.7
Penelitian Operasional II Rantai Markov 53 Contoh 4.7: Kasus Perjudian Seorang pemain memiliki uang $, dalam tiap permainan peluang untuk menang sebesar $ adalah p dan peluang untuk kalah sebesar $ adalah -p. Permainan ini berakhir bila pemain dapat mengumpulkan $3 atau bangkrut. Kasus ini merupakan rantai markov dengan {X t } mewakili keberuntungan dari pemain, yaitu:, $,2$,3$. Matriks probabilitas transisinya adalah : P = p p p p 4.4 PERSAMAAN CHAPMAN-KOLMOGOROV Persamaan Chapman-Kolmogorov memberikan cara untuk menghitung peluang perpindahan (Probabilitas transisi) n-langkah yaitu : M (v) (n v) P = p p i, j,n dan u m n ik kj k = o Persamaan ini menunjukkan bahwa dari state i ke state j dalam n langkah, proses (v) (n-v) akan berada pada state k setelah tepat v ( < n) langkah. Jadi p ik p kj merupakan probabilitas bersyarat, mulai dari state i, lalu ke state k setelah v langkah dan kemudikan ke state j dalan n-v langkah, maka : P M (v) (n v) = p p ik kj k = o k Jika v = maka : P Jika v = n - M (n ) = p p ik kj k = o i, j,n = M (n -) P p p i, j,n ik kj k = o Ini merupakan probabilitas transisi langkah rekursif.
Rantai Markov 54 Penelitian Operasional II Untuk n = 2 maka (2) P = M p p ik kj k = o i, j,n Karena p (2) adalah elemen dari matriks P (2) maka dengan mengalikan matriks probabilitas transisi langkah dengan dirinya sendiri di dapat : P (2) = P. P = P 2 Secara umum : P = P. P P = P n = P. P n- = P n- P Contoh 4.8 Dari matriks transisi pada contoh 4.5 didapat :.8.84.368.368.8.84.368.368 P (2) = P 2 =.632.368.632.368.264.368.368.264.368.368.8.84.368.368.8.84.368.368.249.286.3.65 =.283.252.233.233.35.39.233.87.249.286.3.65 Arti : p (2) : Stok kamera pada akhir minggu adalah, probabilitas bahwa 2 minggu kemudian tidak ada stok kamera adalah.283 p (2) 23 : Stok kamera pada akhir minggu adalah 2, probabilitas bahwa 2 minggu kemudian stok kamera menjadi 3 adalah.97 P (4) = P 4 = P (2) P (2).249.286 =.283.252.35.39.249.286.289.286 =.282.285.284.283.289.286.3.233.233.3.26.268.263.26.65.233.87.65.64.66.77.64.249.283.35.249.286.252.39.286.3.233.233.3.65.233.87.65
Penelitian Operasional II Rantai Markov 55 Arti : p (4) : Stok kamera pada akhir minggu adalah, probabilitas bahwa 4 minggu kemudian tidak ada stok kamera adalah.282 p 23 (4) : Stok kamera pada akhir minggu adalah 2, probabilitas bahwa 4 minggu kemudian stok kamera menjadi 3 adalah.7 Probabilitas transisi n langkah p = P{X n = j X = i} merupakan probabilitas bersyarat. Jika dicari probabilitas tak bersyarat P(X n = j), maka harus diketahui distribusi probabilitas dari state awal, misalnya Q x (i), dimana : Q x (i) = P (X = i) I =,,2,,M Maka P(X n = j) = Q x () p oj + Q x () p j + + Q x (M) p Mj Contoh 4.9 Dari contoh 4.5 asumsikan bahwa stok awal =3 kamera, jadi : Q x () = Q x () = Q x (2) = ; Q x (3) = Diketahui bahwa probabilitas bersyarat bahwa terdapat 3 kamera setelah 2 minggu dari awal inventori adalah.65, maka probabilitas tak bersyaratnya adalah : P(X 2 = 3) = Q x (3). P 33 (2) = x.65 =.65 Misal diberikan bahwa Q x (i) =.25 I =,,2,3 maka P(X 2 = 3) = Q x () p 3 (2) + Q x () p 3 (2) + Q x (2) p 23 (2) + Q x (3) p 33 (2) =.25 (.65) +.25 (.233) +.25(.97) +.25(.65) =.65 Catatan 4. Kedua nilai tersebut di atas sama, ini hanya kebetulan saja. 4.5 KLASIFIKASI STATE DALAM RANTAI MARKOV Berikut ini merupakan beberapa difinisi yang berkaitan dengan state-state dari Rantai Markov.. Dapat dicapai (Accessible) State j dikatakan dapat dicapai (accessible) dari state i jika p > untuk beberapa n >. State j dapat dicapai (accessible) dari state i berarti bahwa sistem bisa mencapai state j jika berangkat dari state i. 2. Berkomunikasi (Communicate) jika state j dapat dicapai dari state i, dan state i dapat dicapai dari state j, maka state i dan j dikatakan berkomuniasi (communicate). Secara umum : a. setiap state berkomunikasi dengan dirinya sendiri. Karena : p ii () = P{X = i X = i} = ).
Rantai Markov 56 Penelitian Operasional II b. Jika state i berkomunikasi dengan state j, maka state j berkomunikasi dengan state i. c. Jika state i berkomunikasi dengan state j dan state j berkomunikasi dengan state k, maka state i berkomunikasi dengan state k. Dari ketiga sifat ini, maka suatu state mungkin dipartisi menjadi kelas-kelas yang saling asing (disjoint classes) dengan states yang saling berkomunikasi dikatakan berada dalam satu kelas. 3. Tak dapat direduksi (Irreducible) Rantai markov dikatakan irreducible jika hanya mempunyai satu kelas saja, jadi semua keadaan saling berkomunikasi. 4. Absorbing Suatau state i dikatakan sebagai state yang absorbing jika probabilitas transisi satu langkah p ii =. Jadi sekali sistem memasuki state i maka sistem akan tetap selamanya berada di state i tersebut. 5. Recurrent dan Transient State i dikatakan recurrent jika dan hanya jika : n = p ii = mulai dari state i, setelah keluar dari state i sistem pasti akan dapat kembali lagi ke state i (karena pasti maka nilai peluangnya adalah sehingga p ii = ) n = State i dikatakan transient jika dan hanya jika : n = p ii < Relevansi : Jika state i recurrent, maka di mulai dari state i, sistem akan kembali lagi dan kembali lagi ke state i berulang-ulang sampai tak berhingga kali. Sebaliknya jika state i transient, sekali saja sistem memasuki state i maka terdapat suatu peluang positif yang akan membawa sistem ini untuk tidak pernah lagi memasuki state i. Jika state i recurrent dan state i berkomunikasi dengan state j, maka state j juga bersifat recurrent. Semua state dalam suatu rantai markov dengan state yang bersifat irreducible terbatas adalah recurrent berarti juga seluruh state dalam proses berkomunikasi.
Penelitian Operasional II Rantai Markov 57 6. Periode Periode dari state i didefinisikan sebagai bilangan bulat t (t > ) sedemikian hingga p ii = untuk seluruh n yang bukan kelipatan t (t, 2t, 3t, ) dan t adalah bilangan bulat terbesar dengan sifat ini Contoh 4. Pada contoh 4.7, misalkan p = ½ P = / 2 / 2 / 2 / 2 P 2 = / 2 / 4 / 4 / 4 / 4 / 2 P 3 = * * * P 4 = * * * * * * * * * Terlihat bahwa p = p 22 = untuk seluruh n, pada saat n =,3,5, berarti periode t (bukan n) adalah 2. Artinya : proses tersebut dapat masuk ke state hanya pada saat 2,4, 7. Aperiodik Jika terdapat 2 bilangan berurutan, s dan (s+) sedemikian hingga proses dapat berada pada state i pada saat s dan (s+), state i dikatakan memiliki periode dan disebut sebagai aperiodik state. 8. Positif Recurrent Jika state i recurrent, maka state i dikatakan positif recurrent Jika dimulai dari state i, waktu harapan sampai proses kembali lagi ke state i adalah terbatas. 9. Null Recurrent Jika state i recurrent tetapi tidak positif recurrent maka state i adalah Null Recurrent.. Ergodic Jika suatu state bersifat positif recurrent dan aperiodik maka state tersebut disebut ergodic. 4.9 WAKTU LINTASAN PERTAMA (FIRST PASSAGE TIME) Waktu yang dibutuhkan oleh suatu proses untuk menuju state j dari state i untuk pertama kali disebut sebagai waktu lintasan pertama (first passage time, fpt). Jika j=, waktu lintasan pertama ini merupakan jumlah transisi hingga proses kembali ke state mula-mula yaitu i. Dalam hal ini waktu lintasan pertama disebut sebagai waktu recurrence untuk state i.
Rantai Markov 58 Penelitian Operasional II Contoh 4.2 Dari contoh 4.5 (level inventori). Diketahui X = 3 (inventori awal). Andaikan : X = 2, X 2 =, X 3 =, X 4 = 3 dan X 5 =. Dalam hal ini FPT dari state 3 ke state adalah 2 minggu, FPT dari state 3 ke state adalah 3 minggu dan waktu recurrent adalah 4 minggu. Secara umum first passage time merupakan perubah acak dan memiliki distribusi probabilitas yang bersesuaian dengan mereka. Distribusi probabilitas ini tergantung pada peluang transisi dari proses. Misalkan : F : merupakan probabilitas bahwa first passage time dari state i ke state j sama dengan n. Dapat ditunjukkan bahwa probabilitas ini memenuhi hubungan rekursif sebagai berikut : f n (k) (n k) = p f.p jj k= Jadi probabilitas dari suatu first passage time dari state i ke state j dalam langkah n dapat dihitung secara rekursif dari probabilitas transisi satu langkah. Contoh 4.3: Dari contoh 4.5 : () f 3 =.8 (2) f 3 =.249 - (.8) (.8) =.243 untuk i dan j yang tetap, f merupakan bilangan nonnegatif sedemikian hingga : n= ( n ) f sayangnya, jumlahan ini sangatlah mungkin kurang dari, yang berarti bahwa suatu proses yang diawali dari state i tidak pernah mencapai state j. Jika jumlahan =, f (untuk n =, 2, ) dapat dianggap sebagai distribusi probabilitas untuk peubah acak, FPT. Menghitung, f untuk seluruh n mungkin sulit, relatif lebih sederhana untuk menghitung FPT harapan dari state i ke state j. Diberikan nilai harapan µ yang didefinisiakan sebagai berikut : ( n ) jika f < n= µ = ( n ) ( n ) = n f jika f n= n=
Penelitian Operasional II Rantai Markov 59 Bila ( n ) f = maka µ memenuhi persamaan berikut secara unik. n= µ = + p ik µ kj k j jika i = j, µ ii disebut recurrent time harapan. Contoh 4.4: Dari contoh 4.5. Persamaan di atas dapat digunakan untuk menghitung waktu harapan hingga kamera habis. Asumsikan proses dimulai dengan persediaan kamera = 3 lintasan waktu pertama harapan, µ 3 dapat dicapai karena seluruh state recurrent, maka : µ 3 = + p 3 µ + p 32 µ 2 + p 33 µ 3 µ 2 = + p 2 µ + p 22 µ 2 + p 23 µ 3 µ = + p µ + p 2 µ 2 + p 3 µ 3 atau µ 3 = +.84 µ +.368 µ 2 +.368 µ 3 µ 2 = +.368 µ +.368 µ 2 µ = +.368 µ Di dapat : µ =,58 minggu µ 2 = 2,5 minggu µ 3 = 3,5 minggu Waktu yang dibutuhkan agar kamera kehabisan stok adalah 3,5 minggu. 4.5 RANTAI MARKOV DALAM JANGKA PANJANG (Long Run Properties of Markov Chain) 4.5. Probabilitas pada keadaan stabil (steady state probabilities) Untuk rantai markov yang irreducible ergodic dapat ditunjukkan bahwa : ( n ) lim p ada dan independen terhadap i. n Selanjutnya lim n p ( n ) = π j dimana π j secara unik memenuhi persamaan-persamaan steady state berikut : π j > M π j = π p i untuk j =,,2,, M M j= i= π j =
Rantai Markov 6 Penelitian Operasional II π j disebut sebagai probabilitas pada keadaan stabil dari rantai markov dan memiliki hubungan resiprokal terhadap waktu recurrent harapan. π j = untuk j =,,, M µ jj! Steady state probability artinya adalah : bahwa probabilitas bahwa untuk mendapatkan proses dalam suatu state tertentu, katakan j, setelah sejumlah besar transisi cenderung menuju nilai π j. Independen dari distribusi probabilitas awal yang telah didefinisikan terhadap states tersebut.! π j dapat juga diinterpretasikan sebagai probabilitas stasioner. Contoh 4.5 Dari contoh 4.5 π = π p + π p +π 2 p 2 +π 3 p 3 π = π p + π p +π 2 p 2 +π 3 p 3 π 2 = π p 2 + π p 2 +π 2 p 22 +π 3 p 32 π 3 = π p 3 + π p 3 +π 2 p 23 +π 3 p 33 = π + π + π 2 + π 3 substitutikan nilai p ke dalam persamaan di atas, didapat : π = (.8) π + (.632) π + (.264) π 2 + (.8) π 3 π = (.84)π + (.368) π + (.368) π 2 + (.84) π 3 π 2 = (.368)π + (.368) π 2 + (.368) π 3 π 3 = (.368)π + (.368) π 3 = π + π + π 2 + π 3 di dapat : π =.285 π =.285 π 2 =.264 π 3 =.66 µ = / π = 3.5 minggu µ = / π = 3.5 minggu µ 22 = / π 2 = 3.79 minggu µ 33 = / π 3 = 6.2 minggu Catatan 4.6 Pada steady state probabilitas berlaku :! Jika i dan j merupakan states yang recurrent dengan kelas-kelas yang berbeda maka : p = untuk setiap n! Jika j merupakan state yang transient maka p = Berarti bahwa probabilitas untuk mendapatkan suatu proses dalam suatu state yang transient setelah sejumlah besar transisi cenderung menuju ke nol. 4.5.2 Biaya rata-rata harapan/unit waktu Untuk suatu rantai markov yang irreducible dengan recurent state positif, suatu rantai dengan state terbatas, berlaku :
Penelitian Operasional II Rantai Markov 6 N ( k ) lim p = π j n n N k = dimana π j memenuhi persamaan-persamaan stedy state. Andaikan bahwa suatu biaya (atau fungsi penalti lainnya) C(X t ) terjadi ketika proses berada di state X t pada saat t, untuk t =,,2, Catatan 4.7 C(X t ) adalah peubah acak dengan nilai C(), C(),, C(N) dan fungsi C(X t ) independen terhadap t.