BAB II TEORI DASAR. Proses Sokasik Raai Markov Proses sokasik merupaka suau cara uuk mempelajari hubuga yag diamis dari suau ruua perisiwa aau proses yag kejadiaya bersifa idak pasi. Dalam memodelka perubaha dari suau sisem yag megadug keidakpasia seperi pergeraka harga saham, bayakya klaim yag daag ke suau perusahaa asurasi, keadaa cuaca, da lai sebagaiya, proses sokasik bayak diguaka. Secara formal, Ross [] medefiisika proses sokasik sebagai barisa peubah acak {V(), T} yag diberi ideks dega urua oleh parameer dimaa ilai berubah-ubah sesuai dega himpua ideks T. Dega demikia, uuk seiap eleme dari T, V() adalah suau peubah acak. Nilai dari peubah acak V() disebu keadaa pada saa. Himpua T adalah himpua ideks yag membagu suau ruag, yaiu ruag parameer. Himpua T bisa berupa himpua erbilag (erhiug) baik erhigga maupu ak erhigga, misalya T {,,3,4,5, }, aau ak erbilag (berupa selag aau ierval), misalka T [ 0, ]. Semua ilai peubah acak V() yag mugki erjadi membeuk sebuah himpua keadaa S. Himpua S membagu suau ruag, yaiu ruag keadaa. Disii, V() S uuk seiap T. Seperi T, himpua S juga bisa berupa himpua 6
yag erbilag baik higga aau ak higga, aau ak erbilag. Selajuya, himpua yag erbilag kia sebu sebagai himpua diskri da himpua yag ak erbilag sebagai himpua koiu. Proses sokasik pada dasarya dikelompokka berdasarka sifa ruag parameer T, sifa ruag keadaa S, da hubuga keergauga diaara peubah acakpeubah acak V(). Berdasarka sifa ruag parameer T, proses sokasik digologka mejadi proses sokasik diskri da proses sokasik koiu. Serigkali jika T diskri, uuk membedaka kia lebih baik meuliska V daripada V(). Semeara iu, jika T koiu, kia dapa meuliska sebagai V(). Berdasarka sifa ruag keadaa S, proses sokasik digologka mejadi proses sokasik dega ruag keadaa disri da proses sokasik dega ruag keadaa koiu. Berdasarka hubuga keergauga diaara peubah acak-peubah acak V(), proses sokasik dapa dibagi kedalam beberapa ipe klasik diaaraya proses sasioer, proses reewal, marigales, poi process, da proses Markov. Sebagai cooh, salah sau proses sokasik dega ruag parameer diskri da ruag keadaa diskri adalah bayakya pegujug yag daag ke suau perokoa pada hari ke-. Cooh proses sokasik dega ruag parameer koiu da ruag keadaa koiu adalah selag waku aar kedaaga pegujug ke suau perokoa pada waku sembarag. Sebelumya membahas megeai raai Markov, perlu dijelaska proses Markov erlebih dahulu. Meuru Karli da Taylor [], proses Markov adalah sebuah proses dega sifa, diberika ilai V(), ilai V(+) idak ergaug pada ilai V(u) uuk seiap u <. Secara formal sebuah proses dikaaka Markov jika memeuhi sifa Markov yaiu, P ( V ( + ) v V () v, V () v,, V ( ) v, V ( ) v ) + - P( V ( + ) v V ( ) v ) p ( s) dega s + (, + ) + v, v+ (..) Ii dari defiisi diaas adalah, uuk mempelajari keadaa proses pada sau kuru waku berikuya, sebu +, kia haya perlu meliha keadaa proses saa. 7
Demikia juga, keadaa yag aka daag haya bergaug pada keadaa saa ii da idak dipegaruhi oleh keadaa sebelumya. Noasi ersebu meyiraka bahwa secara umum, peluag rasisi juga merupaka fugsi dari selag waku s. Jika peluag rasisi sau lagkah idak bergaug pada variabel waku, kia sebu raai Markov ersebu memiliki peluag rasisi sasioer. Dalam hal ii, (, + ) p v v+, () s adalah suau kosaa uuk s yag sama. Secara umum raai Markov yag biasa kia emui memiliki peluag rasisi sasioer. Berdasarka ruag keadaa da ruag parameerya, proses Markov dapa dikelompokka sebagai beriku, DISKRIT RUANG PARAMETER KONTINU RUANG KEADAAN Raai Markov Raai Markov DISKRIT Parameer Diskri Parameer Koiu Proses Markov Proses Markov KONTINU Parameer Diskri Parameer Koiu Jadi, raai Markov adalah proses Markov dega ruag keadaa yag diskri. Dalam raai Markov, salah sau hal yag mearik adalah kia dapa mempelajari perubaha keadaa pada proses. Uuk raai Markov dega ruag parameer diskri -uuk seerusya aka disebu sebagai raai Markov saja-, peluag V + berada pada keadaa i + bila diberika V berada pada keadaa i diamaka peluag rasisi sau lagkah da dioasika dega P i, i +. Di sii, P ( V+ i+ V i, V i,, V i-, V i P( V i V i ) p + + i, i+ ) (..) dimaa i + p da p > 0, i i,, i, i + i, i+ + 8
Disii i da i + merupaka aggoa himpua bilaga asli karea dalam sudi kasus pada Bab IV yag dibahas adalah jeis-jeis basa ukleoida. Secara eoriis, i da i + bisa berupa aggoa dari sembarag himpua bilaga diskri misalya himpua bilaga bula aau,,,.. Sifa-Sifa Pada Raai Markov Salah sau karakerisik uama suau raai Markov adalah peluag-peluag rasisiya. Peluag rasisi ersebu meggambarka peluag perpidaha dari sau keadaa ke keadaa laiya. Dega kaa lai, ia meggambarka peluag proses berada di sau keadaa bila dikeahui keadaa proses pada sau waku sebelumya. Secara maemais, peluag rasisi ersebu dapa diulis sebagai beriku, p PV ( j V i) ij + dega i da j masig-masig meyaaka keadaa proses saa da +. Peluag-peluag rasisi ersebu peulisaya dapa dilakuka dalam berbagai cara seperi, aau P p p p p p p p p p p j p j pij, j,,, pj ( a) p p p p p p aau ( b ) P () c p p p Aka eapi, beuk umum yag dipakai adalah persamaa (c). Hal meguugka dega meuliska secara persamaa ii adalah dalam peerapa prisip aljabar liear khusuya perkalia mariks. Dalam aljabar liear dua 9
mariks misal A da B dapa dikalika jika bayakya kolom pada mariks perama (A) sama dega bayakya baris pada mariks kedua (B). Uuk meyelaraska aura perkalia mariks da persamaa Chapma-Kolmogorof, maka peluag rasisi sebaikya diuliska sebagai mariks peluag rasisi, P p p p p p p p p p Mariks ersebu, seluruh elemeya o-egaif da jumlah eleme dalam sau baris sama dega sau yaiu, p 0 da ij j p ij, i,,, (..) Persamaa Chapma-Kolmogorof sediri aka dipaparka dalam pembahasa selajuya. Selai peluag rasisiya, raai Markov juga dieuka melalui disribusi peluagya. Uuk raai Markov dega ruag parameer diskri, disibusi peluag di waku ke- aau π adalah dimaa π { π k : k,,, } π k PV ( k) da π k k Dega kaa lai, disribusi peluag π meyaaka proporsi dari keadaa proses di waku. Perhaika bahwa, PV ( i, V i,, V i, V i ) - 0 0 PV ( i V i,, V i, V i ) PV ( i,, V i, V i) - 0 0-0 0 Dari defiisi proses Markov pada persamaa (..), P( V i V i ) P( V i,, V i, V i ) - - 0 0 0
Dega iduksi maka diperoleh PV ( i) PV ( i V i) PV ( i V i) PV ( i V i 0 0 0 0 - p p p p i0 i0i ii i i Ii meujukka bahwa sebuah raai Markov dieuka oleh disribusi peluag di awal proses yaiu saa 0 da peluag rasisiya. Hubuga aara disribusi peluag dega mariks peluag rasisi adalah, π π π 0 P Disii mariks P () adalah mariks peluag rasisi lagkah dimaa p PV ( j V i ) merupaka eleme-eleme dari P (). () ij 0 P ( ) ) (..) Sebelum membahas megeai mariks peluag rasisi lagkah, perhaika cooh beriku. Misalka mariks peluag rasisi uuk raai Markov dega iga keadaa sebagai beriku, P 5 5 5 3 3 3 4 7 7 7 Mariks peluag rasisi di aas adalah mariks peluag rasisi sau lagkah. Jadi, misalka {V } adalah raai Markov dega mariks peluag rasisi P, maka peluag rasisi V bila proses berawal di V - 3 yaiu PV ( V 3) adalah 4. Perayaa berikuya adalah bagaimaa jika yag igi dicari ialah 7 peluagya jika dikeahui V 0 3. Dega kaa lai, igi dicari peluag rasisi lagkah yaiu PV ( V0 3). Sebelumya aka dibahas persamaa Chapma-Kolgomorov erlebih dahulu. Persamaa ii meyaaka bahwa peluag rasisi dari keadaa i ke j dalam lagkah sama dega peluag rasisi dari i ke seluruh -keadaa dalam -m lagkah, kemudia dilajuka dega rasisi ke keadaa j dari -keadaa
ersebu dalam m lagkah sisa. Dega memafaaka Law of Toal Probabiliy dapa dibukika bahwa, Uuk m maka diperoleh ( ) ( m ) ( m ) ij ( 0 ) ik kj k p P V j V i p p ( ) (( ) + ) ( ) ij ij ik pkj k p p p Tampak bahwa persamaa diaas merupaka perkalia aara baris da kolom dari dua mariks. Bila P () adalah mariks peluag rasisi lagkah maka, P P P () ( ) Dega megguaka iduksi diperoleh ( ) P P P P ( ) P P x P P Akibaya, peluag berada di keadaa i saa ii da di keadaa j seelah kuru waku, idak lai adalah eleme baris ke-i da kolom ke-j dari () P P P P P Serigkali, selai perhiuga disribusi peluag di waku ke-, perhiuga disribusi peluag seelah proses berjala lama yaiu π uuk yag diamaka disribusi limi juga mearik uuk dipelajari. Kosep ii saga peig karea dapa memprediksi keadaa sisem seelah ia berjala lama. Dega kaa lai, dapa dipelajari kelakua dari sisem seelah ia sabil. Uuk megaalisa kelakua ersebu, kia memerluka pegeahua medasar eag klasifikasi dari keadaa suau raai makov. Aka eapi, sebelumya aka dibahas erlebih dahulu megeai raai Markov dega mariks peluag rasisi regular da bagaimaa disribusi limiya. Misalka P adalah mariks peluag rasisi dari suau raai Markov dega keadaa yaiu,,,. Mariks P disebu regular jika memeuhi: (i) Uuk seiap pasaga keadaa i da j, selalu ada keadaa k, k,, k dimaa p p p > 0. ik kk k j (ii) Sekurag-kuragya erdapa sau keadaa i dimaa p ii > 0 (..3) (..4)
Perhaika syara perama uuk mariks regular dimaa yag merupaka kompoe dari eleme-eleme mariks peluag rasisi lagkah pada persamaa (..3). Dari syara ersebu, dapa disimpulka bahwa uuk suau mariks peluag rasisi regular, maka erdapa dimaa peluag rasisi dari sau keadaa ke keadaa laiya dalam lagkah selalu berilai posiif. Dega kaa lai, maka secara sederhaa suau mariks peluag rasisi P dikaaka regular jika memiliki sifa yaiu jika dipagkaka oleh suau kosaa posiif k maka mariks P k p p p > 0 ik kk k j seluruh elemeya berilai posiif. Mariks peluag rasisi yag demikia sera raai Markov yag berkaia degaya disebu regular. Salah sau hal peig yag berkaia dega raai Markov regular yaiu adaya disribusi peluag limi π ( π, π,, π ) dimaa π j > 0 uuk j,,, da j π. Secara formal, uuk mariks peluag rasisi regular P, maka erdapa j kovergesi, lim PV ( j V i) π > 0, j,,, 0 j (..5) Kovergesi ii memiliki ari bahwa uuk jagka waku yag lama ( ), peluag memperoleh raai Markov berada pada keadaa j adalah π j apa mempedulika keadaa awal yaiu saa 0. Beriku ii eorema yag dapa diguaka uuk mecari disribusi limi dari suau raai Markov regular, Teorema Uuk P suau mariks peluag rasisi raai Markov regular dega aggoa ruag keadaaya,,,, maka disribusi limi (,,, ) adalah solusi uik dari persamaa π π π π da π π p j,,, j k kj k k π k (..6) (..7) 3
Memeriksa apakah suau raai Markov memiliki disribusi limi dega meliha sifa regular mariks peluag rasisiya memag mudah uuk dilakuka. Aka eapi, dalam beberapa kasus eleme-eleme mariks peluag rasisi seluruhya baru aka berilai posiif uuk yag saga besar. Oleh karea iu, apalagi uuk raai Markov yag memiliki bayak keadaa, cara ii idak selalu memberika hasil yag memuaska. Dalam hal memeriksa apakah suau raai Markov memiliki disribusi limi apa meliha sifa regularya, pegeahua megeai klasifikasi keadaa suau raai makov diperluka. Tidak semua raai Markov merupaka raai Markov yag regular. Perhaika beberapa cooh beriku ii. Raai Markov yag mempuyai mariks peluag rasisi berupa mariks ideias sebagai beriku, 0 0 P 0 0 0 0 Dari waku ke waku, raai Markov ii idak perah berubah keadaa. Karea P P uuk semua, maka raai Markov {V } mempuyai disribusi limi, yag bergaug pada keadaa awal. Sebalikya, mariks peluag rasisi beriku, 0 0 P 0 0 0 0 Raai Markov ii aka selalu berubah, idak perah berada dalam keadaa yag sama uuk dua waku yag berurua. Raai Markov ii bersifa periodik da idak mempuyai disribusi limi. Jika gajil, maka P P, da jika geap, maka P adalah mariks ideias berukura 3 x 3. Perhaika mariks peluag rasisi beriku ii, P 0 Maka dapa dicari bahwa P adalah sebagai beriku, 4
da limiya adalah P 0 lim P 0 0 Disii, keadaa adalah rasie, yaiu seelah prosesya dimulai dari keadaa maka erdapa peluag yag posiif bahwa keadaaya idak aka kembali lagi. Suau keadaa i dikaaka rasie jika da haya jika, seelah proses yag berawal dari keadaa i, ada kemugkia bahwa proses ersebu idak aka kembali ke keadaa i. Sedagka keadaa i dikaaka reccure jika da haya jika, seelah proses berawal dari keadaa i, peluag uuk kembali ke keadaa i seelah suau selag ierval waku ereu sama dega sau. Sebelum medefiisika keadaa rasie da reccure secara maemais, erlebih dahulu defiisika f PV ( j, V j, u,,, - V0 i yaiu ij u ) peluag dimaa, dimulai dari keadaa i, proses aka pidah uuk perama kali ke keadaa j dalam lagkah. Jadi, f PV ( i, V j, u,,, - V0 i ii u ) merupaka peluag proses peramakali kembali ke keadaa i dalam lagkah. Selajuya, jika proses berawal dari keadaa i, maka peluag ia kembali ke keadaa i suau waku adalah T () () ii ii lim ii T 0 0 f f f Jadi, berdasarka defiisi sebelumya, jika i reccure maka f ii yaiu seelah proses berawal dari keadaa i, maka ia pasi aka kembali ke i da jika i rasie maka f ii <. (..8) Teorema Ruag keadaa i dikaaka reccure jika da haya jika, p ii (..9) 5
Da ruag keadaa i dikaaka rasie jika da haya jika, p ii < (..0) Buki Perama, misalka keadaa i merupaka rasie dimaa berdasarka defiisi f ii < da M yag meyaaka bayakya proses kembali ke keadaa i. Disii M berdisribusi geomerik dimaa da k PM ( kv i) ( f), k,, 0 E M V Tulis I sebagai peubah acak idikaor I 0 ii fii i f { V i dega { V } 0 } ii V i V i Karea i rasie, maka dari defiisi diperoleh E I V0 i < sehigga Sebalikya, misalka () ii p E { V i} V0 i () pii < maka E I V0 i < fii E I V0 i < fii fii > 0 f < sehigga erbuki bahwa i merupaka rasie. ii Dua sifa diaas merupaka cooh bagaimaa sifa dari peluag rasisi da ruag keadaa aka mempegaruhi raai Markov yag dibawaya. Beberapa defiisi da klasifikasi dari ruag keadaa da mariks peluag rasisi diperluka uuk megeahui berbagai macam kemugkia megeai sifa limi raai Markov yag erkai. 6
Selajuya, aka dibahas kosep komuikasi sebagai beriku. Keadaa j dikaaka dapa dicapai (accessible) dari keadaa i jika erdapa bilaga bula 0 dimaa p > 0. Dega kaa lai, erdapa peluag posiif bahwa dalam ij berhigga rasisi keadaa j dapa dicapai dari keadaa i. Jika keadaa j dapa dicapai dari keadaa i da keadaa i dapa dicapai dari keadaa j, maka i da j dikaaka salig berkomuikasi, da dioasika dega i j. Jika dua keadaa i da j idak salig berkomuikasi, maka p 0 aau p 0 uuk seiap 0. ij ji Kosep komuikasi merupaka suau relasi ekivale. Perhaika bahwa, (i) Jika i adalah keadaa dari suau raai Markov sebarag, jelas bahwa i i karea p (sifa refleksi). ii (ii) Jika i j, maka dari defiisi berkomuikasi, j i karea i dapa dicapai dari j da j dapa dicapai dari i (sifa simeri). (iii) Jika i j da j k, maka i k (sifa rasiif) Buki (sifa rasiif) Misalka i j da misalka j k, maka erdapa bilaga bula posiif da sehigga p > 0 da p > 0. Semeara iu, erdapa ij m bilaga bula posiif m da m sehigga m m p > 0 da p > 0. Maka p + > 0 m da p + > 0, aau dega kaa lai i k. ki jk ji kj ik Dega relasi ekivale ersebu, ruag keadaa suau raai Markov dapa dikelompokka ke dalam kelas-kelas ekivale. Jika suau raai Markov haya memiliki sau kelas ekivale, yaiu jika semua keadaaya salig berkomuikasi, maka raai Markov ersebu disebu ak ereduksi. Selajuya, ada yag disebu sebagai periode raai Markov. Periode dari keadaa i, dioasika dega d(i), didefiisika sebagai fakor persekuua erbesar (FPB) dari semua bilaga bula m dega p 0 (Jika p m 0 uuk seiap m, didefiisika d(i) 0 ). Misalka raai Markov dega mariks peluag rasisi sebagai beriku, m ii ii 7
Jelas bahwa, Maka, 0 0 P 0 3 3 0 0 0 0 0 0 d(0) d() d() Raai Markov yag seiap ruag keadaaya memiliki periode disebu aperiodik. Sebagia besar raai Markov adalah aperiodik. Perhaika suau keadaa reccure i, maka uuk R i yag meyaaka waku kembali perama kali ke i, R mi{ 0; V i} i Peluag kembali peramakali ke i, f ii dapa diuliska sebagai beriku, f P( R V i),, ii i 0 Karea i merupaka keadaa yag bersifa reccure, berlaku f ii. Maka, mea bayakya rasisi yag diperluka uuk kembali ke keadaa i adalah i E Ri V0 i f ii η Seelah mulai di i, selajuya secara raa-raa, proses aka berada di i sau kali seiap η i E Ri V0 i saua waku. Teorema limi dasar raai Markov beriku memperjelas hasil ersebu, 0 Teorema 3 (Teorema Limi Dasar Raai Markov) (i) Jika suau raai Markov yag ak ereduksi adalah posiif reccure da aperiodik, maka erdapa limi peluag 8
lim pii, i,,, ηi f ii (ii) Dibawah kodisi yag sama seperi di (i), lim p ij lim p uuk j,,. jj Jika lim p > 0 uuk sau i dalam kelas aperiodik reccure, maka πj > 0 uuk jj seiap j dalam kelas i. Dalam kasus ii, kelas ersebu diamaka posiif reccure aau ergodik kua. Jika seiap π j 0 da kelasya reccure, maka kelas ersebu diamaka ull reccure aau ergodik lemah. Dalam isilah waku perama kembali, Ri mi{ 0; V0 i}, keadaa i disebu posiif reccure jika mea bayakya rasisi yag diperluka uuk kembali berhigga da disebu ull reccure jika sebalikya. Selajuya aka diliha eag peluag sasioer dari eorema beriku ii, Teorema 4 Jika suau raai Markov yag ak ereduksi adalah posiif reccure da aperiodik, maka erdapa limi peluag lim p π > 0, i, j,,, ij j dimaa bebas dari keadaa i perama dega π j uuk j,,, da π j disebu peluag sasioer uuk suau raai Markov (logru fracio of rasiio eerig j or leavig j). Defiisi (Sasioer) Suau disribusi peluag P j, j 0 dikaaka sasioer uuk suau raai Markov jika PV ( j) PV ( j V ipv ) ( i) pjpij dega iduksi dapa diperoleh, 0 0 i i PV ( j) PV ( j V ipv ) ( i) p p j ij 0 0 i i Dega kaa lai, peluag sasioer adalah peluag dimaa uuk suau maka erjadiya rasisi ke suau keadaa, baik keluar maupu masuk dari suau keadaa, ilaiya relaif idak berubah. Sehigga, π j iu sediri merupaka solusi uggal dari sisem persamaa liear, 9
da π π p j,,, j k ij i (..5) i π Dalam beuk mariks, persamaa diaas dapa diulis sebagai, Π ΠP dimaa Π i π π π (..6).3 Orde Raai Markov da Sifa-Sifaya Padag peluag bersyara dari suau raai Markov pada persamaa (..). Adaika peluag keadaa saa, V idak haya bergaug kepada V - melaika juga bergaug pada V -, V -3, da seerusya, ariya kia bekerja dega raai Markov yag disebu sebagai raai Markov berorde lebih dari sau. Defiisi (Orde Raai Markov) Suau raai Markov dikaaka berorde-r aau Ō(r) jika kemucula V haya bergaug secara lagsug pada r keadaa sebelumya yaiu V -, V -,, V -r da idepede dega keadaa laiya. Dega demikia, uuk suau Ō(r) berlaku PV ( i V i,, V i, V i,, V i) ( r ) ( r ) r r 0 0 PV ( i V i,, V i, V i ) p ( r ) ( r ) r r i ri ( r ) i i (.3.) Berdasarka defiisi diaas, uuk selajuya raai Markov yag elah umum dikeal seperi pada (..) diamaka raai Markov berorde-, Ō() da jika seiap keadaaya idak bergaug sau sama lai aau salig bebas maka diamaka raai Markov berorde-0, Ō(0). 0
Taylor da Karli [3] memberi sara megeai peulisa peluag rasisi da mariks peluag rasisi uuk raai Markov berorde iggi. Dalam lieraur ersebu memag idak disebuka secara lagsug megeai orde raai Markov melaika haya diberika ilusrasi beriku sebagai cooh, Cooh (Raai Markov Orde-) Misalka cuaca pada suau hari bergaug pada keadaa cuaca selama dua hari sebelumya. Dikeahui bahwa jika hari ii da kemari cerah, maka besok aka cerah juga dega peluag 0,8; jika hari ii cerah api kemari huja, maka besok aka cerah dega peluag 0,6; jika hari ii huja api kemari cerah, maka besok aka cerah dega peluag 0,4; da jika erjadi baik hari ii maupu kemari huja, peluag besok cerah adalah sebesar 0,. Dega V meyaaka keadaa saa, V + S{ huja, cerah} peluag rasisiya dapa diulis sebagai beriku, PV ( i V i, V i ) + + PV ( i, V i V i, V i ) p + da mariks peluag asisiya adalah, + + i ii (,) (,) (,) (,) (,) P P 0 0 0,8 0, 0 0 (,) 0 0 P P 0 0 0, 4 0, 6 P (,) P P 0 0 0, 6 0, 4 0 0 (,) 0 0 P P 0 0 0, 0,9 Terdapa eleme-eleme berilai 0 misalya pada baris perama, PV (, V V, V ) 0 + PV (, V V, V ) 0 + karea idak mugki proses berada pada dua keadaa yag berbeda dalam sau kuru waku dimaa dalam hal ii V da V sekaligus. Dega meulis peluag rasisiya seperi pada (.3.), secara ersira keadaaya sekarag mejadi (V,V ) S * {(,),(,),(,),(,)} dimaa S * adalah ruag keadaa baru dimaa aggoa-aggoaya merupaka pasaga eruru dari aggoa ruag keadaa semula. Secara umum berdasarka (.3.), meuru Taylor da Karli peluag rasisi uuk Ō(r) adalah, (.3.) (.3.3)
PV ( i V i,, V i, V i ) ( r ) ( r ) r r P( V i, V i,, V i V i,, V i, V i ) ( r ) ( r ) ( r ) ( r ) r r pi ri ( r ) i i (.3.4) Semeara iu, berdasarka (.3.4) maka mariks peluag rasisiya adalah, p p 0 0 0 0 0 0 0 0 p p 0 0 0 0 0 0 0 0 0 0 p p p p 0 0 0 0 0 0 0 0 p p 0 0 0 0 P 0 0 0 0 0 0 p p p p 0 0 0 0 0 0 0 0 p p 0 0 0 0 0 0 0 0 0 0 p p (.3.5) yaiu sebuah mariks persegi berukura r x r dega eleme-elemeya, p P( V l V k,, V j, V i) ij kl r+ r P( V l, V k,, V j V k,, V j, V i) r+ r+ r Dega memperahaka beuk ersebu, kia dapa melakuka perhiuga seperi mecari mariks peluag rasisi lagkah da disribusi sasioer dega cara yag serupa dega Ō(). Perhaika bahwa berdasarka (..3) da (.3.4) maka peluag rasisi lagkahya adalah,
PV ( l V jv, i) PV ( lv, k V jv, i) + 0 + 0 k PV ( l V kv, ipv ) ( k V jv, i) k k + 0 0 P( V l, V k V k, V i) P( V k, V j V j, V i) + 0 0 (.3.6) Bila P () adalah mariks peluag rasisi lagkah maka, dega megguaka iduksi diperoleh () ( ) P P P () P P P P ( ) P P P P (.3.7) Disii, sifa dari mariks peluag rasisi lagkah sebagai pagka dari mariks peluag rasisi sau lagkah diperahaka uuk Ō(r) dega mariks peluag rasisi seperi pada (.3.5). Sebagai cooh dari (.3.3) aka dihiug peluag rasisi uuk lagkah yaiu PV ( i V i, V i ). Karea, + + P P P 0,8 0, 0 0 0,8 0, 0 0 0.64 0.6 0.08 0. 0 0 0, 4 0, 6 0 0 0, 4 0, 6 0.4 0.6 0.06 0.54 0, 6 0, 4 0 0 0, 6 0, 4 0 0 0.48 0. 0.6 0.4 0 0 0, 0,9 0 0 0, 0,9 0.06 0.04 0.09 0.8 dega eleme-elemeya adalah PV ( i, V i V i, V i ) maka peluag rasisi lagkahya adalah, + + + k + + + + (i) PV ( V, V ) PV (, V k V, V ) 0.64+ 0.08 0.7 (ii) PV ( V, V ) PV (, V k V, V ) 0.6 + 0. 0.8 + + + k (iii) PV ( V, V ) PV (, V k V, V ) 0.4+ 0.06 0.3 + + + k 3
(iv) PV ( V, V ) PV (, V k V, V ) 0.6+ 0.54 0. 70 + + + k (v) PV ( V, V ) PV (, V k V, V ) 0.48+ 0.6 0.64 + + + k (vi) PV ( V, V ) PV (, V k V, V ) 0.+ 0.4 0. 36 + + + k (vii) PV ( V, V ) PV (, V k V, V ) 0.06+ 0.09 0.5 + + + k (viii) PV ( V, V ) PV (, V k V, V ) 0.04+ 0.8 0.85 + + + k Selajuya uuk, 0,8 0, 0 0 0.77 0.0909 0.0909 0.5455 0 0 0, 4 0, 6 0.77 0.0909 0.0909 0.5455 lim P lim 0, 6 0, 4 0 0 0.77 0.0909 0.0909 0.5455 0 0 0, 0,9 0.77 0.0909 0.0909 0.5455 dega π PV PV V PV V (i) ( ) (, ) + (, ) 0.77+ 0.0909 0.3636 π PV PV V PV V (ii) ( ) (, ) + (, ) 0.0909 + 0.5455 0.6364 Meski secara maemais mejadi lebih mudah, peulisa mariks peluag rasisi seperi ii aka meimbulka kesulia dalam perhiuga. Uuk mariks berukura r x r, sekurag-kuragya erdapa ( r -) x r eleme berilai ol da haya r x eleme yag meyaaka peluag rasisi sebearya. Oleh karea iu, bagi Ō(r) diperluka mariks peluag rasisi yag lebih sederhaa da rigkas dari (.3.5). Salah sau cara uuk meyederhaaka mariks uuk raai Markov berorde lebih dari sau adalah dega haya memperhaika eleme yag meyaaka peluag rasisi sebearya da meghilagka sisaya yaiu sebayak ( r -) x r eleme berilai ol. Cara peulisa seperi ii secara umum aka meghasilka mariks berukura r x, 4
dega p p p p p p p p p p p p p p p P p p p p p p p p p p p p p P V l V k V j V i. ij kl (,, r +, r ) eleme-elemeya (.3.8) Berdasarka (.3.8), pada Cooh mariks peluag rasisiya cukup diulis, p p 0,8 0, p p 0, 4 0,6 P p p 0,6 0, 4 p p 0, 0,9 Uuk mariks peluag rasisi yag elah dimodifikasi seperi pada (.3.8), perkalia mariks secara biasa idak dapa dilakuka karea bayakya kolom mariks ersebu adalah da bayakya baris adalah r. Oleh karea iu, diperluka aura perkalia mariks yag berbeda. Aura perkalia yag baru euya harus eap memperahaka persamaa Chapma-Kolmogorof karea ujua megalika mariks disii adalah uuk mecari mariks peluag rasisi lagkah. 5
Perhaika persamaa (..4) dega da P adalah mariks seperi pada (.3.8). Di sii yag diigika adalah P () P P x P. Berdasarka (.3.6) eleme-eleme dari P adalah, PV ( l V jv, i) PV ( l V kv, ipv ) ( k V jv, i + + + + ) k () ijl pijk pjkl k p (.3.9) Oleh karea iu, lagkah-lagkah perkaliaya adalah sebagai beriku, (i) Bagi mariks P kedalam submariks A x sebagai beriku, (ii) A i A A P A dega i i i a a a pi pi pi i i i a a a pi pi pi, i,,, i i i a a a pi pi pi Eleme baris ke-i submariks ke-j dari P adalah perkalia aara baris ke-i submaiks ke-j dari P dega submariks ke-i dari P. (iii) Mariks peluag rasisi lagkahya adalah P P x P -. Sebagai cooh, dari Cooh maka mariks peluag rasisiya adalah, 0,8 0, 0, 4 0,6 A P 0,6 0, 4 A 0, 0,9 0.8 0. 0.6 0.4 dega A 0.4 0.6 da A 0. 0.9. Maka mariks peluag rasisi dua lagkahya adalah, 6
P P P 0,8 0, 0,8 0, 0.7 0.8 0, 4 0,6 0, 4 0,6 0.3 0.7 0,6 0,40,6 0,4 0.54 0.36 0, 0,9 0, 0,9 0.5 0.85 Selajuya uuk, 0,8 0, 0.3636 0.6364 0, 4 0, 6 0.3636 0.6364 lim P lim 0, 6 0, 4 0.3636 0.6364 0, 0,9 0.3636 0.6364 7