BAB IV MODEL HIDDEN MARKOV

BAB IV MODEL HIDDEN MARKOV 4.1 State dan Proses Observasi Semua proses didefinisikan pada ruang peluang (Ω, F, P). Misalnya X = {X : k N} adalah rantai Markov dengan state berhingga yang bersifat homogen dan diasumsikan tidak diamati secara langsung, sedangkan Y = {Y : k N} adalah proses observasinya. Pasangan proses stokastik {(X, Y )} merupakan model Hidden Markov. Ruang state dari X adalah S = {e, e,, e } dengan e = (0,,0,1,0,,0) adalah vektor satuan di R, di mana hanya elemen ke-i yang bernilai 1 dan lainnya 0. Misalnya {F : k N} adalah medan-σ lengkap yang dibangkitkan oleh {X, X,, X }, {Y : k N} adalah medan-σ lengkap yang dibangkitkan oleh {Y, Y,, Y }, dan {G : k N} adalah medan-σ lengkap yang dibangkitkan oleh {X, X,, X } dan {Y, Y,, Y }. Karena X merupakan rantai Markov homogen, maka berdasarkan sifat rantai Markov diperoleh PX = e F = PX = e X, X,, X Lema 4.1.1 (Elliott et al. 1995) E X, e = PX = e. 1, untuk i = j Karena e, e = 0, untuk i j, maka E X, e = e, e P(X = e ) = PX = e X. = PX = e. Jika π = PX = e, maka vektor π = (π, π,, π ) merupakan nilai harapan dari X, yaitu π = E[X] dan untuk X yang ergodic memenuhi Aπ = π dan π.

28 Lema 4.1.2 (Elliott et al. 1995) Misalnya a = PX = e X = e merupakan peluang transisi dan A = a adalah matriks peluang transisi yang memenuhi semua i = 1,2,, N, maka EX F = EX X = AX. Misalnya X = e maka EX X = e = e PX = e X = e a = 1 untuk = a = a e + a e + + a e = (a, a,, a ) = Ae = AX. Jadi EX F = EX X, X,, X = EX X = AX. (4.1) Didefinisikan V X AX, dengan EX X = AX, maka EV F = EV X, X,, X = EV X = EX AX X = EX X EAX X = EX X AEX X = AX AX = 0. (4.2) Sehingga dapat diperoleh suatu persamaan state X = AX + V. (4.3) Proses state X tidak diamati secara langsung namun terdapat proses observasi Y = c(x, ω ), k N di mana {ω } adalah barisan peubah acak yang menyebar normal dengan nilai harapan nol dan ragam satu (N(0,1)) yang bersifat bebas stokastik identik. Ruang state dari Y adalah e

29 S = {f, f,, f } dengan f = (0,,0,1,0,,0) adalah vektor satuan di R, di mana hanya elemen ke-j yang bernilai 1 dan lainnya 0. Lema 4.1.3 (Elliott et al. 1995) Misalnya C = c adalah matriks peluang transisi, di mana c = PY = f X = e dan memenuhi a N, maka EY G = EY X = CX. Misalnya X = e maka EY X = e = f PY = f X = e = c f = 1 dan 1 j M, 1 i = c f + c f + + c f = (c, c,, c ) = Ce = CX. Jadi EY G = EY X = CX. (4.4) Didefinisikan W Y CX, dengan EY X = CX, maka EW G = EY CX G = EY G ECX G = EY X ECX X = EY X CEX X = CX CX = 0. Sehingga dapat diperoleh suatu persamaan observasi Y = CX + W. (4.5)

30 Notasi 4.1.4 Misalnya Y = Y, f dan Y = (Y, Y,, Y ), k N dengan = 1. Misalnya c Untuk X = e, maka = EY G. c = EY G = E[ Y, f X = e ] = f, f PY = f X = e = P(Y = f X = e ) = c = c e, e = c e, e + c e, e + + c e, e + + c e, e = c e, e = c e, X. Misalnya c = (c, c,, c ), maka c = E[Y G ] = E[Y X ] = CX. Lema 4.1.5 (Elliott et al. 1995) V (V ) = diag(ax ) + diag(v ) Adiag(X )A AX (V ) V (AX ) dan V E[V (V ) F ] = diag(ax ) A diag(x )A ; W E[W (W ) G ] = diag(cx ) C diag(x )C. di mana diag(z) merupakan matriks diagonal yang unsur diagonalnya adalah vektor z dan unsur lainnya adalah nol. (lihat Elliott et al. 1995) Y

31 Berdasarkan pembahasan sebelumnya, maka diperoleh model hidden Markov diskret (Elliott et al. 1995) dalam ukuran peluang P dengan persamaan X = AX + V Y = CX + W, k N (4.6) di mana X S, Y S, A = a dan C = c merupakan matriks peluang transisi yang memenuhi V dan W memenuhi: a = 1 dan a 0, dan c = 1 dan c 0. E[V F ] = 0, E[W G ] = 0; V E[V (V ) F ] = diag(ax ) A diag(x )A ; W E[W (W ) G ] = diag(cx ) C diag(x )C. 4.2 Perubahan Ukuran Perubahan ukuran peluang dilakukan dengan mengubah ukuran peluang menjadi ukuran peluang baru. Dari ukuran peluang baru tersebut akan diinterpretasikan kembali ke dalam peluang asal. Perubahan ukuran ini dibatasi oleh turunan Radon-Nikodym. Di bawah ukuran peluang P pada (Ω, G ), di mana G adalah medan-σ yang dibangkitkan oleh medan-σ {G : k N} berlaku: 1. X = {X k N} merupakan rantai Markov yang homogen dan memenuhi X = AX + V dan E[V F ] = 0; 2. Y = {Y k N} merupakan proses observasi yang memenuhi Y = CX + W, E[W G ] = 0, dan Y adalah peubah acak yang bergantung pada X. Akan dikonstruksi ukuran peluang baru P pada (Ω, G absolut terhadap ukuran peluang asal P, sehingga di bawah P berlaku: ) yang kontinu

32 1. X = {X k N} merupakan rantai Markov yang homogen dengan ruang state S = {e, e,, e } dan memenuhi X = AX + V dan E[V F ] = 0; 2. Y = {Y k N} merupakan barisan peubah acak diskret dengan ruang state S = {f, f,, f } yang bersifat bebas stokastik identik dan menyebar seragam dengan PY = f =, 1 j M; 3. Y dan V saling bebas. Misalnya P ukuran peluang baru pada (Ω, turunan Radon-Nikodym Definisikan dp dp G = Λ. G ) yang dibatasi oleh λ = 1 Mc Y, f, (4.8) di mana M > 0, c > 0, 1 i M, l N. Definisikan Λ = λ. (4.9) Karena Y 1, l = i = Y, f = 0, l i, maka λ adalah fungsi tak linear dari Y sehingga dapat ditulis Lema 4.2.1 (Elliott et al. 1995) λ = λ (Y ) = Y MC. Dengan menggunakan definisi di atas, maka E[λ G ] = 1. (4.7) (4.10) E[λ G ] = E 1 Mc = 1 M 1 c Y PY G = 1 G

33 = 1 M 1. c c = 1. Teorema 4.2.1 (Teorema Bersyarat Bayes) (Elliott et al. 1995) Misalnya (Ω, F, P) merupakan ruang peluang dan G submedan-σ dari F. Misalnya P ukuran peluang lain yang kontinu absolut terhadap P dengan turunan Radon- Nikodym terukur-f, maka = Λ. Jika φ adalah sebarang peubah acak yang terintegralkan dan (lihat Elliott et al. 1995) Lema 4.2.2 (Elliott et al. 1995) E[φ G] = E[Λφ G] E[Λ G]. Jika {φ : k N} adalah barisan peubah acak yang terintegralkan dan adapted-g, maka (lihat Elliott et al. 1995) Lema 4.2.3 (Elliott et al. 1995) E φ Y = EΛ φ k Y E[Λ Y ]. Di bawah ukuran peluang P, {Y k N} merupakan barisan peubah acak yang bebas stokastik identik yang menyebar seragam dengan peluang 1 M untuk setiap f, 1 i M. Dengan menggunakan nilai harapan E di bawah ukuran peluang P, Lema 4.2.1, dan Lema 4.2.2 maka PY = 1 G = E Y, f G = EΛ Y, f G E[Λ G ] = EΛ λ Y, f G E[Λ λ G ] = Λ Eλ Y, f G, (karena Λ Λ E[λ G ] terukur-g )

34 = Eλ Y, f G E[λ G ] = Eλ Y, f G = E 1 = E 1 = 1 Mc Mc Mc = 1. c Mc = 1 M = P Y Y Y, f G Y, f G EY G = 1 Lema 4.2.4 (Elliott et al. 1995) Di bawah ukuran peluang P berlaku E[X G ] = AX. Dengan menggunakan Notasi 4.1.4, Lema 4.2.1, Lema 4.2.2, dan Lema 4.2.3 diperoleh E[X G ] = E[Λ X G ] E[Λ G ] = E[Λ λ X G ] E[Λ λ G ] = Λ E[λ X G ] Λ E[λ G ] = E[λ X G ] E[λ G ] = E[λ X G ] = E 1 Mc (karena Λ terukur-g ) Y X G

35 = E 1 Mc X G = 1 E[X G ] Mc = 1 E[X G ] Mc 1 = MEY G E[X G ] = 1 MPY = 1 M 1 E[X G ] M = E[X G ] = E[X F, Y ] = E[X F ] = 1 G E[X G ] = AX. Jadi, di bawah ukuran peluang P, proses X = {X k N} adalah rantai Markov dengan matriks peluang transisi A. Lema 4.2.5 (Elliott et al. 1995) Di bawah ukuran peluang P berlaku E[V G ] = 0. Berdasarkan Lema 4.2.4 diperoleh E[V G ] = E[X AX G ] = E[X G ] E[AX G ] = E[X G ] E[AX G ] = AX A E[X F ] = AX A E[X X ] = AX AX = 0.

36 (Ω, Dari hasil sebelumnya diperoleh bahwa di bawah ukuran peluang P pada G ) berlaku: 1. Proses X = {X k N} adalah rantai Markov dengan matriks peluang transisi A, E[V G ] = 0 ; 2. {Y k N} adalah barisan peubah acak diskret yang bersifat bebas stokastik identik dan menyebar seragam dengan PY = f =, j = 1,2,.., M. Misalnya C = c, 1 j M, 1 i N adalah matriks peluang transisi sehingga c 0 dan c = 1. Akan dikonstruksi ukuran peluang P pada (Ω, G E[Y G ] = CX. Misalnya ) sehingga di bawah P model (4.6) dipenuhi dan berlaku c = CX dan c = c, f = CX, f, sehingga berlaku c = 1. Untuk mengkonstruksi P dari P adalah kebalikan dari menentukan P dari P. Didefinisikan λ dan Λ yang berturut-turut merupakan invers dari λ dan Λ, yaitu λ = Mc, l N, (4.11) Λ = λ, dan (4.12) dp dp G = Λ. (4.13) Lema 4.2.6 (Elliott et al.1995) Dengan menggunakan definisi di atas berlaku Eλ G = 1. Dengan menggunakan Lema 4.2.3 diperoleh Eλ G = E Mc = E Mc G G

37 = M c = M c = c PY 1 M = 1 G = 1. Lema 4.2.7 (Elliott et al. 1995) Di bawah ukuran peluang P berlaku E[Y G ] = CX. Dengan menggunakan Lema 4.2.6 diperoleh E[Y G ] = PY = 1 G = E Y, f G = E Λ Y, f G E[Λ G ] = E λ Y, f G Eλ G = Eλ Y, f G = E Mc = E Mc = MEc Y, f G = Mc = Mc 1 = Mc M = c E Y, f G PY G Y, f G Y, f G = CX.

38 Berdasarkan Lema 4.2.7, maka di bawah ukuran peluang P berlaku E[Y CX G ] = E[Y G ] E[CX G ] = CX CE[X G ] = CX CX = 0. Misalnya W = Y CX, maka E[W G ] = 0. Jadi proses observasi dapat ditulis Y = CX + W. 4.3 Pendugaan Rekursif Untuk menduga parameter model hidden Markov, maka dibentuk suatu pendugaan rekursif dari state, banyaknya lompatan, lamanya waktu kejadian, dan proses observasi. Dari Pasal 4.2 diperoleh bahwa di bawah ukuran peluang P pada (Ω, G ) berlaku X = AX + V, di mana V pada (P, G ) memenuhi E[V G ] = 0 dan {Y } adalah bebas stokastik identik dengan PY = f =, serta Y dan V saling bebas di bawah P dan P. Lema 4.3.1 (Elliott et al. 1995) E[V Y ] = 0. Dengan menggunakan Teorema 2.2.27 dan Lema 4.2.5 diperoleh E[V Y ] = E[E[V G, Y ] Y ] = E[E[V G ] Y ] = E[0 Y ] = 0. Definisikan q (e ) = E[Λ X, e Y ] untuk 1 r N, k N. (4.14) Karena X, e = 1, 1 k N, maka berlaku q (e ) = E[Λ X, e Y ]

39 = E [Λ X, e Y ] = E Λ [ X, e Y ] = E[Λ Y ]. (4.15) Lema 4.3.2 (Elliott et al. 1995) Untuk q = q (e ), q (e ),, q (e ) maka E[Λ X Y ], e = q, e. E[Λ X Y ], e = Λ e P(X = e Y ), e = Λ e P(X = e Y ), e = Λ P(X = e Y ) X = e, e = EΛ X, e Y = q e = q, e. Notasi 4.3.3 Misalnya {H k N} merupakan barisan peubah acak bernilai skalar yang terintegralkan, notasikan γ (H ) = E[Λ H Y ]. (4.16) Dengan menggunakan Lema 4.2.2 dan persamaan (4.16), maka E[H Y ] = E [Λ H Y ] E[Λ Y ] Sebagai nilai awal, diambil γ (X ) = E[X ]. Misalnya 1 = (1,1,,1) R, maka = γ (H ) γ (1). (4.17)

40 Akibatnya X, 1 = X, e = 1. γ (H X ), 1 = γ (H X, 1 ) = γ (H ). (4.18) Jika H = 1, maka berdasarkan persamaan (4.15), (4.16), dan (4.18) diperoleh γ (1) = γ (X ), 1 = E[Λ Y ] = q (e ) (4.19) Jika γ (1) pada persamaan (4.17) diketahui, maka faktor penormalan dapat dicari dengan menjumlahkan semua komponen γ (X ). Notasi 4.3.4 Jika proses {φ : k N} adapted-g, notasikan γ, (φ ) = E[Λ φ X Y ]. (4.20) Notasi 4.3.5 Untuk penyederhanaan dinotasikan bahwa c (Y ) = M c Teorema 4.3.6 (Elliott et al. 1995) (4.21) Misalnya proses {H k N} bernilai skalar dan adapted-g serta memenuhi H = (α + β, V + δ, Y ) = (α + β, V + δ, Y ) + α + β, V + δ, Y = H + α + β, V + δ, Y, k 1, di mana V = X AX, α, β, δ adalah proses predictable terhadap G dan α bernilai skalar, β merupakan vektor berdimensi N, dan δ merupakan vektor berdimensi M. Jika 1 j N dengan c = Ce = c, c,, c kolom ke-j dari matriks C = c dan a = Ae = a, a,, a adalah adalah kolom ke-j dari matriks A = a, maka

41 γ, (H ) = c (Y ) γ, (H ) + γ, (α + δ, Y ), e a +diaga a a E Λ X, e β Y. (lihat Jamal 2008) 4.3.1 Pendugaan untuk State Ambil H = H = H = = H = 1, α = β = δ = 0, dengan menggunakan Teorema 4.3.6 dan Lema 4.3.1 maka penduga untuk state didefinisikan sebagai γ, (1) = c (Y ) γ, (1) + γ, (0 + 0, Y ), e a +diaga a a E Λ X, e 0 Y = c (Y ) γ (X ), e a = c (Y ) q, e a. Jadi γ, (1) = γ (X ) = q = c (Y ) q, e a. (4.22) 4.3.2 Pendugaan Banyaknya Lompatan Banyaknya lompatan dari state e ke state e sampai waktu ke-k didefinisikan sebagai J = X, e X, e. Dengan menggunakan X = AX + V, maka menurut Jamal (2008) diperoleh J = J + X, e a + X, e e, V. Ambil H = J, H = 0, α = X, e a, β = X, e e, δ = 0, maka dengan Teorema 4.3.6 dan Lema 4.3.1 diperoleh (Jamal 2008) γ, (J ) = c (Y ) γ, (J ), e a + c (Y ) q, e a e. (4.23)

42 4.3.3 Pendugaan Lamanya Waktu Kejadian Misalnya O menyatakan banyaknya kejadian di mana rantai Markov X berada pada state e, 1 r N, sampai waktu ke-k, maka didefinisikan O = X, e = X, e + X, e = O + X, e. Ambil H = O, H = 0, α = X, e, β = δ = 0, maka penduga untuk lamanya waktu kejadian adalah (Jamal 2008) γ, (O ) = c (Y ) γ, (O ), e a + c (Y ) q, e a. (4.24) 4.3.4 Pendugaan untuk Proses Observasi Banyaknya kejadian bahwa X berada pada state e, 1 r N, dan Y berada pada state f, 1 s M, sampai waktu ke-k didefinisikan oleh T = X, e Y, f Berdasarkan definisi tersebut, maka diperoleh T = X, e Y, f dengan 1 r N, 1 s M. = X, e Y, f + X, e Y, f = T + X, e Y, f = T + X, e f, Y. Ambil H = T, H = 0, α = β = 0, δ = X, e f dan dengan menggunakan Teorema 4.3.6 dan Lema 4.3.1, maka penduga untuk proses observasi diperoleh (Jamal 2008) γ, (T ) = c (Y ) γ, (T ), e a + M q, e Y, f c a. (4.25)

43 4.4 Pendugaan Parameter Pendugaan parameter model hidden Markov dilakukan dengan pendugaan ulang parameter. Metode yang digunakan adalah algoritme EM. Hasilnya berupa parameter dalam bentuk pendugaan rekursif. 4.4.1 Maksimum Likelihood Misalnya {P θ Θ } adalah himpunan ukuran peluang yang terdefinisi pada (Ω, F) dan kontinu absolut terhadap P. Misalnya Y F, Fungsi Likelihood yang digunakan untuk menghitung penduga parameter θ berdasarkan informasi Y adalah L(θ) = E dp dp Y, dan Maximum Likelihood Estimation (MLE) didefinisikan sebagai θ arg max L(θ). 4.4.2 Expectation Maximization Pada umumnya MLE sulit dihitung secara langsung sehingga digunakan metode rekursif yaitu dengan algoritme EM. Langkah-langkah dalam metode tersebut adalah sebagai berikut. 1. Set nilai awal parameter θ dengan k = 0; 2. Set θ = θ dan hitung Q(., θ ) dengan Q(θ, θ ) = E dp Y ; dp 3. Cari θ arg max Q(θ, θ ); 4. Ganti k dengan k + 1 dan ulangi langkah ke 2 sampai langkah ke 4 hingga kriteria penghentian tercapai. Parameter yang digunakan pada model dalam persamaan (4.6) adalah θ = a, 1 i, j N, c, 1 i N, 1 j M. Dengan menggunakan algoritme EM akan ditentukan himpunan parameter baru, θ = a (k), 1 i, j N, c (k), 1 i N, 1 j M, yang memaksimumkan fungsi log-likelihood bersyaratnya.

44 4.4.3 Pendugaan Parameter a Notasi 4.4.3.1 Untuk proses {φ k N} ditulis φ = E[φ Y ]. Dalam waktu diskret kondisi ini mendefinisikan Y-optionalprojection. Untuk mengganti parameter a dengan a pada rantai Markov X, didefinisikan λ = a (k), a,, Lema 4.4.3.2 (Elliott et al. 1995), Λ = λ, dan dp = Λ dp. (4.26) F Di bawah ukuran P dan misalnya X = e, maka E [ X, e F ] = a (k). (lihat Jamal 2008) Teorema 4.4.3.3 (Elliott et al. 1995) Penduga yang baru untuk a (k) pada waktu pengamatan k diberikan oleh (lihat Jamal 2008) a (k) = J ) O = γ (J γ (O ). (4.27) 4.4.4 Pendugaan Parameter c Untuk mengganti parameter c dengan c (k) pada matriks C, didefinisikan λ = c (k) c,,, Λ = λ, dan Lema 4.4.4.1 (Elliott et al. 1995) Di bawah ukuran P dan Misalnya X = e, maka E [ Y, f G ] = c (k). (lihat Jamal 2008) dp = Λ dp. (4.28) F

45 Teorema 4.4.4.2 (Elliott et al. 1995) Penduga maksimum likelihood untuk parameter c (k) pada waktu pengamatan k diberikan oleh (lihat Jamal 2008) c (k) = T O = γ (T ) γ (O ). (4.29) 4.4.5 Menentukan Nilai Y Nilai harapan Y adalah Y = E[Y Y ] = PY = f Y = PY = f, X = e Y = PY = f X = e P(X = e Y ) f = c P(X = e Y ) f = c q (e ) f. (4.30) f f 4.5 Algoritme Pendugaan Parameter Diketahui parameter model berbentuk θ = a, 1 i, j N, c, 1 i N, 1 j M. Selanjutnya akan ditentukan parameter baru θ = a (k), 1 i, j N, c (k), 1 i N, 1 j M, yang memaksimumkan pseudo-loglikelihood bersyarat seperti yang dijelaskan pada Pasal 4.4. Algoritme untuk menduga parameter tersebut diperoleh dari Setiawaty dan Kristina (2005) dengan beberapa modifikasi yang disesuaikan untuk masalah diskret.

46 Algoritme Pendugaan parameter Langkah 1 Tentukan nilai N (banyaknya state dari penyebab kejadian), M (banyaknya state dari proses observasi), banyaknya data T dan input data {Y }. Langkah 2 Tentukan nilai awal untuk: π = (π ) A = a Langkah 3 C = c π = E[X ] dan memenuhi Aπ = π. Lakukan untuk l = 1 sampai dengan T 1. Tetapkan nilai awal untuk proses pendugaan a = Ae dengan e vektor satuan di R γ (X ) = π γ (J ) = 0 γ (O ) = 0 γ (T ) = 0 2. Lakukan untuk k = 0 sampai dengan l 1 a. Hitung penduga rekursif (i) Penduga untuk state γ (X ) = q = c (Y ) q, e a. (ii) Penduga banyaknya lompatan γ, (J ) = c (Y ) γ, (J ), e a +c (Y ) q, e a e. (iii) Penduga lamanya waktu kejadian γ, (O ) = c (Y ) γ, (O ), e a + c (Y ) q, e a.

47 (iv) Penduga untuk proses observasi di mana γ, (T ) = c (Y ) γ, (T ), e a c (Y ) = M c +M q, e Y, f c a. γ (H X ) = γ, (H ) γ (H ) = γ (H X ), 1 dengan 1 = (1,1,,1) R b. Hitung penduga parameter a (k + 1) = γ (J ) γ (O ) c (k + 1) = γ (T ) γ (O ) c. Tuliskan A = a (k + 1) d. Tentukan π(k + 1) = A(k + 1)π(k + 1) e. Ulangi a sampai dengan d untuk k berikutnya 3. Berikan nilai A(k + 1) A(k + 1) C(k + 1) C(k + 1) π(k + 1) π(k + 1) 4. Ulangi 1 sampai 3 untuk l berikutnya Langkah 4 Hitung nilai Langkah 5 Untuk k = 1 sampai dengan T cetak Y. Y = c q (e )f.