PENDUGAAN PARAMETER DERET WAKTU HIDDEN MARKOV HAMILTON *

Transkripsi

1 PENDUGAAN PARAMEER DERE WAKU HIDDEN MARKOV HAMILON * BERLIAN SEIAWAY, YANA ADHARINI DAN HIRASAWA Deparemen Maemaika Fakulas Maemaika dan Ilmu Pengeahuan Alam Insiu Peranian Bogor Jl Merani, Kampus IPB Darmaga, Bogor 6680 Indonesia ABSRAK Pendugaan parameer unuk model dere waku Hidden Markov Hamilon (994) dilakukan mengunakan Meode Maximum Likelihood dan pendugaan ulang menggunakan meode Expecaion Maximizaion Dari kaian ini diperoleh algorima unuk menduga parameer model Kaa kunci: Ranai Markov, Hidden Markov, Dere waku Hidden Markov, Meode Expecaion Maximizaion PENDAHULUAN ulisan ini merupakan kaian enang pendugaan parameer unuk dere waku Hidden Markov, khususna model Hamilon (994) Pendugaan parameer menggunakan meode Maximum Likelihood dan pendugaan ulangna menggunakan meode Expecaiion Maximizaion (Meode EM) Dari kedua meode ersebu kemudian diurunkan suau algorima ang dapa dipakai secara umum unuk menduga parameer model dere waku Hidden Markov Hamilon (994) ulisan ini dimulai dengan definisi model dere waku Hidden Markov besera sifa-sifana Pada bagian 3 dibahas Pendugaan Parameer model dan erakhir pada bagian 4 dibahas pendugaan ulang parameer dan algorimana *ulisan ini merupakan bagian dari hasil peneliian ang didanai oleh Hibah Peneliian PHK A Deparemen 3 Maemaika IPB ahun 005 dan 006

2 4 BERLIAN SEIAWAY, YANA ADHARINI DAN HIRASAWA MODEL DERE WAKU HIDDEN MARKOV Pasangan proses sokasik {( X k, Yk) : k } ang erdefinisi pada ruang peluang (, F, P) dan mempunai nilai pada S Y disebu model hidden Markov apabila { X k } adalah ranai Markov dengan sae berhingga dan diasumsikan bahwa ranai Markov { X k } idak diamai Sehingga { X k } ersembuni (hidden) di balik proses observasi Y k Banakna elemen dari S disebu ukuran (orde) dari model hidden Markov Pada bagian ini dibahas model hidden Markov Hamilon (994) ang merupakan dere waku ang memenuhi persamaan di mana: Y c( X ) ( X ) Y () X adalah ranai Markov dengan ruang sae, p p p p p P{ X X i} S dan P merupakan mariks peluang ransisina, di mana i Y adalah proses ang diamai dan bernilai skalar { } adalah barisan peubah acak ang saling bebas dan berdisribusi normal N(0, ) c ( c, c) dan (, ), dengan c, c,, dan adalah konsana real c( X ) c dan ( X ) X X Jadi model dicirikan oleh parameer c, c,,,, menggunakan meode EM akan diduga parameer c, c,,,, daa Y P Dengan P dari Karena N 0, bebas sokasik idenik maka dapa diperoleh fungsi sebaran bagi sebagai beriku 0 F exp P d 0 ~ 0 exp d ()

3 JMA, VOL 5, NO, JULI, 006, Berdasarkan persamaan () diurunkan fungsi sebaran bagi sebagai beriku P cx X F P Y P c Misalkan v cx X, maka dan Y X X cx X exp d 0 v FY exp d 0 v v fy exp FY cx X exp c exp X X Y dengan cara (3) Misalkan Y adalah medan- ang lengkap dan dibangun oleh Y, Y, Y3, Y Karena X merupakan ranai Markov sae maka erdapa fungsi kerapaan peluang bagi Y Kumpulan fungsi kerapaan ersebu dalam vekor dilambangkan dengan Sehingga diperoleh: f f X, Y X, Y c exp c exp (4)

4 6 BERLIAN SEIAWAY, YANA ADHARINI DAN HIRASAWA Misalkan melambangkan vekor di mana elemen ke- pada vekor merepresenasikan PX per elemen vekor, maka Y dan melambangkan perkalian elemen Y, Y Y, Y Y, Y Y, Y Y, Y Y f X, Y P X f X P X f X P X f X P X f X P X f X P X (5) Berdasarkan persamaan (5) maka dapa diuliskan: sehingga diperoleh di mana Y, Y P X f X P X, Y P, X, Y P Y ; P X, Y ; P, X, Y ; P X Y PY Y, Y f P X, ; Y, Y P X f X Y, Y Y, Y P X f X P X f X, (6) (7) Jika persamaan (6) dibagi dengan persamaan (7) maka diperoleh

5 JMA, VOL 5, NO, JULI, 006, P, X Y P, X, Y P Y f Y ; P Y ; P, Y ; P, X, Y P X,, Y P, Y ; P, Y ; Y Y P X, ; P X ; (8) Sehingga berdasarkan persamaan (6), (7) dan (8) diperoleh dan P X P, X Y ; Y; f Y (9) i P X i Y; P X i, X Y;, Y ; Y ; P X i X P X ; Y ; P X i S P X p i i p p p p p p p P (0) p Fungsi log likelihood cara L unuk daa ang diamai Y dapa dihiung dengan f f f 0 f L log Y ; Y ; Y ; log Y ; ()

6 8 BERLIAN SEIAWAY, YANA ADHARINI DAN HIRASAWA Salah sau pendekaan ang dapa digunakan unuk memilih nilai awal bagi adalah dengan membua 0 sama dengan vekor peluang ak bersara ang memenuhi sifa ergodic, aiu Sehingga diperoleh: P p P X Y ; p p 0 0 P X Y0 ; p Berdasarkan persamaan (7) diperoleh p p Y ; Y, Y P X Y f X, Y f P X f X x c P X Y exp P X x c Y exp () 3 PENDUGAAN PARAMEER Penduga kemungkinan maksimum bagi diperoleh dengan memaksimum-kan fungsi log-likelihood L log f Y Berdasarkan persaman () diperoleh f Y ; c c P X Y exp c c Y Y P X f X, Unuk memperoleh nilai ĉ ang memaksimum fungsi log-likelihood maka urunan perama dari L erhadap c harus sama dengan nol

7 L c JMA, VOL 5, NO, JULI, 006, f Y 0 Y c Y ;, Y ; f Y ; f P X f X c 0 Y, Y f Y ; P X Y f X, Y c f Y P X f X Sehingga diperoleh c Dengan cara ang sama diperoleh: c Y, Y f Y P X Y f X, Y f Y P X f X Y, Y f Y P X Y f X, Y f Y P X f X (3) (3) Berdasarkan persaman () diperoleh f Y ; c c P X Y exp c Y Y P X f X,

8 0 BERLIAN SEIAWAY, YANA ADHARINI DAN HIRASAWA Unuk memperoleh nilai ang memaksimum fungsi log-likelihood maka urunan perama dari L erhadap harus sama dengan nol L f Y 0 f Y Y ;, Y ; f Y ; P X f X c 0 memberikan Y, Y f Y ; P X Y f X, Y f Y P X f X c Sehingga diperoleh P X Y f X, Y c f Y P X Y f X, Y f Y Dengan cara ang sama diperoleh P X Y f X, Y c f Y P X Y f X, Y f Y Berdasarkan persaman () diperoleh (33) (34)

9 JMA, VOL 5, NO, JULI, 006, 3-6 f Y c P X Y exp 3 c c P X Y exp 4 P X Y c c exp 4 c P X f X, Y Y 4 c P X Y f X, Y 4 4 Unuk memperoleh nilai ang memaksimum fungsi log-likelihood maka L erhadap harus sama dengan nol urunan perama dari L 0 f Y 0 Y ; Y ;, Y ; f Y ; f P X f X x cs S 0 memberikan P X Y f X, Y f Y ; Y, Y S S f Y ; P X f X c Sehingga diperoleh Y, Y S S f Y P X Y f X, Y f Y P X f X c (35) Unuk menduga parameer P digunakan formula (36) beriku ang diperoleh dari Hamilon (990)

10 BERLIAN SEIAWAY, YANA ADHARINI DAN HIRASAWA p di mana menuru Kim (994) dan i P X, X i Y ; P X i Y ;, Y ; Y ; -, Y ; Y ; -, Y ; ; Y -, Y ; P X ; Y ; Y - Y ; - P X ; Y P X X i P X P X i X P X P X i X P X P X i s P X P X i P X i X i ;, ; P X i Y P X X i Y (36) (37) 4 PENDUGAAN ULANG PARAMEER DAN ALGORIMA Karena persamaan (3) sampai (37) ak linear, maka idak mungkin unuk memperoleh secara analiik sebagai fungsi dari Y, Y, Y3,, Y Sehingga unuk mencari penduga kemungkinan maksimum digunakan algorima ieraif dari meode EM 4 Meode Expecaion Maximizaion (Meode EM) Algorima EM dikembangkan oleh Baum and Perie (966) dengan ide dasar sebagai beriku Misalkan P : adalah koleksi ukuran peluang ang erdefinisi pada ruang (, G ) dan koninu absolu erhadap P 0 Misalkan Y G Definisikan fungsi likelihood unuk menenukan penduga parameer berdasarkan informasi Y sebagai

11 JMA, VOL 5, NO, JULI, 006, dp L( ) E0 Y dp 0 dan penduga maksimum likelihood didefinisikan sebagai arg max L( ) Secara umum penduga maksimum likelihood suli dihiung secara langsung Algorima EM memberikan suau meode ieraif unuk mengaproksimasi, dengan prosedur sebagai beriku Langkah : Se p 0 dan pilih 0 Langkah : [Langkah-E] Se p dan hiung Q Langkah 3: [Langkah-M] arg max Q, enukan p, E log dp Y dp Langkah 4: p p Ulangi langkah sampai krieria berheni dipenuhi Caaan: Barisan : 0 p p memberikan barisan L p Menuru keaksamaan Jensen, Q, log L( ) log L( ) 3 Q, p p p p disebu pseudo-loglikelihood bersara : p 0 ang ak urun 4 Pendugaan ulang parameer menggunakan meode EM Dengan menggunakan meode EM diperoleh algorima unuk menduga ulang parameer model Algorima ersebu sebagai beriku Langkah : enukan banakna daa ang akan diamai sera enukan uga nilai 0,,,, dan mariks ransisi p p p P p Beri nilai awal bagi ang dilambangkan dengan ( m ) c, c,,,

12 4 BERLIAN SEIAWAY, YANA ADHARINI DAN HIRASAWA Langkah : Cari fungsi kerapaan bersara bagi unuk seiap,,, dengan cara c exp m f X, Y m f, X Y c exp Langkah 3: Penarikan kesimpulan opimal dan peramalan unuk seiap waku pada conoh dapa diperoleh melalui ierasi: 3 enukan nilai awal bagi ang dilambangkan dengan 0 3 Berikan nilai awal i 33 Unuk i, cari nilai dari f m Y c m P X Y exp c m P X Y exp, m P X Y ; - m P X ; Y - m P X Y; m P, P X Y; ii 34 Ulangi mulai dari langkah (33) Sop ika Lanukan ke langkah 4 Langkah 4: Cari nilai dari:,

13 JMA, VOL 5, NO, JULI, 006, f X i, Y f Y, f X i Y f Y i c, i, i f X i, Y f Y c f X i, Y ; i i, i, f Y ; f X, Y ; c X X f f X, Y ; f Y Y ; Langkah 5: Beri nama parameer ang dihasilkan pada langkah 4 dengan k c, c,,,, k 0,,,, Langkah 6: Cari P ang baru, aiu: ( ) ( ) ( ) ( ) P ( ) di mana ( ) merupakan operasi perkalian elemen per elemen vekor, P X, X i Y Y - Y - P X Y P X P X i P X i X i i i p,

14 6 BERLIAN SEIAWAY, YANA ADHARINI DAN HIRASAWA Y Y P X i ; P X, X i, i P X, X i Y ; p i i P X ; i i p Y i p Langkah 7: Selama k, ulangi mulai dari langkah Gunakan parameer ang sudah dihasilkan unuk mencari nilai harapan bagi nilai ang akan daang EY X, Y ; c DAFAR PUSAKA [] Baum,LE and Perie, 966 Saisical inference for probabilisic funcions of finie sae Markov chains Annals of he Insiue of Saisical Mahemaics, 37: [] Hamilon, J D 990 Analsis of ime Series Subec o Changes in Regime Journal of Economerics 45: [3] Hamilon, J D 994 ime Series Analsis Princeon Universi Press, New Jerse [4] Kim, C J 994 Dnamic linear models wih Markov-Swiching Journal of Economerics 60: -