PENDUGAAN PARAMETER MODEL HIDDEN MARKOV *

Transkripsi

1 PEDUGAA PARAMETER MODEL HIDDE MARKOV * BERLIA SETIAWATY DA LIDA KRISTIA Depatemen Matemata Faultas Matemata dan Ilmu Pengetahuan Alam Insttut Petanan Bogo Jl Meant, Kampus IPB Damaga, Bogo 6680 Indonesa ABSTRAK Pendugaan paamete untu model Hdden Maov Ellott et al (995) dlauan mengunaan Metode Maxmum Lelhood dan pendugaan ulang menggunaan metode Expectaton Maxmzaton yang melbatan peubahan uuan Da metode tesebut dpeoleh algotma untu menduga paamete model Kata unc: Ranta Maov, model Hdden Maov, peubahan uuan metode Expectaton Maxmzaton PEDAHULUA Tulsan n meupaan ajan pustaa tentang pendugaan paamete untu model Hdden Maov Ellott, et al (995) Pendugaan paamete menggunaan metode Maxmum Lelhood dan pendugaan ulangnya menggunaan metode Expectatton Maxmzaton (Metode EM) yang melbatan peubahan uuan Da edua metode tesebut emudan dtuunan suatu algotma yang dapat dpaa secaa umum untu menduga paamete model Hdden Maov Ellott, et al (995) Tulsan n dmula dengan defns model Hdden Maov beseta aatestnya Pada bagan 3 dbahas Pendugaan Paamete model dan teah pada bagan 4 dtuunan algotmanya *Tulsan n meupaan bagan da hasl peneltan yang ddana oleh Hbah Peneltan PHK A2 Depatemen 23 Matemata IPB tahun 2006

2 24 BERLIA SETIAWATY DA LIDA KRISTIA 2 MODEL HIDDE MARKOV 2 Defns Pasangan poses stoast {(, Y) : } yang tedefns pada uang peluang (, F, P) dan mempunya nla pada S Y dsebut model hdden Maov apabla { } adalah anta Maov dengan state behngga dan dasumsan bahwa anta Maov { } tda damat Sehngga { } tesembuny (hdden) d bal poses obsevas Y Banyanya elemen da S dsebut uuan (ode) da model hdden Maov Pada tulsan n dbahas model hdden Maov Ellot, et al (995) yang bebentu: A V Y c( ) ( ) d mana { } adalah anta Maov yang homogen dengan uang state S { e, e2,, e }, dengan e veto satuan d dan A ( aj ) meupaan mats tanssnya, dengan aj = P( = ej - = e), j =, 2,, { } adalah basan peubah aca yang bebas stoast dent dengan sebaan (0,) dan dengan c( ) c, dan ( ), c ( c, c,, c ), (,,, ) 2 2, pealan dalam d Asumsan 0, untu,2,, Msalan { F } adalah fltas lengap yang dbangun oleh { }, { Y } adalah fltas lengap yang dbangun oleh { Y } dan { G } dbangun oleh { } dan { Y } adalah fltas lengap yang Catatan 2 Kaena, adalah peubah aca yang bebas stoast dent, maa bebas da G Abatnya juga bebas da F 22 la Haapan Besyaat Untu sebaang t, belau

3 JMA, VOL 4, O, JULI, 2005, P( Y t Y) P( Y t, e Y) P( Y t e, Y) P( e Y) P( Y t e ) P( e Y ) P( c( ) ( ) t e ) P( e Y ) P( c t) P( e Y ) Msalan maa Sehngga dpeoleh P( t c ) P( e Y ) 2 x 2 : E Y dan ( x) e (fungs epadatan (0, ) ) 2 Y Y, e E, e e P e, e j j j j j Y j Y P e e, e P e P( y t Y) P( t c ) P( e Y ), e ( x) dx Jad fungs epadatan besyaat da j Y detahu Y adalah, e ( t c ) j j j Adapun sebaan gabungan da dan Y detahu Y adalah tc (2) P( e, Y t Y ) P( Y t e, Y ) P( e Y ) tc P( c t) P( e Y ), e ( x) dx Sehngga dpeoleh fungs epadatan gabungan besyaat da dan Y detahu Y adalah, e ( t c ) Bedasaan atuan Bayes, dpeoleh P e, Y Y E e P e Y, Y, Y PY Y, e j j ( Y c j ) j batnya ddapat, e ( Y c ) A

4 26 BERLIA SETIAWATY DA LIDA KRISTIA E E e e E e e, e ( y c ) e Y, Y, Y, e j j ( y c j ) j Teoema 22 (Ellot et al 995) E Y j, e ( y c ) A e, e ( y c ) j j j Catatan 222 Da pesamaan d atas dpeoleh bahwa penduga begantung pada secaa tda lnea 23 Peubahan Uuan Pada Model Hdden Maov Msalan () adalah peubah aca yang tedefns pada (, F, P) dengan fungs epadatan ( ) dan c, adalah onstanta yang detahu Detahu Y( ) c( ) Aan donstus uuan peluang bau P pada (, F ) sedeman sehngga: Kaena a b D bawah P peubah aca y mempunya fungs epadatan maa dpeoleh Pada (,, P) t P( Y t) ( y) dy I I I ( ) ( ) d { Y t} { Y t} tc tc t ( ) ( ) d ( ) ( ) dy ( ) ( ) ( y) atau F poses obsevas ( y) ( ) ( ) Y mempunya bentu Y c,, d mana bebas stoast dent menyeba (0,) Msalan () adalah fungs epadatan peluang (0,) dan, l yl l, l; 0 ; l, l l

5 JMA, VOL 4, O, JULI, 2005, Defnsan uuan peluang P pada (, F ) sebaga beut Esstens djamn oleh Teoema Radon-odym dan esstens P djamn oleh Teoema Peluasan Kolmogoov (Wong and Haje, 985) Lemma 23 (Ellot et al 995) D bawah P, Y adalah basan peubah aca yang bebas stoast dent menyeba (0,) Sebalnya, dmula dengan uuan peluang P pada (, F ), d mana d bawah P belau: adalah anta Maov dengan mats tanss A sehngga a A V, dengan EV F 0 b Y adalah basan peubah aca yang bebas stoast dent menyeba (0,) dan bebas da, aan donstus P da P sehngga d bawah P belau: Y c,,, 0, adalah basan peubah aca yang bebas stoast dent dan menyeba (0,) Untu mengonstus P da P, defnsan l l, l; 0 ; l, ;, y l l l l Lemma 232 D bawah P, adalah basan peubah aca yang bebas stoast dent menyeba (0,) G G Catatan 233 (, F, P) Untu selanjutnya ta aan beeja pada uang peluang 3 PEDUGAA PARAMETER Sfat statst model Hdden Maov dtentuan secaa lengap oleh hmpunan paamete ( a ),, j ; c, ;, j Pada bagan n dbahas poses pendugaan paamete tesebut menggunaan Algotma EM (Expectaton maxmzaton algothm) 3 Pendugaan Reusf

6 28 BERLIA SETIAWATY DA LIDA KRISTIA Defns 3 (Ellot et al 995) Basan peubah aca dsebut adapted- G, atau adapted tehadap fltas G, apabla untu setap, teuu-g Defns 32 Ja H adalah basan peubah aca yang adapted teha-dap G, defnsan : H E H Y dan H : E H Y Menuut Teoema Bayes besyaat E H H H : E H Y Y, E Y sehngga E 0 Y aena 0 Catatan 33 Pada poses pendugaan eusf, E sebaga nla awal 0 dambl Lemma 34 (Ellot et al 995) Msalan H adalah basan peubah aca benla sala, maa a H H, b, Catatan 35 Da pesamaan d atas dpeoleh bahwa pendugaan H begantung pada H Defns 36 Basan peubah aca dsebut pedctable tehadap fltas G, apabla untu setap, teuu-g Teoema 37 Msalan H adalah poses benla sala yang adapted tehadap fltas G dan mempunya bentu a H 0 teuu- F 0 H H, V f ( y ), b d mana V A f adalah fungs benla sala,, adalah poses yang pedctable-g

7 JMA, VOL 4, O, JULI, 2005, adalah poses benla veto bedmens- maa H : H,,, H y a y a T, y f ( y ) a dag( a ) a a, y mana a Ae dan y : e y y c d 32 Penduga Paamete 32 Penduga untu State Teoema 32 (Ellott et al 995) ( ) ( ), ( y ) a (3) But: Dengan mengambl H H0, 0, 0 dan 0 pada Teoema 37 dpeoleh ( ) ( ), ( y ) a Catatan 322 Pesamaan (3) menunjuan bahwa ( ) begantung pada ( ) secaa lnea 322 Penduga untu umbe of Jumps Ja anta Maov melompat da state e pada watu e-, e state e s pada watu e-,, s, maa, e, es, sehngga banyanya lompatan (numbe of jumps) da state adalah J s : n, e n, es n J s s, e, e e e state J, e A V, e s s J, e A, e, e V, e s s s J, e a, e V, e s s S e s pada watu e-

8 30 BERLIA SETIAWATY DA LIDA KRISTIA Teoema 322 (Ellott et al 995) s s, ( ), ( ), ( y ) a ( ), ( y ) ases J J (32) But: Dengan mengambl s H J, H 0,, e a,, e e dan 0 pada 0 s s Teoema 37 dpeoleh,,, J J y a e a y a s s, s Sedangan dan Sehngga T a aa e es y 0 dag( ),,,,,, e a y a e y a a s s, y a a s T dag( a ) aa, e es, y T,, dag( ) e y a a a e s, dag( ) T, y a e a a y a a a e s s s s s s, ( J ) ( J ), ( y ) a, ( y ) ases ( J ), ( y ) a ( ), ( y ) a e s, s s 323 Penduga untu Occupaton Tme Banyanya ejadan anta Maov beada pada state watu e- ddefnsan sebaga beut Teoema 323 (Ellott et al 995) s n n O :, e O, e e, sampa, ( O ), ( O ), ( y ) a ( ), ( y ) a (33)

9 JMA, VOL 4, O, JULI, 2005, But: Dengan mengambl s H O, H 0,, e, 0 dan 0 pada Teoema 37 0 dpeoleh,,, O O y a e y a,,, O y a y a O, y a ( ), ( y ) a, 324 Penduga untu Poses Obsevas Untu menduga paamete,,, T dan c c, c,, c pada 2 2 poses obsevas y c,,, defnsan d mana l l l ( f ) :, e f ( y ) ( f ), e f ( y ) ( ) atau ( ) 2 f y y f y y T Teoema 324 (Ellott et al 995), ( ( f )), ( ( f )), ( y ) a ( ), ( y ) f ( y ) a (34) But: Dengan mengambl H ( f ), H 0, 0, 0 dan, e pada Teoema 0 37 dpeoleh ( f ) ( f ), y a, e, y f ( y ) a, ( f ), y a, y f ( y ) a ( ),, f y a y f y a, ( ) 33 Expectaton Maxmzaton Algothm (Algotma EM) Algotma EM dembangan oleh Baum and Pete (966) dengan de dasa sebaga beut

10 32 BERLIA SETIAWATY DA LIDA KRISTIA Msalan P : adalah oles uuan peluang yang tedefns pada uang (, G ) dan ontnu absolut tehadap P 0 Msalan Y G Defnsan fungs lelhood untu menentuan penduga paamete bedasaan nfomas Y sebaga L( ) E0 Y 0 dan penduga masmum lelhood ddefnsan sebaga ag max L( ) Secaa umum penduga masmum lelhood sult dhtung secaa langsung Algotma EM membean suatu metode teatf untu mengaposmas, dengan posedu sebaga beut Langah : Set p 0 dan plh 0 Langah 2: [Langah-E] Langah 3: Set p dan htung Q [Langah-M] ag max Q, Tentuan p, E log Y Langah 4: p p Ulang langah 2 sampa tea behent dpenuh Catatan 33 : p 0 Basan p membean basan L p 2 Menuut etasamaan Jensen, Q, log L( ) log L( ) 3 Q, p p p p dsebut pseudo-loglelhood besyaat : p 0 yang ta tuun Model Hdden Maov yang aan dduga paametenya bebentu d mana A V y c,, V adalah matngale ncements dan adalah peubah aca yang bebas stoast dent menyeba (0,) Paamete model dbean oleh hmpunan ( a ),, j ; c, ;, j

11 JMA, VOL 4, O, JULI, 2005, d mana a j, Aan dtentuan hmpunan paamete bau ( ) ( a ( )),, j ; c ( ), ; ( ), j d mana a j ( ), yang memasmuman pseudolog-lelhood besyaat Untu mengubah paamete a j menjad a j ( ) pada anta Maov, msalan s, a ( ) s a s a ( ) s l, s as dan defnsan peluang P sehngga F, es, e l, es l, e Lemma 332 D bawah P, ja e, maa E, es as ( ) F Teoema 333 (Ellott et al 995) s s J J a s ( ) (35) O O But: Bedasaan defns a ( ) s log log l, s as l, s s, J s l, es l, e, e, e log a ( ) log a l s l s s log a ( ) R( a) d mana Ra ( ) tda begantung pada â besyaatnya menjad s Sehngga pseudo-loglelhood

12 34 BERLIA SETIAWATY DA LIDA KRISTIA s s s, E log Y J log a ( ) R ( a) (36) Paamete a ( ) haus memenuh s atau dalam bentu dnam s a ( ) s l, e as ( ) l s Bentu dnam d atas dapat dtulsan dalam bentu besyaat O as ( ) (37) s, Masalah optmasnya seaang menjad memlh a s ( ) yang memasmuman (37) dengan endala (38) Defnsan fungs Lagange s L( a, ) J log ( ) as O as ( ), s, s L L Da 0 dan 0 dpeoleh a ( ) s O as ( ) (38) s, s J O 0 (39) a s ( ) Da pesamaan (38) dan (39) dpeoleh Da pesamaan (39) dpeoleh s s s J ( J ) ( O ) ( J ) a s ( ) O () () ( O ) Untu mengubah paamete c menjad c ( ), msalan 2 2 (, y ) exp c, c, 2 y c, 2 y c, l l yl l (, ) 2, dan defnsan peluang P sehngga G Lemma 334 D bawah P, y c, adalah basan peubah aca yang bebas stoast dent menyeba (0, )

13 JMA, VOL 4, O, JULI, 2005, But: Menuut Teoema Bayes besyaat E I y, c t G P y c, t G E I y c, t G E G E I y, E I G, E I c t G y c t y c G, t E E G G E G D bawah P, y c, c, dengan menyeba (0,), sehngga y c, menyeba c,,, Jad E c c y c y c 2 2 G exp,, 2, 2, 2, 2 exp y c, dy 2, 2, 2 exp y c, dy 2, 2, Sehngga P y c, t G E I y c, t G exp c, c, 2 y c, 2 y c, 2, t c, exp y c, Iy t c, 2, dy 2, 2 exp y c, dy 2, 2, t 2, exp 2, u 2 du P U t P y c, t Teoema 335 (Ellott et al 995) ( ) ( ) y y c ( ) (30) O O But: Da defns

14 36 BERLIA SETIAWATY DA LIDA KRISTIA log 2 2 l l l l l l c, c, 2 y c, 2 y c, l l 2, e c c y c y c 2 2 l, ( ) 2 l 2 l ( ) 2 l 2 2 ( ) ( ) y c O c ( ) Rc ( ) 2 d mana R(c) tda begantung pada ĉ Jad 2 2 ( ) ( ) y c O c ( ) E log Y R( c) 2 sehngga 2 ( ) 2 d y O c ( ) E log 0 dc ( ) Y 2 membean 2 ( ) 2 y O c ( ) 0 ( y) ( ( y)) ( O ) ( ( y)) c ( ) O () () ( O ) Untu mengubah paamete menjad ( ) (ambl c tetap), defnsan 2 exp y c,, 2, (, y ), 2 exp y c, 2, (, y ) l l l l dan defnsan peluang P sehngga G Teoema 336 (Ellott et al 995) 2 2 ( y ) 2 c ( y) c O ( ) 2 ( ) ( ) (3) O But: Da defns 2 2 y c y c O O y, 2 l c l log log, R( c, ) l l 2 2, l d mana Rc (, ) tda begantung pada Kaena

15 JMA, VOL 4, O, JULI, 2005, l, e 2 2 E log, log ( ) 2 Y E l e yl ylc c Y R( c, ) l 2 2 ( ) 2 2 log ( ) ( ) 2 ( ) O y c y c O R( c, ), 2 ( ) maa d O 2 2 log ( ) 2 ( ) E y c y c O 0 d ( ) 2 ( ) Y ( ) membean O ( ) 2 ( ) y c y c O ( ) ( ) atau 2 ( ( y )) ( ( y)) 2 ( O ) ( ) 2 ( ) c c y c y c O () () () ( ) O ( O) () 2 2 ( ( y )) 2 c ( ( y)) c ( O ) ( O) Catatan 337 Bedasaan obsevas sampa watu e-, paamete model yang bau yatu ( a ( )),, j ; c ( ), ; ( ), dbean j oleh pesamaan (35), (30) dan (3) la s s 2 J, O, ( y), ( y ) dan emudan dapat dhtung embal menggunaan paamete yang bau dan data pengamatan yang bau 4 ALGORITMA MEDUGA PARAMETER MODEL Detahu paamete bebentu ( a ),, j ; c, ;, j Aan dtentuan paamete ( ) ( a ( )),, j ; c ( ), ; ( ), j yang memasmuman pseudo-loglelhood besyaat sepet pada bagan 3 Algotma untu mempeoleh paamete tesebut adalah sebaga beut Algotma untu menentuan paamete ( ) Langah : Tetapan (banyanya state) M (banya data) Input data { y }

16 38 BERLIA SETIAWATY DA LIDA KRISTIA Langah 2: Tetapan la awal ( ) A ( a ) c ( c ) j ( ) Catatan: E 0 dan memenuh A Langah 3: Lauan untu Tetapan a Ae 0 0 J s 0 0 O s 0 0 ( y) ( y ) 0 l 0 sampa dengan M 2 Lauan untu 0 sampa dengan l a Htung penduga eusf ( ) ( ), ( y ) a s s, ( J ), ( J ), ( y ) a ( ), ( y ) ases ( J ) ( J ), s s,, ( O ), ( O ), ( y ) a ( ), ( y ) a ( O ) ( O ),,, ( ( y)), ( ( y)), ( y ) a ( ), ( y ) y a ( ( y)) ( ( y)),, 2 2 2, ( ( y )), ( ( y )), ( y ) a ( ), ( y ) y a ( ( y )) ( ( y )), 2 2, b Htung penduga paamete a s ( ) c ( ) s J O ( y) O 2 2 ( y ) 2 c ( y) c O O ( ) c Tulsan

17 JMA, VOL 4, O, JULI, 2005, A ( ) a ( ) c( ) c ( ) ( ) ( ) s d Tentuan ( ) da pesamaan A ( ) ( ) ( ) e Ulang langah a sampa dengan d untu beutnya 3 Be nla A A( ) c c( ) ( ) 3 Ulang langah s/d 3 untu l beutnya Langah 4: Untu sampa dengan M, ceta A ( ), (), c ( ), ( ), ( ) DAFTAR PUSTAKA []Baum, L E and Pete, T 966 Statstcal nfeence fo pobablstc functons of fnte state Maov chans Annals of the Insttute of Statstcal Mathematcs, 37: [2] Ellot, R J, Aggoun, L dan Mooe, J B 995 Hdden Maov models, Spnge Velag, ew Yo [3] Wong, E and Haje, B 985 Stochastc Pocess n Engneeng System Spnge Velag, Beln