BAB 5 ENTROPI PADA MATRIKS EMISI MODEL MARKOV TERSEMBUNYI

Transkripsi

1 BAB ETROPI PADA MATRIKS EMISI MODEL MARKOV TERSEMBUYI Model Markov Tersembuny (Hdden Markov Model, MMT) elah banyak daplkaskan dalam berbaga bdang seper pelafalan bahasa (speeh reognon) dan klasfkas (luserng). Teor dasar mengena MMT dperkenalkan oleh Baum dan kawan-kawan pada ahun 960 an. Kemudan keka era kompuer mula berkembang pada awal 980 an, Rabner, Juang dan kawan-kawan menerbkan jurnal mengena MMT pada pelafalan bahasa berbasskan MMT. Pada model mereka, seap saa keka sebuah kaa duapkan, pada dasarnya akan membenuk barsan sae. Seap orang enu memlk pelafalan yang berbeda-beda sehngga sanga mungkn unuk mengenalnya melalu MMT. Selanjunya dar hasl penelan-penelan mereka, MMT menjad semakn populer dan elah daplkaskan dalam bdang seper ekonom, pskolog, dan lmu polk. Dalam 0 ahun erakhr n, MMT banyak dkembangkan unuk mempelajar susunan DA. Daa DA sudah dapa ddownload d Gen Bank. Sebaga onoh dar MMT dapa dlha pada kasus perubahan uaa. Seap har mempunya kemungknan uaa yau erah aau dak erah. Kemudan dberkan hasl pengamaan uaa sebanyak 30 daa. Akan eap, orang dak mengeahu apakah nformas n berasal dar 30 har pengamaan yang dlakukan seap har aau 46

2 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 47 pengamaan yang dlakukan selama 30 mnggu. Hasl observas dar pengamaan adalah uaa erah (dsmbolkan dengan C) aau dak erah (dsmbolkan T). Hasl observasnya n (msal CTTTCCTCTCC..) dnamakan barsan observas aau barsan daa. Dalam MMT, ap observas seara parsal denukan oleh sae saa n. Barsan sae n dak erlha sehngga dsebu hdden aau ersembuny. Barsan sae n dasumskan mengku rana Markov yau sae saa n hanya berganung pada sae sebelumnya, seper djelaskan pada bab 2.. Defns Model Markov Tersembuny MMT merupakan model yang melbakan dua aau lebh barsan proses sokask, yau barsan yang dak erobservas, {S } dan barsan yang erobservas, O{O }, dengan,2,..t dan T adalah banyaknya observas. Barsan {S } mengku sfa rana Markov dengan marks ranss A x ( aj ), a P( S j S ) dan j + adalah banyaknya keadaan (ersembuny). Keerkaan anara {S } dan O dnyaakan seara fungsonal melalu peluang bersyara O, jka S deapkan, dan dnoaskan sebaga marks ems B b( Ok) P( O k S ) unuk semua., dengan b( o ) 0 dan k K bk, m Dar defns d aas, spesfkas MMT melbakan ga parameer yau, M, dan T dan ga peluang parameer yau A, B, dan, dengan adalah dsrbus peluang awal. Unuk menyederhanakan, dgunakan noas λ ( AB,, ) yang dhadap pada MMT menuru Rabner [8] adalah:. Dberkan barsan observas O oo 2 ot. Tga masalah uama dan model λ ( AB,, ). Bagamana menghung POλ ( ), peluang observas jka dberkan model? 2. Dberkan barsan observas O oo 2 ot dan model λ ( AB,, ) Bagamana menenukan barsan sae Q qq... 2 qt yang opmal?.

3 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL Dberkan barsan observas O oo 2 ot Bagamana menaksr parameer λ ( AB,, ) dar MMT? Asums yang dgunakan pada MMT memenuh :. Rana Markov orde, dengan peluang ranss dar sau keadaan ke keadaan lan hanya berganung pada dua sae dan salng bebas erhadap observas yau ( + j,,..., ) ( + j ) P Q s Q s Q s Q s P Q s Q s ) (.) unuk semua, j,. 2. Ems yang salng bebas, peluang ems pada saa hanya berganung pada keadaan saa. ( T P O Q, λ P O q, (.2) 3. Waku yang homogen, peluang ranss salng bebas erhadap waku dengan ( + j ) ( u+ j u ) P Q s Q s P Q s Q s un uk u, (.3) Permasalahan perama dapa dselesakan dengan algorma Forward dan algorma Bakward. Sedangkan algorma Verb dapa dgunakan unuk menyelesakan permasalahan kedua. Unuk permasalahan kega, dselesakan dengan Ekspekas Maksmum dan algorma Baum-Welh. Pada ugas akhr n dak dbahas mengena meoda-meoda ersebu. Penjelasan lebh dalam dapa dlha pada ess Haryono [6]..2 Enrop pada Model Markov Tersembuny Seelah mengeahu defns enrop dan MMT, pada sub bab n akan dbahas mengena penggunaan enrop dalam MMT. Enrop pada MMT dgunakan unuk menar barsan sae yang opmal (permasalahan kedua pada MMT).

4 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 49 Unuk mempelajar lebh lanju maka defnskan varabel-varabel berku:. H ( j) H ( S S j, O o ), enrop dar barsan sae menuju sae j pada waku, dberkan observas hngga waku. ( ) 2. j P S j O o, peluang berada d sae j pada waku, dberkan observas hngga waku. H ( j ) dapa dhung seara rekursf menggunakan nla yang dperoleh dar ( ) H,. Dasumskan berada d sae j pada waku, maka barsan sae (pah) dapa dbag menjad dua, yau. Barsan sae hngga waku -2, msal dnamakan X Barsan sae hngga waku -, msal dnamakan X. Sehngga H ( X, X2) H( X) H( X2 ) + X. (.4). Enrop dar X, H(X ) berkaan dengan P( S S j) melalu k, k dan l, l 2. Enrop H ( X 2 X ) dhung dar H ( k ) persamaan H( X 2 X) P( x) H( X2 X x) x χ dapa dhung, k, menggunakan. Benuk rekurs n dapa dnjau sebaga berku ( ) j P S j O o k Unuk mendapakan H ( j ), durakan () a b o j j () a b o k k (.)

5 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 0 (, ) (,, ) P( S j, O o S, O o ) P( S j, O o O o ) P S S j O o P S S j O o O o Kemudan enrop dar dengan ( ) ( ) ( ). P S O o P O o S j P S j S P O o S j P S j O o k. P( S ) O o ( ) ( ) P( S j S ) P( S O o ) P( S j S k) P( S k O o ) j () a kj ( k) (.6) k a ( j) ( S S j O o ) 2 H ( S, S S j, O o ) 2 H ( S S, ) H (,, ) j O o + S S S j O o H H, ( S S j O o ) P( S S j O o ) P( S S j O o ) (.7) H,,.log, (.8) dan 2 2 ( S S S ) jo o P S S jo o S S S jo o H,,,.H,, (, ).H () P S S j O o Jad, enrop dar barsan sae hngga -2, dberkan sae hngga - dan observas sampa -, salng bebas seara bersyara dengan sae dan observas hngga, 2 ( S S S j O o ) - () (.9) H,, H. (.

6 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL Dengan menggunakan sfa dasar dar enrop dapa dhung, Algorma seara umum. Insas. Unuk j, T T T T T T T T ( S O o ) ( S ST O o ) + ( ST O o ) H H, H ( j) () () () log () H T T T T H j 0 ( j) b ( o ) j () b ( o ) (.) (.2) Pada ahap nsas, enrop awal dan peluang berada d sae j pada deapkan nol, agar langkah selanjunya yau rekurs dapa berjalan karena algorma n bergerak maju (forward). 2. Rekurs. Unuk j ; 2 T, ( ) j P S j O o k (, ) () a b o j j () a b o k k k a j P S S j O o a ( ) kj ( j) ( ) P( S S j O o ) H H, ( k) (, ).log (, ) P S S j O o P S S j O o (.3) (.4) (.) 3. Penghenan. T T T ( S O o ) T () T () T () T () g (.6) H H lo

7 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 2 Conoh. Agar dapa memaham lebh lanju, dnjau onoh kasus sebaga berku yang merupakan modfkas onoh dar Hernando dan Cresp [7]. Msalkan erdapa lma keadaan yang masng-masng dlambangkan dengan angka, 2, 3, 4, dan. Pada kasus n, marks ranss, marks ems dan dsrbus peluang awal deapkan yau , , dengan dagram ranssnya dapa dgambarkan sebaga : ( ) Gambar. : Dagram ranss onoh. Gambar dagram ranss d aas dapa dbaa sebaga berku. Msalkan berada d keadaan maka peluang pndah ke keadaan ke 2 aau 3 seelah sau langkah adalah 0,. Begu pula apabla berada d keadaan 2 maka peluang unuk pndah ke keadaan 3 aau eap berada d keadaan 2 adalah 0,. Demkan pula jka berada d keadaan 3, 4 aau.

8 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 3 Unuk kasus d aas, penuls meneapkan A 0 dan B 0. Teap dalam kenyaaan, dak semudah n. Ada dua alernaf yang dgunakan dalam menenukan A 0 dan B 0 yau. Jka ada penelan sebelumnya yang serupa maka hasl perhungan A dan B bsa djadkan A 0 dan B 0, 2. Jka dak ada nformas apa pun, enukan nla peluang dar A 0 dan B 0 sama. Kembal ke onoh., akan dgunakan ahap-ahap dalam algorma yau. Insas. Unuk j, maka persamaan (.2) menjad () () b () () b () b () b () ( ) + ( 0 0,) + ( 0 + ( 0 + ( , b () b () ( ) + ( 0 0,) + ( 0 + ( 0 + ( b () b () ( ) + ( 0 0,) + ( 0 + ( 0 + ( b () b () ( ) + ( 0 0,) + ( 0 + ( 0 + ( ( ) + ( 0 0,) + ( 0 + ( 0 + ( 0 sae (j) H (j) (j) 0, Tabel.2 : Tahap nsas enrop pada MMT,0

9 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 4 2. Rekurs. Unuk j ; 2, Unuk 2 maka benuk persamaan (.3) menjad () ( ) () a b ( 2) P S O o k () a b ( 2) k k ( 0 + ( ( ( ( 0 0 {( 0 0 ) ( 0 0 } + {( 0, 0, ) ( 0 0 0, )} {( 0 0 ) ( 0 } 0 Demkan pula unuk 2 ( 2), 2 ( 3 ), 2 4, dan 2 ( ). Sedangkan unuk menghung enrop pada 2 d seap sae, dhung erlebh dahulu persamaan (.4) lalu menghung enrop d persamaan (.) yau Unuk sae, 2 2 () () P( S S O o ) H H, ( 2, ).log ( 2, ) P S S O o P S S O o a j () a j () a j () H ().log a kj ( k) a kj ( k ) a kj k k k k 0 Cara yang sama dpaka unuk sae 2, 3, 4, dan sehngga sae (j) 2 (j) H 2 (j) sae (j) 3 (j) H 3 (j) , 0 2 / / , 0 4 / Tabel.3 : Tahap rekurs unuk 2 Tabel.4 : Tahap rekurs unuk 3

10 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL sae (j) 4 (j) H 4 (j) sae (j) (j) H (j) , , , Tabel. : Tahap rekurs unuk 4 Tabel.6 : Tahap rekurs unuk Keempa abel d aas dapa dsederhanakan menjad abel.6. Sedangkan proses penghenan dar algorma n adalah ( S O o ) () () () g () H H lo Obs O O 2 2 O 3 2 O 4 2 O Sae H ()0 H 2 ()0 H 3 ()0 H 4 ()0 H ()0 () 2 ()0 3 ()0 4 ()0 ()0 2 H (2)0 H 2 (2)0 H 3 (2)0 H 4 (2) H (2)2 (2)0 2 (2)0, 3 (2)/3 4 (2)0.4 (2)0 3 H (3)0 H 2 (3)0 H 3 (3)0 H 4 (3) H (3)2 (3)0 2 (3)0 3 (3)/3 4 (3)0,4 (3)0 4 H (4)0 H 2 (4)0 H 3 (4)0 H 4 (4)0 H (4)0 (4)0 2 (4)0, 3 (4)/3 4 (4)0,2 (4)0 H ()0 H 2 ()0 H 3 ()0 H 4 ()0 H ()0 ()0 2 ()0 3 ()0 4 ()0 () Enrop H 0 H 2 H 3,9 H 4 2,32 H 0 Tabel.7 : Hasl Perhungan Enrop

11 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 6 Unuk menghung enrop dalam MMT n, dpaka bass 2. Lalu, dalam menjalankan eras dperlukan enrop oal unuk seap O,,2,3.4.. Unuk kasus n, enrop oal ersebu danumkan pada bars erakhr d abel.6. Enrop oal dar ap langkah observas damplkan pada bars erakhr dar abel d aas, dengan mengambl 2 sebaga bass logarmanya. Sebaga onoh, seelah menerma observas ke dua, erdapa dua kemungknan barsan sae yang menghaslkan o 2 (,2) yau s 2 (,2) dan s 2 (,4), masng-masng dengan peluang 0, sehngga enrop oal observas kedua adalah H 2. Selanjunya, seelah semua observaas derma, dapa dlha bahwa barsan sae yang mungkn unuk observas d aas adalah s (,4,4,4,), karena dak ada barsan lan yang menghaslkan o. Oleh karena u, barsan sae ersebu mempunya peluang keka dan enrop H 0. Conoh.2 Sebaga onoh lan, dmsalkan seseorang ngn memperkrakan keadaan uaa dar perlaku ganggang lau (sumber: Applaons of Hdden Markov Models (HMMs) o Compuaonal Bology problems, dengan perbakan) Gambar.8 : Dagram ranss dan ems pada onoh.2

12 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 7 Pada kasus n, sae yang erobservas adalah keadaan dar ganggang lau, sedangkan sae yang ersembuny (hdden) adalah keadaan uaa. Marks peluang ranss, ems, dan dsrbus peluang awal dar keadaan n drepresenaskan oleh uaa har n erah berawan hujan erah 0, 0,2 0,2 uaa kemarn berawan 0,37 0,2 0, hujan 0,2 0,62 0,2 ganggang lau kerng agak kerng lembab basah erah 0,60 0,20 0, 0,0 uaa berawan 0,2 0,2 0,2 0,2 hujan 0,0 0,0 0,3 0,0 erah berawan hujan (,0 0 0 ) Kemudan ngn dar barsan uaa yang palng opmal yang erjad, maka dengan menggunakan algorma unuk menar enrop yang elah djelaskan d aas, dperoleh Obs Sae 2 3 O O 2 2 O 3 3 O 4 2 O 4 H ()0 H 2 ()0 H 3 ()0 H 4 ()0 H ()0 C () 0,66667 C 2 () 0,98 C 3 ()0,273 C 4 () 0,3832 C ) 0,0729 H (2)0 H 2 (2)0 H 3 (2)0 H 4 (2)0 H (2)0 C (2) 0,3889 C 2 (2) 0,3964 C 3 (2) 0,24703 C 4 (2) 0,44448 C (2) 0,28 H (3)0 H 2 (3)0 H 3 (3)0 H 4 (3)0 H (3)0 C (3) 0,082 C 2 (3) 0,68 C 3 (3) 0,4967 C 4 (3) 0,972 C (3) 0,73 Tabel.9 : Perhungan enrop unuk onoh uaa

13 BAB ETROPI PADA MATRIKS EMISI HIDDE MARKOV MODEL 8 Dar abel.2 dapa dambl kesmpulan semenara bahwa barsan yang opmal dar Model Markov Tersembuny d aas adalah s(,,3,2,3). Akan eap perlu unuk ddalam lebh lanju sera perbandngannya dengan algorma Verb yang elah dkenal dalam menyelesakan permasalahan n.