BAB II HIDDE MARKOV MODEL.. Pendahuluan Proses Sokasik dapa dipandang sebagai suau barisan peubah acak { X, } dengan adalah parameer indeks dan X menyaakan keadaan pada saa. Himpunan dari semua nilai sae X yang mungkin dinamakan ruang keadaan dan biasa diulis Ω X. Pada umumnya adalah bilangan bula, di mana pada nilai negaif adlah pengamaan yang lalu. Di sini akan diambil adalah himpunan bilangan bula non negaif, karena kasus daa yang diamai bukan berdasarkan waku api lokasi. Selanunya, proses sokasik { X, } disebu suau proses Markov ika unuk berlaku + + P( X X i, X i, K, X i ) P( X X i ) (.), dengan i, i, K, i, i, Ω dan P( X+ X i) menyaakan peluang bersyara X suau keadaan X + ika diberikan keadaan X, arinya peluang suau proses berada di keadaan pada waku + hanya berganung pada proses yang berada di keadaan i pada waku. Proses Markov secara umum sudah dipaparkan dengan elas oleh Karlin dan aylor (975), Gillespie (99), dan Rogers dan William (994). Ranai Markov adalah suau proses Markov dengan ruang keadaan yang bernilai diskri. Ranai markov dengan parameer diskri adalah proses markov yang memiliki ruang keadaan diskri dengan parameer (,, K, n). eori lebih dalam enang ranai Markov bisa dipelaari pada Ross (996) Dalam prakek, realisasi dari ranai Markov umumnya idak dapa diobservasi secara langsung, karena iu disebu model Markov ersembunyi. Sae pada model ini erbagi menadi, yaiu observasi sae dan sae ersembunyi, sehingga model ini disebu uga model bivaria. Conoh dalam bioinformaika, ika diberikan barisan DA, ACCAAGGAAGAC..., maka barisan DA ersebu merupakan observasi sae, dan hidden saenya bisa bermacam-macam, erganung dari informasi apa yang ingin diperoleh. Seperi pada kasus Hongki (4), unsur penaaran DA bisa dimasukkan dengan menganggap cocok (mach), sisipan (inserion), dan hapusan (deleion) sebagai keadaan yang ersembunyi dengan maksud apakah barisan DA
yang erobservasi ersebu berasal dari keadaan yang cocok, sisipan, aau hapusan. Conoh lain dalam bioinformaika yang bisa diadikan sebagai keadaan yang ersembunyi adalah {inron, ekson, UR} dan {coding region, non-coding region} unuk MM orde-. Unuk analisis srukur orde-, yang ersembunyi adalah {CpGisland, non-island} dan {α-helix, β-shee, loop}... Definisi MM Model MM merupakan 5-uple (5 pasangan di mana masing-masing anggoa bisa berupa himpunan aau ukuran) sebagai beriku: ) Banyaknya elemen sae yang idak erobservasi (ersembunyi) pada model,. Dianggap X sebagai keadaan yang eradi pada saa. Sebagai conoh, perhaikan kasus di aas. Di sini, karena erdapa keadaan cocok, sisipan, dan hapusan. Unuk kasus ini bisa diulis X i, i (cocok), (sisipan), dan (hapusan). dapa berupa konsana aaupun variabel acak. Hal ini sanga berganung pada si pengama. Dalam pembahasan di sini adalah suau konsana. ) Marikas peluang ransisi A { a i } dimana a i adalah elemen dari A yang merupakan peluang bersyara dari keadaan pada saa +, ika dikeahui keadaan X pada saa, aau ai P( X+ X i) ; i,. Karena iu A berukuran x. Perlu diinga bahwa ai unuk seiap i, dan ai unuk seiap i, arinya umlah elemen seiap baris adalah. Unuk kasus barisan DA dengan keadaan seperi pada ), akan ada mariks ransisi A ukuran x, a a a A a a a a a a. ) Banyaknya elemen keadaan yang erobservasi, M. M umumnya eap, dienukan si pengama, eapi M uga bisa dimisalkan variabel acak. Misalkan variabel acak unuk keadaan ini adalah K, k,,...,m. Unuk kasus barisan DA, banyaknya elemen hanya 4, masing-masing A, C, G, dan, sehingga k,,,4. Yang menadi permasalahan di sini adalah realisasi dari 4 elemen ersebu sepanang
4) Disribusi peluang observasi pada saa berada pada sae i (disebu uga peluang emisi), dan dinoasikan B {b i (k)}, dimana k b b( k) P( O k X i), i, k M, dan K adalah observasi pada i i waku ke- berada (bernilai) k. adi B berukuran xm, dan seperi di mariks ransisi A, umlah elemen seiap baris adalah. Secara eoriis, realisasi O biasa diulis O v k, v M. Hal ini dikarenakan unuk masing-masing k, v k mempunyai nilai realisasi yang berbeda. k 5) Sae awal π { π ( i)} dimana π () i P( X i), i. Unuk kasus di aas, π () mach, π () inserion, dan π () deleion. Isilah uple di aas berkaian dengan himpunan dan ukuran. Di sini himpunannya diwakili oleh variabel acak. Dari definisi di aas, cukup elas bahwa dari nilai 5-uple (, M, A, B, dan π ), erdapa komponen adalah ukuran (probabilias), yaiu A, B, dan π. Akibanya MM lebih dikenal dengan noasi λ ( AB,, π ) dengan A berukuran x dan B berukuran Mx. Beriku adalah ilusrasi gambar unuk model MM O O O O X X X X Gambar Ilusrasi model Markov ersembunyi.. Masalah Uama dalam MM Secara garis besar ada masalah uama yang harus diselesaikan keika seorang penelii menerapkan MM di dunia nyaa. eapi sebelumnya, perlu dipahami dengan baik isilah, yaiu:. Orde dari suau ranai Markov, misal ranai Markov orde-. Di sini, pada waku sembarang, peluang keadian pada sau waku berikunya hanya berganung pada waku sekarang. Liha penelasan unuk
persamaan (.). Sedangkan dalam ranai Markov orde-, keadaan yang ersembunyi memiliki syara di dua waku sebelumnya.. Independensi/Kebebasan,,..., pada Disribusi peluang dari suau barisan observasi O { O O O },,..., suau waku hanya berganung pada barisan keadaan X { X X X } pada waku yang sama. Dari asumsi ini, dapa didefinisikan bahwa: Buki: POX (, AB,, π POX (, PO ( X, (.) P( O o, KO o X x, K, X x, P( O o, X x, K, X x, P( O o, KO o X x, K, X x, P( O o, X x, K, X x, P( O o X x, K, X x, (, K, K,, P O o O o X x X x L (,, K,, K (, X x, K, X x, (,, K (,, P O o X x X x P O o P O o X x P O o X x P( O X, ( erbuki) Persamaan (.) sanga berguna dalam MM, karena semua algorima yang digunakan unuk membangun MM memakai sifa ini. Hal ini dikarenakan di dalam persamaan ersebu kia menghiung peluang barisan observasi dikeahui model, dan karena dalam MM melibakan keadaan ersembunyi, maka penenuan peluangnya uga bersyara erhadap keadaan ersembunyi ersebu. Selanunya, beriku ini adalah iga masalah uama yang harus diselesaikan dalam membangun MM, yaiu:. Diberikan barisan observasi O oo K o dan model λ ( AB,, π ). Bagaimana menghiung P ( O, yaiu peluang observasi ika diberikan model. Peranyaan ini sanga berguna ika kia bermaksud unuk memilih salah sau yang erbaik yang sesuai dengan barisan observasinya di anara beberapa model yang ada. 4
. Diberikan barisan observasi O oo K o dan model λ ( AB,, π ). Bagaimana menenukan barisan sae X xxk x yang opimal. Kesuliannya adalah bagaimana krieria barisan sae dikaakan barisan yang opimal.. Bagaimana menyesuaikan model parameer λ ( AB,, π ) unuk memaksimalkan ( O P. Dengan kaa lain, bagaimana mengesimasi parameer λ ( AB,, π ). Dengan meliha kasus pada barisan DA, misal erdapa barisan proein ACAAG, maka masalah yang perama adalah menghiung peluang eradinya sususan barisan DA erobservasi, bersyara λ dieapkan/dikeahui aau P( ACAAG. Masalah yang kedua adalah mencari barisan keadaan ersembunyi yang opimal yang elemen barisannya erdiri aas cocok, sisipan, dan hapusan dari barisan observasi yang diberikan. Masalah perama dapa diselesaikan dengan menggunakan algorima mau mundur dan masalah yang kedua dapa diselesaikan dengan menggunakan algorima Vierbi. Sedangkan unuk masalah yang erakhir, algorima Baum-Welch dapa digunakan unuk mencari solusinya..4. Algorima Mau Mundur Algorima ini adalah proses ierasi yang didasarkan pada perhiungan peluang bersyara melalui sifa-sifa pada peluang. Dengan menggunakan definisi peluang bersyara, sudah bisa dihiung P ( O, eapi operasi perhiungan yang dibuuhkan akan berambah banyak, naik secara eksponensial, seiring dengan berambah panangnya barisan observasinya. Unuk menghiung ( O operasi, dengan P diperlukan. kali adalah kemungkinan keadaan ersembunyi yang eradi, ika barisan observasi adalah sepanang dan sae sebanyak. Ambil kasus dan M, dimana keadaan ersembunyinya adalah cocok (), sisipan (), dan hapusan () dan barisan DA berukuran, yaiu observasi AG. Unuk kemudahan penulisan, misalkan A dan G dan ambil,.7.. A.6...4..4 B,.6....5..4.., dan π....5.. 5
Berdasarkan barisan observasi dan keadaan ersembunyi di aas, erliha bahwa erdapa 9 kemungkinan yang eradi unuk menghiung PO (, O : ) P( O, O dan X, X P( O, X O, X,. P( O, X, PO ( X,. PX ( X,. P O X, λ. PX (, (.). (.7). (.6). (.5). ) P( O, O dan X, X P( O, X O, X,. P( O, X, PO ( X,. PX ( X,. P O X, λ. PX (, (.). (.). (.6). (.5).9 ) P( O, O dan X, X (.5). (.). (.6). (.5). 4) P( O, O dan X, X (.). (.6). (.). (.).6 5) P( O, O dan X, X (.). (.). (.). (.).54 6) P( O, O dan X, X (.5). (.). (.). (.). 7) P( O, O dan X, X (.). (.4). (.). (.).8 8) P( O, O dan X, X (.). (.). (.). (.). 9) P( O, O dan X, X (.5). (.4). (.). (.).4 Berdasarkan 9 nilai di aas, bisa dihiung saa ini dan besok sesuai bersyara λ aau PO (, O dengan cara menumlahkan 9 nilai di aas, ( PO (, O i, P O, O dan X i, X, i,. +.9 +. +.6 +.54 +. +.8 +. +.4.78 6
Perhaikan pada ), 4), 7), 8), dan 9), erliha bahwa peluangnya sanga kecil. Hal ini waar karena peluang emisinya sebesar., lebih kecil dibanding yang lain. Kesimpulannya, ika nilai elemen mariks emisi sanga kecil, maka peluang yang dihasilkan uga kecil. Hal ini uga berlaku unuk mariks ransisi, seperi yang diunukkan oleh ) dan 6), hanya idak sekecil 7) karena di ) dan 6) peluang pada mariks emisi dan peluang awalnya masih cukup besar. Pada dasarnya kia bisa memperluas perumusan ini unuk barisan observasi dengan mengambil umlah dari peluang masing-masing kemungkinan yang eradi. Unuk lebih elasnya liha persamaan (.) di bawah ini: PO ( POX (, (.) X ( X,..., X ) Pada kasus di aas bisa erliha bahwa kia buuh seidaknya... 6 kali operasi. Hal ini bisa diliha dari ke-9 nilai, unuk seiap keadian yang mungkin membuuhkan 4 kali operasi. erliha meode di aas idak efisien, adi diperlukan suau meode baru yang dapa mereduksi operasi perhiungan P ( O. Kemudian diperkenalkan algorima mau dan mundur. Algorima ini menyimpan nilai yang erhiung pada ierasi yang sebelumya, sehingga paling banyak buuh operasi. Perbedaannya mungkin idak akan erlalu berbeda secara signifikan dengan meode sebelumnya unuk kasus di aas, karena panang barisan observasinya hanya. Akan eapi algorima ini akan sanga berguna dan efisien keika panang barisan observasinya cukup besar. Umumnya, auh lebih besar dari, adi pengurangan ini sanga membanu pemakai MM. Di bawah ini dapa dipelaari algorima mau. Definisikan α ( i) sebagai variabel mau dimana ( α () i P OO K O, X i (.4) dengan kaa lain, α ( i) menyaakan oal peluang observasi berakhir di sae X i pada saa dimana,,..., ika diberikan barisan observasi OO... O. Secara umum, algorima mau ini memua kegiaan (Rabiner 989): 7
. Inisialisasi α () i π ( i) b ( O ) unuk i, K, (.5) i. Induksi α + ( ) α ( i) ai b ( O+ ) unuk, K, dan, K, (.6) i. erminasi P ( O ) α λ (.7) i i Pada ahap inisialisasi (), peluang berada di sae ke i idak lain adalah peluang awalnya, π () i, sehingga berdasarkan (.4) dengan diperoleh (.5), unuk i,, K, ( i α () i P O, X x ( i, ( i, ( ipo ) ( X xi, ), karena ( i) PO ( X xi, ) () i b ( O ) PO X x PX x π λ π λ π i Pada ahap induksi, akan dihiung nilai α pada saa >, pembukiannya dilakukan dengan memanfakan asumsi MM, α ( ) P( O, O,..., O, O, X ( ( POO ( O X λ ) b O + + + POO,,..., OO, + X+, PX ( + P O, O,..., O X+, λ P( O+ X+, P( X+ P O, O,..., O, X+ P( O+ X+,,,...,, + ( + ) P( O, O,..., O, X i, X+ b( O+ ) i P( O, O,..., O, X i PX ( + OO,,..., O, X iλ, ) b( O+ ) i P( O, O,..., O, X i PX ( + X iλ, ) b( O+ ) i α( ia ) i b( O+ ) i dengan, K, dan, K, 8
Sebagai conoh, misalkan hanya ada observasi (), maka unuk menghiung α ( ), bisa diliha langkah-langkahnya sebagai beriku: α( ) P( OO, X (,, (,, P( OO, X, X P OO X X + P OO X X + K + i (,, ) P OO X i X λ i (,, (,, P OO X i X P X i X i (,, (, (, P OO X i X P X X i P X i i () i a P( OO X i, X, π π i i α i () i a b ( O ) b ( O ) i i () i a b ( O ) i b i ( O ) ( i) α a i Jadi dengan indukif dapa diulis secara umum sebagai beriku α + α i ai b ( O + ) unuk, K, dan, K, (.8) i Maka P ( O ) α ( i) λ (.9) i Maksud dari (.9) adalah menumlahkan semua peluang gabungan dari observasi dan keadaan ersembunyi bersyara model sehingga diperoleh peluang marinal dari observasi ersebu. Sebagai ilusrasi dari algorima mau, perhaikan gambar beriku, 9
() α a b O, a b O, α () α + α α α + α ( ) α α + Gambar. Ilusrasi Algorima mau Sebagai conoh, ambil kasus pada meode sebelumnya (9 nilai peluang) yang hasilnya selanunya dibandingkan. Akan dihiung PO (, O dari suau barisan observasi AG. Perhaikan kembali mariks mariks ransisi, mariks emisi, dan nilai awal pada hal. 5, Pada ahap inisialisasi, enu ada buah α, masing-masing unuk cocok, sisipan, dan hapusan, α α α () π () b () (.5). (.6). π b (.). (.).6 π b (.). (.). Selanunya, pada ahap induksi akan dihiung α () α () i a b ( O ) i i α dengan. {(.). (.7) + (.6). (.6) + (.). (.4)}. (.).54 α α () i a b ( O ) i i {(.). (.) + (.6). (.) + (.). (.)}. (.).56
α α () i a b ( O ) i i {(.). (.) + (.6). (.) + (.). (.4)}. (.5).7 erakhir adalah ahap erminasi dengan cara menghiung PO (, O dengan menumlahkan α dengan, PO (, O α () i i.54 +.56 +.7.78 Berdasarkan conoh ini, erliha dua meode memiliki hasil yang sama, namun banyaknya operasi perhiungan idak sama. erliha bahwa algorima mau lebih efisien daripada meode definisi peluang bersyara. Selanunya, akan dibahas meode mundur besera conohnya di kasus yang sama. Hal ini dilakukan unuk mengeahui apakah meode mau dan mundur menghasilkan peluang yang sama. Di bawah ini adalah meode mundur. Algorima ini langkahnya serupa dengan algorima mau. Di sini inisialisasi didasarkan pada seluruh observasi yang ada, adi algorima ini menggani OO K O pada persamaan (.4) dengan O+ O+ K O. Di sini pemakai berpikir seperi akan menaksir ke depan. Pandang variabel mundur, ( i) P( O O O X i ) β + + K,λ (.) Algorima mundur selengkapnya dapa diliha di bawah ini:. Inisialisasi. Induksi ( i) β, unuk i, K, (.) β () i b( O+ ) β+ ( ) ai. erminasi, unuk,, K,, i, K, (.)
P O b() ( i) i ( π β (.) i i Pada ahap inisialisasi, diambil ( i) β karena i adalah sae final, dan bernilai nol unuk i yang lain. Unuk ahap induksi, pembukiannya mirip dengan algorima mau. Unuk lebih elasnya, langkah-langkah pembukiannya bisa diliha di bawah ini: β () i P( O +, O +,..., O X i, P( O+, O+,..., O, X+ X i, ( + +,...,, +,, ( +,...,, +, P O O O X X i P O O X X i P( O+ X+, P( O+,..., O X+, X i, P( X+ X i, ( + +, ( +,..., +, ( +, P O X P O O X P X X i ( + +, λβ ) + ( +, P O X P X X i b ( O ) β ( ) a + + i unuk,, K,, i, K, Sebagai conoh, kia ambil kasus yang sama dengan kasus pada algorima mau unuk menghiung PO (, O. Pada ahap inisialisasi, β () i unuk i,,. Selanunya, di ahap induksi akan dihiung β ( i) dengan i,,, β () β a b () β ( ) (.7). (.). + (.). (.). + (.). (.5).. a b () β ( ) (.6). (.). + (.). (.). + (.). (.5)..
β a b () β ( ) (.4). (.). + (.). (.). + (.4). (.5).. Unuk memulai induksi, dibandingkan dengan algorima mau di mana proporsi α didominasi oleh keadaan cocok dan hapusan, di sini proporsi β unuk masing-masing keadaan hampir sama. Jadi pada λ yang sama idak ada keerkaian nilai awal α dan β. Pada ahap erminasi, akan dihiung PO (, O dengan PO (, O i b() πβ( i) i i (.6). (.5). (.) + (.). (.). (.) + (.). (.). (.).6 +. +.6.78 Berdasarkan conoh kasus di aas, erliha bahwa perhiungan melalui algorima mau dan mundur akan menghasilkan nilai peluang yang sama. api kesimpulan ini idak selalu benar. Jika elemen-elemen peluang ransisi dan emisi berupa bilangan rasional, seperi conoh di aas, maka algorima mau dan mundur akan memberikan hasil yang sama. Sebaliknya, ika mariks ersebu mengandung sau aau lebih bilangan irasional, maka meode mau dan mundur akan memberikan hasil yang berbeda. Dengan kaa lain, ika peluang ransisi dan emisi diaksir dari frekuensi relaif, meode mau dan mundur yang dihasilkan sering kali berbeda. Variabel mundur bisa uga dikombinasikan dengan variabel mau unuk menghiung P( O seperi yang ampak di bawah ini: (,...,, ) ( P O O X i λ P O,...,, (, ) O X i P X i λ ( ) ( + ) P O,..., O X i, λ P O,..., O X i, λ P( X i, P ( O,..., O, X i P( O+,..., O X i,
α () i β () i (.4) i P O λ α () i β () i (.5).5. Algorima Vierbi Seelah mempelaari algorima mau dan mundur unuk menghiung P( O, akan dilanukan unuk menyelesaikan masalah kedua dalam membangun MM, yaiu ika diberikan barisan observasi O oo o K dan model λ ( A,B,π ), bagaimana menenukan barisan hidden sae X xxk x yang opimal. Salah sau meode yang sering digunakan adalah dengan algorima Vierbi. Definisikan, δ () i max P( OO O, XX X, X i X, X, K, X K L (.6) Beriku ini adalah algorima lengkap unuk Vierbi:. Inisialisasi δ () i π () i b i ( O ) () i, i (.7) ψ (.8). Induksi δ( ) b( O)max { aiδ ( i) }, dan (.9) i ψ( ) arg max { aiδ ( i) }, dan (.) i. erminasi P * q 4. Penaagan Mundur Pada ahap inisialisasi ( ), * max i { δ ( i) } arg max i * * q + q + { δ () i } (.) (.) ψ,,, L, (.) 4
Pada ahap induksi, () i P( X i, O ) δ ( ) P O X i P X i bi O π () i δ ( ) max P( OKO, XL X, X X, X, K, X max P( O OKO, XLX, X, P( OKO, XL X, X, { },, K, X X X max P( O X, P( O KO, X L X, X, { },, K, X X X P( O X, max max { P( OKO, XL X, X i, X, } X, X, K, X i { } b ( O ) max max P( X X i) P( O KO, X L X, X i, X, X, K, X i { K } b ( O )max P( X X i) max P( O KO, X L X, X i, i X, X,, X b( O)max { P( X X i) δ ( i) } i b( O)max { aiδ ( i) } i Sebagai conoh, ambil kasus unuk barisan proein dengan observasi AG sama seperi pada kasus-kasus sebelumnya. Berdasarkan algorima Vierbi, diperoleh:. Inisialisasi δ () () b() δ () b() π (.5). (.6). π (.). (.).6 δ () b(). Induksi () π (.). (.). δ b() max { a δ ( i) } ψ () i i (.). max{(.7). (.),(.6). (.6),(.4). (.)} (.). (.7). (.). 5
δ b () max { a δ ( i) } () ψ () () i i (.). max{(.). (.),(.). (.6),(.). (.)} (.). (.). (.).9 δ b () max { a δ ( i) } ψ (). erminasi i i (.5). max{(.). (.),(.). (.6),(.4). (.)} (.5). (.). (.). * P max δ () i i { } { δ δ δ } max (), ( ), max{.,.9,.}. * q arg max{ δ () i } i 4. Penaagan Mundur * * q ( q) ψ ψ Berdasarkan hasil algorima Vierbi di aas, dapa disimpulkan bahwa barisan hidden sae yang opimal adalah x cocok dan x hapusan..6. Algorima Baum-Welch Unuk mengaasi masalah keiga dalam MM, biasanya digunakan algorima Baum-Welch. Algorima Baum-Welch digunakan unuk mengesimasi parameer MM sehingga erbenuk model baru ˆ λ( AB ˆ, ˆ, ˆ π ) di mana PO ( ˆ PO (. Prosedur ini diulang erus menerus sampai proses konvergen. Permasalahan yang muncul adalah bagaimana menenukan nilai awal π agar barisan aksiran ersebu konvergen dengan cepa, sehingga ierasi yang dilakukan efisien. Pemilihan nilai awal 6
ini perlu dilakukan dengan hai-hai, karena hasil dari aksiran parameer MM sanga dipengaruhi oleh nilai awal ini. Algorima Baum-Welch merupakan kasus khusus dari algorima EM (Ekspekasi Maksimum). Algorima EM merupakan algorima yang dipakai unuk mempelaari model-model probabilisik dalam suau kasus yang melibakan keadaan yang ersembunyi (Rabiner 989). Lebih khusus, algorima ini merupakan prosedur ieraif unuk menghiung penaksir Maksimum-likelihood, L (, yang dierapkan pada daa idak lengkap. Algorima EM memiliki prosedur beruruan yang dilakukan secara berulang secara erpadu. prosedur ersebu adalah:. E-sep : menenukan ekspekasi bersyara E [ log P( O, X ]. M-sep : memaksimumkan ekspekasi bersyara ersebu erhadap λ Dalam kasus MM, daa lengkap adalah informasi mengenai keadaan X sama baiknya dengan observasi O unuk seiap. Jadi daa idak lengkapnya adalah hanya observasi O iu sendiri. Fungsi likelihood dari daa ak lengkap adalah ( O fungsi likelihood dari daa lengkap adalah P ( O, X P dan. Pada E-sep, daa yang hilang/ersembunyi diaksir melalui daa yang erobservasi dan esimasi parameer model. Peluangnya di-log-kan unuk mempermudah perhiungan (G. F. Larrahondo, S. Bridges, Eric A. H., 5). Unuk peluang yang sanga kecil, kekonvergenan akan lebih cepa ercapai dan membuuhkan baas ambang yang uga sanga kecil. Unuk menghindari hal-hal ini, maka peluang perlu di-log-kan. Dengan kaa lain, dalam algorima EM, yang akan diesimasi adalah [ log P( O, X ] E (.4) Berdasarkan definisi ekspekasi, persamaan (.4) dapa diulis sebagai beriku, P( X O, λ ) log P( O, x (.5) x dengan λ merupakan aksiran awal dari parameer λ. Berdasarkan asumsi kebebasan bersyara, maka diperoleh x x x (.6) (, ) P OX λ π a b O dengan menyaakan banyaknya observasi (panang observasi). Kemudian dengan mensubsiusikan persamaan (.6) ke persamaan (.5), diperoleh 7
Q( λλ, ) P( O, x log π P( O, x loga + x x x x + P( O, x λ ) logbx ( O ) x Selanunya perhaikan bagian perama pada persamaan (.7), (.7) P( Ox, log π POX (, i log π( i) (.8) x i dengan menggunakan muliplier Langrange dengan syara bahwa π () i, diperoleh i maka POX (, i log π( i) + η π( i) π () i i i π () i (, i P O X π () i (, i POX + η (.9) η POX π () i η i i (, i sedangkan, P O i P O, X η i ( i P( O, X i (.) η i (, X i P( O, X i P( X i, i P ( O dari persamaan (.9) dan (.) maka diperoleh, (, (, η P( O P O X i P O X i π () i (.) Berikunya adalah unuk bagian kedua dari persamaan (.7) adalah x P ( O x ) log a, λ x x (.) Dengan menggunakan muliplier Langrange dengan syara a, i 8
maka P( O, x λ ) logax x η a + i a i x P( O, X i, X logax x + η a i a i i log apox i (, ix, + η ai a i i (,, P O X i X a i + η aau (,, P O X i X ai η, erliha bahwa a i masih bergaung pada η, unuk iu dicari nilai η dengan menumlahkan a i unuk semua, diperoleh (,, POX ix ai aau η (,, η P O X i X, menginga (,, (,, (, P O X i X P O X i X P X, maka P( O, X i X, ) P( X, ) aau η λ λ (, i η P O X Selanunya η disubiusi ke a i di aas, sehingga diperoleh a P i ( O, X i, X P ( O, X i Selanunya, perhaikan bagian keiga pada persamaan (.7), yaiu ( O, x (.) P logb x x o Dengan cara yang sama dengan sebelumnya, menggunakan muliplier Langrange K dengan syara b i ( ), didapa 9
aau K P( O, X i λ ) logbi( o) + η bi( ) bi ( ) i K log bi( ) P( O, X i λ ) δ + η bi( ) bi ( ) i dengan, o δ, lainnya Seelah diurunkan diperoleh, i (, i P O X b i ( ) δ + η aau b i K ( ) i K bi ( ) (, i P O X i η δ (, i P O X η δ (.4) K (, ) (, ) η P O X i λ δ P O X i λ i i dengan mensubsiusikan η pada persamaan (.4), diperoleh, b i ( ) P ( O, X i i i P ( O, X i δ (, X i P O P ( O, X i δ (.5) Algorima Baum-Welch uga dikenal sebagai algorima Mau-Mundur dengan variabel mau dan mundur adalah sebagai beriku: ( K α() i P OO O, X i β + + () i P( O O KO, X i Kemudian didefinisikan variabel baru ( + (.6) ξ (, i ) P X i, X O, (.7) Dengan menggunakan definisi peluang bersyara dan auran Bayes, maka persamaan (.7) berubah menadi
ξ (, i ) P( X i, X+ O, (, +, P( O P X i X O ( K, ( + ) ( + + ) ( + K, + P( O P OO O X i P X X i P O X P O O X α() iab i ( O+ ) β+ ( ) POλ (.8) dengan P( O α() i β() i i α() iab i ( O+ ) β+ ( ). i Dari ξ ( i, ) yang dikeahui, bisa dihiung peluang berada di sae i pada saa, γ ( i), dengan menumlahkan aas, γ ( i) ξ (, i ) (.9) Dihiung ekspekasi banyaknya ransisi dari sae i ke sae, sebu saa dengan τ (, i ), dengan menumlahkan aas, τ(, i ) ξ (, i ) (.4) Kemudian dihiung ekspekasi banyaknya yang berpindah dari sae i, ulis dengan τ () i, dengan menumlahkan aas dari sampai, (.4) τ() i γ () i ξ (, i ) Dengan menghubungkan anara persamaan (.) dengan (.9), maka ˆi π bisa berbenuk: P O X ˆ π () i (, i P( O P( X i O, P( X i, X O,
ξ (, i ) γ () i (.4) Kemudian Aˆ a bisa uga diubah dalam benuk lain dengan menghubungkan ˆi persamaan (.), (.4), dan (.4): a ˆi (,, POX ix (, i POX (,, POX ix + (, i P O X ( P X i, X O, P( O + ( P X i O, P( O erakhir, (,, P X i X O τ (, i ) τ () i + ( i O, P X (.4) Bˆ bˆ ( ) bisa diulis dalam benuk yang lebih sederhana dengan meliha i persamaan (.5), (.9), dan (.4): bˆ i ( ) (, i ) POX (, i P O X λ δ ( i O, ) P X ( i O, P X λ δ
, O γ ( ) γ ( ) (.44) Sebagai conoh, kia inau kembali kasus barisan proein AG yang pernah dibahas pada bagian-bagian sebelumnya, ˆ α ξ (,) () ab () β() PO ( (.). (.7). (.). ().78.69 ˆ α ξ (, ) () ab() β() PO ( (.). (.). (.). ().78.5 ˆ α ξ (, ) () ab() β() PO ( (.). (.). (.5). ().78.85 ˆ α ξ (,) () ab() β() PO ( (.6). (.6). (.). ().78.46 sama seperi di aas, dan beruru-uru diperoleh ˆ ξ (,).69, ˆ ξ (,).9, ˆ ξ (,)., ˆ ξ (,).5, dan ˆ ξ (,).5. ˆ γ () ˆ γ () ˆ γ () ˆ ξ (, ).69 +.5 +.85.769 ˆ ξ (, ).46 +.69 +.9.54 ˆ ξ (, ). +.5 +.5.77 Karena hanya ada observasi, maka ˆ ˆ.769, τ ˆ γ ˆ() τ γ () γ () ˆ() ().54, dan ˆ() τ ˆ γ ().77. ilai ˆ( τ i, ) ˆ ξ (, i ) unuk i,. Dari hasil perhiungan di aas, dapa kia esimasi parameer MM, ˆ γ().769 ˆ ˆ π( i) γ().54 ˆ γ ().77
ˆ a i ˆ τ(,) ˆ τ(, ) ˆ τ(,).69.5.85 ˆ() ˆ() ˆ τ τ τ().769.769.769.5.5.5 ˆ τ(,) ˆ τ(, ) ˆ τ(,).46.69.9 ˆ τ() ˆ τ() ˆ..45.5 τ().54.54.54.4..66 ˆ τ(,) ˆ τ(, ) ˆ τ(,)..5.5 ˆ τ() ˆ τ() ˆ τ().77.77.77 b ˆi ˆ γ() ˆ γ() ˆ γ() ˆ γ(), O, O, O, O 4 ˆ γ ˆ ˆ () γ() γ() ˆ γ() ˆ γ ˆ ˆ () γ() γ() ˆ γ(), O, O, O, O 4 ˆ γ ˆ ˆ () γ() γ() ˆ γ() ˆ γ ˆ () γ() ˆ γ ˆ () γ(), O, O, O, O 4 ˆ γ() ˆ γ ˆ ˆ () γ() γ() benuk Dari esimaor yang dihasilkan, maka diperoleh model ˆ λ( AB ˆ, ˆ, ˆ π ). Dengan Bˆ bˆ i seperi di aas, maka sudah bisa dipasikan bahwa ˆ auh lebih besar dibandingkan dengan P( O.78. P O λ dan ini Conoh di aas merupakan conoh yang idak bagus, karena hanya melibakan dua obervasi, akibanya esimaor yang dihasilkan, eruama mariks peluang emisi, akan memiliki elemen mariks yang isinya dan. Dengan demikian maka nilai peluang observasinya akan bernilai, sehingga idak perlu ada ierasi lagi. 4