Idetfas Sste Noler Dega Megguaa Recurret Neural Networ Da Algorta Dead-Zoe Kala Flter Rully Soelaa Ragga Rfa Yudh Purwaato Maurdh H. Puroo Jurusa e Iforata Faultas eolog Iforas Progra Pascasarjaa Jurusa e Eletro Faultas eolog Idustr Isttut eolog Sepuluh Nopeber Surabaya 6. Eal : rully@s.ts.ac.d Abstra Idetfas sste oler telah terbut dapat dselesaa egguaa jarga saraf trua dega berbaga algorta pebelajara bobot. Algorta pebelajara oral sepert Bac Propagato (BP el beberapa eleaha atara la proses overges yag ash labat beba oputasoal yag egat serg bertabahya teras da proses pebelajara sestf terhadap ose. Oleh area tu algorta pebelajara exteded Kala flter (EKF yag el overges cepat dusula walaupu perhtugaya lebh rut da ash sestf terhadap ose. Pada peelta algorta EKF dpleetasa pada state-space recurret eural etwor (RNN utu egdetfas sste oler. Algorta dguaa utu egupdate bobot pada lapsa tersebuy da lapsa eluara dar jarga saraf trua berdasara detfas error atara target dega hasl estas state. Algorta EKF dodfas dega algorta dead-zoe utu eperba euata Kala flter. eor establa Lyapuov dguaa utu ebuta bahwa Algorta Kala flter dega dead-zoe stabl. Utu ebuta hasl detfas yag ba dega dead-zoe Kala flter (DKF aa dguaa algorta BP sebaga pebadg. Dar hasl uj coba da evaluas dapat dspula bahwa hasl detfas dega DKF lebh aurat da efse serta lebh cepat overgesya dbadga dega algorta pebadg. Kata uc : sste oler detfas sste recurret eural etwor dead-zoe Kala flter.. Pedahulua Serg perebaga zaa pera oputer sea edoas ehdupa. Saat suatu sste sudah dapat elaua pebelajara utu egeal perlau lgugaya. Salah satuya adalah detfas sste oler sepert perasalaha eaa da daa dega algorta pebelajara tertetu. Idetfas sste adalah egatur suatu sste agar eluara dar sste apu egut targetya. Idetfas sste oler ejad sagat rut area oputer haya dapat eyelesaa perhtuga yag ler. Metode yag tepat aa dapat eodela sste oler secara aurat eggat solus esa dar perasalaha oler sagat sult. Idetfas sste oler dapat dselesaa dega eggua suatu etode yag daaa Jarga Syaraf rua (JS. Jarga syaraf trua adalah suatu te perosesa foras yag terspras oleh sste saraf bolog dega elaua proses pebelajara sepert pegeala pola. e jarga saraf trua sagat efetf utu egdetfas sste oler yag rut. Meurut So Hay (999 jarga syaraf trua dapat dlasfasa ejad dua yatu feedforward da recurret. Dala terolog ateats sste oler adalah sste yag tda eeuh prsp superposs. Sebuah sste oler erupaa sste yag tda bsa dpreds berdasara perlau terdahuluya da el cuup besara yag tda detahu. Sste oler erupaa osep dar sste da. Beberapa perasalaha tbul saat dlaua preds pada betu sste yag belu perah dlath sebeluya. Perasalaha-perasalaha tersebut atara la adalah preds sste utu watu yag laa urag aurat. Hal dsebaba jarga belajar egeal betu sste lewat pasaga put-output dar ecepata perubaha sste. Sehgga jarga syaraf trua yag basa tda dapat eagap perlau sste utu watu yag laa dega ba. Peelta-peelta lebh lajut telah berhasl dlaua utu epereala algorta-algorta baru dala pegdetfasa sste olear. Nau area adaya perasalaha yag ash ucul yatu proses overges yag labat da sestf terhadap ose aa hasl dar pegdetfasa sste olear tda selalu euasa. Dala jural lah yag dtuls oleh
Jose de Jesu s Rubo da We Yu pada tahu 6 dusula suatu etode yag dapat eecaha asalah detfas oler yatu RNN dega algorta DKF. RNN yag eggabuga feedbac el eapua peggabara yag sagat uat. EKF juga el overges yag lebh cepat area teras yag terjad sedt da learg rate bua ostata postf. Algorta EKF aa dodfas dega algorta dead-zoe agar lebh stabl. Algorta DKF aa dguaa utu egubah bobot pada lapsa tersebuy da lapsa eluara dar state-space recurret eural etwor berdasara detfas error atara eluara jarga dega target. Hal aa dlaua secara teruseerus hgga eluara dar jarga sesua dega target atau plat sste.. Dasar eor. Sste Noler Sste oler erupaa baga dar sste da. Sste oler adalah suatu sste yag dyataa dala persaaa oler da tda eeuh prsp superposs atau eluara dar sste tda sebadg dega asuaya. Kasus-asus sste oler erupaa asus daa varabelvarabel yag aa dselesaa tda dapat dtuls dala obas ler dar opoe-opoe yag depede. Sste oler yag ddetfas dala peelta adalah sste olear da dega otrol put atau vetor asua yag dotasa pada persaaa (. daa u x ( + = f [ ] ( ( R adalah otrol put la dar u ( u R adalah vetor state dega f tda detahu.. Idetfas Sste Noler Idetfas sste adalah pedeata yag bersfat percobaa utu eodela suatu proses atau plat dar paraeter yag tda detahu. Pada otes eodela berart ebagu represetas ateats dar perlau das suatu sste atau proses ba dala watu atau freues doa.idetfas sste juga deal dega proses evaluas dar pebagua odel dsetap watu atau freues doa. Evaluas dapat dlaua dega peguja e dala pedeata odel yag dpaa dega easua data asua yag ada. Dar hasl aalsa data asua e dala peodela aa aa ddapata hasl eluara odel. Hasl eluara odel euda dbadga dega data eluara sste sehgga dapat devaluas dega eperba paraeter tertetu dala odel yag dguaa. Idetfas sste elput beberapa proses tahapa atara la perecaaa yag bersfat percobaa pelha strutur odel yag aa dpaa estas paraeter da valdas odel. Lagah-lagah detfas sste aa terus berulag sapa ddapata hasl pebagua odel yag euasa. Utu ebagu detfas odel yag paraeterya coco pada suatu plat dar sste oler yag da terdapat jes prosedur yatu. Model State-Space. Idetfas sste oler dapat dlaua dega egguaa odel state-space yag dyataa dala persaaa. x ( + = f [ ] y ( = h( daa fugs f (. da h (. erupaa fugs oler berla vetor yag dasusa tda detahu. u ( adalah vetor asua yag beruura x da x ( adalah vetor eluara dar lapsa hdde pada watu e yag beruura qx.. Model Iput-Output. Model put-output dguaa utu detfas sste oler yag haya dapat detahu la eluaraya. Model tda egguaa state. Sste egguaa satu asua da satu eluara. y ( adalah eluara sste da adalah la asua utu watu e. Model egguaa sgle put-sgle output yag salah satu odelya adalah NARX (olear autoregressve wth exogeous puts odel. yˆ ( + = ϕ ( y(... y( q +... q +. Idetfas Sste dega State-Space Recurret Neural Networ e JS sagat efetf dala egdetfas sste oler yag oples eta odel foras yag legap sudah tda bsa ddapata. Jes odel arstetur jarga yag dguaa dala peelta adalah RNN yag el feedbac loop pada arstetur jargaya. RNN el eapua peggabara yag sagat bagus da dapat egatas eleaha feedfoward. RNN dapat eperraa ecepata perubaha betu sste dega ba pada
sub jargaya berdasara terpolas daerah doa dala satu selag watu tertetu atau julah teras sehgga dapat epreds betu ltasa sste utu watu yag laa. Sela tu dharapa RNN dapat eperraa jalaya sste utu selag watu yag berbeda-beda. Model state-space recurret eural etwor yag dguaa utu egdetfas sste oler pada persaaa ( dega buah put-output da buah lapsa hdde adalah sebaga berut: daa xˆ( + = Axˆ( + V σ[ W + V φ[ W ] ] ( ˆ adalah teral state vetor R x A R adalah atr tetap R adalah state vetor R adalah vetor asua. Nla x u ( da x ( detahu. W W R adalah bobot pada lapsa hdde sedaga x V V R adalah bobot pada lapsa output. x ˆ ( + adalah la dar state vetor hasl perraa pada teras e +. Fugs atfas yag dguaa pada jarga adalah σ = [ σ... σ ] σ R da x φ R. Nla σ da φ dhtug dega egguaa fugs sgod. Fugs sgod yag dguaa adalah fugs pada persaaa ( da (4. σ ( g( x =.5 ( ( + g e x. φ ( g( x =.5 (4.g ( x + e Gabar. Arstetur recurret eural etwor. Keluara jarga dapat dhtug dega persaaa berut : y( = + A V V φ[ W ]. σ[ W ]. Metodolog. Pebelajara dega Algorta Bac Propagato BP dguaa dala hal elath jarga utu edapata esebaga atara eapua jarga utu egeal pola yag dguaa selaa pelatha serta eapua jarga utu ebera respo yag bear terhadap pola asua yag serupa. Nau BP ash el eleaha atara la proses overges yag ash labat beba oputasoal yag egat serg bertabahya teras da proses pebelajara sestf terhadap ose. Pebelajara bobot dega algorta BP dapat dhtug dega persaaa sebaga berut : V + = V λσ [ W ] e ( (5 ' W + = W λσ [ W ] V e ( daa λ adalah learg rate dar jarga.. Pebelajara dega Algorta Exteded Kala Flter e Kala flter dguaa utu elaua pebelajara pada RNN ( dega la detfas error e ( atara plat dega hasl estas JS yag dapat dbatas. e ˆ ( = x ( x ( Persaaa-persaaa yag dguaa EKF utu pebelajara RNN atara la : ˆ θ ˆ ( + = θ ( K e ( yˆ ( = ˆ B θ ( (6 P = R + [ I K B ] P + K = P B daa =... P R 4x4 ( R + B P B P adalah atr sedeft. ' ' [ σ σ V ] x φu φ dag( u V... θ ( ] [ V W V W ] B = [ θ = ( 4x θ ( R θ ( adalah state vetor yag erupaa bobot tap sub sste. R adalah ostata postf yag ecl. R adalah ostata postf.
. Pebelajara dega Algorta Dead-Zoe Kala Flter Algorta erupaa odfas dar algorta EKF. Proses detfas sste oler dega egguaa algorta pebelajara dapat eghasla pedeata yag lebh stabl dega ecepata overges yag lebh cepat. eor establa Lyapuov dguaa utu ebuta bahwa algorta Kala flter dega dead-zoe stabl utu detfas sste. Algota EKF (6 aa dodfas ejad DKF sebaga berut ˆ θ ( + = ˆ θ ( R P B s yˆ ( = B ˆ θ ( (7 daa R = R + B P B adalah salar e ( e ( ζ da P B B P R R R R s = e ( < ζ atau P B B P < R R R R R adalah ostata postf yag ecl. R adalah ostata postf. ζ adalah paraeter dead-zoe da sebaga batas tertgg dar la ζ yag tda past ζ < ζ. Secara eseluruha peerapa algorta DKF dala RNN dapat ddesa dega lagah-lagah sebaga berut : Isalsas la utu bobot θ ( da P. ˆ > Mebagu odel dar RNN ( utu egdetfas suatu sste oler yag tda detahu (. Matr A adalah atr stabl. uls JS e dala betu ler y( = B Θ + ζ ( dega [ Θ = V W V W ] = [ θ (... θ ( ] ' ' [ σ σ V x φu φ dag( u V ] B = Pebelajara bobot dega eperbaharu la bobot laa dega egguaa persaaa (7. Nla P dperbaharu sesua algorta Kala flter yatu P = R + [ I K B ] P + K = P B ( R + B P B. 4 Uj Coba da Aalss Uj coba dlaua pada sebuah PC dega prosesor Itel Petu 4.6GHz eor 5 MB RAM. Sste operas yag dguaa adalah Wdows XP Professoal Verso SP. Bahasa oputas yag dguaa utu pleetas etode adalah Matlab 7..4. Uj coba dlaua dega beberapa sste oler da searo yag elbata julah euro pada lapsa tersebuy da teras yag dguaa. Uj coba dlaua dega 5 Searo atara la : Searo : lapsa tersebuy euro dega teras Searo : lapsa tersebuy euro dega 6 teras Searo : lapsa tersebuy euro dega teras Searo 4 : lapsa tersebuy euro dega 6 teras Searo 5 : lapsa tersebuy euro dega teras Hasl estas yag palg edeat plat ddapata pada searo yag julah euro lapsa tersebuyya adalah da julah teras jarga sebesar 6 al. Sste oler adalah sebaga berut : x ( x( x ( + = + + x ( + + x( + = x ( x( + = =.s(π s +.s(4πs +.6s( πs Beberapa la paraeter yag dguaa utu uj coba sste oler yatu la A = dag(. x A R erupaa atr dagoal stabl da la x awal bobot W W R x V V R dsals atara []. Nla paraeter utu algorta EKF yag dguaa atara la la atr x sedeft P = dag( R pada saat salsas atau teras e la x R = dag(. R da la R =.. Paraeter pada algorta DKF yag dguaa saa pada algorta EKF haya dtabah dega la paraeter dead-zoe ζ =.. Sedaga utu algorta BP haya eerlua paraeter learg rate λ =.. Hasl detfas sste oler dega egguaa euro pada lapsa tersebuy da 6 al teras dtapla pada gabar sedaga graf perbadga MSE detfas sste oler dar seua algorta dtapla pada gabar.
Perbadga Sste Noler pada Seua Searo MSE 4 5 5 5 5 4 5 Searo DKF EKF BP Gabar. Kurva perbadga la MSE detfas sste oler utu seua algorta Gabar 4 erupaa dagra perbadga MSE hasl uj coba seluruh searo sste oler. Dar dagra datas dapat detahu bahwa la MSE yag palg ecl terdapat pada searo 4. Gabar 4. Dagra perbadga la MSE detfas sste oler utu seua searo Sste oler adalah sebaga berut : + ax βsg( x u = + + x ( + a. x β sg( x u dega otrol put yatu u = u =.cos(π s +.cos(4π s +.6cos( πs a =.5 a. =. β =. β =.5. Isalsas la paraeter saa dega sste oler. (a (a (b (b (c Gabar. Kurva hasl detfas sste oler (a Idetfas dega DKF ; (b EKF ; (c BP (c Gabar 5. Kurva hasl detfas sste oler (a Idetfas dega DKF ; (b EKF ; (c BP
Nla salsas paraeter dsaaa dega salsas pada sste oler. Graf perbadga MSE detfas sste oler dar seua algorta dtapla pada gabar 8. Gabar 6. Kurva perbadga la MSE detfas sste oler utu seua algorta MSE 5 5 5 Perbadga Sste Noler pada Seua Searo 4 5 Searo DKF EKF BP Gabar 7. Dagra perbadga la MSE detfas sste oler utu seua searo Gabar 5 adalah urva hasl uj coba detfas sste oler dega egguaa euro pada lapsa tersebuy da 6 al teras sedaga graf perbadga MSE detfas sste oler dar seua algorta dtapla pada gabar 6. Gabar 7 erupaa dagra perbadga MSE hasl uj coba seluruh searo sste oler. Dar dagra datas dapat detahu bahwa la MSE dar algorta DKF palg ecl dbadga dega algorta EKF da BP utu seluruh searo. Sste oler adalah sebaga berut : x ( + = x ( + x ( x ( +. x ( + = x ( + ox ( x x ( + = x ( + ox ( x u =.s( π/ +.5s(/4 dega =.5 =. o =. 5. ( +.5 ( +.u ( Gabar 8. Kurva perbadga la MSE detfas sste oler utu seua algorta (a (b (c Gabar 9. Kurva hasl detfas sste oler (a Idetfas dega DKF ; (b EKF ; (c BP
Hasl detfas sste oler dega egguaa euro pada lapsa tersebuy da 6 al teras dtapla pada gabar 9. 6. Daftar Pustaa [] Hay So (999. Neural Networ A Coprehesve Foudato Secod Edto. New Jersey: Pretce-Hall Ic. MSE 5 5 5 Perbadga Sste Noler pada Seua Searo 4 5 Searo DKF EKF BP [] Rubo Jose de Jesu s Yu da We. (7. Noler syste detfcato wth recurret eural etwor ad dead-zoe Kala flter algorth. SceceDrect Neurocoputg 7 46-466. [] Rubo Jose de Jesu s Yu We da L Xaoou. (5. Recurret Neural Networs rag wth Stable Rs-Sestve Kala Flter Algorth. IEEE. Gabar. Dagra perbadga la MSE detfas sste oler utu seua searo Dar gabar datas dapat detahu bahwa la MSE dar algorta DKF palg ecl dbadga dega algorta EKF da BP utu seluruh searo. 5. Kespula Setelah dlaua uj coba da aalss terhadap peragat lua yag dbuat aa dapat dabl espula sebaga berut:. Aplas RNN dega algorta pebelajara DKF dapat elaua detfas terhadap sste oler. Algorta dapat djada alteratf utu eyelesaa persoala sste oler. Sste oler yag dguaa adalah persoala oler yag epuya otrol put.. Hasl detfas sste oler dega egguaa algorta Kala flter lebh aurat dbadga dega algorta BP. Hal dapat dspula berdasara hasl aalsa dar asus yag dujcobaa.. Algorta DKF el eapua detfas yag cepat. Hal dapat dlhat dar state awal yag dplh erupaa la sebarag au pegeala selajutya bsa dlaua dega egdetfas plat dega cepat. 4. Algorta DKF apu beerja dega ba dala elaua pecocoa urva detfas (proses trag jarga terlhat dar hasl u MSE sebesar.8 pada asus pertaa.546 pada asus yag edua serta.7 pada asus yag etga. 5. Hasl detfas sste oler yag palg edeat dcapa pada saat jarga egguaa buah euro pada lapsa tersebuy da 6 al teras 6. Algorta DKF el eapua overges yag cepat area sea laa hasl detfas sea edeat plat. [4] Rubo Jose de Jesu s da Yu We.(7. Recurret eural etwors trag wth optal bouded ellpsod algorth Proc.of the 7 Aerca Cotrol Coferece Marrot Marqus Hotel at es Square New Yor Cty USA. [5] Yu We.(5. State-Space Recurret Fuzzy Neural Networs for Noler Syste Idetfcato. Neural Processg letter :9-44 [6] W Yu da Xaoou L.(. Dscrete-te Nolear Syste Idetfcato Usg Recurret Neural Networs. IEEE Iteratoal Coferece o Decso ad Cotrol Mau Hawa USA Deceber.