Optimasi Training pada Jaringan Syaraf Tiruan menggunakan Algoritma Extended Kalman Filter

Transkripsi

1 Optimsi rining pd Jringn Syr irun menggunn Algoritm Etended Klmn Filter Zqitud Droh Abstr Proses trining pd ringn syr tirun (JS) eedorrd menggunn lgoritm onvension, seperti lgoritm bcpropgtion mempunyi elemhn dlm mencri bobot-bobot yng onvergen, yitu eonvergenn berln dengn lmbt dn dilun cr cob-cob dlm menentun prmeterprmeter yng sesui. Penentun prmeter-prmeter yng sesui dpt menghmbt peern dn tid prtis dlm memperoleh hsil yng cept. Permslhn tersebut dpt diselesin menggunn teni optimsi nonliner sehingg didptn bobotbobot yng onvergen dengn cept (st lerning). Slh stuny dlh metode etended Klmn ilter. Penerpn lgoritm etended Klmn ilter sebgi metode trining JS dpt dilun dengn memormulsin JS sebgi onsep stte spce yng mirip dengn sistem dinmi nonliner. sil penelitin menunun bh lgoritm EKF memilii eceptn onvergensi yng lebih cept dibndingn dengn lgoritm pembnding, dlm hl ini dlh lgoritm bvpropgtion. Kt Kunci:. Pendhulun Jringn syr tirun (JS) dlh sutu sistem pemroses inormsi yng mempunyi rteristi seperti hlny ringn syr biologi. Krteristi yng menri dri JS ini dlh emmpunny untu belr (lerning/trining). Proses trining pd JS betuun untu mencri bobot-bobot yng onvergen ntr lpisn sedemiin hingg bobot-bobot yng diperoleh menghsiln output yng diinginn [. Permslhn trining pd JS dlm upy membentu ringn yng mmpu mengenli pol dt yng diberin merupn permslhn tersendiri bgi peneliti yng n menerpn JS dlm sutu tenologi. l ini disebbn belum dny metod bu yng bis didin pedomn oleh peneliti dlm menerpn strutur ringn terbi yng mmpu megenli pol dengn urt tnp melun tril nd error dlm memperoleh ringn yng optiml. Jringn syr tirun eedorrd merupn slh stu rsitetur dri JS yng bny digunn dlm plisi di berbgi bidng. Proses trining ringn eedorrd menggunn lgoritm bcpropgtion onvensionl mempunyi elemhn dlm hl mencri bobot yng onvergen. Pd lgoritm tersebut eonvergenn berln dengn lmbt dn membutuhn prmeter yng sesui dengn cr cobcob (guessor). Bny teni yng disrnn untu mengembngn eceptn onvergensi pd proses trining dri lgoritm bcpropgtion, seperti teni optimsi grdient descent [6. Pengembngn - pengembngn yng dilun secr omputsi tid mhl dn bisny mencpi optimum lol, n tetpi teni-teni tersebut membutuhn prmeter yng sesui, sehingg digunn cr cob-cob dlm menentun prmeter yng sesui [, 5.. Permslhn omputsi dlm mencri bobot pd ringn eedorrd untu menyelesin pemetn input tu output yng diinginn dri R N e (,) L dpt digmbrn sebgi permslhn sistem identiisi nonliner berdimensi tinggi. Permslhn tersebut dpt diselesin menggunn teni optimsi nonliner [5. Pd thun 989 Singhl dn Wu menyrnn penggunn lgoritm etended Klmn ilter untu st lerning, yitu proses trining berln dengn cept dlm memperoleh onvergensi bobot. Dengn lgoritm etended Klmn ilter ini, proses trining pd ringn eedorrd dpt diliht sebgi estimsi stte sistem dinmi nonliner [. Penggunn lgoritm etended Klmn ilter menunun sebgi metode trining JS memilii bny euntungn. Penelitin Lry et l,, menunun bh hny dibutuhn epoch (itersi) untu proses trining menggunn EKF dibndingn dengn penelitin sebelumny pd dt yng sm yng membutuhn ut itersi. sil penelitin tersebut menunun bh lgoritm EKF sebgi metode trining JS memilii perormnsi onvergensi yng sngt cept. Penelitin ini n membhs embli penerpn EKF sebgi metod trining JS eedorrd yng diplisin pd permln dt runtun tu (time series).

2 . Algoritm Etended Klmn Filter Klmn Filter merupn metode estimsi vrible edn (stte) dri sutu sistem dinmi dengn melun predisi stte tersebut dn selnutny dilun penguurn untu mengoresi stte secr reeursi dengn cr meminimumn ovrin eror pensirn. Klmn Filter memberin solusi yng bi dlm mengestimsi vrible edn untu sistem dinmi liner [. Sedngn i sistem dinminy berup nonliner, m dilun perlusn terhdp lgoritm Klmn ilter mellui prosedur linierissi pd tip tu sehingg didptn sutu lgoritm yng dienl dengn lgoritm etended Klmn ilter. Pndng sistem dinmi stosti nonliner beriut: (, u ) () h( ) v () dimn m n R dlh vribel edn (stte), R dlh vribel penguurn dengn sumsi ~ N(, Q), v ~ N(, R) dn Q, R, {()} dn {v()} tid berorelsi stu sm lin. (, u ) melmbngn mtris trnsisi nonliner, h( ) melmbngn mtris penguurn nonliner. Ide dsr dri etended Klmn ilter dlh melinerissi model pd Persmn () dn Persmn () pd tip tu diseitr estimsi stte ˆ. Setip li model liner didptn, persmn Klmn ilter stndr diterpn [. Sm hlny dengn lgoritm Klmn ilter stndr, ormulsi dri lgoritm etended Klmn ilter diespresin dlm du thp, yitu thp time updte (orecst step) dn thp mesurement updte (nlysis step). hp time updte merupn thp dimn inormsi plnt pd sistem digunn. Pd thp ini menghsiln nili predisi stte dn nili predisi ovrin eror. hp mesurement updte merupn thp dimn inormsi penguurn digunn. Pd thp ini menghsiln nili oresi berdsrn dt penguurn terbru [. Kedu thpn ini diperoleh dengn menurunn permbtn men dn ovrin vribel stte pd Persmn () dn vribel penguurn pd Persmn (). Algoritm etended Klmn ilter secr lengp ditulis sebgi beriut: Inisilissi: ˆ, P P ime Updte: Estimsi : (, ˆ ) ˆ Kovrin eror : P A P A Q Mesurement Updte: Estimsi : ˆ ˆ [ ( ˆ K h ) Klmn Gin : K P [ p R Kovrin eror : K Jcobin: (, u) A dn ˆ Notsi ˆ K P [ I K P h( ) ˆ menunun nili estimsi stte e- pd thp time updte (orecst step), sedngn notsi ˆ menunun nili estimsi stte e- pd thp time updte (nlysis step).. Algoritm Etended Klmn Filter Sebgi Metode rining JS Singhl nd Wu (989) dlh orng pertm yng menyrnn penggunn EKF untu teni trining pd JS eedorrd. Argumen ini didsrn pd lsn-lsn sebgi beriut (Lry nd Mus, ): Jringn syr multilyer eedorrd dpt digmbrn sebgi sutu sistem dinmi nonliner yng stteny berup sutu vetor bobot. rining dri JS dpt dipndng sebgi permslhn estimsi stte untu sistem nonliner. Klmn ilter dienl sebgi metode yng memberin estimsi optiml dri stte sistem dinmi liner. Pd perembngnny ug dienl lgoritm Klmn ilter versi etended yng dpt digunn untu mengestimsi stte sistem dinmi nonliner. JI JS diormulsin sebgi onsep stte spce yng mirip dengn sistem dinmi nonliner, m dpt ditemun vetor bobot terbi dengn menerpn lgoritm etended Klmn ilter. Bentu sistem dinmi dri ringn syr tirun secr metemtis dpt digmbrn dengn du persmn beriut [ : d e () h[, v () dengn: : indes itersi : stte dri ringn syr eedorrd e : vetor noise proses d : vetor output ( trget )

3 v : vetor penguurn noise : vetor input : ungsi iterti yng menggmbrn h[, ringn, nili dri ungsi ini output dri JS dengn sumsi bh v dlh hite noise dengn E[v v R mtris ovrin, e dlh hite noise dengn E[e e Q mtris ovrin dn v, e tid sling berorelsi untu semu i,. Persmn () dienl sebgi persmn proses yng merupn stte dri sistem JS dengn elemenelemenny berup semu onesi bobot yng d pd rsitetur JS. Sedngn persmn () dienl sebgi persmn observsi yng merupn penguurn dri sistem JS dengn elemenny berup vetor trget dri JS [. Formulsi EKF didptn dengn cr menurunn men dn ovrin dri vribel stte dn penguurn. Beriut ini dlh hsil penurunn lgoritm EKF pd sistem dinmi JS yng terdpt pd Persmn () dn Persmn (). ime Updte: Estimsi : ˆ ˆ Kovrin error : P P- Q Mesurement Updte: estimsi : ˆ ˆ [ ( ˆ K d h, ) ovrin error : P [ I K P Klmn gin : K [ P R P dengn h[ ˆ, ˆ Pd sus JS eedorrd, ovrin noise pd stte, Q, bernili nol (yin, ; Lry nd Mus, ), Sehingg lgoritm EKF pd sistem dinmi JS dits dpt dirings mendi stu thp, yitu thp mesurement updte. Nili output dri JS, h (, ), merupn vribel penguurn dri sistem dinmi pd JS. Nili tersebut menggmbrn perhitungn bobot-bobot pd lpisnlpisn dlm JS. Adpun nili output JS dlh sebgi beriut [: yˆ h(, ) tnh[ ( m( n ) : ( m( n ) m (: m ) (5) dimn ( : m ) tnh[ (: n (:: n ), dengn () dn () dlh nili bis pd msingmsing input lyer dn hidden lyer. Fungsi tnh(.) merupn ungsi tisi yng digunn, dimn ungsi ini memilii nili yng sm dengn ungsi bipolr sigmoid (Fusset). Pd penelitin ini, nili dri R dihitung menggunn tor orgetting yng diperennn oleh Zhng nd Li [. Adpun rumusn dri ctor orgetting dlh: ( ) (6) dengn dn dlh tunble prmeters.. Rncngn Proses rining JS dengn Algoritm Etended Klmn Filter Proses trining JS menggunn lgoritm EKF bertuun untu mendptn estimsi vetor bobot yng meminimumn ovrin eror secr reeursi. Vetor bobot yng dimsud dlh nili bobot dn bis yng mengonesin tip unit ntr lyer pd rsitetur JS. Misln dipunyi ringn syr eedorrd dengn rsitetur sebgi beriut: Stu input lyer yng terdiri dri n unit dn stu bis Stu hidden lyer yng terdiri dri m unit dn stu bis Stu unit output pd output lyer Pd rsitetur tersebut, dpt diperoleh inormsi yng digunn untu prosedur trining JS menggunn lgoritm EKF sebgi beriut: dlh vetor bobot beruurn m ( n ) m dlh vetor input beruurn n, dengn () berup onstnt, yng menunun bis pd input. P dn Q dlh vetor ovrin eror dn vetor ovrin noise sistem beruurn m ( n ) m m( n ) m R dn d dlh vetor ovrin noise penguurn dn vetor trget beruurn K beruurn m ( n ) m beruurn m ( n ) m Sebgi contoh, misln dipunyi rsitetur JS eedorrd dengn tig node pd input lyer dn du node pd hidden lyer seperti yng ditunun pd Gmbr.

4 Nili berup onstnt ren merupn bis pd input lyer (umumny bernili ). Gmbr : Arsitetur JS eedorrd (,,) Dri rsitetur tersebut, n diperoleh inormsi sebgi beriut: vetor boobt beruurn, yitu [ beruurn, [, dengn berup bis pd input lyer P dn Q beruurn R dn d beruurn K beruurn beruurn Sedngn nili dri output JS dlh: yˆ tnh [ tnh 9 i i8 i [ dimn nili =, ren merupn bis pd hidden lyer. Sedngn nili dn dlh: dn tnh [ tnh i tnh [ tnh 5 i i i 6 7 [ i i 8 [ 5. Simulsi dn Disusi Simulsi dilun untu mendptn perorm dri lgoritm EKF dn ug lgoritm bcpropgtion sebgi pembnding. rining JS eedorrd pd penelitin diplisin untu predisi dt time series. Dt yng digunn dlh bilngn sunspot. Arsitetur JS yng digunn pd setip simulsi dlh stu unit pd input lyer dn stu unit pd hidden lyer. Pd percobn pertm, bobot-bobot pd JS diinisilissi secr rndom.inisilissi dri prmeterprmeter lin yng dibutuhn ditetpn dengn beberp percobn. Untu meliht ursi dri JS, digunn nili MSE dn nili orelsi ntr dt ctul dn dt hsil predisi sebgi pembnding. bel menunun hsil simulsi menggunn lim li itersi dn li itersi dri msing-msing lgoritm trining. Algorit m Bc propg tion EKF bel sil Simulsi dengn lim dn itersi Perormnsi dengn 5 itersi Perormnsi dengn itersi MSE Korelsi MSE Korelsi sil simulsi dengn 5 li itersi yng terdpt pd bel menunun bh EKF memilii perorm yng bi dibndingn bcpropgtion, hl ini dpt diliht dri nili MSE yng dihsiln. EKF pd simulsi li itersi ini ug memilii perorm yng bgus dengn orelsi berisr ntr Sedngn untu bcpropgtion nili MSE yng dihsiln msih sngt tinggi dibndingn dengn EKF. Simulsi selnutny dlh dengn menmbhn umlh itersi untu mengethui pn sistem telh mencpi globl minim tu locl minim. sil simulsi dengn menmbhn li itersi dri du metod trining yng diterpn dlh sebgi beriut:

5 Vlue Vlue bel sil simuli dengn li itersi Algoritm Bc propgtion EKF MSE Perormnsi Korelsi bel menunun bh lgoritm bcpropgtion menglmi perbin perorm yng lebih bi dn lebih onsisten. An tetpi nili MSE dn orelsi ntr dt ctul dn dt hsil predisi JS msih uh dri lgoritm EKF. sil simulsi EKF pd sus ini tid terllu uh berbed dengn simulsi yng menggunn li itersi. Dengn t lin, lgoritm EKF mempunyi onvergensi lebih cept dibndingn dengn lgoritm bcpropgtion. Untu menggmbrn hsil simulsi dit, beriut ini n ditmpiln beberp plot gri ntr dt tul dengn dt hsil predisi dri JS untu msingmsing lgoritm trining yng digunn Plot beteen ctul dt nd oecst dt by the bcpropgtion Forecst dt ctul dt 5 6 ime inde Gmbr : Plot Dt Atul dengn Dt Predisi Menggunn Bcpropgtion Plot beteen ctul dt nd oecst dt by the EKF Forecst dt ctul dt 5 6 ime inde Gmbr : Plot Dt Atul dengn Dt Predisi Menggunn EKF 6. Kesimpuln Pd penelitin ini telh dibhs erng umum trining JS menggunn teori optiml iltering, yitu lgoritm EKF. Konsep penerpn lgoritm EKFsebgi metod trining JS eedorrd dlm penelitin ini didsrn pd pendetn yng digunn oleh Singhl nd Wu dlm menerpn EKF sebgi metod trining JS. Bobot-bobot yng d pd ringn eedorrrd dipndng sebgi stte dri sistem dinmi yng diestimsi secr reeursi. Untu mengethui perormnsi dri lgoritm trining yng digunn, pd penelitin ini dilun perbndingn ntr lgoritm EKF dn lgoritm bcpropgtion. Berdsn hsil simulsi, EKF memilii tingt onvergensi lebih cept dripd lgoritm bcpropgtion. Reerensi [ yin, S. Klmn Filters,in Klmn Filtering nd Neurl Netors, ed. yin, S., John Wiley & Sons, USA, hl. 6-9,. [ Lry, D.J, Muss.Y, Using n Etended Klmn Filter Lerning Algorithm or Feedorrd Neurl Netor to Describe rcer Correltions, Atmospheric Chemistry nd Physics Discussion, Vol., hl ,. [ Leis, F.L, Optiml Estimtion, John Wiley & Sons, Inc., Ne Yor, 986 [ Fusset, L., Fundmentl o Neurl Netor: heory nd Appliction, Prentice ll, Singpure, 996. [5 Shh, S., Plmieri, F., Dtum, M., Optiml Filtering Algorithms or Fst Lerning in Feedorrd Neurl Netor, Neurl Netors Reserch, Vol. 5, hl , 99. [6 Kusumdei, Sri, Membngun Jringn Syr irun menggunn Mtlb & Ecel Lin, Grh Ilmu, Yogyrt,.

6