ESTIMASI REGRESI NON PARAMETRIK DENGAN METODE WAVELET SHRINKAGE NEURAL NETWORK PADA MODEL RANCANGAN TETAP

Estmas Regres No Parametr (Hasb Yas) ESTIMASI REGRESI NON PARAMETRIK DENGAN METODE WAVELET SHRINKAGE NEURAL NETWORK PADA MODEL RANCANGAN TETAP Hasb Yas Staf Pegaar Program Stud Statsta FMIPA UNDIP Abstract If X s a predctor varable ad Y s a respose varable of followg model Y = g(x) +e wth fucto g s a regresso whch ot yet bee ow ad e s a depedet radom varable wth mea 0 ad varat σ. The fucto of g ca be estmated by parametrc ad oparametrc approach. I ths paper, g s estmated by oparametrc approach that s amed wavelet shrage eural etwor method. At ths method, the smoothly fucto estmato s depedg o shrage parameter s that are threshold value ad level of wavelet that be used. It also depedg o the umber of euro the hdde layer ad the umber of epoch that be used feed forward eural etwor. Therefore, t s requred to be select the optmal value of threshold, level of wavelet, the umber of euro ad the umber of epoch to determe optmal fucto estmato. Keywords: Noparametrc Regresso, Wavelet Shrage Neural Networ. Pedahulua Detahu X varabel predtor, Y varabel respo dalam aalss regres da {((X, Y) )} adalah data observas depede dega model ( ) = Y = g X + ε () dega =,,,, semetara g adalah fugs regres yag tda detahu, daε adalah varabel radom depede dega mea 0 da vara σ. Berdasara varabel predtorya, maa model racagaya dbedaa dalam dua asus. Ja varabel predtorya merupaa varabel radom maa racagaya damaa model racaga stoast (model radom) tetap a varabel predtorya merupaa varabel tetap maa model racagaya damaa model o stoast (model tetap) [,]. Sedaga berdasara betu fugsya maa ada dua pedeata yag dapat dlaua dalam megestmas fugs regres g, ya pedeata parametr da pedeata o parametr. Pedeata parametr dlaua a asums betu g detahu, sedaga pedeata o parametr meghubuga varabel predtor X terhadap varabel respo Y tapa detahu model dar fugs g. Dalam hal, dasumsa bahwa fugs g termuat dalam elas fugs mulus; artya mempuya turua yag otyu atau dapat dtegrala secara uadrat. Utu pedeata o parametr, te yag sudah populer dterapa adalah te pemulus deret orthogoal sepert deret Fourer. Dar estmator deret Fourer emuda dembaga mead estmator wavelet dega meggat bass-bass fugs osta, sus da cosus pada estmator deret Fourer dega bass-bass fugs wavelet [3,8]. Beberapa fugs wavelet yag dguaa sebaga bass dalam estmator wavelet atara la wavelet Haar, Daublet, Symmlet, da Coflet [5,].Estmator wavelet dbedaa mead yatu estmator wavelet ler da estmator wavelet shrage [5]. Kemuda dembaga metode baru yag merupaa gabuga dar deomposs Wavelet sebaga metode estras utu medapata formas awal berata dega put model da Neural Networ yag dguaa sebaga proses pelatha data utu medapata output model. Metode deal dega WNN (Wavelet Neural Networ). Tulsa membahas peetua estmator regres o parametr dega metode wavelet shrage eural etwor (WSNN) pada model racaga tetap dserta dega cotoh smulasya. Peelta bertuua utu membagu sebuah model baru yag lebh ba

Meda Statsta, Vol., No., Ju 009: -0 yag merupaa ombas dar model feed forward eural etwor da model wavelet shrage.. Baha da Metode Peelta merupaa aa lteratur dar beberapa model yag telah ada yag emuda dembaga dega smulas megguaa software Matlab 7... Fugs Wavelet Fugs wavelet adalah suatu fugs matemata yag mempuya sfat- sfat tertetu dataraya beroslas d setar ol (sepert fugs sus da cosus) da terloalsas dalam doma watu artya pada saat la doma relatf besar, fugs wavelet berharga ol. Fugs wavelet dbedaa atas dua es, yatu wavelet ayah (φ) da wavelet bu (ψ) yag mempuya sfat φdx = da ψdx = 0. Dega dlatas dad da traslas teger, wavelet ayah da wavelet bu melahra eluarga wavelet yatu (x) (p ) φ = φ(p x ) da ψ (x) = (p ) ψ(p x ) utu suatu salar p>0, da tapa megurag eumuma dapat dambl p=, sehgga (x) / φ = φ( x ) da ψ (x) = / ψ( x ). Fugs φ (x) da ψ (x) mempuya sfat φ φ ' (x) dx = δ,', ψ φ ' dx = 0, da a = ψ ψ ',' (x) dx = δ ' δ,' dega δ, = 0 a. Cotoh wavelet palg sederhaa adalah wavelet Haar yag mempuya rumus,0 x < /,0 x < ψ =,/ x < da φ = () 0, x yag la 0, x yag la. Beberapa cotoh wavelet sela wavelet haar dataraya adalah wavelet Daubeches (Daublet), symmetrs (Symmlet), da Cofma (Coflet) [5]. Vsualsas beberapa wavelet dapat dtuua pada Gambar berut. Gambar. Vsualsas beberapa Wavelet Ja g L (R) maa g dapat dyataa dalam deret wavelet ortoormal g( x) = c φ + d ψ ( ) (3) o, o, x Z o Z

Estmas Regres No Parametr (Hasb Yas) dega c o, =< g, φ o, >= g( x) φ o, dx da d, =< g, ψ >= g( x) ψ dx. Dega megambl J cuup besar maa deret wavelet (3) dapat ddeat oleh dmaa g J = c o, φ o, + d ψ J J Z = Z J J, o Z g c, φ (4) g merupaa pedeata g pada level e J. J. Estmator Wavelet Ler Ja terdapat seumpula data depede {( (X, Y) )} = yag mempuya model () da = m dega m blaga bulat postp. Ja X racaga tt reguler pada terval [0,] dega X = /, maa estmator g pada level J adalah gˆ J o, o, x o Z = cˆ φ + dˆ ψ ( ) (5) J Z dega cˆ o, = Yφ o, ( X ), d ˆ = Y X = ψ,, ( ), da cˆ J, = Yφ J, ( X ) = = yag merupaa estmator ta bas dar c o,, d.da c [3] J,. Estmator wavelet (5) damaa estmator wavelet ler..3 Estmator Wavelet Shrage. Ja dbera data {( X, Y )} dega model (), = N ( g( ),σ ). Selautya, ( d, d ) ˆ ~ ( ) m = da X =, maa Y ~ N 0, σ atau d ˆ = d + z dega d adalah dugaa oefse g yag yata da z adalah hmpua yag tda teramat berdstrbus N ( 0, σ ). Jad, oefse wavelet emprs d ˆ memuat seumlah, ose da haya relatf sedt yag memuat syal sgfa. Karea tu, dapat dreostrus wavelet dega megguaa seumlah oefse terbesar. Dega de dema, berembag suatu metode yag meeaa reostrus wavelet dega megguaa seumlah oefse wavelet terbesar, ya haya oefse yag lebh besar dar suatu la tertetu yag dambl, sedaga oefse selebhya dabaa, area daggap 0 [7,8,9]. Nla tertetu tersebut damaa la threshold da estmator waveletya damaa estmator wavelet thresholdg. Msal terseda la threshold, maa estmator thresholdg dar fugs regres g dapat dtulsa sebaga = cˆ φ + ( dˆ ) ψ o, o, J gˆ (6) o = o Thresholdg merupaa operator o ler pada vetor oefse wavelet d yag destmas dega dˆ. Dega dema, estmator thresholdg tersebut damaa uga estmator wavelet o ler (shrage). Karea thresholdg dracag utu membedaa atara oefse wavelet emprs maa yag masu da maa yag eluar dar reostrus wavelet, sedaga utu membuat eputusa ada fator yag mempegaruh etepata estmator, yatu uura sampel da tgat ose σ, maa setap oefse merupaa calo uat masu ddalam reostrus wavelet a uura 3

Meda Statsta, Vol., No., Ju 009: -0 sampel besar atau tgat ose ecl. Karea d ˆ, σ berdstrbus ormal dega vara utu seluruh da σ, maa estmator thresholdg dar d, adalah ~ σ dˆ, d =, σ sehgga estmator wavelet shrage adalah ( ) ( ) J σ ( ) = + dˆ gˆ x cˆ o, φ o, x ψ x (7) o = 0 σ dega c ˆ o, : peduga oefse fugs sala c o, dˆ : peduga oefse wavelet d : parameter la threshold : fugs threshold Metode wavelet shrage mampu megestmas fugs ba mulus maupu tda area wavelet shrage mempuya paag support yag adaptf secara loal. Artya pada tt dsotyu da baga fugs ta mulus, metode wavelet shrage aa megguaa support yag lebh sempt. Sedaga utu baga fugs mulus estmas wavelet shrage aa megguaa support yag lebh lebar dar data..4 Lagah-lagah Thresholdg Lagah-lagah thresholdg terdr dar :. Pemlha Fugs Thresholdg Ada dua es fugs thresholdg, yatu Hard Thresholdg, x, x > H x, x > (x) = da Soft Thresholdg, S (x) = 0, x 0, x yag la x +, x < dega merupaa parameter thresholdg. Fugs Hard thresholdg lebh deal area terdapat dsotyu dalam fugs thresholdg sehgga la x yag berada datas threshold tda dsetuh. Sebalya, fugs soft thresholdg otyu yatu sea la x berada datas threshold. Motvas pegguaa soft thresholdg berasal dar prsp bahwa ose mempegaruh seluruh oefse wavelet. Juga eotyua dar fugs soft shrage membuat ods yag lebh ba utu alasa statst.. Estmas σ Dalam mereostrus fugs wavelet basaya la σ tda detahu. Oleh area tu, σ harus destmas dar data. Ogde [0] membera estmas σ berdasara oefse wavelet emprs pada level resolus tertgg dega fugs Meda Devas Absolut (MAD), yatu: meda( dˆ J, meda( dˆ J, )) σˆ =. (8) 0,6745 3. Pemlha Parameter Thresholdg Pada estmas wavelet thresholdg, tgat emulusa estmator dtetua oleh level resolus J, fugs thresholdg da parameter threshold. Namu pemlha J da 4

Estmas Regres No Parametr (Hasb Yas) tda sedoma. Nla yag terlalu ecl membera estmas fugs yag sagat tda mulus (uder smooth) sedaga la yag terlalu besar membera estmas yag sagat mulus (over smooth). Oleh area tu perlu dplh parameter threshold yag optmal utu medapata fugs yag optmal. Utu memlh la threshold optmal, ada dua ategor pemlha yatu memlh satu harga threshold utu seluruh level resolus (pemlha secara global) da pemlha threshold yag tergatug pada level resolus (depedet level thresholdg). Utu pemlha threshold global, Ogde [0] membera pemlha threshold yag haya bergatug pada bayaya data pegamata yatu threshold uversal ( = log ) da threshold mmax yag telah dtabela oleh Dooho da Johstoe [6]. Nla-la threshold mmax selalu lebh ecl dbadga dega la threshold uversal utu uura sampel yag sama. Pemlha threshold yag tergatug pada level resolus berart memlh bergatug level resolu. Dega dema ada emuga perbedaa la threshold yag dplh utu tap level wavelet. Ada beberapa cara level-depedet thresholdg dataraya yatu threshold Adapt da threshold Top. Threshold adapt ddasara pada prsp utu memmala Ste Ubased Rs Estmator (SURE) pada suatu level resolus. Threshold adapt utu hmpua oefse detal d yag beraggotaa K oefse ddefsa sebaga, = arg m SURE d, t, dega SURE t 0 ( ) K K ( d, t) = K [ ] + m{ ( d ) } d t / σ, t σ =, = Sedaga la threshold top dtetua berdasara besar prosetase oefse yag aa dguaa dar eseluruha oefse wavelet yag ada [3]..5 Model Neural Networ Model Neural Networ yag damat secara husus dalam tulsa adalah model Feed Forward Neural Networ (FFNN). Arstetur arga FFNN utu estmas fugs regres oparametr dega ofguras ut put X sampa X p da satu ut osta (bas), sebuah hdde layer yag terdr dar euro da ut output dlustrasa pada Gambar. Model FFNN dega satu hdde layer dega put X t, X t, K, X t p dtuls dalam betu X ˆ = w + w ψ w + w X (9) t ψ 0 { ( )} co o c t dmaa {w c } adalah bobot atara ut osta da euro da w co adalah bobot atara ut osta da output. {w } da {w o } masg-masg meyataa bobot oes put dega euro da atara euro dega output. Kedua fugs ψ da ψ o masgmasg fugs atvas yag dguaa pada euro da output. Notas yag dguaa utu model eural etwor adalah NN(,,, ) utu meyataa NN dega varabel put pada lag,, da euro dalam satu hdde layer.. 5

Meda Statsta, Vol., No., Ju 009: -0 Ut-ut put Ut-ut hdde X t- Ut-ut output X t- X t M M X t-p Gambar. Arstetur FFNN utu peramala data tme seres dega satu hdde layer yag terdr euro da varabel put la pada lag X t-, X t-,, X t-p Algortma pembelaara yag aa dguaa utu arga feed forward eural etwor adalah pembelaara bacpropagato yag melput tga tahap yatu umpa mau (feedforward) dar pola put, peghtuga da propagas bal dar error da peyesuaa bobot-bobot. Pada tahap umpa mau setap ut put (sesor) meerma sebuah syal put (x ) da meyebara syal tersebut pada setap ut-ut tersembuy z,, z p. Setap ut tersembuy emuda meghtug atvasya da meghtug umlah terbobot dar put-putya dalam betu z _ = w x + wb (0) dmaa x adalah atvas dar ut put e- yag megrma syalya e ut hdde e da w adalah bobot dar syal yag terrm tersebut da =,,, q adalah umlah ut hdde. Sedaga w b adalah bobot dar bas e ut hdde e-. Hasl peumlaha tersebut dtrasformas dega fugs atvas olear f( ) utu membera atvas z dar ut dalam betu z = f ( z _ ) () Setelah semua ut tersembuy meghtug atvasya emuda megrma syalya (z ) pada ut output. Kemuda ut output meghtug atvasya utu membera respo dar arga atas pola put yag dmasua dalam betu g ( w, z) = w o z + wbo () Fugs pada () merupaa la output dar arga yatu y = w f(a ) + w (3) o bo dmaa w bo adalah bobot dar bas e ut output. Selama pelatha ut output membadga atvas terhtug y dega la targetya t utu meetua error pada pola dega ut tersebut []. 6

Estmas Regres No Parametr (Hasb Yas) 3. Hasl da Pembahasa 3. Model Wavelet Neural Networ utu Estmas Regres No Parametr Wavelet terad d dalam eluarga fugs-fugs da masg-masg ddefsa melalu dlatas yag megotrol parameter sala da traslas yag megotrol poss dar suatu fugs tuggal, yag damaa wavelet bu ψ (x). Dega fugs pemetaa dalam doma freues da watu, Wavelet Neural Networ (WNN) dharapa dapat mereflesa fugs mead lebh aurat darpada Neural Networ. Msala dbera suatu hmpua trag dega eleme, respo dar WNN dtulsa sebaga : N = P x t y( wˆ) w ψ (4) = a Dmaa N p adalah umlah ut wavelet dalam hdde layer da w adalah bobot sapss dar WNN. Suatu WNN dapat dpadag sebaga pedeata fugs (). Ada beberapa pedeata utu ostrus WNN, dataraya dusula oleh Zhag [4], yag megostrus WNN dalam dua tahap: Pertama, ostrus wavelet W dar dlatas da traslas fugs wavelet bu ψ secara dsrt : W = ψ : ψ = α ψ ( a ( x t )), a = [ ψ ( a ( x t ))] =,..., L (5) = Dmaa x adalah put sampel ad L adalah umlah wavelet dalam W. Kemuda seumlah M wavelet dseles berdasara data trag utu membagu regres : f x = u ψ x (6) M ( ) ( ) I dmaa I adalah subset M-eleme dar hmpua des {,,, L} da M L. Yag edua, utu memmuma fugs berut : J ( I )= m y uψ ( x ) (7) u, I = I Zhag [4] meurua dua algortma yatu seles stepwse melalu orthogoalsas wavelet dalam ut hdde da elmas bacward utu pemlha umlah ut hdde. Jumlah wavelet yag dguaa yatu M, dplh sedema sehgga dapat memmuma la Aae s fal predcto error (FPE) : ( ˆ + / ) ( ˆ ) pa J FPE f = f y (8) pa / = Dmaa pa adalah umlah parameter dalam estmator. Setelah ostrus awal dar WNN dbagu, emuda dtrag dega algortma gradet descet sepert least mea squares (LMS) utu memmuma mea-squared error: J ( w) = ( ( )) y y w = ˆ (9) yag merupaa output real dar WNN yag telah dtrag pada vetor bobot ahr w [4]. Secara gars besar prsp era WSNN dapat dgambara dalam dagram berut: 7

Meda Statsta, Vol., No., Ju 009: -0 Iput Data Deose Dega Wavelet Shrage Data tapa ose Pelatha FFNN Smulas FFNN Estmas Fugs Regres Pemlha Parametrer Shrage:. Jes Wavelet. Level Wavelet 3. Fugs shrage 4. Jes threshold 5. Estmas Sala Nose Pemlha Parameter FFNN:. Jumlah euro pada setap hdde layer. Fugs atfas 3. Fugs pelatha arga 4. Fugs pelatha utu bobot 5. Fugs era 6. Baya epoch (teras) Gambar 3. Dagram Alur Estmas Regres dega Metode WSNN 3. Cotoh Smulas Data yag dguaa dbagta dar sebuah fugs g = 0.5X s( X ) + cos ( X ) + ε, (=,,,8) dega X berada pada terval [- 0,0] da ε berdstrbus N(0,0.4). Dar data tersebut, dlaua deosg (peghlaga ose) dega megguaa wavelet Symmlet8, fugs shrage Soft da threshold Adapt. Kemuda setelah dperoleh data baru dlaua estmas regres dega FFNN megguaa Fugs atfas logsg'da'purel',fugs pelatha arga 'tralm' da fugs era mse. Dega megguaa level da umlah euro 0 dperoleh mse = 0.084 da dega megguaa level 5 da umlah euro 5 dperoleh mse = 0.00. Vsualsas dar estmas fugs regres yag dperoleh sebaga berut : 5 Estmas WSNN da fugs Asl 4 3 Fugs Asl Estmas WSNN Sebara Data Estmas atau Asl 0 - - -3-0 -8-6 -4-0 4 6 8 0 put Gambar 4. Kurva Estmas WSNN dega level deomposs da umlah euro 0 8

Estmas Regres No Parametr (Hasb Yas) 5 4 3 Estmas WSNN da fugs Asl Fugs Asl Estmas WNN Sebara Data Estmas atau Asl 0 - - -3-4 -0-8 -6-4 - 0 4 6 8 0 put Gambar 5. Kurva Estmas WSNN dega level deomposs 5 da umlah euro 5 4. Peutup Estmas fugs regres dega wavelet shrage eural etwor merupaa estmas fugs dega pedeata o parametr yag tda megasumsa bahwa fugs yag aa destmas harus mulus. Dalam estmas fugs wavelet shrage eural etwor, tgat emulusa fugs dtetua oleh parameter shrage yag dguaa pada proses deosg. Sema besar la threshold da level wavelet, aa sema mulus hasl estmas fugsya. Sela tu bayaya euro pada ut hdde layer da umlah epoch yag optmal aa mempegaruh hasl estmas regres. DAFTAR PUSTAKA. Abramovch, F. ad Beam, Y., Thresholdg of Wavelet Coeffcets as Multple Hypothess Testg Procedure. I Wavelets ad Statstcs. Atoads, A., ad Oppehem, G. (eds.), Sprger -Verlag, New Yor, 995: 5-4.. Atoads, A., Gregore, G., ad Mceague, W., Wavelet Methods for Curve Estmato, JASA, 994, Vol. 89, No. 48: 340-353. 3. Bruce, A. ad Gao, H.Y., Appled Wavelet Aalyss wth S-PLUS, Sprger-Verlag, New Yor, 996. 4. Che, S.C. ad L, S.T., Fucto Approxmato usg Robust Wavelet Neural Networ. NSC89-3-E-37-007, Tawa, ROC. 5. Daubeches, I., Te Lectures o Wavelets, Captal Cty Press, Phladelpa, 99. 6. Dooho, D.L. ad Johstoe, I.M., Ideal Spatal Adaptato by Wavelet Shrage, Bometra, 994, Vol. 8, No. 3: 45-455. 7. Dooho, D.L. ad Johstoe, I.M., Wavelet Shrage: Asymptopa?, J.R.Statst.Soc.B, 995, Vol. 57, No.: 30-369. 8. Hall, P. ad Patl, P., O Wavelet Methods for Estmatg Smooth Fuctos, Beroull, 995, Vol., No. : 04-058. 9. Hall, P. ad Patl, P., O the Choce of Smoothg Parameter, Threshold ad Trucato Noparametrc Regresso by No-ler Wavelet Methods, J.R.Statst.Soc.B, 996, Vol. 58, No.: 370-397. 9

Meda Statsta, Vol., No., Ju 009: -0 0. Ogde, R.T., Essetal Wavelets for Statstcal Applcatos ad Data Aalyss, Brhauser, Bosto, 997.. Vetterl, M. ad Kovacevc, J., Wavelets Ad Subbad Codg, Pretce Hall PTR, New Jersey, 995.. Warsto, B. da Sumyat, S., Preds Curah Hua ota Semarag dega Feedforward Neural Networ Megguaa Algortma Quas Newto BFGS da Leveberg-Marquardt, Jural PRESIPITASI UNDIP Semarag, Eds September 007, Vol. 3, No. 3. Yas, H., Estmas Regres No Parametr dega Metode Wavelet Shrage pada Model Racaga Tetap, Srps Jurusa Matemata FMIPA Udp, Semarag, 005. 4. Zhag, Q., Usg Wavelet Networ Noparametrc Estmato, IEEE Tras. Neural Networ, 997, Vol. 8: 7-36. 0