JMP : Volume Nomor, Oktober 009 PEMILIHAN PARAMETER PENGHALUS PADA ESTIMATOR DERET FOURIER DALAM REGRESI NONPARAMETRIK Agust Trpea Br.Sb. Fakultas Sas da Tekk, Uverstas Jederal Soedrma Purwokerto, Idoesa ABSTRACT. Gve regresso fucto y = gt ( ) + ε, =,,, wth regresso curve gt ( ) ad N 0, ο. Regresso gt ( ) s assumed to be bouded fucto space C(0, ). Fourer Seres estmator oparametrc regresso s obtaed by ε ~ ( ) y gt ( ) + g () t dt = 0 optmzato yelds fourer seres estmator s gve by K ˆ gˆ () ( ) ˆ ˆ t = b t+ a0 ( ) + ak( )cos kt. The soluto of ths mmmzg PLS ( ) ( () ) wth ˆ aˆ( ) b( ), aˆ ˆ ˆ 0( ), a( ),, a K ( ) = K ( ) = XX + D X y, 4 4 4 D = dag 0,0,,, K, K ad X s coeffcet matrx. ( ) Forer seres estmator ĝ() t s class of lear estmator observatos y ad t has bas property for regresso curve gt (). Besde that, fourer seres estmator ĝ() t s ormally dstrbuted f error model has ormal dstrbuto. Choce of smothg parameter fourer seres estmator usg UBR s gve by: UBR( ) = y ( S( ) I) ( S( ) I) y+ σ trace( S ( ) S( ) ) + σ trace S( ) I S( ) I k= ( ) ( ) Usg trgoometrcs ad expoetal fucto wth = 50, = 00, = 00, σ = 0, da, K = 5, K = 0, the smulato study yelds that MSE for UBR s less tha the CV s ad GCV s Key words : Noparametrc Regresso, Fourer Seres, UBR
A. Trpea. Pedahulua Aalsa regres merupaka metode yag bayak dguaka utuk megetahu hubuga atara sepasag varabel atau lebh. Msalka y adalah varabel respo da t adalah varabel predktor, maka hubuga varabel t da y dapat dyataka sebaga berkut y = gt ( ) + ε, =,,..., () ε adalah error radom yag dasumska depede dega mea ol da varas σ da ( ) gt merupaka kurva regres. Utuk megestmas gt ( ) ada dua pedekata yag dapat dguaka yatu pedekata regres parametrk da regres oparametrk (Hardle, 990). Pedekata regres parametrk dguaka bla betuk fugs gt ( ) dketahu dar formas sebelumya berdasarka teor ataupu pegalama masa lalu. Sedagka pedekata regres oparametrk tdak memberka asums terhadap betuk kurva regres sehgga memlk fleksbeltas yag tgg utuk megestmas kurva regres gt ( ) (Mahler, 995). Fugs regres gt ( ) haya dasumska termuat dalam suatu ruag fugs tertertetu, dmaa pemlha ruag fugs tersebut basaya dmotvas oleh sfat kemulusa (smoothess) yag dmlk oleh fugs gt ( ) tersebut. Estmator-estmator kurva regres mempuya latar belakag da motvas tersedr, sebaga suatu pedekata utuk model data. Dalam tulsa aka dkaj pedekata regres oparametrk pada Deret Fourer. Apabla fugs g C(0, ) = { g ; g kotupada(0, )} maka ukura kesesuaa kurva terhadap data adalah ( y gt ( )) 0 () ( ()) g t dt. da ukura kekasara kurva adalah =
Pemlha Parameter Peghalus 3 Estmator g dperoleh dega memmumka Pealzed Least Square () = 0 adalah parameter peghalus da > 0. () ( ( )) + ( ()) y gt g t dt Utuk medapatka estmas kurva regres yag bak, dperluka pemlha yag optmal da merupaka hal yag sagat petg. Apabla dguaka Deret Fourer utuk megestmas kurva regres pada () maka perlu dplh suatu la yag optmal. Beberapa metode utuk memlh yatu Ubased Rsk (UBR) (Wag, 998), Cross Valdato (CV) da Geeralzed Cross Valdato (GCV) (Crave da Wahba, 979). Utuk la yag sagat besar aka meghaslka estmator kurva regres yag sagat halus. Sebalkya utuk la yag kecl aka memberka estmator kurva regres yag sagat kasar (Wahba, 990; Eubak, 988; Budatara, 998). Akbatya pemlha parameter peghalus optmal merupaka hal yag sagat petg dalam regres oparametrk. Peelta bertujua utuk meetuka betuk estmator Deret Fourer dalam model regres oparametrc da memlh parameter peghalus optmal. Dega metode UBR Selajutya aka dbadgka metode UBR, CV da GCV utuk memlh parameter peghalus optmal dalam estmator Deret Fourer dega megguaka data smulas.. Metode Peelta Peyelesaa peelta dlakuka lagkah-lagkah sebaga berkut:. Megkaj Estmator Deret Fourer dalam regres oparametrk. Meyeldk sfat-sfat estmator Deret Fourer dalam regres oparametrk 3. Megkaj pemlha parameter peghalus dalam estmator Deret Fourer 4. Membadgka metode UBR, CV da GCV utuk memlh parameter peghalus optmal dalam estmator Deret Fourer dega megguaka data smulas berdasarka la MSE.
A. Trpea 4 Utuk meyelesaka lagkah-lagkah tersebut, perlu dketahu beberapa hal berkut.. Regres Noparametrk Regres oparametrk merupaka suatu metoda Statstka yag dguaka utuk megetahu hubuga atara varabel respo da predktor, jka betuk hubuga atara varabel respo da varabel predktor tersebut tdak dketahu atau tdak ddapat formas sebelumya. Jka dberka pasaga data ( t, y ), =,,..., da hubuga atara varabel respo y dega depede t megkut model y = gt ( ) + ε, t [ ab, ], =,,..., (3) dmaa gt ( ) kurva regres yag tdak dketahu betukya da ε error radom yag depede berdstrbus ormal dega mea ol varas σ. Dalam regres oparametrk fleksbltas sagat dpertahaka, fugs gt ( ) dasumska mulus dalam art kotu da dffresabel (Eubak, 988). Pedekata regres oparametrk Deret Fourer dperoleh dega memmumka Pealzed Least Squares, yatu krtera pedugaa yag meggabugka goodessof ft dega kemulusa kurva, dmaa datara keduaya dkotrol oleh suatu parameter pemulusa. Msalka kurva regres dasumska termuat ddalam ruag C(0, ) yatu g C(0, ) memmumka Pealzed Leas Square (PLS), maka estmas utuk g dperoleh dega ( ) m ( ( )) ( ()) + (4) y gt g t dt = 0 dega merupaka parameter peghalus.. Fugs Keruga da Fugs Resko Berkut duraka defs fugs keruga da fugs resko yag dreferes dar Eubak, (988) sebaga berkut :
Pemlha Parameter Peghalus 5 Defs. Fugs Keruga Jka gˆ ˆ ˆ ˆ = ( g, g,..., g ) adalah estmator utuk g = ( g, g,..., g ) maka fugs keruga (loss fucto) kuadrat ddefska sebaga ˆ = L( ) = ( g g ). (5) Defs.Fugs Resko Jka gˆ ( ˆ ˆ ˆ = g, g,..., g ) adalah estmator utuk g = ( g, g,..., g ) maka ekspektas dar fugs resko (rsk fucto) kuadrat ddefska sebaga : R( ) = EL [ ( )] ( ˆ ) = = Eg g. (6) L( ) da R( ) merupaka ukura dar kerja suatu estmator.3 Estmator Deret Fourer. Deret Fourer merupaka polomal trgoometr yag mempuya fleksbeltas, sehgga dapat meyesuaka dr secara efektf terhadap sfat lokal data. Deret Fourer bak dguaka utuk mejelaska kurva yag meujukka gelombag sus da cosus. Dberka data ( t, y ), =,,..., da hubuga atara t da y dasumska megkut model regres y = gt ( ) + ε (7) dega g adalah kurva regres yag dasumska termuat dalam ruag C(0, ). Blaga ε adalah error radom yag dasumska berdstrbus depede dega mea ol da varas σ. Dalam aalss regres utuk estmas kurva regres g dapat dguaka metode least square, yatu memmumka jumlah kuadrat error.
A. Trpea 6 Dega kata la peduga utuk g dapat dperoleh dar ε ( ( )) =. (8) M M y gt g C(0, ) g C(0, ) = = Dsampg memmumka (8) dberka pula suatu pealzed utuk ukura kemulusa fugs g sebaga berkut () ( g () t ) dt. (9) 0 Dega demka estmator utuk kurva regres g dapat dperoleh dar meyelesaka optmas PLS () M y gt g t dt = 0 g C(0, ) ( ( )) ( ()) + (0) dega merupaka parameter peghalus yag megotrol atara goodes-of-ft da kemulusa fugs. Utuk yag sagat besar aka dperoleh fugs peyelesaa yag sagat mulus (smooth). Sedagka utuk yag sagat kecl aka dperoleh fugs peyelesaa yag sagat kasar. Karea g adalah fugs yag kotu maka g dapat dhampr dega fugs T, dega K Tt () = bt+ a0 + ak cos kt, () Utuk meyelesaka (0) terlebh dahulu dcar la Pa ( ) dega () Pa ( ) = { g () t } dt 0 k= K ( K = ka cos ) ( cos )( k kt dt kak kt jajcos jt) dt + K k = 0 k= 0 k< j 4 k = ka. ()
Pemlha Parameter Peghalus 7 Berdasarka () dperoleh PLS () M [ y gt ( ) ] + g () t dt = 0 g C(0, ) = K K 4 M y bt a0 ak cos kt kak = + k= k= ba, 0, a, K, ak R ( ) ( ) y a y a + a a X X D. (3) Akbatya persamaa (3) dapat dtuls () M [ y gt ( ) ] + g () t dt = 0 g C(0, ) = X ( X ) + ( XX + D) yy a y a y a a. Msalka X ( XX D) yy a y+ a + a = Qa ( ). Dega meuruka secara parsal Qa ( ) terhadap a da haslya dsamaka dega ol ddapat Qa ( ) = 0 X y+ ( XX + D) a a. Akbatya, dperoleh estmator utuk a ( ) aˆ( ) = XX + D X y. (4) Kareaya, estmator utuk kurva regres g dberka oleh K ˆ gˆ ( ) ( ) ˆ ( ) ˆ t = b t + a + a ( )cos kt (Blodeau, 99). (5) 0 k k=.4 Sfat-sfat Estmator Deret Fourer. Berkut dberka sfat-sfat yag dmlk oleh estmator Deret Fourer. Msalka dberka model regres y = gt ( ) + ε ; =,,...,, (6)
A. Trpea 8 Persamaa (6) dapat dtuls dalam betuk t cost cost L cos Kt b y ε t cost cost cos Kt a0 y L ε = t3 cost3 cost3 L cos Kt 3 a +. (7) M M y M M M M L M M ε t cost cost cos Kt a L K Persamaa (7) dapat dtuls dalam betuk matrks y = X a+ ε. Estmas persamaa regres g dberka oleh gˆ () t =X aˆ( ) =S( )y. (8) Berdasarka (8) terlhat bahwa estmator Deret Fourer gˆ () t merupaka kelas estmator lear dalam observas y. Berkut dperlhatka estmator Deret Fourer adalah bas utuk kurva regres g. Dcar ekspektas dar gˆ () t adalah E( gˆ () t ) = E( S( ) y) =S( ) E( y). (9) Jad E( gˆ () t ) gt (), artya estmator gˆ () t bas utuk kurva regres gt (). Jka dalam peelta error radom dar model regres Deret Fourer dasumska berdstrbus N(0, σ ) maka berdasarka persamaa (6) dperoleh Momet Geeratg Fuctos (MGF) utuk varabel respo y dberka oleh ( θ) = ( θ) My Mgt ( ) + ε = ( ) e gt θ + θσ. (0) Selajutya, berdasarka (4.) dcar MGF utuk y My( θ) = MXa+ ε ( θ). () Selajutya aka dcar dstrbus dar estmator aˆ( ) ( ) ˆ( ) = XX + D X. a y
Pemlha Parameter Peghalus 9 MGF dar aˆ( ) adalah M M ( + ) ˆ( ) ( θ ) = ( ) θ a XX D X y = ( ) ( ) a e θ θ σ X XX+ D X + X XX+ D X θ. () MGF dar dstrbus ormal dega mea X XX + D X da varas ( ) a X( XX + D) X σ. Selajutya aka dcar dstrbus dar estmator gˆ () t =S( ) y. MGF dar ˆ () g t dberka oleh Mgˆ ( t) ( θ) = MS( ) y( θ) = [ a] + e θ S ( ) X θ [ S ( σ ) S ( )] θ. (3) MGF dar dstrbus ormal dega mea S ( ) X a da varas ( ) ( ) Karea ( ) = ( + ) S S σ. S X XX D X, maka dstrbus dar gˆ () t ormal dega mea ( ) a S X = X ( XX + D) XX a da varas S ( ) S ( ) σ = ( + ) ( + ) X XX D XX XX D X σ. adalah Jad ddapat gˆ () t ~ X( X X + D ) X X a, X( X X + D ) X X( X X + D ) X. (4) 3. Hasl da Pembahasa 3. Pemlha Parameter Peghalus dalam Estmator Deret Fourer Dperoleh estmator Deret Fourer berbetuk gˆ () t = S( ) y. Estmator Deret Fourer sagat tergatug kepada (parameter peghalus) Wahba, (990) da Eubak (988) meyataka parameter peghalus mempuya pera sagat petg dalam regres oparametrk. ˆ
A. Trpea 0 Nla sagat kecl ( 0) aka memberka estmator yag sagat kasar, sebalkya utuk la sagat besar ( ) aka meghaslka estmator yag sagat mulus. Terdapat berbaga metode utuk memlh parameter peghalus optmal, salah satuya adalah metode UBR. Dalam peelta aka dturuka metode UBR utuk memlh parameter peghalus dalam estmator Deret Fourer. Ddefska fugs Keruga (Loss) kuadrat ( ˆ ). (5) L( ) = g ( t ) gt ( ) = Berkata dega fugs Loss ddefska fugs Resko ( ˆ ). (6) R( ) = E g ( t ) gt ( ) = Fugs Resko R( ) datas dapat dsajka dalam betuk vektor R( ) = g () t ( ) ( ) gt () + σ trace ( ) ( ) ( S I) ( S I) ( S S ) Berkut aka dcar suatu kuattas UBR( ) sedemka sehgga ( ) ( ) ( S I) ( S( ) I) ( S ( ) S( )) UBR = y y+ σ trace + σ trace ( ( ) ) ( ( S I S ) I). Selajutya aka dbuktka UBR( ) tak bas utuk R( ). Perhatka bahwa ( [ ( ) ] ( S( ) I)( S( ) I) σ [ S ( ) S( ) ] EUBR = E y y + trace + σ trace ( S( ) I)( S( ) I) ). (7) = R( ). (8) Jad dperoleh UBR( ) tak bas utuk R( ). Dega demka metode UBR utuk memlh parameter peghalus dalam estmator Deret Fourer dberka oleh: ( ) ( ) ( S I) ( S( ) I) ( S ( ) S( )) UBR = y y+ σ trace + σ trace S I S I. (9) ( ( ) ) ( ) ( )
Pemlha Parameter Peghalus Blaga optmal dperoleh dar la yag memmumka UBR(). Apabla σ tdak dketahu, σ dapat destmas dega y ( ( ) ) ( ( ) ) y σˆ = I S I S trace ( IS( ) ). (30) 3. Metode UBR, CV da GCV pada Estmator Deret Fourer dega Megguaka Data Smulas Dalam peelta dlakuka smulas utuk memberka gambara tetag model regres Deret Fourer. Smulas dalam peelta dlakuka utuk megevaluas kebaka metode UBR, CV da GCV kemuda membadgka kebaka atara ketga metode tersebut. Realbltas pegukura berdasarka la MSE terkecl yag dperoleh pada metode UBR, CV da GCV. Smulas megguaka Software MATLAB verso 6.5. Dberka dua kurva percobaa yatu:. Fugs Trgoometr : 3 () s( ) gt = t. Fugs Ekspoe : gt = e e + e. t t 3t () 4,6( 4 3 ) Cara smulas duraka sebaga berkut. Membagu model regres y = gt ( ) + ε, =,,...,, da ukura sampel = 50, = 00, = 00 dega la K = 5, K = 0. Dberka t =, dega =,,3, L,. Membagktka ε ~ N(0, σ ), dega σ = 0,. Setelah membagktka data, dhtug matrks X, matrks D da matrks hat S( ) = X( XX + D) X. Selajutya dhtug estmator ( ) meetuka estmator Deret Fourer dega ( ) ( ) K ˆ 0 k k = ˆ( ) y a = XX+ D X, da ĝ t = S y, sehgga ddapat gˆ () t = b( ) t+ aˆ ( ) + aˆ ( )cos kt.
A. Trpea 3 3.3 Smulas Fugs Trgoometr gt () = s( t ) Tabel Hasl Smulas Nla Optmal da MSE Metode UBR, CV da GCV pada Estmator Deret Foure dega Fugs gt 3 () s( t ) =, dega = 50, = 00, = 00, σ = 0, da K = 5, K = 0 N Var k Metode UBR Metode CV Metode GCV optmal MSE UBR MSE CV MSE GCV optmal optmal 50 0. 5 0,067 0,009053 0,0760 0,004077 0,05056 0 0,0867 0,0498 0,045473 0,09947 0,00330 00 0. 5 0,005 0,0003 0,000 0,0040874 0,043 0 0,09467 0,0375 0,04855 0,003 0,00344 00 5 0,808 0,00336 0,0957 0,004496 0,074 0. 0 0,085 0,0333 0,05058 0,0057 0,00369 0,0495 0,0359330 0,07970 0,0359630 0,07980 0,0375740 Secara vsual la MSE pada Tabel dapat dlhat pada dagram batag Gambar Gambar : Dagram Batag Nla MSE utuk Fugs Trgoometr gt, () utuk = 50, = 00, = 00, σ = 0, da K = 5, K = 0
Pemlha Parameter Peghapus 3 t t 3t 3.4 Smulas Fugs Ekspoe gt () = 4,6( e 4e + 3 e ) Berkut duraka hasl smulas utuk fugs ekspoe. Tabel Hasl Smulas la Optmal da MSE Metode UBR, CV da GCV pada Estmator Deret Foure dega Fugs t t 3t gt () = 4,6( e 4e + 3 e ), = 50, = 00, = 00, σ = 0, da K = 5, K = 0 N Var k Metode UBR Metode CV Metode GCV optmal MSE UBR MSE CV MSE GCV optmal optmal 50 0. 5 0,0830 0,009387 0,08360 0,0056457 0,0560 0,057 0 0,0353 0,0085 0,0408 0,0034 0,00088 0,005975 00 0. 5 0,08596 0,000388 0,009479 0,00067 0,003 0,000937 0 0,07993 0,00463 0,0097 0,0036 0,000654 0,00455 00 0. 5 0,05844 0,004638 0,03044 0,00684 0,00807 0,00873 0 0,09389 0,0070 0,00984 0,003433 0,000696 0,00494 Secara vsual la MSE pada Tabel dapat dlhat pada dagram batag Gambar. Gambar : Dagram Batag Nla MSE Fugs Ekspoe t t 3t gt () = 4,6( e 4e + 3 e ), = 50, = 00, = 00, σ = 0, da K = 5, K = 0
A. Trpea 4 4. Kesmpula Berdasarka aalss da pembahasa yag telah dlakuka maka dapat dambl beberapa kesmpula sebaga berkut:. Berdasarka hasl kaja estmator Deret Fourer dalam regres oparametrk dperoleh dar memmumka PLS ( y ( )) ( () ()) gt + g t dt. Optmas berupa estmator Deret Fourer = 0 K ˆ gˆ ( ) ( ) ˆ ( ) ˆ t = b t + a + a ( )cos kt 0 k k= dega ˆ aˆ( ) = b( ), aˆ ˆ ˆ 0( ), a( ),, a K ( ) K.. Estmator Deret Fourer ĝ ( t) merupaka estmator lear dalam observas y da mempuya sfat yag bas utuk kurva regres gt (). Estmator Deret Fourer gˆ () t berdstrbus ormal, apabla error model juga berdstrbus ormal. 3. Pemlha parameter peghalus dalam estmator Deret Fourer dega motode UBR dberka oleh UBR( ) = y ( S( ) I)( S( ) I) y+ σ trace( S ( ) S( )) + σ trace( S( ) I)( S( ) I). 4. Berdasarka hasl smulas dega fugs trgoometr da fugs ekspoe utuk = 50, = 00, = 00, σ = 0,, da k = 5, k = 0 dperoleh bahwa la MSE metode UBR cederug lebh kecl dar pada la MSE metode CV da la MSE GCV pada setap model smulas. Utuk la MSE metode CV lebh kecl dar pada la MSE metode GCV pada setap model smulas. Mak besar la k maka memberka la MSE mak besar bak metode UBR, CV da GCV. Dapat dsmpulka bahwa pemlha parameter pegahalus optmal dega metode UBR cederug lebh bak dbadg dega metode CV da GCV.
Pemlha Parameter Peghapus 5 5. Daftar Pustaka Budatara, I N., da Subaar, Pemlha Parameter Peghalus Dalam Regres Sple, Majalah Ilmah Matematka da Ilmu Pegetahua Alam, 7(997), 37 49. Budatara, I N., Parameter Peghalus Dalam Regres Noparametrk, Prosdg Semar Alum S- Matematka PPS UGM, 998.. Blodeau, M, Fourer Smoother ad Addtve Models, The Caada Joural of Statstcs, 3(99), 57 69. Crave, P., ad Wahba, G., Smootg Nosy Data wth Sple Fuctos : Estmatg the Correct Degree of Smootg by the Method of Geeralzed Cross-Valdato, Numer Math, 3(997), 377-403. Draper, N., ad Smth, H., Appled Regresso Aalyss, Joh Wley & Sos, New York, 996. Eubak, R.L., Sple Smoothg ad Noparametrc Regresso, Marcel Deker, New York, 998. Gree, P.J., da Slverma, B.W., Noparametrk Regresso ad Geeralzed Lear Model, Chapma & Hall, Lodo, 994. Hardle, G., Appled Noparametrc Regresso, Cambrdge Uversty Press, New York, 990. Koh. R, The perpormace of cross valdato ad maxmum lkelhood estmators of sple smoothg parameters, Joural of the Amerca Statstcal Assocato, 86(99), 04-050. Lehma, R, Teory of Pot Estmato, Joh Wley ad Sos, New York, 983. L, K. C., Asymtotc optmalty of C L ad Geeralzed Cross Valdato Rdge Regresso wth applcato to sple smoothg, A. Statst., 4(986)), 0 -.
A. Trpea 6 Mahler, Varatoal Soluto Of Pealzed Lkelhood Problem ad Smooth Curve, Aal of Statstc, 3(985), 496-57. Motgomery, D.C. ad Peck, EA, Itroducto to lear Regresso Aalyss, New York, Joh Wley & Sos, 98. Seber, G.A.F., Lear Regresso Aalyss, Joh Wley & Sos, New York, 977. da Lee, A.J., Lear Regresso Aalyss, Secod Edto, Joh Wley & Sos Ic., New Jersey Caada, 003. Shao, Lear Model Selecto by Cross Valdato, Joural of the Amerca Statstcal Assocato, 88(993), 486-494. Smooff, Smoothg Methods Statstcs, Sprger-Verlag, 996. Wahba, G., A Comparso of GCV da GML for Chosg the Smotg Parameter Geeralzed Sple Smoothg Problem, Aal of Statstc, 3(985), 378-40. Wahba, G., Sple Models Opservatoe Data, SIAM, Pesylvaa, 990. Wag, Y., Smoothg Sple Models wth Corelated Errorrs, Joural of the Amerca Statstc Assocato, 93(998), 343-348.