PEMILIHAN MODEL REGRESI LINIER DENGAN BOOTSTRAP. Tarno Jurusan Matematika FMIPA UNDIP Semarang. Subanar Jurusan Matematika FMIPA UGM Yogyakarta

Transkripsi

1 Vol 4 No, 46-58, Arl 00, ISSN : PEMILIHAN MODEL REGRESI LINIER DENGAN STRAP Taro Jurusa Mateatka FMIPA UNDIP Searag Subaar Jurusa Mateatka FMIPA UGM Yogyakarta Abstrak Tulsa ebcaraka tetag eeraa bootstra utuk elha odel regres ler terbak Model regres ler terbak yag terlh adalah odel dega estas sesata redks kuadrat al atas seua odel regres yag ugk yatu sebayak - odel dega : bayakya varabel redktor Metode Bootstra elh suatu odel dega ealka rata-rata sesata redks kuadrat berdasarka resalg data yag dbagktka elalu asaga data da resdual, dega eertbagka juga varabel redktor yag terlbat sesedkt ugk Pelha varabel berdasarka bootstra asaga data da bootstra resdual dega ukura sael bootstra adalah kosste Da jka ukura sael bootstra dabl dega 0 ad, elha varabel bootstra juga kosste Hasl dar suatu sulas dega SPLUS dsajka dala tulsa Kata kuc : elha odel, bootstra da sasata redks PENDAHULUAN 46 Salah satu odel yag sagat bergua dala berbaga bdag alkas adalah odel ler uu : y β + ε,,,, ( dega y adalah reso ke-, : -vektor varabel redktor yag berkata dega y, β : -vektor araeter yag tdak dketahu da ε : sesata rado Masalah regres ler daat dorulaska sebaga kasus khusus dar odel (

2 Pelha Model Regres (Taro da Subaar tersebut Jka dala odel ( deterstk, aka dasuska bahwa ε deede dega ea 0 da varas σ Jka tersebut rado, aka odel ( dkataka sebaga odel korelas Dala suatu odel korelas, (y, dasuska deede da berdstrbus detk dega oe kedua berhgga da dberka E(y β, σ eyataka varas bersyarat dar y Paraeter regres β daat destas dega egguaka etode kuadrat terkecl Aabla estas araeter telah dtetuka berart deroleh estas odel utuk reso y yag tergatug ada redktor Teta beberaa kooe dar keugka tdak beregaruh secara sgka terhada reso y, sehgga erlu dlakuka elha varabel redktor Pelha varabel dala odel regres ler daat dlakuka dega beberaa etode : AIC, C, BIC, Jackke (Valdas Slag da Bootstra (Shao, Tu, 995 Perasalaha yag duraka ds adalah elha odel yag lebh koak yatu odel yag elk estas rata-rata sesata redks kuadrat u Da elha odelya dlakuka dega egguaka etode yag berdasarka data-resalg yatu bootstra Karea beberaa kooe dar β ugk saa dega ol, aka odel yag lebh koak elk betuk: y β + ε, ( dega hua baga dar {,,,} Metode bootstra elh odel dega ealka estas rata-rata julah kuadrat dar sesata redks se atas seua berdasarka sael bootstra resdual da bootstra asaga data egaata yag dbagktka dar ugs dstrbus ers (Shao, Tu, 995 PEMILIHAN MODEL DAN SESATAN PREDIKSI Predks la reso utuk asa yag aka datag, secara aktual ugk tdak tergatug ada seua kooe, artya terdaat beberaa kooeβ yag saa dega ol (Shao, Tu, 996 Oleh karea tu, ddaatka odel yag lebh koak yag berbetuk : 47

3 Vol 4 No, 46-58, Arl 00, ISSN : y, β + ε,,,, ( dega {,,, } Jka β da, sebaga subvektor yag euat kooe-kooe dar β da berada dala, aka terdaat ( - odel berbeda yag ugk yag berbetuk (, asg-asg terkat dega suatu hua baga da dotaska dega ˆ Des (ukura dar ˆ adalah bayakya redktor dala ˆ (Shao da Tu, 995 Jka A eyataka seua hua baga dar {,,,} da seta kooe dar β dketahu saa dega 0 atau tdak, aka odel-odel ˆ daat dklaskaska ejad dua kategor : Kategor I (a correct odel : al satu kooe dar β yag tdak ol tdak berada dala β Kategor II (a correct odel : β euat seua kooe β yag tdak ol Model otal adalah odel ( dega 0 sedeka hgga β 0 euat seua kooe β yag seuaya tdak ol (odel dala kategor II dega des terkecl Model otal tersebut tdak dketahu karea β tdak dketahu, sehgga erlu elh odel dar ( berdasarka data (y,, (y,,, (y, yag eeuh ( Jka dasuska bahwa ε d dega ea 0 da varas Terkecl deroleh: βˆ σ, aka dbawah odel, dega Estator Kuadrat ( y dega y(y,y,,y da,,, ( Jka dagga bahwa y : la reso yag aka datag utuk suatu la redktor, aka ŷ kuadrat se(, adalah : se(, E(y β ˆ ŷ Hal berakbat bahwa ea sesata redks σ + σ dega ( Jka dala kategor II aka (, [ β ( β] β β, β β + (,, da (, 0 Dega deka jka se(, dketahu, aka odel otal daat dlh dega ealka se(, atas seua A Model otal daat juga 48

4 Pelha Model Regres (Taro da Subaar dtetuka dega ealka rata-rata dar sesata redks kuadrat se(, atas {,,, }: dega σ se( se(, σ + + (, ( β (I H β da H ( Nau, se(, da se( kedua-duaya tdak dketahu Sehgga egestas se( lebh udah dar ada egestas se(, dega egguaka se(, keuda elh odel dega ealka se( atas A 3 ESTIMASI PARAMETER Jka araeter β eruaka araeter regres yag aka destas dega βˆ, aka d lgkuga boostra βˆ daat destas dega ˆβ Utuk egestas araeter regres daat dlakuka dega beberaa rosedur bootstra, atara la: bootstra berdasarka resdual, bootstra asaga data egaata Bootstra Resdual Bootstra berdasarka resdual (resduals bootstra dsgkat RB (Ero, 979 Jka dketahu odel regres ( : y β + ε,,,, dega y adalah reso ke-, : -vektor varabel redktor yag berkata dega y, β : -vektor araeter yag tdak dketahu da ε : sesata rado, da aabla orado, dega asus bahwa ε d dega ea 0 da varas σ Maka utuk eeroleh estas araeter rosedur bootstra sebaga berkut : daat dlakuka a Model regres ( ddetkas sebaga odel araeter, yatu ( β, Fε, dega Fε eruaka dstrbus dar ε yag tak dketahu 49

5 Vol 4 No, 46-58, Arl 00, ISSN : b Dega etode kuadrat terkecl, araeter β destas dega βˆ da Fε destas dega ugs dstrbus ers Fˆ ε dega egabl assa eluag - terhada r r,,,, dega r y β ˆ eruaka resdual ke- da r r Fˆ ε dusatka ada 0 karea ea 0 Fε euya c Data bootstra dbagktka dar odel tersebut dega ( β, Fε dgat dega β ˆ,Fˆ Dega kata la dbagktka data deede da berdstrbus ( ε detk ε, ε,, ε dar Fˆ ε da ddeska y ˆ β + ε d Dega etode kuadrat terkecl, dhtug ˆβ berdasarka data (y,,(y,,(y,, yatu : βˆ ( y e Ulag lagkah datas sebayak B kal sebaga relkas bootstra Karea E ( ε 0, utuk seta, aka da juga, E (ˆ β ( E ( y var (ˆ β βˆ, (3 ( var ( y ( σˆ ( dega σˆ var( ε (r r, (3 Dar ersaaa (3 da (3, rosedur bootstra eghaslka estator varas da estator bas dar βˆ yag kosste Suatu asus yag etg utuk bootstra resdual adalah ε d Bahka jka asus berlaku ugs dstrbus ers Fˆ ε tdak ddasarka ada data d secara eksak Estator (3 euya betuk secara ekslst teta tdak saa dega estator yag dberka oleh: dega var(βˆ r (, (33 r y βˆ eruaka resdual ke- 50

6 Pelha Model Regres (Taro da Subaar Estator dala ersaaa (3 bas euru, karea dega k + ( j j 0 E( ˆ k σ ( σ, Utuk eghlagka bas egat, Shao da Tu (995 eyataka bahwa data bootstra dabl dar ugs dstrbus ers berdasarka ( r r / /,,,, Ketetua ash egarah keada suatu estator varas yag bas euru, karea k > blaaa r 0 Keuda data bootstra dbagktka dar ugs dstrbus ers ~ dega egabl assa eluag - terhada Fε resdual yag teratur ˆσ dgat dega : ( r r / k /,,,, Maka (3 berlaku dega σ~ (r r k Jka r 0 aka k, σ ~ r da estator varas bootstra utuk βˆ saa seert estator varas tak bas yag dberka oleh (33 Peetaa - k / tdak eberka daak substasal terhada estas varas jka cuku besar Bootstra Data Berasaga Bootstra berasaga (ared bootstra dsgkat PB, aakya eruaka suatu rosedur yag sagat ala aabla rado da (y,,,,,, deede da berdstrbus detk (d Dala kasus, utuk egestas araeter regres daat dlakuka rosedur sebaga berkut : a Model ddetkas dega dstrbus bersaa dar (y,,,,, da destas dega ugs dstrbus ers dega assa eluag - utuk seta (y,,,,, b Dbagktka data bootstra dar ugs dstrbus ers, yatu : (y,,(y,,(y, 5

7 Vol 4 No, 46-58, Arl 00, ISSN : c Dega etode kuadrat terkecl dtetuka estas araeter regres : d βˆ ( y e Ulag lagkah datas sebayak B sebaga relkas bootstra 4 PREDIKSI Suatu eeraa yag sagat etg dar odel ( adalah redks dar reso yag aka datag y utuk suatu la redktor yag dberka Bootstra daat dguaka utuk eetuka sesata redks dala asalah redks ttk Dbawah odel ( dega sesata utuk y adalah : ŷ β ˆ, da daat devalus dega ea sesata redks kuadrat, se( E(y ŷ Jka y da y, y,, y deede, aka se( ˆ var(y + var( β σ + σ ( ε d, suatu redks ttk Suatu estator dar se(, berdasarka bootstra resdual (RB daat deroleh ~ sebaga berkut Jka ( ε, ε,, ε da ε d dar F, yatu ugs dstrbus ε ers dar resdual yag datur r r / k /,,,, Jka y ŷ ( βˆ + ε suatu la reso bootstra yag aka datag da ˆ β redks bootstra dar se( adalah: y Maka estator bootstra utuk se ( E (y ŷ var (y var ( ˆ + β ~ ~ σ + σ ( dega σ~ k (r r 5

8 Pelha Model Regres (Taro da Subaar Karea E( ~ σ σ aka se ( eruaka estator tak bas Kadag-kadag la yag aka datag g dredkska utuk suatu hua dar Aabla,,,, rado serta deede da berdstrbus detk (d aka ea sesata redks kuadrat adalah: σ se( σ + σ tr[e( E( ] σ + + o( Berdasarka bootstra asaga Ero (Shao da Tu,995 egusulka estator bootstra utuk se Ddeska sesata ekses haraa dega e (y ŷ r da estator boostraya dega ê E (y β ˆ (y βˆ Dega deka estator boostraya adalah: se r + ê Da la haraaya adalah : E(se σ (4 σ + + o( Jad estator bootstra tersebut har tak bas 5 PEMILIHAN VARIABEL Prosedur elha odel dega bootstra daat dturuka dar estator utuk se ( Padag estator bootstra berbetuk : dega ( se ( (y ê : estator bootstra dar sesata ekses haraa : ˆ β + ê( (5 53

9 Vol 4 No, 46-58, Arl 00, ISSN : ˆ ˆ σ e( E (y, β (y β dega y, reso yag aka datag ada yag deede dega y Jka ˆ β estator dar βˆ d lgkuga bootstra aka deroleh : β ˆ ( y utuk bootstra berasaga, da β ˆ ( y utuk bootstra resdu, dega y (y, y,, y, ˆ y + ε β da ε deede da berdstrbus detk dar Fˆ ε yatu ugs dstrbus ers dar ε dega assa eluag / Dega deka deroleh estator bootstra dar e( utuk bootstra berasaga adalah : ê( E (y β ˆ (y ˆ β (5 da utuk bootstra resdu : ê( E (y β ˆ (y ˆ β (53 Estator bootstra utuk se ( dberka oleh ersaaa (5 dega ê( yag bersesuaa Perlu dketahu bahwa e( e ( tergatug ada ukura sael Utuk bootstra resdual erhtuga secara lagsug eghaslka σˆ ê( (54 yag eruaka estator tak bas astots da kosste utuk e( Da ê( dega egguaka bootstra asaga aka edekat ruas kaa ada ersaaa (54 teta euruaya cuku rut Lebh lajut utuk edaatka rosedur elha odel bootstra yag kosste, daat juga dlh ukura sael sedeka hgga e ( daat destas dega ê ( dega / 0 da keuda ealka : 54

10 Pelha Model Regres (Taro da Subaar se ( (y β ˆ + ê ( e ( atas A (55 Utuk egestas ada bootstra asaga, terlebh dahulu dbagktka sael berasaga (y,,(y,,,(y, da egguaka : ê dega β ˆ ( E (y β ˆ, (y ˆ β, (56 ddeska seert ada βˆ yag ddasarka ada asaga data, bootstra Jka dlh sedeka hgga / 0 da aka : ê σˆ ( + o( Pada bootstra resdual, dguaka secara lagsug egestas ( dega e σˆ ê ˆ σ ( da 6 KONSISTENSI STRAP Teorea 6 : (Shao da Tu, 995 Jka dasuska bahwa ε d da a h 0 utuk seua A, dega h ( ( Padag suatu estator bootstra se ( dala ersaaa (5 dega ê( seert yag dbera ada ersaaa (5 utuk PB da (54 utuk RB Maka, aabla dala kategor I (a correct odel, se ( se( + o (; (6 sedagka aabla dala kategor II (a correct odel, se ( ε σ + ε H ε + o ( 55

11 Vol 4 No, 46-58, Arl 00, ISSN : ( Jka se ( yag ddeska dala ersaaa (54 dega ê ( seert dala ersaaa (55 utuk PB da σˆ lajut ukura sael bootstra dlh sedeka hgga 0, a h utuk RB Lebh 0 utuk seua A (6 Maka aabla dala kategor I (a correct odel, se ( se( + o (; sedagka aabla dala kategor II (a correct odel, se ε σ ( + + o ( Lebh lajut dasuska bahwa l ( > 0 ( dl kategor I Maka l P{ˆ dala kategor I} 0, da l P{ˆ 0} < kecual bla {,,, } dala kategor II (a correct odel; da ˆ kosste, yatu l P{ˆ 0} berlaku utuk ˆ, dega ˆ da ˆ adalah odel-odel terlh dega asg-asg ealka se ( da se ( 7 SIMULASI Sebaga suatu leetas secara rakts dlakuka sulas terhada data see yag dabl dar (Hjorth, 994 dega egguaka etode bootstra resdual da asaga data dega relkas bootstra B00 da B400, eberka hasl seert terlhat ada Tabel dbawah Adau erhtuga estas rata-rata sesata redks kuadrat dlakuka dega rogra SPLUS Varabel redktor yag terlbat ddala odel sebayak 4 varabel, sehgga odel yag ugk seluruhya ada 5 odel Dar 5 odel tersebut 56

12 Pelha Model Regres (Taro da Subaar aka dlh satu odel terbak utuk asg-asg ukura da keuda dar 4 odel terbak tersebut dlh satu odel yag elk Tabel: Estas se utuk 5 odel yag ugk se yag terkecl No Varabel-varabel dala Model se RB se-pb 3 se-pb B00 B400 B00 B400 B00 B400 9,8 9,4 0,8 0,73 3,7,95 85,3 85, 78,8 78,96 89,5 90, ,5 83,8 69,6 68,58 90,98 90, ,9 83,6 77,04 77,30 86,87 86,74 5 5,69 5,7 5,5 5,5 5,88 5, ,03 0,4,08 0,80,9, ,30 7,35 6,80 6,79 7,37 7, ,68 4,09 37,6 37,50 4,73 4, ,6 85,6 78,07 78,4 85,7 85, ,6 7,6 5,84 5,93 7,70 7,4 3 4,89 4,86 4,57 4,53 4,59 4,5 4 4,8 4,83 4,49 4,5 4,58 4, , 5,6 4,84 4,78 4,85 4, ,4 7,46 6,9 6,96 7,09 7, ,95 4,90 4,6 4,64 4,4 4,0 Dar Tabel datas deroleh odel terbak utuk asg-asg ukura sebaga berkut Model terbak dega redktor: y 7,57 0,74 4 Model terbak dega redktor: y 5,58 +,47 + 0,66 Model terbak dega 3 redktor: y 7,65 +,45 + 0,4 0,4 4 Model terbak dega 4 redktor: y 6,4+,55+0,5+0,03 0,444 Dega eertbagka sesata redks da rs arsous (elbatka varabel redktor sesedkt ugk daat dlh satu odel terbak dar 4 odel tersebut yatu : y 7,65 +,45 + 0,4 0,4 4 57

13 Vol 4 No, 46-58, Arl 00, ISSN : KESIMPULAN Model regres terbak eruaka odel regres yag elk keaua redks terbak, yatu elk estas rata-rata sesata redks kuadrat u dega elbatka varabel redktor sesedkt ugk Dar hasl sulas dega egguaka etode bootstra resdual da bootstra data berasaga deroleh odel terbak utuk asg-asg ukura adalah saa, bak utuk ukura sael bootstra auu DAFTAR PUSTAKA Ero, B, Bootstra Methods : Aother Look at Jackke, Aals o Statstcs, 979, 7 : - 6 Ero B ad Tbshra, A Itroducto to Bootstra, Chaa ad Hall, New York, Hjorth J S U, Couter Itesve Statstcal Methods, Valdato Model Selecto ad Bootstra, Chaa ad Hall, New York, Searle S R, Ler Models, Joh Wley ad Sos, New York, 97 5 Serlg R J, Aroato Theores o Matheatcal Statstcs, Wley, New York, Shao J, Ler Model Selecto by Cross-Valdato, Joural Aerca Statstcs Assosato, 993, 88 : Shao J da Tu D, The Jackke ad Bootstra, Srger-Verlag, New York, Shao J, Bootstra Model Selecto, Joural Aerca Statstcs Assosato, 996, 9 :