Model Regresi Berganda (Masalah Estimasi)

Transkripsi

1 LECTURE NOTES #4a Model Regres Bergada (Masalah Estmas) I. Pedahulua Model regres dega dua varabel adalah model yag sagat sederhaa. Lebh laut model tersebut dapat dpadag terlalu sederhaa karea sebaga besar permasalaha ekoom yag hedak dtelt memlk bayak varabel. Dega demka kta meghadap masalah oversmplfcato. Dsampg tu model regres bvarate uga megalam kesulta ddalam megmplemetaska asums ceters parbus. Sepert yag dketahu ceters parbus meyataka perubaha suatu varabel dega asums varabel laya adalah tdak berubah. Bagamaa kta aka memasukka varabel la ka model tersebut haya memlk satu varabel bebas? Masalah terakhr yag tmbul dalam pegguaa model yag terlalu sederhaa adalah kesulta dalam meetapka betuk fugsoal yag sesua. Dega haya dua varabel, suatu model regres aka kurag memlk ustfkas bla dperluka suatu betuk fugsoal yag buka ler. Utuk megatas permasalaha yag dsebutka datas, maka dalam baga aka dbahas model regres bergada (multvarable). Dega memasukka berbaga varabel yag dpadag releva dalam meelaska varas varabel tergatug, kta dapat megkatka kemampua model ddalam meelaska keyataa. II. Betuk Umum Suatu model regres ler bergada dega k varabel dapat dtulska dalam betuk y = β + β x + β x + + β x + u k k 1) dmaa β 0 adalah tersep da β ; = 1 s/d k adalah parameter terkat dega varabel. Sedagka u adalah error term (dsturbaces) yag merupaka peampug bag faktor la yag tdak tercakup dalam model, msalya varabel bebas dluar = 1 s/d k, kesalaha fugsoal, kesalaha pegukura, dsb. Sepert uga model regres sederhaa, u uga dasumska memlk ekspektas kodsoal sama dega ol, atau Eux (, x,..., x ) = 0 1 k ) 1

2 Persamaa meyataka bahwa seluruh faktor la yag tdak tercakup dalam model adalah tdak terkat dega varabel bebas (x 1, x,, x k ). III. Estmas da Itrepretas Model Regres Bergada Sepert halya regres sederhaa, estmas parameter β uga dlakuka melalu tekk Ordary Least Squares (OLS). Metoda dlakuka dega ala memmalka umlah kuadrat resdual (resdual sum of squares). Secara formal M ( y β β x β x... β x ) k k 3) Dega megguaka kalkulus, kods orde pertama terhadap adalah berupa suatu system persamaa ler sebayak dega k+1 varabel sbb: β ( y β β x β x... β x ) = k k x ( y β β x β x... β x ) = k k... x ( y β β x β x... β x ) = 0 k k k 4) Peyelesaa terhadap system persamaa 4 (dega sebaga parameter yag dcar) aka meghaslka estmator OLS dar model regres ler sebagamaa ddeskrpska oleh persamaa 5 (yag serg uga dsebut sebaga gars regres OLS da sample regresso fucto/srf). y = β + β x + β x + + β x 5) k k β 0 Estmator tersep adalah predks la y ka la seluruh varabel bebas dalam model adalah ol (x 1 = x = = x k = 0). Dalam beberapa kasus trepretas dperguaka sedagka pada kasus laya hal tdak releva (apakah ada pegeluara pemertah ketka GDP=0?). Parameter yag la sekarag memlk trepretas parsal. Dega kata la parameter meuukka besarya perubaha varabel tergatug, y, ka varabel bebas ke (x ) berubah dega asums varabel bebas laya (yag buka ) tdak berubah (ceters parbus). Secara matemats β

3 Δ y = β Δx 6) Cotoh 1. Sebaga suatu lustras, dega megguaka data WAGE1.RAW aka dlakuka estmas terhadap model yag meghubugka log ga dega peddka (educ), pegalama (exper) da masa abata (teure). Dega megguaka EVIEWS 5.1. da megetkka ls log(wage) c educ exper teure pada commad wdow dperoleh prt out sbb: Depedet Varable: LOG(WAGE) Method: Least Squares Date: 05/8/08 Tme: 17:14 Sample: 1 56 Icluded observatos: 56 Varable Coeffcet Std. Error t-statstc Prob. C EDUC EXPER TENURE R-squared Mea depedet var Adusted R-squared S.D. depedet var S.E. of regresso Akake fo crtero Sum squared resd Schwarz crtero Log lkelhood F-statstc Durb-Watso stat Prob(F-statstc) Tabel 1. Prt Output Regres Log(Wage) terhadap Educ, Exper da Teure Dalam betuk persamaa log( wage) = educ exper + 0.teure 7) Sepert model regres sederhaa setap koefse varabel bebas memlk art persetase dampak. Dega demka 1 tahu pegkata peddka aka megkatka ga sebesar 9.%. Kta uga dapat merubah lebh dar 1 varabel. Sebaga cotoh perubaha 1 ut peddka da 1 ut pegalama aka berdampak postf terhadap ga sebesar 9.6% (9.%+0.4%). 3

4 Salah satu kekuata utama dar model regres bergada adalah kemampuaya dalam medukug asums ceters parbus. Dukuga dperoleh bahka ketka data tu sedr tdak dperoleh secara ceters parbus. Pada cotoh datas 9.% adalah dampak dar pegkata peddka atas ga dega megasumska (megotrol) la pegalama da abata sebaga kosta. Hal seolah-olah kta haya megambl sampel para pegawa yag berada pada pegalama da tgkat abata yag sama da kemuda melakuka regres ga terhadap peddka. Dega megguaka regres bergada kta memlk kemampua utuk melakuka eksperme terkedal terhadap lgkuga yag sebearya bersfat o expermetal. Setelah memperoleh SRF (persamaa 5), kta dapat memperoleh la predks varabel tergatug (ftted value) dega memasukka la dar masg-masg varabel bebas. Cotoh. Sebaga suatu lustras berkut dsaka cotoh yag la, yak regres deks prestas kulah (colgpa) terhadap deks prestas SMA (hsgpa) da la test masuk (act). Dega megguaka fle Gpa1.raw, perhtuga dega megguaka Evews memberka hasl sbb: Depedet Varable: COLGPA Method: Least Squares Date: 05/31/08 Tme: 08:53 Sample: Icluded observatos: 141 Varable Coeffcet Std. Error t-statstc Prob. C HSGPA ACT R-squared Mea depedet var Adusted R-squared S.D. depedet var S.E. of regresso Akake fo crtero Sum squared resd Schwarz crtero Log lkelhood F-statstc Durb-Watso stat Prob(F-statstc) Tabel. Prt Output Regres Colgpa terhadap Hsgpa da Act 4

5 Dega megguaka hasl, maka la predks deks prestas kulah bag seorag mahasswa yag memlk deks prestas SMA sebesar 3.5 da la test masuk sebesar 4 adalah colgpa= (3.5) (4) = (pembulata tga desmal). Umumya la actual dar varabel depede tdak aka sama dega la predksya. Selsh dar la dsebut sebaga resdual (u ). Secara matemats: u = y y 8) Nla predks da resdual memlk beberapa sfat petg yag merupaka geeralsas lagsug dar regres sederhaa. Sfat tersebut adalah a. Rata-rata sample dar resdual adalah ol b. Kovaras sample dar setap varabel bebas dega resdualya adalah ol. Sebaga kosekuesya kovaras sample dar la predks terhadap resdual uga sama dega ol. _ c. Nla rata-rata dar setap varabel ( x1, x,..., xk, y ), selalu terletak pada gars regres dega kata la: _ k k y = β + β x + β x + + β x 9) Sepert uga model regres sederhaa, kta uga dapat megguaka Sum Of Square Total (SST) da dekompossya serta koefse R sebaga ukura kebaka sua dar model (goodess of ft). Utuk meggatka kembal SST da dekompossya dapat dhtug dega ala: = 1 1) SST adalah ukura varas sample y (meuukka seberapa besar dspers sample y dsektar rata-rataya). SSE meuukka varas sample y pada da SSR megukur varas dar. _ Sum Square Total (SST) = ( y y) _ y y = 1 y y = u = 1 = 1 Sum Square Explaed (SSE) = ( ) Sum Square Resdual (SSR) = ( ) u 10) 11) 5

6 Dapat dtuukka ds bahwa total varas pada y adalah sama dega umlah SSE da SSR, atau SST = SSE + SSR 19) Selautya dega membag persamaa 19 dega SST kta dapat memperoleh SSE SSR 1 = + SST SST Kta dapat medefska R, koefse determas (R ) sebaga R SSE SSR = = 1 SST SST 0) 1) Sepert yag dapat dlhat pada persamaa 1, koefse determas meuukka propors varas varabel tergatug (y) yag dapat delaska oleh varas varabel bebas (x). Nla R selalu terletak atara 0 da 1 karea SSE da SSR tdak mugk melebh la SST. R adalah suatu ukura kesuaa model (model ft). Secara lebh detal R, uga dapat drumuska dalam formula berkut R = _ _ $ ( y y)( y y) = 1 $ ( y y) ( y y) = 1 = 1 ) Suatu fakta yag petg dgat pada pegguaa R sebaga ukura kebaka sua model adalah bahwa a tdak perah meuru dega peambaha regresor, sebalkya a ustru cederug megkat. Fakta berasal dar kosekues dar alabar dmaa umlah kuadrat tdak perah meuru dega bertambahya regresor. Dega demka kta perlu berhat-hat dalam megguaka crtera ddalam meetuka model terplh atau utuk memasukka/megeluarka suatu varabel dar suatu model. Kulah selautya aka meelaska bagamaa hal dapat dlakuka. Sepert pada model regres sederhaa R meuukka besara varas varabel tergatug yag dapat delaska oleh seluruh varabel bebas. Pada 6

7 cotoh 1, dperoleh la R sebesar 31.6%, dega demka 31.6% varas keaka/peurua persetase ga dapat delaska secara bersama oleh varabel peddka, pegalama da abata. Sedagka pada cotoh, kta memperoleh la 17.6%, dega kata la sebesar 17.6% varas pada deks prestas kulah dapat delaska oleh varabel deks prestas SMA da la ua masuk. Pada kedua cotoh datas, kta haya memperoleh la R yag relatf kecl (dbawah 50%). Apakah hal berart elek? Belum tetu, peelta pada lmu socal umumya berteraks dega perlaku mausa yag sagat sult dpredks. Bayak varabel yag mempegaruh suatu perlaku mausa da mekasme/pola yag dmlk adalah sagat rumt. Dega demka model yag dperoleh cederug memlk la R yag redah. Hal tdak berart bahwa parameter-parameter yag ada ddalamya adalah bas, haya saa memag press/akurasya adalah redah. IV. Asums OLS: Teorema Gauss-Markov Sepert uga model regres sederhaa, ka model regres bergada yag destmas melalu OLS memeuh suatu set asums (asums Gauss- Markov), maka dapat dtuukka bahwa parameter yag dperoleh adalah bersfat BLUE (Best Lear Ubased Estmator). Preposs dkeal dega ama teorema Gauss-Markov. Parameter tersebut adalah Best dalam arta memlk varas terkecl dbadgka parameter yag dperoleh melalu metoda ler la (No OLS). Ia besfat ubased, dega kata la ka estmas dlakuka terhadap sample yag berulag maka rata-rata estmas aka medekat la populas. Adapu asums yag dperluka adalah Asums 1: Pada populas, hubuga varabel tergatug (y) dega varabel bebas (x ) adalah bersfat ler dega suatu radom dsturbaces, atau y = β + β x + β x + + β x + u k k 3) Asums : Sample dperoleh secara radom. Asums 3: Zero codtoal meas. Eux (, x,..., x ) = 0 1 k 4) 7

8 Asums 3 tdak mudah dpeuh, palg tdak terdapat 3 kods dmaa hal tdak dapat dlakuka, yak: a. Hubuga atara varabel bebas da varabel tergatug megalam mspesfkas. Bsa ad kta memodelka hubuga yag ler padahal yag berlaku dpopulas seharusya kuadratk. b. Terdapat masalah omtted varable, aka dbahas pada baga tersedr. c. Kesalaha pegukura. Asums 4: Terdapat suatu varas pada populas varabel bebas da tdak terdapat koleartas sempura datara varabel bebas. Permasalaha koleartas adalah suatu permasalaha yag serg dtemu pada peelta emprs. Jka terad koleartas sempura, maka OLS aka tdak dapat dterapka (sgular matrx). Sedagka pada kasus berat estmator yag dperoleh adalah bas. Namu demka kta uga tdak megharapka tdak adaya korelas atar varabel bebas. Jka terad maka model regres yag kta mlk tdak aka memlk la (pelaggara asums ceters parbus). Masalah aka dbahas lebh dalam pada baga tersedr. Asums 5: Varas u kodsoal pada setap x adalah kosta (Homokedaststas). Secara formal Var( u x, x,..., x ) σ 1 k = 5) Teorema Gauss Markov Dapat dtuukka bahwa ka model da data yag dmlk adalah memeuh asums 1 s/d 5, maka estmator yag dperoleh adalah tdak bas da memlk varas terkecl (BLUE), atau E( β ) = β ; = 0,1,..., k 6) da dmaa OLS. ~ Var( β ) Var( β ) ~ β 7) adalah parameter yag destmas melalu metoda ler No 8

9 V. Beberapa Kasus Terdapat beberapa kasus yag dapat tmbul ketka seseorag megguaka metoda OLS dalam peelta emprs. Beberapa masalah yag umum adalah masukya varabel yag tdak releva pada model (superfluous), adaya varabel petg yag tdak dperhtugka da multkoleartas. Kta aka membahas kosep masalah dmaksud, mplkas serta cara peagaa yag dperluka. V.a. Varabel Tdak releva (Overspecfyg Model) Msalya peelta kta megestmas model berkut y = β + β x + β x + β x Yag sebearya berlaku pada populas adalah x 3 tdak memlk dampak terhadap y, ka kta telah memasukka x 1 da x. Hal dapat terad msalya x 3 adalah umlah karyawa pada model ga CEO yag dbahas sebelumya. Dalam bayak kasus kta tdak megharapka umlah karyawa aka berpegaruh pada ga CEO (palg tdak ka haya berubah dalam skala kecl, msalya <100 orag). Ds la parameter umlah karyawa dharapka berla ol. Masukya varabel bebas yag tdak releva tdak berpegaruh pada ketdak basa. Melalu teorema Gauss-Markov, dketahu bahwa dalam peyampela berulag maka la rata-rata parameter sample aka medekat populas. Dega demka secara rata-rata la parameter umlah karyawa aka dharapka sama dega ol. Dampak egatf yag dtmbulka atas masukya varabel tdak releva adalah memperbesar stadar eror dar model regres. Jka model megadug bayak varabel tdak releva, maka model regres aka memlk la press yag redah. Pada kasus lebh laut a berdampak pada feres, u sgfkas parameter. Kta aka membahas hal lebh laut pada ses kedepa. V.b. Omtted Varable (Uderspecfyg Model) I merupaka kebalka dar kasus datas, dmaa kta ustru megeluarka varabel yag seharusya ada pada model. Hal dapat terad karea berbaga hal, msalya mspesfkas, keterbatasa teor da masalah feasbltas (susah utuk memperoleh data varabel terkat). Omtted varabel aka meyebabka parameter yag dtemuka mead bas. Hal dapat dtuukka secara teorts (lhat appedks) bahwa ratarata parameter yag dperoleh tdak aka sama dega la populas (true value), atau ~ E( β ) β ; = 0,1,..., k 8) 9) 9

10 Adapu arah bas (over atau udervaluato) tergatug dar sg (tada alabar) parameter tersebut pada populas da korelas dega varabel bebas laya. Utuk kasus varabel bebas dmaa x adalah omtted varabel, arah bas dapat dtuukka oleh tabel 3. Tabel 3. Arah Kebasa Akbat Omtted Varabel Terdapat kods dmaa, omtted varabel tdak mead masalah dalam estmas, yak: a. Pada populas omtted varabel adalah varabel tdak releva. Hal elas ka pada populas umlah karyawa adalah tdak berpegaruh terhadap ga CEO, maka tdak memasukka varabel umlah karyawa pada estmas sample uga tdak aka memberka dampak yag egatf. b. Jka omtted varabel tdak memlk korelas yag sgfka dega varabel yag ada pada model. Pada kasus yag lebh geeral k varabel, maka syarat megharuska omtted varabel tdak memlk korelas terhadap setap varabel bebas laya yag ada pada model. 10