Analisis Regresi 2 Pokok Bahasan : Multikolinier & penanganannya TUJUAN INSTRUKSIONAL KHUSUS : Mahasiswa dapat menjelaskan adanya multikolinieritas pada regresi linier berganda serta prosedur penanganannya
ASUMSI KLASIK PADA MODEL REGRESI LINIER BERGANDA Kenormalan Galat menyebar normal Homoskedastisitas (ragam sisaan homogen) Var(ε i ) = E(ε i2 ) = σ 2 Non Autokorelasi (sisaan menyebar bebas) Cov(ε i,ε j ) = E(ε i,ε j ) = 0 Non Multikolinearitas Tidak ada hubungan linear sempurna antar peubah bebas dalam model regresi.
PELANGGARAN ASUMSI : MULTIKOLINEARITAS Multikolinearitas adalah salah satu pelanggaran asumsi dimana adanya hubungan linear (KORELASI) antara peubah bebasnya Dapat mempengaruhi ragam dari penduga kuadrat terkecil dan pendugaan model yang dibuat. (Wetherhill,1986)
AKIBAT PELANGGARAN ASUMSI : MULTIKOLINEARITAS 1. Interpretasi menjadi sulit karena setiap ada perubahan pada peubah yang saling berkorelasi maka peubah lain yang berkorelasi juga akan mengalami perubahan sesuai arah korelasinya. 2. Pendugaan dengan OLS akan diperoleh ragam dan koragam yang besar. Sehingga sulit untuk disimpulkan. 3. Hasil uji F signifikan tetapi dengan uji-t banyak peubah yang tidak signifikan. (Tidak selaras) 4. Penduga OLS dan standar error sensitif terhadap perubahan data. 5. Matriks X X akan hampir singular (ill-conditioned) yang pada akhirnya akan menyebabkan dugaan bagi memiliki dugaan ragam yang menduga lebih (overestimate) walaupun tetap takbias. 6. Rsq(adj) bernilai tinggi
a. Correlation Pearson CARA MENDETEKSI ADANYA MULTIKOLINEARITAS Uji koefisien korelasi antar peubah bebas, jika korelasinya sangat tinggi dan nyata, maka terjadi multikolinearitas. b. Variance Inflation Factor (VIF) Suatu pengukuran multikolinearitas untuk peubah bebas ke-i. Jika korelasi semakin besar, VIF akan semakin besar. VIF = 1/ (1 R i2 ) jika VIF>10 dikatakan terjadi multikolinearitas.
Mengatasi masalah multikolinearitas: Membuang peubah bebas yang mempunyai korelasi tinggi terhadap peubah bebas lainnya. Menambah data pengamatan/contoh. Melakukan transformasi terhadap peubah-peubah bebas yang mempunyai kolinearitas atau menggabungkan menjadi peubah-peubah bebas baru yang lebih berarti. Menggunakan Regresi Gulud, Regresi Kuadrat Terkecil Parsial, dan Regresi Komponen Utama (principal component regression)
REGRESI KOMPONEN UTAMA (PRINCIPAL COMPONENT REGRESSION)
Regresi Komponen Utama Analisis komponen utama pada dasarnya mentransformasi peubah-peubah bebas yang berkorelasi menjadi peubah-peubah baru yang ortogonal dan tidak berkorelasi. Analisis ini bertujuan untuk menyederhanakan peubahpeubah yang diamati dengan cara mereduksi dimensinya. Hal ini dilakukan dengan menghilangkan korelasi di antara peubah melalui transformasi peubah asal ke peubah baru (komponen utama) yang tidak berkorelasi (Gesperz, 1995).
Regresi Komponen Utama Tahapan-tahapan Analisis 1. Membakukan peubah bebas asal yaitu X menjadi Z. 2. Mencari akar ciri dan vektor ciri dari matriks R. 3. Menentukan persamaan komponen utama dari vektor ciri. 4. Meregresikan peubah respon Y terhadap skor komponen utama W. 5. Transformasi balik
Regresi Komponen Utama Skor Komponen Utama W Biasanya tidak semua W digunakan. Morrison (1978) menyarankan agar memilih komponenkomponen utama sampai komponen-komponen utama tersebut mempunyai keragaman kumulatif 75 %, namun sebagian ahli menyarankan agar memilih komponen utama yang besar akar cirinya lebih dari satu, karena jika akar ciri kurang dari satu keragaman data yang dapat diterangkan kecil sekali.
Tahun CONTOH : PENYELESAIAN KASUS MULTIKOLINEARITAS DENGAN MENGGUNAKAN RKU Volume Ekspor Jagung (Y) Volume Produksi (X1) Harga Jagung Domes-tik (X2) Harga Ekspor Jagung( X3) Volume Ekspor Sebelumnya (X4) Volume Impor Jagung Indonesia (X5) Nilai Tukar (X6) Inflasi (X7) 1997 539.765 8.770.851 560 0,143 0 1.098.353.536 5.700 11,05 1998 42.889.432 10.169.488 1.089 0,11 539.765 299.916.896 8.100 56,2 1999 4.259.279 9.204.036 1.382 0,105 42.889.432 618.059.896 8.632 12,01 2000 1.003.532 9.676.899 1.466 0,11 4.259.279 1.264.575.055 8.534 9,35 2001 768.328 9.347.192 1.747 0,114 1.003.532 1.035.796.928 10.400 12,55 2002 826.003 9.585.277 2.002 0,115 768.328 1.154.063.011 8.940 10 2003 4.103.229 10.886.442 1.738 0,12 826.003 1.345.446.349 8.465 5,1 2004 4.256.758 11.225.243 2.007 0,169 4.103.229 1.088.927.757 9.290 6,15 2005 4.255.200 12.523.894 2.152 0,15 4.256.758 185.957.289 9.830 10,7 2006 646.537 11.609.463 2.338 0,158 4.255.200 1.775.320.810 9.013 13,33
ANALISIS DATA The regression equation is Y = - 7320987 + 1,12 X1 + 2388 X2 + 16356575 X3 + 0,003 X4-0,00382 X5-1340 X6 + 797761 X7 Predictor Coef SE Coef T P VIF Constant -7320987 43792662-0,17 0,878 X1 1,123 3,364 0,33 0,760 6,9 X2 2388 10846 0,22 0,840 13,3 X3 16356575 112702936 0,15 0,894 5,2 X4 0,0027 0,1783 0,01 0,989 1,4 X5-0,003816 0,006072-0,63 0,574 2,3 X6-1340 3585-0,37 0,734 5,2 X7 797761 175873 4,54 0,020 1,8 S = 5915748 R-Sq = 93,1% R-Sq(adj) = 77,1% Dari regresi tersebut, terdapat nilai VIF>10 maka dapat dikatakan bahwa terjadi multikolinearitas
MATRIKS KORELASI ANTAR PEUBAH Y X1 X2 X3 X4 X5 X6 X7 Y 1 0,08958-0,20488-0,06476-0,11068-0,56319-0,12058 0,9226 X1 0,08958 1 0,81796 0,78995-0,26002-0,17981 0,41702-0,39449 X2-0,20488 0,81796 1 0,6548-0,15014 0,09119 0,69899-0,39449 X3-0,06476 0,78995 0,6548 1-0,28104-0,02544 0,07519-0,31723 X4-0,11068-0,26002-0,15014-0,28104 1-0,21742 0,03545-0,07965 X5-0,56319-0,17981 0,09119-0,02544-0,21742 1-0,10472-0,45245 X6-0,12058 0,41702 0,69899 0,07519 0,03545-0,10472 1-0,16332 X7 0,9226-0,39449-0,39449-0,31723-0,07965-0,45245-0,16332 1
ANALISIS DATA (LANJUTAN) X5 1 2,45267E+14 X6 1 1,58875E+13 X7 1 7,20060E+14 Analysis of Variance Source DF SS MS F P Regression 7 1,42431E+15 2,03473E+14 5,81 0,088 Residual Error 3 1,04988E+14 3,49961E+13 Total 10 1,52930E+15 Source DF Seq SS X1 1 1,22723E+13 X2 1 3,57541E+14 X3 1 6,69509E+13 X4 1 6,33113E+12 Unusual Observations Obs X1 Y Fit SE Fit Residual St Resid 3 9204036 4259279 3809091 5889626 450188 0,81 X
HASIL PEMBAKUAN PEUBAH Z1 Z2 Z3 Z4 Z5 Z6 Z7-1,23266-1,90805 0,11242-0,46454 0,29311-2,53308-0,19901-0,2752-1,06596-0,75582-0,42114-1,40777-0,51992 2,95977-0,93611-0,59955-0,88737 2,98423-0,73004-0,07366-0,13185-0,61241-0,46583-0,75582-0,12205 0,6472-0,15587-0,31795-0,83811-0,01852-0,65058-0,38385 0,15985 1,40937-0,09407-0,67513 0,3874-0,62427-0,40276 0,41178 0,18469-0,27247 0,21561-0,03285-0,49272-0,39812 0,81948-0,21375-0,61528 0,44754 0,39536 0,79648-0,1346 0,27303 0,47828-0,54182 1,33656 0,62618 0,29659-0,12225-1,65053 0,93124-0,2235 0,71057 0,92226 0,50707-0,12238 1,73522 0,24593-0,0395 1,85935 1,75958 2,45402-0,41255-0,55133 0,24677-0,52433
REGRESI KOMPONEN UTAMA Principal Component Analysis: Z1; Z2; Z3; Z4; Z5; Z6; Z7 Eigen analysis of the Correlation Matrix Eigenvalue 2,9881 1,4565 1,2156 0,8405 0,3369 0,1160 0,0464 Proportion 0,427 0,208 0,174 0,120 0,048 0,017 0,007 Cumulative 0,427 0,635 0,809 0,929 0,977 0,993 1,000 Varb PC1 PC2 PC3 PC4 PC5 PC6 PC7 Z1-0,522 0,218 0,157 0,122-0,168-0,711 0,327 Z2-0,551 0,017-0,166-0,127-0,220 0,047-0,776 Z3-0,465-0,006 0,318 0,460-0,101 0,630 0,254 Z4 0,163 0,153-0,700 0,523-0,426-0,004 0,072 Z5-0,030-0,757 0,007-0,250-0,567-0,023 0,204 Z6-0,338 0,209-0,495-0,573 0,127 0,270 0,425 Z7 0,255 0,559 0,334-0,307-0,628 0,151-0,004 Dari hasil di atas, akan diambil Score (W) sebanyak 4, dikarenakan jumlah proportion > 0,7.
SCORE KOMPONEN UTAMA W1 W2 W3 W4 W5 W6 W7 2,36316-1,23413 1,67472 1,33926 0,44961 0,138858 0,05701 1,9888 2,47322 1,42432-0,72398-0,58986 0,009489-0,00466 1,73162 0,71268-2,43058 1,37922-0,40665 0,044124-0,03036 0,86039-0,85541-0,19801-0,40172 0,14577-0,16691 0,027492 0,18379-0,11685-0,79508-1,41756 0,52077 0,549266 0,179235 0,21968-0,6239-0,26642-0,75419 0,22353 0,106025-0,54518-0,03992-1,0206 0,06745-0,29795 0,08474-0,63285 0,020723-1,15242-0,33088-0,06398 0,12427 0,06134 0,243486 0,292962-1,52288 1,59959-0,26199 0,10349 0,85534-0,47749 0,077476-1,28112-1,13579 0,08237-0,42373-1,24865-0,12202 0,094885-3,3511 0,53206 0,7672 1,07289-0,09595 0,308021-0,16958
REGRESI Y terhadap W Regression Analysis: Y versus W1; W2; W3; W4 The regression equation is Y = 6775162 + 1538350 W1 + 7778621 W2 + 4769269 W3 1822347W4 Predictor Coef SE Coef T P VIF Constant 6775162 2033306 3,33 0,016 W1 1538350 1233686 1,25 0,259 1,0 W2 7778621 1767009 4,40 0,005 1,0 W3 4769269 1934202 2,47 0,049 1,0 W4-1822347 2326075-0,78 0,463 1,0 S = 6743712 R-Sq = 82,2% R-Sq(adj) = 70,3% Analysis of Variance Source DF SS MS F P Regression 4 1,25643E+15 3,14108E+14 6,91 0,020 Residual Error 6 2,72866E+14 4,54776E+13 Total 10 1,52930E+15 W1 dan W4 tidak nyata
HASIL ANALISIS REGRESI Hasil analisis regresi memperlihatkan bahwa ada dua peubah yang tidak nyata, yaitu W1 dan W4 Sehingga untuk selanjutnya yang digunakan hanyalah W yang nyata terhadap Y. Persamaan regresinya yaitu : Y = 6775162 + 7778621 W2 + 4769269 W3 Predictor Coef SE Coef T P VIF Constant 6775162 2054630 3,30 0,011 W2 7778621 1785540 4,36 0,002 1,0 W3 4769269 1954486 2,44 0,041 1,0 S = 6814436 R-Sq = 75,7% R-Sq(adj) = 69,6%
TRANSFORMASI BALIK Hasil regresi sebelumnya dapat dinyatakan telah bebas dari multikolinearitas karena nilai VIF<10 Namun persamaan regresi tersebut masih dalam fungsi skore (W), sehingga perlu dilakukan transformasi balik menjadi fungsi dalam peubah X.
TRANSFORMASI : W Z Y = 6775162 + 7778621 W2 + 4769269 W3 -klik score- Y = 6775162 + 7778621 (0,218 Z1 + 0,017 Z2 0,006 Z3 + 0,153 Z4 0,757 Z5 + 0,209 Z6 + 0,559 Z7) + 4769269 (0,157 Z1 0,166 Z2 + 0,138 Z3-0,700 Z4 + 0,007 Z5 0,495 Z6 + 0,334 Z7) Y = 6775162 + 2444514,611 Z1 659462,097 Z2 + 611487,396 Z3 3385160,026 Z4 5855031,214 Z5 735056,366 Z6 + 5941184,985 Z7 Klik next
FUNGSI SCORE Variable PC1 PC2 PC3 PC4 PC5 PC6 PC7 Z1-0,522 0,218 0,157 0,122-0,168-0,711 0,327 Z2-0,551 0,017-0,166-0,127-0,220 0,047-0,776 Z3-0,465-0,006 0,318 0,460-0,101 0,630 0,254 Z4 0,163 0,153-0,700 0,523-0,426-0,004 0,072 Z5-0,030-0,757 0,007-0,250-0,567-0,023 0,204 Z6-0,338 0,209-0,495-0,573 0,127 0,270 0,425 Z7 0,255 0,559 0,334-0,307-0,628 0,151-0,004 W2 = 0,218 Z1 + 0,017 Z2 0,006 Z3 + 0,153 Z4 0,757 Z5 + 0,209 Z6 + 0,559 Z7 W3 = 0,157 Z1 0,166 Z2 + 0,138 Z3-0,700 Z4 + 0,007 Z5 0,495 Z6 + 0,334 Z7 -klik back-
TRANSFORMASI : Z X Y = 6775162 + 2444514,611 Z1 659462,097 Z2 + 611487,396 Z3 3385160,026 Z4 5855031,214 Z5 735056,366 Z6 + 5941184,985 Z7 Y = 6775162 + 2444514,611 659462,097 + 611487,396 3385160,026 5855031,214 735056,366 + 5941184,985 -next-
Z i = RUMUS Variabel Mean Stdev Y 6775162 12366480 X1 10571487 1460774 X2 1758,548 628,1764 X3 0,138727 0,038008 X4 5777097 12436132 X5 9,61E+08 4,69E+08 X6 8719,818 1192,151 X7 13,89455 14,29348 -back-
PERSAMAAN AKHIR Sehingga persamaan regresi terakhirnya adalah : Y = 1,78E+07 + 1,673 X 1 1049,804 X 2 + 16088386,55 X 3 0,272 X 4 1,25E-02 X 5 616,58 X 6 + 415656,9978 X 7