RIDGE REGRESSION. Kelompok 2: Umi Salamah ( ) Evi Wahyu P ( ) Fandi Kusuma ( ) Imelda Lestari ( ) Mulatsih Mahambari (06.

Transkripsi

1 RIDGE REGRESSION Kelompok 2: Umi Salamah ( ) Evi Wahyu P ( ) Fandi Kusuma ( ) Imelda Lestari ( ) Mulatsih Mahambari ( ) Rina Nopita M ( ) Yogo Aryo Jatmiko ( )

2 Multikolinieritas (1) Adalah keadaan dimana X dan Y yang lain memiliki hubungan. Cara mendiagnosa : Informal Diagnostic Adanya serious multikolinearitas : Ø Terjadi perubahan besar dalam koefisien regresi perkiraan ketika sebuah variabel ditambah atau dikurangi. Ø Hasil yang tidak signifikan dalam test individu koefisien regresi untuk variabel independen yang penting. Ø Tanda aljabar yang berlawanan untuk koefisien regresi perkiraan dengan teori atau pengalaman sebelumnya. Ø Koefisien korelasi sederhana yang besar antara pasangan variabel independen. Ø Confidence Interval yang lebar untuk koefisien regresi dari variabel independen yang penting.

3 Multikolinieritas (2) Formal Diagnostic Dengan melihat nilai Variance Inflation Factor(VIF). VIF mengukur seberapa besar varians dari penduga parameter meningkat besarnya dibandingkan dengan jika variable bebasnya tidak berkolerasi. Rumus untuk menentukan nilai VIF yaitu : dimana adalah koefisien determinasi berganda ketika X k diregresikan dengan p-2 variabel X lainnya dalam model. Jika nilai VIF > 10, maka data mengalami multikolinieritas. Salah satu cara mengatasi multikolinieritas adalah dengan metode ridge regression.

4 Ridge Regression(1) Ridge regression merupakan suatu metode untuk mengatasi permasalahan multikolinearitas dengan memodifikasi metode least square dengan tidak mempermasalahkan estimator bias dari koefisien regresi. Ridge regression ini dapat digunakan saat biasnya kecil dengan presisi yang lebih baik daripada estimator yang unbiased, karena estimator dengan bias kecil tersebut mempunyai peluang yang lebih besar untuk mendekati nilai parameternya.

5 Ridge Regression(2) Transformasi korelasi pada OLS Ridge Regression Persamaan Normal Model Regresi yang di transformasi

6 Ridge Regression(3) Persaman Normal pada OLS dapat dirumuskan dengan: Jika semua variable ditransformasikan dengan transformasi korelasi, model regresinya akan ditransformasi menjadi : Dan persamaan normalnya menjadi: Dengan rxx adalah matriks korelasi dari variable bebas dan rxy adalah vector dari koefisien korelasi sederhana antara variable tak bebas dan tiap variable bebas.

7 Ridge Regression(4) Penduga ridge regression yang terstandarisasi dibentuk dengan memasukkan suatu nilai bias konstan pada persamaan OLS. Formulanya adalah: Dengan b R adalah vector dari koefisien ridge regression yang terstandarkan. Dan I adalah matriks identitas berukuran (p-1) x (p-1), dengan p = banyaknya parameter. Dengan demikian, solusi dari persamaan normal dengan koefisien ridge regression yang terstandarisasi adalah

8 Ridge Regression(5) Model regresi yang sudah ditransformasi kemudian dikembalikan menjadi bentuk awal, yaitu Yang diestimasi menjadi : Batasan dalam ridge regression adalah penentuan nilai bias konstan (c) yang didasarkan pada subjektifitas atau pendapat peneliti.

9 Ridge Regression(6) Nilai c dapat juga ditentukan dengan menggunakan sebuah grafik yang disebut ridge trace. Grafik ini menggambarkan penduga koefisien ridge regression sebagai fungsi dari c. Nilai c dipilih pada saat penduga koefisien ridge regression menjadi stabil dengan c yang minimum. Hal ini disebabkan semakin betambah nilai c, maka bias akan semakin besar. Pada ridge regression terdapat konstanta c yang nilainya 0. Jika c=0 ridge regression akan sama dengan OLS yang distandarkan. Saat c>0 koefisien ridge regression akan bias namun lebih stabil dibandingkan dengan OLS

10 Contoh Soal Table 1. contains data for a study of the relation of amount of body fat (Y) to several possible explanatory, independent variables, based on a sample of 20 healthy females years old. The possible independent variables are triceps skinfold thickness (X 1 ), thigh circumference (X 2 ), and midarm circumference (X 3 ).

11 Subject (i) Table 1. example Data of the X variable for body fat Triceps Skinfold Thickness (X 1 ) Thigh Circumference (X 2 ) Midarm Circumference (X 3 ) Body Fat (Y 1 )

12 Hasil Pengerjaan Dengan NCSS Correlation Matrix Section Triceps Thigh Midarm body_fat Triceps Thigh Midarm body_fat Least Squares Multicollinearity Section Independent Variance R-Squared Variable Inflation Vs Other X's Tolerance Triceps Thigh Midarm Since some VIF's are greater than 10, multicollinearity is a problem.

13 Standardized Ridge Regression Coefficients Section k Triceps Thigh Midarm Variance Inflation Factor Section k Triceps Thigh Midarm

14 Ridge vs. Least Squares Comparison Section for k = Regular Regular Stand'zed Stand'zed Ridge L.S. Independent Ridge L.S. Ridge L.S. SE SE Variable Coeff's Coeff's Coeff's Coeff's Intercept Triceps Thigh Midarm R-Squared Sigma Ridge Regression Coefficient Section for k = Stand'zed Independent Regression Standard Regression Variable Coefficient Error Coefficient VIF Intercept Triceps Thigh Midarm

15 Analysis of Variance Section for k = Sum of Mean Prob Source DF Squares Square F-Ratio Level Intercept Model Error Total(Adjusted) Mean of Dependent Root Mean Square Error R-Squared Coefficient of Variation

16 Ridge Trace Standardized Betas Variables Triceps Thigh Midarm K

17 Variance Inflation Factor Plot Variables Triceps Thigh Midarm VIF K