6 BAB II TINJAUAN PUSTAKA 2.1 Matriks Persamaan regresi linear berganda dapat dinyatakan dalam bentuk matriks. Hal ini sangat membantu dalam proses pembuktian sifat-sifat dan perhitungan matematis dari analisis regresi ganda tersebut. Untuk itu akan dibahas beberapa hal mengenai matriks. Definisi 2.1 Matriks Matriks (Ruminta, 2009) adalah himpunan skalar yang disusun/dijajarkan secara khusus dalam bentuk baris dan kolom sehingga membentuk empat persegi panjang atau persegi. Suatu matriks A berukuran m n didefinisikan sebagai susunan angka-angka dengan m baris dan n kolom, yang anggotanya a ij dimana a terletak pada baris ke-i dan kolom ke-j dari matriks A tersebut. Matriks A dapat dituliskan sebagai berikut : Definisi 2.2 Transpos Matriks a 11 a 12 a 1n a 21 a 22 a 2n A (mxn) = [ ] a m1 a m2 a mn Jika A adalah sembarang matriks m n, maka transpos A dinyatakan dengan A T, didefinisikan sebagai matriks n m yang didapatkan dengan mempertukarkan baris dan kolom dari A; yaitu, kolom pertama dari A T adalah baris pertama dari A, kolom kedua dari A T adalah baris kedua dari A dan seterusnya. 6
7 Jika a 11 a 12 a 1n a 21 a 22 a 2n A (mxn) = [ ] = [a ij ] a m1 a m2 a mn maka: Definisi 2.3 Matriks Persegi a 11 a 21 a n1 A T a 12 a 22 a n2 (mxn) = [ ] = [a ji ] a 1m a 2m a nm Matriks persegi adalah matriks yang memiliki baris dan kolom yang sama banyak atau matriks yang berukuran n n. Definisi 2.4 Trace Matriks Jika A adalah suatu matriks persegi, maka trace A dinyatakan dengan tr(a), didefinisikan sebagai jumlah anggota-anggota pada diagonal utama A, yaitu: tr(a) = n i=1 a ii (2.1) Trace A tidak terdefinisi jika A bukan matriks persegi. Definisi 2.5 Invers Matriks Jika A adalah suatu matriks persegi, maka invers dari A dinyatakan dengan simbol A 1, sehingga AA 1 = A 1 A = I, dimana I adalah matriks identitas. Sifat-sifat invers matriks: 1. Jika A non singular maka A 1 non singular, dan (A 1 ) 1 = A 2. Jika A dan B matriks persegi berukuran sama dan non singular maka AB non singular dan (AB) 1 = B 1 A 1 3. Jika A non singular maka A T non singular dan (A T ) 1 = (A 1 ) T
8 2.2 Nilai Eigen dan Vektor Eigen Eigen dalam bahasa Jerman berarti asli, jadi nilai eigen adalah nilai asli atau nilai karakteristik. Jika A adalah sebuah matriks n n, maka sebuah vektor tak nol x pada R n disebut vektor eigen (eigenvector) dari A jika Ax adalah kelipatan skalar dari x yakni: Ax = λ x (2.2) untuk suatu skalar λ. Skalar λ disebut nilai eigen (eigenvalue) dari A, dan x dinamakan vektor eigen dari A yang bersesuaian dengan λ (Anton, 2005). Untuk memperoleh nilai eigen dari matriks A yang berukuran n : a 11 a 12 a 1n 1 0 0 a 21 a 22 a 2n 0 1 0 A (nxn) = [ ], I (nxn) = 0 0 1 a m1 a m2 a mn [ 0 0 0 0 x 1 0 x 2 0, x = x 3 1 ] [ x n ] Ax = λ x, x 0 Ax = λ Ix Ax λ Ix = 0 (A λ I)x = 0 (2.3) Agar λ dapan menjadi nilai eigen, harus terdapat satu solusi tak nol dari persamaan 2.3. Persamaan ini memiliki solusi tak nol jika dan hanya jika x 0, A λ I = 0 Persamaan ini disebut persamaan karakteristik matriks A, skalar-skalar yang memenuhi persamaan ini adalah nilai-nilai eigen A. Nilai λ diperoleh dengan menyelesaikan persamaan karakteristik A λ I = 0. A λ I = 0
9 a 11 λ a 12 a 1n a 21 a 22 λ a 2n = 0 a m1 a m2 a mn λ Jika nilai eigen λ n disubstitusi pada persamaan (A λ I)x = 0, maka vektor eigen adalah solusi dari (A λ n I)x n = 0. 2.3 Ukuran Pemusatan dan Penskalaan (Centering and Scaling) Pemusatan dan penskalaan data merupakan bagian dari pembakuan (standardized) peubah. Hal ini dilakukan untuk meminimumkan kesalahan pembulatan dalam perhitungan dan menjadikan satuan koefisien regresi dapat dibandingkan (Neter et al, 1997). Pemusatan merupakan perbedaan antara masing-masing pengamatan dengan rata-rata dari semua pengamatan untuk peubah. Sedangkan penskalaan meliputi gambaran pengamatan pada kesatuan (unit) standar deviasi dari pengamatan untuk peubah. Dalam persamaan regresi yang memiliki model : Y i = β 0 + β 1 X 1i + β 2 X 2i + + β k X ki + ε i (2.4) Persamaan tersebut di atas dapat dibentuk menjadi : Y i = β 0 + β 1 (X 1i X 1 ) + β 1 X 1 + β 2 (X 2i X 2 ) + β 2 X 2 + + β k (X ki X k ) + β k X k + ε i Y i = (β 0 + β 1 X 1 + β 2 X 2 + + β k X k ) + β 1 (X 1i X 1 ) + β 2 β 2 (X 2i X 2 ) + + β k (X ki X k )+ε i (2.5) Berdasarkan rumus untuk mendapatkan β 0 : β 0 = Y β 1 X 1 β 2 X 2 β k X k (2.6) maka berlaku : Y = β 0 + β 1 X 1 + β 2 X 2 + + β k X k (2.7) sehingga dari persamaan (2.5) :
10 Y i = (β 0 + β 1 X 1 + β 2 X 2 + + β k X k ) + β 1 (X 1i X 1 ) + β 2 (X 2i X 2 ) + + β k (X ki X k )+ε i Y i (β 0 + β 1 X 1 + β 2 X 2 + + β k X k ) = β 1 (X 1i X 1 ) + β 2 (X 2i X 2 ) + + β k (X ki X k )+ε i Y i Y = β 1 (X 1i X 1 ) + β 2 (X 2i X 2 ) + + β k (X ki X k )+ε i (2.8) jika : y i = Y i Y x ki = X ki X k maka didapatkan persamaan baru : y i = β 1 x 1i + β 2 x 2i + + β k x ki + ε i (2.9) Prosedur untuk membentuk persamaan pertama menjadi persamaan terakhir disebut dengan prosedur pemusatan (Centering). Prosedur ini mengakibatkan hilangnya β 0 (intercept) yang membuat perhitungan untuk mencari model regresi menjadi lebih sederhana. Bila dari persamaan (2.9) dibentuk persamaan : Y i = β 1 Z 1i + β 2 Z 2i + + β k Z ki + ε i (2.10) dengan: Y i = y i S y = Y i Y S y Z ki = x ki S k = X ki X k S k maka prosedur ini disebut dengan prosedur Scaling atau penskalaan (Chatterjee, 2006). Hubungan penduga parameter regresi dalam model standarisasi dengan penduga parameter regresi dalam model awal adalah: β 1 = β 1 ( S y S 1 ) β 2 = β 2 ( S y S 2 ) (2.11)
11 dimana: β k = β k ( S y S k ) β 0 = y β 1x 1 β 2x 2 β kx k S y = n i=1 (y i y ) 2 n 1 ; S k = n i=1 (x ki x k )2 n 1, k = 1,, p dengan: β k β k S y S k = penduga parameter regresi dalam model awal = penduga parameter regresi dalam model standarisasi = galat baku dari data awal Y = galat baku dari data awal X ke-k 2.4 Regresi Linear Berganda Analisis regresi merupakan alat statistik yang memanfaatkan hubungan antara dua atau lebih peubah kuantitatif sehingga salah satu peubah bisa diramalkan dari peubah-peubah lainnya (Neter et al, 1997). Pada analisis regresi akan dihasilkan sebuah model regresi. Model regresi merupakan suatu cara formal untuk mengekspresikan dua unsur penting suatu hubungan statistik, yaitu suatu kecenderungan berubahnya peubah tidak bebas Y secara sistematis sejalan dengan berubahnya peubah bebas X dan perpencaran titik-titik di sekitar kurva hubungan statistik itu. Selain melihat pola hubungan antar peubah, analisis regresi juga bertujuan untuk melihat kontribusi relatif dari masing-masing peubah bebas terhadap peubah tak bebas dan melakukan prediksi terhadap nilai dari peubah tak bebas dari peubah bebas yang diketahui.
12 Asumsi-asumsi yang harus dipenuhi dalam metode regresi linear terdapat hubungan linear antara peubah tak bebas Y dengan peubah bebas X, galat (ε) menyebar normal dengan nilai tengah 0 dan ragam konstan σ 2, dan tidak teradapat korelasi antar sisaan (Montgomery, 1992). Selain itu pada analisis regresi linear berganda terdapat asumsi yang harus dipenuhi yaitu tidak terjadi multikolinearitas. Analsis regresi linear yang melibatkan lebih dari satu peubah bebas dinamakan analsis regresi linear berganda. Model umum dari regresi linear berganda seperti persamaan (1.2): dimana: Y i = β 0 + β 1 X 1i + β 2 X 2i + + β k X ki + ε i Y β = nilai amatan dari peubah tak bebas; = parameter regresi atau koefisien regresi; X = peubah bebas yang diketahui nilainya; N ; 2 ε = sisaan yang saling bebas dan menyebar normal : 0, i = 1, 2,, n Persamaan regresi linear berganda dapat dinyatakan dalam notasi matriks. Notasi matriks adalah bentuk perluasan dari model regresi linear secara umum. Notasi matriks dijabarkan dengan tujuan aljabar matriks dapat mengindikasikan langkah-langkah penting dalam menemukan solusi. Berikut ini adalah notasi matriks dalam model regresi linear: Y nx1 = X nxp β px1 + ε nx1 (2.12)
13 dengan notasi matriks: Y y1 y2, yn X 1 1 1 x x x 11 21 n1 x x x 12 22 n2 x1 p x 2 p, xnp 0 1, p 1 2 n Keterangan: Y = vektor peubah tak bebas β = vektor koefisien regresi X = matriks peubah bebas ε = vektor peubah acak (sisaan) dan menyebar normal : Dengan demikian nilai harapan vektor acak Y yaitu: E{Y} = Xβ Tabel 2.1 Tabel ANOVA Model Linear Umum Sumber Keragaman Regresi 2 N 0, db JK KT p JKR = β X Y ( 1 n ) Y JY ; KTR = JKR/(p) Galat n-p-1 JKG = Y Y β X Y KTG = JKG/(n p 1) Total n-1 JKT = Y Y ( 1 n ) Y JY 2.4.1 Uji Hipotesis pada Regresi Linear Berganda Setelah dilakukan pendugaan parameter dengan menggunakan metode kuadrat terkecil akan didapatkan sebuah model yang menjelaskan hubungan antara peubah tak bebas dengan peubah-peubah bebas. Kemudian akan dilakukan pengujian hipotesis untuk menguji kecocokan model.
14 1. Uji F (Uji Signifikansi Model) Uji F digunakan untuk menggambarkan adanya hubungan linear antara peubah tak bebas Y dengan peubah bebas X 1 X k secara simultan dengan hipotesis: H 0 : β 1 = β 2 = = β k = 0 H 1 : β j 0 minimal untuk satu nilai j, j=1,2,...,k Penolakan hipotesis H 0 : β j = 0 menunjukkan bahwa terdapat minimal satu peubah bebas X 1 X k yang mempunyai kontribusi yang signifikan pada model. Digunakan statistik uji (Neter et al, 1997): F 0 = SSR/k = MSR = KTR SSE/(n k 1) MSE KTG (2.12) Dengan kaidah keputusan: Jika F 0 F (α,k,n k 1) maka terima H 0 Atau Jika F 0 > F (α,k,n k 1) maka tolak H 0 Jika Pvalue < α maka tolak H 0 Jika Pvalue > α maka terima H 0 2. Uji t (Uji Individu Koefisien Regresi) Uji t digunakan untuk mengetahui signifikan tidaknya pengaruh masingmasing peubah bebas secara individu terhadap peubah tak bebas. Dengan hipotesis: H 0 : β j = 0
15 H 1 : β j 0 Digunakan statistik uji (Neter et al, 1997): t 0 = β j Se(β j) (2.13) Dengan kaidah keputusan: Atau Jika t 0 tα 2,n k 1 maka terima H 0 Jika t 0 > tα 2,n k 1maka tolak H 0 Jika Pvalue < α maka tolak H 0 Jika Pvalue > α maka terima H 0 2.4.2 Koefisien Determinasi Ganda Koefisien determinasi ganda (Neter et al, 1997) dilambangkan dengan R 2 yang didefinisikan sebagai: R 2 = JKR JKG = 1 JKT JKT (2.14) Koefisien ini memiliki sifat: 0 R 2 1 Koefisien determinasi ganda adalah proporsi besarnya keragaman data yang dapat diberikan atau diterangkan oleh model regresi. Makin dekat R 2 dengan 1 maka makin baik kecocokan data dengan model, dan sebaliknya, makin dekat R 2 dengan 0 maka makin buruk kecocokan data tersebut dengan model. Nilai R 2 biasa dinyatakan dalam persen, hal ini menunjukkan persentase keragaman data yang dapat diberikan oleh model regresi. Nilai R 2 yang besar belum tentu menyatakan bahwa model yang diperoleh merupakan model yang baik. Penambahan lebih banyak peubah bebas ke dalam model selalu menaikkan nilai
16 R 2 dan tidak pernah menurunkannya. Oleh karena itu, digunakan koefisien determinasi ganda terkoreksi yang dilambangkan dengan R a 2 dan didefinisikan sebagai: R a 2 = 1 JKG/(n p) JKT/(n 1) (2.15) 2.5 Metode Kuadrat Terkecil Metode pendugaan yang digunakan untuk menduga koefisien regresi dalam analisis regresi berganda adalah metode kuadrat terkecil. Metode ini (Neter et al, 1997) bertujuan untuk meminimumkan jumlah kuadrat dari galat. Vektor koefisien regresi dugaan β 0, β 1,, β p 1 akan dilambangkan sebagai berikut: b px1 = [ β 0 β 1 β p 1] Persamaan normal kuadrat terkecil bagi model regresi linear umum adalah: Dan penduga kuadrat terkecilnya adalah: X Xβ = X Y (2.16) β px1 = (X X) 1 pxp X Y px1 (2.17) Pada dasarnya X X mempunyai peranan penting dalam sifat-sifat penduga β dan sering menjadi faktor utama dalam kesuksesan atau kegagalan pedugaan kuadrat terkecil. Sifat penduga-penduga kuadrat terkecil yaitu tidak berbias dan mempunyai ragam minimum. Untuk membuktikan bahwa β merupakan penduga tak bias, dapat diperlihatkan sebagai berikut :
17 E(β ) = E[(X X) 1 X Y] = E[(X X) 1 X (Xβ + ε)] = E[{(X X) 1 X Xβ} + {(X X) 1 X ε}] = E[(X X) 1 X Xβ] + E[(X X) 1 X ε] = (X X) 1 X XE(β) + (X X) 1 X E(ε) = (X X) 1 X Xβ = Iβ = β Jadi β merupakan penduga tak bias bagi β. Selain tak bias, metode kuadrat terkecil menghasilkan penduga dengan ragam minimum. Hal ini dapat diperlihatkan apabila diambil sebuah penduga tak bias lain β, ragam dari penduga kuadrat terkecil β akan lebih kecil dari penduga β (var(β ) var(β )). 2.6 Multikolinearitas Istilah multikolinearitas pertama kali ditemukan oleh Ragnar Frisch pada tahun 1934 yang berarti adanya hubungan linear diantara beberapa atau semua peubah bebas dalam model regresi. 2.6.1. Pengertian Multikolinearitas Multikolinearitas adalah suatu kondisi dimana terjadi korelasi yang kuat diantara peubah-peubah bebas (X) yang diikutsertakan dalam pembentukan model regresi linear. Dalam bentuk matriks, multikolinearitas adalah suatu kondisi buruk atau ill condition dari matriks X X. Jika multikolinearitas terjadi antara dua peubah atau lebih dalam suatu persamaan regresi, maka determinan dari matriks
18 X X akan mendekati 0 sehingga akan menyebabkan nilai matriks tersebut hampir singular yang mengakibatkan nilai dari penduga paremeternya tidak stabil. Dalam multikolinearitas terdapat dua jenis hubungan linear yang sempurna (multikolinearitas sempurna) dan hubungan linear kurang sempurna (multikolinearitas kurang sempurna). 1. Multikolinearitas Sempurna Untuk hubungan yang terdiri dari k peubah, mencakup peubah bebas X 1, X 2,, X k. Hubungan linear yang sempurna terjadi jika berlaku hubungan berikut: C 1 X 1 + C 2 X 2 + + C k X k = 0 (2.18) dengan C 1, C 2,, C k merupakan bilangan konstan dan tidak seluruhnya nol atau paling tidak ada satu yang tidak sama dengan nol, yaitu C j 0 ( j = 1,2,..., k ). 2. Multikolinearitas Kurang Sempurna Istilah multikolinearitas digunakan dalam arti lebih luas, yaitu mencakup hubungan linear sempurna dan juga dimana peubah-peubah bebas X interkorelasi tetapi tidak sempurna seperti hubungan berikut: C 1 X 1 + C 2 X 2 + + C k X k + ε i = 0 (2.19) dengan ε i : galat baku (standard error). Untuk mengetahui perbedaan antara multikolinearitas sempurna dan multikolinearitas kurang sempurna, dimisalkan C 2 0. Dapat ditunjukkan untuk setiap amatan ke-i persamaan (2.18) menjadi: X 2i = c 1 c 2 X 1i c 2 c 2 X 3i c k c 2 X ki (2.20)
19 yang menunjukkan bagaimana peubah bebas X 2i berhubungan linear secara sempurna dengan peubah lainnya secara keseluruhan atau bagaimana hubungan tersebut dapat diturunkan dari suatu hubungan linear antara peubah bebas-peubah bebas lainnya. Diasumsikan C 2 0, maka setiap amatan ke-i pada persamaan (2.19) menjadi X 2i = c 1 c 2 X 1i c 2 c 2 X 3i c k c 2 X ki 1 c 2 ε i (2.21) Persamaan diatas menunjukkan bahwa X 2i tidak berhubungan linear sempurna dengan peubah lainnya, sebab masih tergantung pada galat baku (ε i ) (Sumodiningrat, 2002). 2.6.2. Konsekuensi Multikolinearitas Terdapat beberapa masalah penting yang sering muncul apabila peubahpeubah bebas yang disertakan ke dalam model regresi berkorelasi satu sama lain (Neter et al, 1997) : 1. Pemasukan atau pengeluaran peubah bebas mengubah koefisien regresi. 2. Jumlah kuadrat ekstra yang berasal dari suatu peubah bebas berubah-ubah, bergantung pada peubah bebas mana yang sudah ada di dalam model. 3. Galat baku dugaan koefisien-koefisien regresi menjadi besar bila peubahpeubah bebas di dalam model regresinya saling berkorelasi tinggi satu sama lain. 4. Secara individual koefisien-koefisien regresi dugaan mungkin tidak nyata secara statistik walaupun tampak jelas adanya hubungan statistik antara peubah tidak bebas dengan peubah-peubah bebas.
20 Masalah-masalah ini juga bisa muncul meskipun tidak terdapat multikolinearitas, namun hanya dalam situasi yang sangat langka yang jarang ditemui dalam praktek. 2.6.3. Mendeteksi Adanya Multikolinearitas Menurut Neter et al (1997) terdapat beberapa diagnostik informal yang sangat bermanfaat untuk mendeteksi adanya multikolinearitas di samping diagnostik formal yaitu Variance Inflation Factor (VIF). Indikasi adanya masalah multikolinearitas yang serius ditunjukkan oleh diagnostik-diagnostik informal sebagai berikut: 1. Terjadi perubahan besar pada koefisien regresi dugaan bila suatu peubah bebas ditambahkan atau dibuang, atau bila suatu amatan diubah atau dibuang. 2. Uji-uji individu terhadap koefisien regresi bagi peubah-peubah bebas penting memberikan hasil yang tidak nyata. 3. Tanda koefisien regresi dugaan yang diperoleh bertentangan dengan yang diharapkan berdasarkan pertimbangan teoritis atau pengalaman sebelumnya. 4. Koefisien korelasi sederhana yang besar antara pasangan-pasangan peubah bebas di dalam matriks korelasi r xx. 5. Selang kepercayaan yang lebar bagi koefisien regresi peubah yang penting. Menurut Montgomery dan Peck (1991) langkah yang paling sederhana untuk mengukur adanya multikolinearitas adalah dengan melakukan pemeriksaan terhadap elemen-elemen di luar diagonal r ij (i j) dalam matriks korelasi X X, yang mana kolom dari X adalah hasil dari pemusatan dan penskalaan dari matriks X.
21 Jika peubah bebas X i dan X j mempunyai hubungan linear yang erat, maka r ij yang mengindikasikan korelasi berpasangan dari peubah-peubah bebas akan mendekati satu. Apabila dua peubah mempunyai nilai r ij = 0 berarti antara dua peubah tidak terdapat hubungan, tetapi jika dua peubah mempunyai r ij = +1 atau r ij = 1 maka kedua peubah tersebut mempunyai hubungan sempurna. Menurut Budiono dan Koster (2002), arti koefisien korelasi r ij adalah sebagai berikut: a. Jika 0,7 < r ij < 0,9 atau 0,9 < r ij < 0,7 maka terdapat kolinearitas sangat kuat b. Jika 0,5 < r ij < 0,7 atau 0,7 < r ij < 0,5 maka terdapat kolinearitas kuat c. Jika 0,3 < r ij < 0,5 atau 0,5 < r ij < 0,3 maka terdapat kolinearitas lemah d. Jika 0 < r ij < 0,3 atau 0,3 < r ij < 0 maka terdapat kolinearitas sangat lemah Metode informal yang dijelaskan diatas memiliki sejumlah keterbatasan. Metode ini tidak memberikan ukuran kuantitatif mengenai dampak multikolinearitas. Keterbatasan lain metode diagnostik informal adalah adakalanya perilaku yang teramati terjadi tanpa adanya multikolinearitas antar peubah bebas. Oleh karena itu perlu dilakukan diagnostik formal dalam mendeteksi adanya multikolinearitas yaitu Variance Inflation Factors (VIF). Suatu metode formal untuk mendeteksi adanya multikolinearitas pada regresi linear berganda adalah Variance Inflation Factors (VIF). VIF menunjukkan seberapa besar ragam koefisien regresi dugaan membesar di atas nilai idealnya, yaitu dimana diantara peubah-peubah bebasnya tidak terjadi korelasi linier (Neter et al, 1997).
22. VIF j = (1 R 2 j ) 1 (2.22) disebut sebagai Variance Inflation Factors (VIF) pada setiap bagian (untuk setiap 2 peubah bebas-j) dalam model. R j merupakan koefisien determinasi ganda dengan meregresikan x j dengan p-1 peubah bebas lainnya. Adapun batasan yang biasa digunakan untuk menyatakan bahwa peubah bebas sudah tidak terlibat dalam masalah multikolinearitas adalah 10 atau 5, tergantung kepada keputusan peneliti. Pada penelitian ini batasan yang dipilih peneliti adalah 5 agar lebih meyakinkan bahwa peubah-peubah bebas yang terlibat dalam model tidak terlibat dalam masalah multikolinearitas. Apabila terdapat satu atau lebih nilai VIF yang lebih besar dari batasan yang digunakan maka dapat disimpulkan terjadi masalah multikolinearitas. Selain itu, VIF juga dapat membantu mengidentifikasi peubahpeubah bebas yang mana yang terlibat dalam masalah multikolinearitas. 2.7 Ordinary Ridge Regression Salah satu metode yang dapat digunakan untuk menduga koefisien regresi dari model regresi linear berganda adalah metode kuadrat terkecil. Penduga kuadrat terkecilnya adalah: b px1 = (X X) 1 pxp X Y px1 Jika metode kuadrat terkecil diaplikasikan dalam data yang mengandung multikolinearitas maka dapat menyebabkan pendugaan koefisien regresi yang diperoleh tidak stabil dan tanda dari nilai dugaan koefisien regresi mungkin berbeda dengan tanda sebenarnya. Ini dikarenakan variansi yang dihasilkan besar yang juga mengakibatkan galatnya besar, sehingga metode kuadrat terkecil kurang
23 tepat untuk digunakan. Ordinary Ridge Regression merupakan salah satu cara untuk mengatasi multikolinearitas, tanpa membuang peubah bebas. Ordinary Ridge Regression diperkenalkan pertama kali oleh Hoerl dan Kennard [1970a,b]. Vektor dari penduga Ordinary Ridge Regression β R dibentuk dengan menambahkan konstanta bias positif yang kecil ke dalam persamaan normal kuadrat terkecil dengan X dan Y telah ditransformasi Centering dan Scaling: (X X + ki)β = X Y (2.24) sehingga penduga dari Ordinary Ridge Regression akan menjadi: β R = (X X + ki) 1 X Y (2.25) dimana k 0, jika k = 0 maka penduga Ordinary Ridge Regression akan bernilai sama dengan penduga kuadrat terkecil. Penduga ridge merupakan transformasi linear dari metode kuadrat terkecil saat: β R = (X X + ki) 1 X Y = (X X + ki) 1 (X X)β = Z k β (2.26) Oleh karena itu saat E(β R) = E(Z k β ) = Z k β, β R adalah penduga bias dari β. Oleh karena itu konstanta k sering disebut sebagai parameter bias (biasing parameter). Matriks kovarian dari penduga ordinary ridge (β R) adalah: V(β R) = σ 2 (X X + ki) 1 X X(X X + ki) 1 (2.27) Kuadrat tengah galat (MSE) dari penduga ridge (β R): MSE(β R) = Var (β R) + (bias dalam β R) 2
24 = σ 2 Tr[X X 1 X X(X X + ki) 1 ] + k 2 β (X X + ki) 2 β p λ j (λ j +k) 2 = σ 2 j=1 + k 2 β (X X + ki) 2 β (2.28) dimana λ 1, λ 2,, λ p adalah nilai eigen dari matriks X X. Persamaan p λ j (λ j +k) 2 σ 2 j=1 menyatakan jumlah dari ragam parameter-parameter pada β R dan k 2 β (X X + ki) 2 β menyatakan kuadrat dari bias. Jika k > 0, bias padaβ R meningkat seiring dengan kenaikan k. Sebaliknya, ragam menurun seiring kenaikan k. Ragam yang kecil pada penduga bias mengakibatkan β R menjadi penduga yang lebih stabil dibandingkan dengan penduga tak bias β (Montgomery, 1992). Pada Ordinary Ridge Regression, pemilihan nilai k berdasarkan pada nilai yang dapat mereduksi ragam lebih besar dibandingkan peningkatan kuadrat bias. Jika hal ini dapat dilakukan, maka MSE penduga ordinary ridge β R akan lebih kecil dibandingan dengan ragam dari penduga kuadrat terkecil β. Hoerl dan Kennard telah membuktikan bahwa terdapat sebuah nilai k 0 yang menyebabkan MSE dari β R lebih kecil dibandingkan ragam penduga kuadrat terkecil β, yang membuktikan bahwa β β terbatas. Jumlah kuadrat galatnya : SSE = (y Xβ R) (y Xβ R) = (y Xβ ) (y Xβ ) + (β R β )X X(β R β ) (2.29) (y Xβ ) (y Xβ ) merupakan jumlah kuadrat galat (SSE) dari penduga kuadrat terkecil β, dapat dilihat bahwa ketika nilai k meningkat, jumlah kuadrat galat (SSE) juga meningkat. Karena jumlah kuadrat total tetap, akibatnya R 2 menurun
25 seiring peningkatan k. Hal ini tidak terlalu menjadi masalah karena yang menjadi tujuan utama dari Ordinary Ridge Regression adalah mendapatkan penduga parameter yang stabil. Beberapa metode dalam menentukan nilai k (Chatterjee dan Hadi, 2006) adalah: 1. Fixed Point. Hoerl, Kennard, dan Baldwin (1975) mengusulkan menduga k dengan cara: k = pσ 2(0) p [β j (0)] 2 j=1 (2.30) dengan: r = jumlah peubah bebas β j(0) = penduga kuadrat terkecil untuk β j σ 2(0)= kuadrat tengah galat yang bersesuaian 2. Iterative Method. Hoerl dan Kennard (1976) menyarankan metode iteratif untuk memilih k. Dimulai dengan menduga k awal dalam persamaan (2.30). Nilai tersebut ditulis dengan k 0. Selanjutnya dihitung: k 1 = pσ 2(0) p [β j(k 0 )] 2 j=1 (2.31) selanjutnya gunakan k 1 untuk menghitung k 2 dimana: k 2 = pσ 2(0) p [β j(k 1 )] 2 j=1 (2.32) Ulangi proses ini hingga tidak ada perbedaan di antara kedua nilai k. 3. Ridge Trace. β j(k) sebagai fungsi dari k lebih mudah diamati dari ridge trace. Nilai k yang dipilih adalah nilai terkecil untuk memperoleh koefisien β j(k) yang stabil. Dalam memilih nilai k, jumlah kuadrat galat bernilai
26 minimum. Variance Inflation Factors, VIF j (k) juga bernilai kurang dari 5. VIF j (k) sebagai fungsi dari k merupakan unsur diagonal ke j dalam matriks (X X + ki) 1 X X(X X + ki) 1 (2.33) Contoh tampilan ridge trace dan plot VIF adalah sebagai berikut: Ridge Trace Standardized Betas 1.50 1.00 0.50 0.00 Variables X1 X2 X3 X4 X5-0.50 00000001.0000001.000001.00001.0001.001.01.1 1 K Gambar 2.1 Ridge Trace Data Kebutuhan Tenaga Kerja di 17 Rumah Sakit Angkatan Laut U.S
27 Variance Inflation Factor Plot VIF 10 4 10 3 10 2 10 1 Variables X1 X2 X3 X4 X5 10 0 10-1 10-2 Gambar 2.2 Plot VIF Data Kebutuhan Tenaga Kerja di 17 Rumah Sakit Angkatan Laut U.S Penelitian sebelumnya oleh Wulandari (2011) menggunakan ridge trace dalam memilih nilai k. 10-8 10-7 10-6 10-5 10-4 10-3 10-2 10-1 10 0 K 2.8 Generalized Ridge Regression Hoerl dan Kennard (1970a) mengusulkan pengembangan dari prosedur Ordinary Ridge Regression yang memungkinkan terdapat parameter bias (k) berbeda untuk setiap peubah bebas. Prosedur ini disebut Generalized Ridge Regression. Pembahasan mengenai Generalized Ridge Regression akan lebih sederhana apabila dilakukan transformasi terhadap data sehingga peubah bebas menjadi peubah bebas yang orthogonal (Montgomery dan Peck, 1991). Pertama-tama, asumsikan bahwa Λ merupakan matriks p p dimana anggota dari diagonal utamanya merupakan nilai eigen (λ 1, λ 1,, λ p ) dari matriks X X dan jika T p p merupakan matriks orthogonal dari vektor eigen yang bersesuaian dengan λ, maka
28 T X XT = Λ (2.34) Misalkan Z = XT (2.35) dan α = T β (2.36) Maka model linear persamaan regresi menjadi y = Xβ + ε = (ZT )(Tα) + ε = Zα + ε (2.37) Penduga kuadrat terkecil dari α merupakan solusi dari (Z Z)α = Z y (2.38) yang setara dengan Λα = Z y (2.39) Maka penduga kuadrat terkecil menjadi α = Λ 1 Z y (2.40) Vektor penduga parameter awal dapat dihitung dengan menggunakan persamaan (2.36) yaitu β = Tα (2.41) Mengacu kepada persamaan (2.37) sebagai bentuk kanonik dari model, penduga generalized ridge merupakan solusi dari (Λ + K)α GR = Z y (2.42) dimana K merupakan matriks diagonal dengan anggota (k 1, k 2,, k p ). Koefisien generalized ridge pada model awal yaitu
29 β GR = Tα GR (2.43) Selanjutnya, pertimbangan untuk pemilihan parameter bias pada K berdasarkan pada nilai MSE. Kuadrat tengah galat (MSE) untuk generalized ridge regression yaitu MSE(β GR ) = E[(β GR β) (β GR β)] = E[(α GR α) (α GR α)] p λ j (λ j +k) 2 = σ 2 p λ j j=1 (λ j +k) 2 p α j 2 k j 2 + j=1 (2.44) (λ j +k) 2 σ 2 j=1 menyatakan jumlah dari ragam parameter yang diduga dan p α j 2 k j 2 j=1 menyatakan kuadrat dari bias. MSE diminimumkan dengan memilih (λ j +k) 2 k j = σ2 α 2, j = 1,2,, p (2.45) j Sayangnya k j optimal tergantung kepada parameter yang tidak diketahui yaitu σ 2 dan α j. Hoerl dan Kennard [1970a] menyarankan pendekatan iteratif untuk menentukan k j. Diawali dengan solusi kuadrat terkecil, didapatkan penduga awal untuk k j k j 0 = σ 2 α j2, j = 1,2,, p Pendugaan awal dari k j digunakan untuk menghitung pendugaan awal generalized ridge dari 0 α GR,j = (Λ + K 0 ) 1 Z y dimana K 0 = diag(k 0 1, k 0 2,, k 0 0 p ). Selanjutnya pendugaan awal α GR,j digunakan untuk menghitung pendugaan k j 1
30 k j 1 = σ 2 0 (α GR,j ) 2, j = 1,2,, p 1 1 Nilai k j ini dapat digunakan untuk menghitung pendugaan dari α GR,j dan seterusnya. Proses iterasi harus dilanjutkan hingga penduga parameter yang stabil didapatkan. Salah satu yang biasa digunakan untuk memastikan kestabilan yaitu kuadrat panjang vektor α GR α GR. Ketika kuadrat panjang vektor parameter yang diduga tidak mengalami perubahan yang signifikan dari iterasi i 1 ke iterasi i, maka hentikan proses iterasi. Setelah mendapatkan penduga koefisien regresi dari metode Generalized Ridge Regression, perlu dipastikan apakah peubah-peubah bebas yang terlibat dalam model sudah tidak terlibat masalah multikolinearitas dengan melihat nilai Variance Inflation Factors (VIF). VIF j (K) sebagai fungsi dari K merupakan unsur diagonal ke j dalam matriks (X X + K) 1 X X(X X + K) 1 (2.46) Apabila nilai VIF dari masing-masing peubah bebas yang dalam hal ini merupakan unsur diagonal ke j dalam matriks persamaan (2.46) sudah lebih kecil dari 5, maka dapat dipastikan bahwa peubah-peubah bebas yang terlibat dalam model sudah tidak terlibat masalah multikolinearitas.