TINJAUAN PUSTAKA. Model Regresi Linier Ganda

Transkripsi

1 TINJAUAN PUSTAKA Model Regresi Linier Ganda Hubungan antara y dan X dalam model regresi linier umum adalah y = X ß + e () dengan y merupakan vektor pengamatan pada peubah respon (peubah tak bebas) berukuran (n x ) dan X adalah matriks berukuran (n x p) dengan p peubah bebas dan n pengamatan, ß adalah vektor koefisien regresi (parameter) berukuran (p x ) dan e adalah vektor sisaan berukuran (n x ). Model regresi linier umum memiliki asumsi baha: () ε i merupakan suatu peubah acak, ε i ~ N(0, σ ), () ε i dan ε j tidak berkorelasi, sehingga ragam-peragam ( ε i, ε j ) = 0, dengan i j (Draper & Smith 98). Metode kuadrat terkecil sering digunakan untuk menduga parameter. Penduga yang dihasilkan metode kuadrat terkecil tidak berbias, terbaik dan konsisten. Ragam penduganya bernilai minimum dibandingkan dengan ragam penduga tak bias lainnya. Penggunaan metode kuadrat terkecil ini peka terhadap penyimpangan asumsi-asumsi yang diperlukan, sehingga adanya pengamatan pencilan dalam data dapat mengakibatkan persamaan regresi yang diperoleh memiliki penduga yang tidak tepat (Aunuddin 989) Kolinieritas Kolinieritas pada regresi linier ganda terjadi karena adanya korelasi yang cukup tinggi di antara peubah bebas. Suatu metode formal untuk mendeteksi adanya kolinieritas adalah Variance Inflation Factors (VIF). VIF merupakan faktor yang mengukur seberapa besar kenaikan ragam koefisien regresi dugaan b k dibandingkan terhadap peubah bebas lainnya yang saling ortogonal. VIF diformulasikan dalam bentuk : VIF k = (Fox dan Monette 99) ( R k )

2 5 dengan R k adalah koefisien determinasi dari peubah bebas X k diregresikan terhadap semua peubah bebas X yang lainnya di dalam model. Nilai VIF yang lebih besar dari 0 mengindikasikan baha terjadi kolinieritas dalam data (Neter et al. 990). Pendeteksian Pencilan Pendeteksian pengamatan pencilan terhadap nilai-nilai X dapat digunakan matriks H (hat matrix) yang didefinisikan sebagai : H = X(X X) - X () Unsur ke- i pada diagonal utama matriks H dinamakan dalam matriks H dapat diperoleh dari nilai h ii = ' x i (X X) - n h ii berkisar antara 0 dan, dan h ii i= h ii. Unsur diagonal h ii di x i (3) = p, dengan p adalah banyaknya koefisien regresi di dalam fungsi termasuk konstanta (intercept) (Neter et al. 990). Unsur diagonal h ii dinamakan leverage ke-i yang merupakan ukuran jarak antara nilai X untuk pengamatan ke-i dan rataan X untuk semua pengamatan. Nilai h ii yang lebih besar dari p/n dinyatakan sebagai pengamatan pencilan dan berpengaruh. Nilai h ii yang semakin besar menunjukkan semakin besar potensinya untuk berpengaruh (Aunuddin 989). Pendeteksian pencilan juga dapat dilakukan dengan menggunakan nilai R- student (externally studentized residual) yang didefinisikan sebagai : t i = s y yˆ i i ( i ) dengan y i adalah nilai peubah respon pada pengamatan ke-i, h ii (4) ŷ i adalah nilai dugaan y pada pengamatan ke-i, s (-i) merupakan dugaan simpangan baku tanpa pengamatan ke-i. R-student menyebar mengikuti sebaran t-student dengan derajat bebas (n-p-). Suatu pengamatan dikatakan pencilan jika t > t (n-p-;α/) dalam taraf nyata α (Myers 990).

3 6 Pendeteksian Pengamatan Berpengaruh Pendeteksian pengamatan berpengaruh ditentukan berdasarkan nilai DFFITS dan Cook s D. Nilai DFFITS i merupakan suatu ukuran pengaruh yang ditimbulkan oleh pengamatan ke-i terhadap nilai dugaan ke-i dihapus. Nilai DFFITS i diperoleh dari rumus berikut : (DFFITS) i = yˆ i s ( i) yˆ i, i hii ŷ i apabila pengamatan (5) dengan ˆ adalah nilai dugaan y i tanpa pengamatan ke i. Suatu pengamatan yi, i dikatakan berpengaruh apabila nilai / p DFFITS i > (Myers 990). Cook s D merupakan suatu ukuran pengaruh pengamatan ke-i terhadap semua koefisien regresi dugaan. Pada Cook s D, pengaruh pengamatan ke-i diukur n oleh jarak D i. Jarak tersebut diperoleh dari rumus berikut : D i = ( b b ) ' ( X' X )( b b ) ps dengan b -i adalah vektor koefisien regresi dugaan tanpa pengamatan ke-i, b adalah vektor koefisien regresi dugaan termasuk pengamatan ke-i, p merupakan banyaknya parameter regresi di dalam model termasuk konstanta. Suatu pengamatan merupakan pengamatan berpengaruh apabila mempunyai nilai D > F (p; n-p; α) dengan taraf nyata α (Myers 990). (6) Pengaruh Lokal Teknik pengaruh lokal diperkenalkan oleh Cook (986) sebagai alat diagnosis umum untuk metode kemungkinan maksimum. Pada regresi linier ganda, metode pengaruh lokal berbeda dengan metode penghapusan (Cook s D). Metode pengaruh lokal digunakan untuk menaksir dampak pembobotan di titik pengamatan tertentu dalam suatu model, sedangkan Cook s D menaksir dampak pengahapusan di titik pengamatan tertentu dalam suatu model. Metode pengaruh lokal menyatakan baha pengamatan yang pembobotnya lebih besar adalah pengamatan paling berpengaruh.

4 7 Misalkan βˆ merupakan penduga kemungkinan maksimum dari model regresi linier ganda dari persamaan (), yang diperoleh dari fungsi kemungkinan maksimum L (β;y). Misalkan W adalah matriks pembobot berukuran n x p dituliskan sebagai berikut : W = M n n+ n + n O n + L 3n L L L p( n ) + p( n ) + Pembobot W dimasukkan ke dalam model sehingga model regresi linier ganda menjadi M pn y = (X+ W) ß + e (7) Misalkan βˆ merupakan penduga kemungkinan maksimum dari persamaan (7) yang diperoleh dari kemungkinan maksimum L (β;y). Misalkan dalam ruang pembobot terdapat pembobot yang tidak berarti 0 (pembobot nol) sehingga L 0 (β;y) = L (β;y), dengan demikian pembobot dapat ditulis sebagai = 0 + a v (8) dengan v meakili arah vektor dan a meakili jarak dari 0. Ukuran dari pembobot dinyatakan sebagai 0 = a (9) Ukuran dari pembobot pada pendugaan kemungkinan maksimum adalah perpindahan kemungkinan (LD) : LD () = [L ( βˆ ;y) L ( βˆ ; y)] (0) fungsinya mencapai nilai minimum nol pada pembobot nol. Penerapan pendekatan deret taylor orde kedua pada persamaan 0 menghasilkan dengan A & = LD() ½ a v A & v () L( βˆ ; y) ' 0, dengan 0 dinotasikan evaluasi pada β = βˆ, = 0 v A & v adalah matriks kuadrat yang menyatakan kurva normal dari grafik pengaruh di 0 mengarah ke v yang merupakan ukuran pembobot. Jika kurva mengarah ke v, t kali lebih besar mengarah ke v, maka pembobot = 0 + av, t kali lebih besar dibandingkan pembobot = 0 + av, oleh karena itu suatu

5 8 pembobot dikatakan berpengaruh jika pembobot pengamatan tersebut lebih besar dibandingkan pembobot pengamatan lainnya. terbesar yang bersesuaian dengan arah C yang merupakan kurva v, dapat dicari dengan menggunakan vektor ciri (eigenvector) dan akar ciri (eigenvalue) dari matriks A &. Matriks A & mempunyai r minimum (p,q) akar ciri λ λ... λ r 0 yang tidak nol, yang bersesuaian dengan vektor ciri v, v,..., v r dengan p adalah banyaknya peubah bebas dan q = n x p. Kurva terbesar adalah bersesuaian dengan arah C = λ, yang v = v. Kurva terbesar kedua adalah λ yang bersesuaian dengan arah v, atau dapat ditulis kurva terbesar ke-r adalah λ r yang bersesuaian dengan arah v r. matriks Untuk memperoleh pengaruh pada βˆ, Cook (986) menunjukkan baha A & yang berukuran np x np adalah : A & = (I p r - βˆ X) ((X X) - r - βˆ (X X) - X ) / σ () dengan menunjukkan perkalian kronecker. Matriks A & mempunyai p akar ciri yang tidak nol yaitu : λ j = (n/δ p-j+ + βˆ / σ ), j =,,, p (3) dengan δ j adalah akar ciri ke-j dari X X. Untuk j = diperoleh λ j = C C = (n/δ j + βˆ / ˆσ ) (4) Matriks didefinisikan sebagai berikut : A & mempunyai p vektor ciri yang bersesuaian dengan akar ciri [ ß] v ϕ p-j+ r - βˆ X ϕ p-j+, dengan j =,,, p (5) j dengan j j adalah vektor ciri ke-j dari X X dan vektor Z j = Xϕ j merupakan komponen utama ke-j. Komponen ini menjelaskan bagian terbesar dari keragaman yang dikandung oleh data. Komponen Z yang lain menjelaskan proporsi keragaman yang semakin kecil sampai semua keragaman datanya terjelaskan. Untuk j = maka v = j v v ϕ p r - ߈ Z p (6)

6 9 plot v terhadap nomor pengamatan akan mengidentifikasi x ij yang paling berpengaruh terhadp ߈ berdasarkan pencaran data yang jauh dari titik nol. Misalkan W dinotasikan sebagai ukuran pembobot dengan definisi : W [ϕ p r - βˆ Z p ϕ p r - βˆ Z p. ϕ pp r - p β Z p ] (7) ij dari W berpengaruh jika pengamatan ke-i sebuah pencilan ( r i besar) atau mempunyai leverage yang besar ( z pi besar). Pembobot yang ditambahkan pada data dapat mengubah penduga koefisien regresi linier ganda (Lesaffre & Verbeke 998). Nilai Pendeteksian Peubah Berpengaruh v digunakan untuk mendeteksi adanya peubah bebas berpengaruh. Nilai x ij pada v yang semakin besar menunjukkan semakin besar potensi peubah bebas ke-j untuk berpengaruh. Suatu peubah bebas dikatakan berpengaruh apabila nilai v untuk pengamatan tersebut lebih besar dari, dengan q menyatakan banyaknya anggota v dalam model yaitu sebesar q n x p (Littell at al. 003). Pendeteksian Pengamatan Pencilan dan Berpengaruh Pendeteksian pengamatan pencilan pada peubah bebas berpengaruh didasarkan oleh besarnya pengaruh dari setiap pengamatan (C i ) yang didefinisikan sebagai berikut : dengan 004). r C i = λ jν ji, i=,,, n (8) j= λ j dan ν ji akar ciri dan vektor ciri dari matriks A & (Zhu & Zhang

7 0 Suatu pengamatan dikatakan berpengaruh apabila ukuran pengaruh pengamatan (C i ) lebih besar dari (Lesaffre & Verbeke 998). n Ci n i= dengan n banyaknya pengamatan Regresi Komponen Utama Regresi komponen utama merupakan salah satu metode untuk mengatasi masalah kolinieritas dalam data. Regresi komponen utama bermula dari analisis komponen utama pada peubah bebas yang akan menghasilkan komponenkomponen utama dari peubah bebas yang saling ortogonal. Komponen utama inilah yang kemudian diperlukan sebagai peubah bebas. Masing-masing komponen utama tidak berkorelasi sehingga tidak ada kolinieritas diantara komponen utama tersebut. Jika semua komponen utama diikutkan dalam regresi komponen utama, model yang dihasilkan ekuivalen dengan metode kuadrat terkecil, namun varian penduga yang besar akibat multikolinieritas tidak tereduksi. Untuk mereduksi varian tersebut tidak semua komponen utama diikutkan dalam regresi komponen utama. Berikut ini algoritma dari regresi komponen utama (Jolliffe 986) : a. Menentukan peubah Xs hasil dari standarisasi peubah X. Xsij X ij X j S j =, i =,,3,..., n dan j =,,3,..., p. b. Menentukan akar ciri dari persamaan Xs Xs - λi = 0. c. Menentukan nilai vektor ciri ϕ j dari setiap akar ciri λ j melalui persamaan (Xs Xs-λ j I) ϕ j = 0. d. Menentukan komponen utama Z j melalui prosedur seleksi akar ciri λ j, Z j = ϕ j Xs + ϕ j Xs ϕ rj Xs r, di mana r < p dan r adalah banyaknya komponen yang terpilih. e. Regresikan komponen utama Z, Z, Z 3,..., Z r dengan peubah respon y. f. Menghitung nilai ŷ

8 g. Melakukan transformasi model regresi dari ŷ = f (Z) ke ŷ = f (Xs) melalui suatu hubungan b = j j * a b = adalah penduga koefisien regresi ŷ = f (Z) a = adalah penduga koefisien regresi ŷ = f (Xs) j j = adalah vektor ciri dari komponen yang ke-j