BAB II TINJAUAN PUSTAKA 2.1 Analisis Regresi Linier Berganda Analisis regresi pertama kali dikembangkan oleh Sir Francis Galton pada abad ke-19. Analisis regresi dengan satu peubah prediktor dan satu peubah respon disebut analisis regresi linier sederhana sedangkan analisis regresi yang melibatkan lebih dari satu peubah prediktor dengan satu peubah respon disebut analisis regresi linier berganda. Analisis regresi linier berganda merupakan analisis yang digunakan untuk menyelidiki hubungan di antara dua atau lebih peubah prediktor X terhadap peubah respon Y. Analisis regresi juga digunakan sebagai peramalan sehingga peubah respon Y dapat diramalkan dari peubah prediktor X, apabila peubah prediktornya diketahui (Neter et al., 1997). Bentuk hubungan antara peubah respon dengan peubah prediktor dapat dinyatakan dalam bentuk persamaan regresi atau model regresi. Model regresi merupakan sebuah persamaan yang menggambarkan pola hubungan statistik antara peubah prediktor dengan peubah respon. Pola hubungan yang dijelaskan oleh model regresi dapat berupa hubungan linier, hubungan kuadratik, eksponen dan lainnya. Model yang dihasilkan oleh regresi linier berganda adalah: Y i = β 0 + β 1 X i1 + + β p 1 X ip 1 + ε i (2.1) Persamaan (2.1) dapat ditulis dengan notasi matriks yaitu: Y n 1 = X n p β p 1 + ε n 1 (2.2)
dengan: Y 1 Y Y n 1 = [ 2 ], X n m = Y n ε 1 ε 2 ε n 1 = [ ] ε n dengan: 1 X 11 X 12 X 1p 1 1 X 21 X 22 X 2p 1, β m 1 = [ [ 1 X n1 X n2 X np 1] Y = vektor peubah respon dari amatan i = 1,2,3,, n n = banyaknya amatan β = vektor parameter dengan m = 0,1,2,, p 1 p = banyak parameter X = matriks peubah prediktor β 0 β 2 β p 1 ], dan ε = vektor peubah acak normal bebas dengan nilai harapan E{ε} = 0 dan matriks ragam σ 2 {ε} = σ 2. 2.2 Metode Kuadrat Terkecil Metode kuadrat terkecil (MKT) adalah salah satu metode yang sering digunakan dalam teknik analisis regresi yang bertujuan untuk meminimumkan jumlah kuadrat galat (ε i ) sehingga nilai penduga parameternya akan mendekati nilai yang sesungguhnya. Dalam menaksir suatu model regresi, MKT sering digunakan selain karena perhitungannya yang mudah dan sederhana, metode MKT juga memenuhi sifat
Best Linier Unbiased Estimator (BLUE) terhadap koefisien β, apabila asumsinya terpenuhi. Menurut Burke (2010) adapun asumsi yang harus terpenuhi di antaranya: 1. Model harus linier dalam parameter. 2. Datanya merupakan sampel acak dari populasi. 3. Peubah prediktor tidak berkorelasi kuat (multikolinieritas). 4. Peubah prediktor diukur dengan sangat tepat sehingga error (tingkat kesalahan) bisa diabaikan (dianggap tak ada). 5. Nilai yang diharapkan dari residualnya selalu nol, E(ε) = 0. 6. Residual memiliki varians yang konstan (varians homogen), misalkan var(ε) = σ 2 7. Residualnya berdistribusi normal, ε~n(0, σ 2 ). Unbiased artinya tidak bias atau nilai harapan dari penduga sama atau mendekati nilai parameter yang sebenarnya. Misalkan β adalah estimasi dari parameter β, maka: Bias{β } = E{β } β (2.3) Atau dengan kata lain penduga β bagi parameter β dikatakan unbiased jika (Neter et al., 1997): E{β } = β (2.4) Estimasi yang baik adalah estimasi yang menghasilkan nilai bias yang rendah atau kecil. Semakin besar nilai bias yang dihasilkan, maka semakin jauh penyimpangan dari nilai yang sebenarnya. Penduga metode kuadrat terkecil merupakan penduga yang
unbiased jika asumsi-asumsinya terpenuhi. Hasil estimasi kuadrat terkecil akan bias ketika ada pengamatan yang bersifat pencilan (Irawan, 2013). 2.3 Pencilan atau Outlier Pencilan atau outlier merupakan suatu data yang pengamatannya berada jauh dari sekumpulan data amatan lainnya (Neter et al., 1997). Pencilan merupakan pengamatan yang dapat diidentifikasi secara jelas yang berbeda dari pengamatan lain, namun data pencilan dapat menunjukkan karakteristik dari populasi. Pencilan dapat menimbulkan kesulitan dalam metode kuadrat terkecil (MKT). Bila terdapat pencilan, peneliti akan curiga bahwa amatan tersebut berasal dari suatu kesalahan atau pengaruh luar yang lain, dan oleh karenanya harus dibuang. Alasan untuk membuangnya adalah bahwa di dalam metode kuadrat terkecil, garis regresi dugaannya akan ditarik secara tidak proporsional ke arah pencilan. Akan tetapi, bisa jadi pencilan mengandung informasi yang penting, bila pencilan itu merupakan akibat dari interaksi dengan peubah bebas lain yang tidak disertakan di dalam model (Neter et al., 1997). Adapun jenis-jenis pencilan menurut (Chen, 2002) yaitu: 1. Pencilan pada peubah Y Adanya pencilan pada peubah respon akan berpengaruh pada pendugaan parameter intersep. 2. Pencilan pada peubah X atau leverage point Pencilan pada peubah X dapat diklasifikasikan menjadi: a. Good leverage point
Amatan pencilan pada peubah bebas berada dekat dengan garis regresi dugaan. Pencilan ini tidak berpengaruh dalam pendugaan parameter. b. Bad leverage point Amatan pencilan pada peubah bebas berada jauh dari garis regresi dugaan. Apabila terdapat bad leverage point dalam amatan maka akan memberikan pengaruh pada proses pendugaan parameter, β. 3. Pencilan pada peubah X dan peubah Y Pencilan pada peubah prediktor dan peubah respon dapat memengaruhi proses pendugaan parameter, baik slope maupun intersep. 2.4 Multikolinearitas Multikolinearitas atau kolinearitas ganda merupakan suatu kondisi bila peubahpeubah prediktor saling berkorelasi (Neter et al., 1997). Variance Inflation Factor (VIF) merupakan salah satu uji yang digunakan untuk mendeteksi adanya multikolinearitas pada pengamatan. VIF dapat menginterpretasikan akibat dari korelasi antar peubah prediktor ke-i pada ragam penduga koefisien regresi. Perhitungan VIF sebagai berikut: VIF i = 1 1 R i 2 ; i = 1,2,, p 1 (2.5) Nilai VIF = 1 bila R i 2 = 0, dengan kata lain bila X i tidak berhubungan linear dengan peubah-peubah X lainnya. Nilai R i 2 menunjukkan nilai korelasi antar peubah, kenaikan korelasi antar peubah akan mengakibatkan kenaikan nilai VIF yang
menunjukkan terjadinya multikolinearitas. Jika nilai VIF melebihi 5, maka ini menunjukkan adanya masalah multikolinearitas antar peubah prediktor. 2.5 Uji Anderson-Darling Uji Anderson-Darling digunakan untuk menguji apakah sampel data berasal dari populasi dengan distribusi tertentu (Fallo et.al., 2013). Uji Anderson-Darling memiliki keuntungan yang memungkinkan tes yang lebih sensitif, tetapi kelemahannya adalah nilai-nilai kritisnya harus dihitung untuk setiap distribusinya. Misalkan x 1, x 2, x n adalah data yang ingin diuji distribusi normalnya dengan tingkat signifikan α maka uji Anderson-Darling diperoleh dengan rumus: dengan: dengan: A = n 1 n (2i 1){lnF(Z n i=1 i) + ln[1 F(Z n+1 i )]} (2.6) Z i = x i x s A = statistik uji Anderson-Darling n = ukuran data x i = data terurut dari 1,2,3,, n Z i = data x i yang dibakukan x = rata-rata s = standar deviasi data, i = 1,2,3, n (2.7) F(Z i ) = nilai fungsi distribusi kumulatif normal baku di Z i
Hipotesis dari uji Anderson-Darling adalah: H 0 : data pada sampel berasal dari populasi yang berdistribusi normal H 1 : data pada sampel berasal dari populasi yang berdistribusi tidak normal Keputusan tolak H 0 apabila nilai A lebih besar dari nilai kritisnya atau nilai p value lebih kecil dari α. 2.6 Regresi Robust Regresi robust merupakan metode yang mampu menghasilkan penduga parameter yang robust (kekar) terhadap pencilan. Regresi ini digunakan ketika galat berdistribusi tidak normal karena adanya pencilan. Adapun beberapa regresi robust diantaranya metode Minimum Covariance Determinant (MCD) dan metode Least Median of Squares (LMS). 2.6.1 Minimum Covariance Determinant (MCD) Minimum Covariance Determinant (MCD) diperkenalkan oleh Rousseeuw dan Van Driessen pada tahun 1985. Prinsip metode MCD adalah dengan menggunakan vektor rata-rata dan matriks kovarians yang didapat dari penduga MCD untuk menentukan bobot dari setiap data, sehingga didapat penduga parameter model MCD. Menurut Hubert & Debruyne, (2010) metode ini membentuk suatu subsampel H yang berukuran h dari sampel berukuran n amatan dengan h n yang matriks kovariansnya memiliki determinan terkecil diantara semua kombinasi kemungkinan data dengan: n+p+1 h n (2.8) 2
dengan: x = fungsi floor yang akan mengembalikan bilangan bulat (Z) terbesar yang tidak lebih besar dari bilangan real (R) x n p = banyak amatan = banyak peubah prediktor Metode MCD mencari subsample berukuran h sebanyak C n h, dan untuk nilai vektor rataan V MCD dan matriks kovarians S MCD diberikan: V MCD = 1 x h i H i (2.9) S MCD = 1 [x h i H i V MCD ][x i V MCD ] T (2.10) dengan: x i h = pengamatan ke-i = subsampel V MCD = vektor rataan S MCD = matriks kovarians x T = transpose pada matriks x Kemudian untuk menghitung jarak mahalanobis yang kekar diperoleh dengan rumus: RD(x i ) = (x i V MCD ) T S 1 MCD (x i V MCD ) (2.11) Pada metode MCD dibutuhkan algoritma Fast MCD agar meminimalisasi waktu komputasi perhitungannya (Rousseeuw & Driessen, 1999). Langkah-langkah penduga MCD dengan Fast MCD:
1. Ambil himpunan bagian dari matriks X secara acak, misalkan himpunan bagian tersebut H 1 dengan jumlah elemen sebanyak h, dengan h = n+p+1. 2. Hitung vektor rataan V MCD dan matriks kovarians S MCD pada H 1 dengan persamaan (2.8) dan (2.9) yang dimisalkan V 1 dan S 1 serta hitung det (S 1 ) 3. Jika det (S 1 ) = 0 maka berhenti. Jika tidak maka hitung jarak mahalanobis kekarnya: 2 RD(x i ) = (x i V 1 ) T S 1 1 (x i V 1 ), i = 1,2,3,, n 4. Kemudian urutkan jarak mahalanobisnya dari urutan terkecil hingga terbesar. 5. Ambil elemen dari h pengamatan dengan jarak terkecil berdasarkan pada tahapan 4 untuk menjadi himpunan bagian H 2, ulangi tahapan 2 sampai tahapan 4 sehingga ditemukan himpunan bagian yang konvergen det (S i+1 ) = det (S 1 ). 6. Ulangi dari langkah 1 dengan mengambil himpunan H selanjutnya. 7. Ambil salah satu himpunan H yang memiliki nilai determinan matriks kovarians terkecil, kemudian cari nilai V MCD dan S MCD. 8. Berdasarkan anggota h tersebut, selanjutnya data diboboti: W i = { 1, jika (x i V MCD ) T S 1 MCD (x i V MCD ) 2 χ p;1 α 0, lainnya (2.12) 9. Berdasarkan pembobot W i dapat dibentuk matriks W MCD berukuran n n sebagai berikut:
w 11 w 12 w 1n w 21 w 22 w 2n W MCD = [ ] (2.13) w n1 w n2 w nn dengan entri matriks w ij = 0, dengan i j. Sehingga MCD dimodelkan dengan persamaan: β MCD = (X T W MCD X) 1 (X T W MCD Y) (2.14) 2.6.2 Least Median of Squares (LMS) Least Median of Squares (LMS) merupakan salah satu metode estimasi regresi robust. Menurut Rousseeuw (1984), metode ini meminimalkan median (nilai tengah) dari kuadrat residual (e i 2 ) dengan (e i 2 ) = (y i β 0 β 1 X i ) 2. M J = min{median (y i β 0 β 1 X i ) 2 } M J = min{median e i 2 } (2.15) Minimalisasi dilakukan pada urutan nilai residual kuadrat, dengan dengan: h i = subsampel n = banyak amatan p = banyak parameter h i = n+p+1 (2.16) 2 x = fungsi ceiling atas yang akan mengembalikan bilangan bulat (Z) terkecil yang tidak lebih kecil dari bilangan real (R) x
Pada proses perhitungan, nilai h i harus selalu dalam bentuk bilangan bulat. Oleh karena itu, jika nilai h i bukan dalam bentuk bilangan bulat maka dilakukan pembulatan ke atas (Parmikanti et al., 2013). Prinsip dasar dari metode LMS adalah dengan memberikan bobot w ii pada data sehingga data pencilan tidak mempengaruhi model parameter taksiran. Menurut Yingying (2009) dalam Dalimunthe (2010), bobot w ii dengan batas kesalahan α dirumuskan dengan ketentuan: w ii = { 1, jika e i/σ α 0, lainnya (2.17) dengan σ = 1,4826 [1 + 5 n p ] M J (2.18) Setelah bobot w ii dihitung, dapat dibentuk matriks W sebagai berikut: w 11 w 12 w 1n w 21 w 22 w 2n W = [ ] (2.19) w n1 w n2 w nn dengan entri matriks w ij = 0, dengan i j. Setelah terbentuk matriks W, maka penduga parameter regresi LMS dapat dihitung dengan menggunakan rumus: β LMS = (X T WX) 1 (X T WY) (2.20) 2.7 Bootstrap Bootstrap merupakan metode yang didasarkan pada simulasi data untuk keperluan inferensi statistik yang pertama kali diperkenalkan oleh Efron dan Tibshirani
tahun 1979. Metode bootstrap dilakukan dengan mengambil sampel dari sampel asli dengan ukuran sama dengan sampel asli dan dilakukan dengan pengembalian (Efron & Tibshirani, 1993). Sampel asli dalam metode bootstrap dipandang sebagai populasi. Istilah sampel asli digunakan untuk menyebut himpunan bagian yang pertama diambil dari populasi sebelum dilakukan resampling, yaitu proses pengambilan sampel kembali dari sampel yang telah diambil dari populasi. Sedangkan istilah sampel bootstrap (resample) digunakan untuk menyebut sampel yang telah diresampling dari sampel asli. Sampel asli dilambangkan dengan: x = {x 1, x 2,, x n } n = 1,2,3, (2.21) Sampel bootstrap: x = {x 1, x 2,, x B } B = 1,2,3, (2.22) x = {x 1, x 2,, x n } R e s a m p li n g x 1 x 2 x B Sx 1 Sx 2 Sx B Replikasi Bootstrap G Sampel asli Sampel bootstrap Gambar (2.1) Skema proses bootstrap (Efron & Tibshirani, 1993).
Bootstrap dapat digunakan untuk mengatasi permasalahan dalam statistika baik masalah data yang sedikit, data yang menyimpang dari asumsi maupun data yang tidak memiliki distribusi. Selain itu metode bootstrap juga digunakan untuk mengestimasi standard error dan selang kepercayaan dari suatu parameter populasi yang tidak diketahui (Efron & Tibshirani, 1993). Metode bootstrap tidak harus dibentuk dari asumsi statistik parametrik, dengan kata lain parameternya tidak harus mengikuti distribusi normal. Proses resampling bootstrap dilakukan dengan menggunakan bantuan progam komputer untuk mengestimasi nilai parameter dari masing-masing sampel mengingat besarnya jumlah resampling yang bisa mencapai ribuan kali sehingga sangat sulit untuk melakukan perhitungan secara manual. Menurut Efron dan Tibshirani, ada dua prosedur bootstrap yang bisa digunakan dalam regresi yaitu bootstrap residual dan bootstrap pairs. Prosedur bootstrap residual merupakan metode bootstrap yang proses resamplingnya diterapkan pada residual yang telah dihasilkan oleh model analisis regresi sedangkan bootstrap pairs yaitu melakukan bootstrap pada regresi dengan mempertahankan korelasi pasangan peubah X dan Y. Penduga bootstrap untuk bias dalam prosedur bootstrap residual didefinisikan sebagai: Bias B = 1 B β b β B b=1 (2.23) (Efron & Tibshirani, 1993).
Langkah-langkah dalam bootstrap residual (Sungkono,2013): 1. Menentukan nilai Y dari penduga parameter yang dihasilkan oleh model analisis regresi, diperoleh Y = Xβ (2.24) 2. Menentukan model regresi linier sehingga menghasilkan residual. Nilai residual yang diperoleh yaitu, e = Y Y. 3. Mengambil sampel bootstrap berukuran n dari e 1, e 2, e 3, e n secara random dengan pengembalian, diperoleh sampel bootstrap pertama e = (e 1, e 2, e n ). 4. Menghitung nilai bootstrap untuk Y dengan menambahkan e sehingga menghasilkan: Y = Xβ + e (2.25) 5. Menghitung koefisisen regresi untuk sampel bootstrap Y dengan X sehingga diperoleh β. 6. Ulangi langkah 2,3 dan 4 sesuai dengan jumlah replikasi yang diinginkan.