BAB 2 LANDASAN TEORI

Transkripsi

1 8 BAB 2 LANDASAN TEORI 21 Regresi 211 Pengertian Persamaan Regresi Menurut Sir Francis Galton ( ), persamaan regresi adalah persamaan matematik yang memungkinkan kita meramalkan nilai-nilai atau variabel-variabel suatu peubah tak bebas dari nilai-nilai satu atau lebih peubah bebas (Walpole,1995,p340 ) Nilai peubah tak bebas dinyatakan dengan konotasi y dan nilai peubah bebas dengan konotasi x Kuat atau tidaknya hubungan variabel independen (X) dan variabel dependen (Y) diukur dengan suatu nilai yang disebut dengan koefisien korelasi, sedangkan besarnya pengaruh X terhadap Y, diukur dengan koefisien regresi Persamaan regresi juga menggambarkan relasi dari varabel-variabel yang ada didalamnya (Supranto,2001, p178) Di dalam pemakaiannya, variabel dependen (Y) ternyata juga dipengaruhi oleh faktor lain selain variabel independen (X) yang tidak dimasukkan kedalam persamaan tersebut Oleh karena persamaan dari regresi perlu untuk mengambarkan bentuk dari data dengan tepat, maka dimasukkanlah error ε ke dalam persamaan regresi tersebut Karena error itu tidak dapat dihilangkan sama sekali, maka resiko itu akan selalu ada Resiko hanya bisa diperkecil dengan memperkecil kesalahan (minimized error)

2 9 212 Pengertian Regresi Linear dan Regresi Non Linear Secara umum, regresi adalah suatu metode untuk meramalkan nilai harapan yang bersyarat Regresi dikatakan linear apabila hubungan antara peubah bebas dan peubah tak bebas adalah linear, sedangkan apabila hubungan antara peubah bebas dan peubah tak bebas tidak linear, maka regresi dikatakan regresi non linear Hubungan antara peubah bebas dan peubah tak bebas dapat dikatakan linear apabila diagram pencar data dari peubah-peubah tersebut mendekati pola garis lurus 213 Regresi Linear Sederhana 2131 Pengertian Regresi Linear Sederhana Regresi Linear Sederhana adalah suatu persamaan regresi di mana peubah bebasnya berbentuk skalar dan apabila diagram pencar data dari peubah-peubah tersebut mendekati pola garis lurus 2132 Persamaan Regresi Linear Sederhana Model Regresi Linear Sederhana dapat dinyatakan dalam persamaan : Y i = 0 + β1x i β + ε i (21) Keterangan : Y i : nilai peubah tak bebas pada percobaan ke-i β 0, β 1 : koefisien regresi X i : nilai peubah bebas pada percobaan ke - i є i : error dengan mean E{є i }=0 dan varians σ 2 {є i }= σ 2, є i & є j tidak berkorelasi

3 10 i : 1,,n 2133 Pendugaan Koefisien Regresi Linear Sederhana Metode Kuadrat Terkecil Biasa adalah suatu metode untuk menghitung koefisien regresi sampel (b 0 & b 1 ) sebagai penduga koefisien regresi populasi (β 0 & β 1 ), sedemikian rupa sehingga jumlah kesalahan kuadrat memiliki nilai terkecil Dengan bahasa matematik, dapat dinyatakan sebagai berikut : Model sebenarnya adalah Model estimasi adalah Y i = β 0 + β 1 X i + ε i Ŷ i = b 0 + b 1 X i Kesalahan error i adalah e i = Y i (b 0 + b 1 X i ) Jumlah kesalahan kuadrat adalah e 2 i = [Y i ( b 0 + b 1 X i )] 2 Jadi metode kuadrat terkecil adalah metode menghitung b 0 dan b 1 sedemikian rupa 2 sehingga e i minimum Caranya adalah dengan membuat turunan parsial 2 e i mula-mula terhadap b 0 kemudian terhadap b 1 dan menyamakannya dengan nol, sehingga kita dapat memperoleh rumus : b 1 n b0 = y b1 x XiYi Xi 2 n Xi ( Xi) = 2 Yi (22) (23)

4 11 gambar 2133 Fungsi linear persamaan regresi apabila digambarkan akan tampak seperti Gambar 2133 Fungsi Y i = b 0 + b 1 X i b 0 dan b 1 adalah konstanta yang harus diestimasi, ε i adalah error yang harus diminimalkan 214 Regresi Linear Berganda 2141Pengertian Regresi Linear Berganda Regresi Linear Berganda adalah regresi yang meramalkan hubungan antara satu variabel peubah tak bebas dengan dua atau lebih variabel peubah bebas, yang akan ditentukan hubungan antara Y dan X 1, X 2,X k

5 Persamaan Regresi Linear Berganda Untuk meramalkan Y, apabila semua nilai peubah bebas diketahui, dipergunakan persamaan regresi linear berganda Hubungan Y dan X 1, X 2,,X k yang sebenarnya adalah sebagai berikut : Y i = B 0 + B 1 X 1i + B 2 X 2i + + B k X ki + ε i ( untuk populasi ) Y i = b 0 + b 1 X 1i + b 2 X 2i + + b k X ki + ε i ( untuk sampel ) (24) Keterangan : b 0,b 1, b 2, b k ε i i : parameter / koefisien yang akan ditaksir : nilai peubah gangguan yang berkaitan dengan pengamatan ke-i : 1, 2, 3,, n Apabila dinyatakan dalam bentuk persamaan matriks, sebagai berikut : Y = X B + ε (25) Keterangan : Y, B, ε : vector X : matriks x

6 13 y 1 y 2 y 1 y n y 1 y 2 Y = B = ε = y 1 y n y 1 y 2 y 1 y n X = 1 X 11 X 21 X k1 1 X 12 X 22 X k2 1 X 1i X 2i X ki 1 X 1n X 2n X kn 2143 Metode Kuadrat Terkecil Biasa Ketika model regresi tidak mencapai prediksi dan estimasi yang diharapkan maka hasil yang didapat menjadi bias Residu jika terlampau besar dapat secara dominan mempengaruhi prediksi yang dinamakan outlier Outlier akan mempengaruhi standar error, sehingga selang kepercayaan menjadi melebar, estimasi tidak lagi konsisten Beberapa asumsi yang penting adalah sebagai berikut : 1 Nilai harapan setiap error sama dengan nol E(ε i ) = 0 untuk semua i 2 error yang satu tidak berkorelasi terhadap error lainnya E( ε i ) = 0 untuk i j, akan tetapi mempunyai varians yang sama homoskedastisitas untuk semua i 3 X 1, X 2,,X k merupakan bilangan riil, tanpa mengandung kesalahan Dengan perkataan lain, matriks merupakan himpunan angka-angka konstan(fixed number)

7 14 4 Matriks X mempunyai rank k < n Banyaknya observasi n harus lebih banyak dari banyaknya peubah, atau lebih banyak dari koefisien regresi parsial yang akan diestimasi Ŷ = b 0 + b 1 X 1 + b 2 X b k X k (26) Jika asumsi di atas dapat dipenuhi, maka penggunaan metode kuadrat terkecil sederhana akan menghasilkan Best Linear Unbiased Estimator terhadap koefisien B Dengan menggunakan metode Kuadrat Terkecil Biasa maka b 0 dan b 1 merupakan penduga tidak bias dan mempunyai varians minimum diantara semua penduga linear tak bias Misalkan b sebagai penduga β : Y = Xb + e e = Y - Xb ei = Yi - b 1 X i1 - b 2 X i2 - b k X ik (27) Maka jumlah pangkat dua simpangan yang harus diminimumkan : e 2 i = ( Yi - b 1 X i1 - b 2 X i2 - - b k X ik ) 2 Estimasi vektor β dengan menggunakan metode kuadrat terkecil, ialah vektor b sedemikian rupa sehingga jumlah kuadrat error adalah (28) Caranya ialah dengan menurunkan penurunan parsial e i 2 terhadap setiap komponen vektor b dan menyamakannya dengan 0

8 15 δ e 2 i / δb 1 = 2 ( Yi - - b 1 X i1 - b 2 X i2 - b k X ik ) (-X 1i ) = 0 δ e 2 i / δb 2 = 2 ( Yi - - b 1 X i1 - b 2 X i2 - b k X ik ) (-X 2i ) = 0 δ e i 2 / δb k = 2 ( Yi - - b 1 X i1 - b 2 X i2 - b k X ik ) (-X ki ) = 0 (29) Persamaan tersebut dapat disederhanakan menjadi : nb 0 + b 1 X 1i + b 2 X 1i X 2i + + b k X 1i X ki = Y i b 0 X 1i + b 1 X 1i 2 + b 2 X 1i X 2i + + b k X 1i X ki = X 1i Y i b 0 X 2i + b 1 X 1i X 2i + b 2 X 2i b k X 2i X ki = X 2i Y i b 0 X ki + b 1 X 1i X ki + b 2 X 2i 2 X ki + + b k X ki 2 = ki Y i menjadi : (210) Apabila dinyatakan di dalam bentuk matriks, persamaan normal di atas akan X T Xb = X T Y (211) Dengan demikian b sebagai penduga β dapat diperoleh melalui rumus : b = ( X X ) T 1 X T Y (212) untuk menyelesaikan persamaan secara matriks persamaan matriks

9 16 Pada dasarnya, nilai-nilai dari koefisien b j bervariasi, dan varians dari b j dalam bentuk vektor matrik adalah sebagai berikut : Var (b) = σ²(x T X) -1 (213) arena umumnya σ² tidak diketahui, maka σ² diduga dengan S e ², sehingga perkiraan varians (b) adalah Var (b) = S b ² = S e ²(X T X) -1 (214) dimana S e ² merupakan varians dari error yang dinyatakan dengan rumus berikut S e ² = e T e = Σ e i ² n-k-1 n-k-1 (215) dimana : n = banyaknya observasi k = banyaknya variabel bebas 2144 Standar Error Kesalahan baku regresi sama dengan simpangan baku (standard deviation) atau standar error dari kesalahan pengganggu, dinyatakan dengan S e = S e ² = 1 Σei2 n-k-1 (216) Jika matriks D = (X T X) -1, maka varians b j dapat dinyatakan dengan S bj ² = S e ² d jj (217) dimana d jj = elemen matriks D dari baris j dan kolom j yang terletak pada diagonal utama Simpangan baku dari bj adalah akar dari S bj ², dinyatakan dengan S bj = S ² bj (218)

10 Robust Regression Robust regresi menyediakan analisis alternatif dari metode Kuadrat Terkecil Biasa Dalam ruang lingkupnya, regresi robust memiliki ketahanan kuat terhadap outlier yang menjadi keistimewaan dari metode ini Salah satu alasan yang mungkin mengapa metode regresi robust membutuhkan waktu yang lama untuk untuk diterima adalah adanya beberapa metode bersaing yang salah diawal implementasinya Selain itu komputasi dalam regresi robust juga lebih rumit dari metode kuadrat terkecil sederhana dimana membutuhkan komputasi yang lebih intensif Alasan lain dari kurang terkenalnya regresi robust adalah beberapa paket software statistik gagal mengimplementsi metode ini(stromberg,2004) Pada tahun 1973, Huber memperkenalkan estimasi M untuk regresi, M pada estimasi M adalah tipe dari maximum likelihood Metode ini awalnya diperkirakan tahan terhadap outlier pada variabel response, akan tetapi ternyata tetap rentan terhadap pengaruh outlier Tahun 1980an, Least Median of Square dan Least Trimmed of Square muncul sebagai alternatif dari estimasi M Tipe-tipe dari regresi robust adalah least median of squares, least trimmed of squares, weighted least squares,dan metode-metode lainnya Menurut Staudte dan Sheather(1990,p 92), estimasi yang resistant(kuat) adalah sesuatu yang secara relatif tidak terpengaruh oleh perubahan besar pada bagian yang kecil dari data atau perubahan kecil pada bagian yang besar pada data Jadi jika estimasi mendapat pengaruh kuat dari outlier maka hasil yang didapat tidak akan secara tepat mewakili estimasi Penggunaan umum dari regresi robust adalah pada data yang terdapat outlier

11 18 Deteksi outlier mencakup determinasi dimana residu(error = prediksi hasil aktual) adalah nilai positif atau negatif ekstrim) Outlier dapat benar-benar mengacau pada sample mean akan tetapi memili efek relatif kecil pada sample median Tipe dari outlier tidak dapat dengan mudah dibedakan walaupun dengan menggunakan definisi matematis Menurut Rousseeuw dan Zomeren (1990), Outlier adalah realitas yang empiris, akan tetapi definisi exact adalah lebih sukar dipahami daripada pendefinisian exact pada kluster Tipe-tipe dari outlier diantaranya adalah: 1 Outlier regresi adalah sebuah poin yang menyimpang dari hubungan kelinearan ditentukan dari (n-1) poin yang lainnya, atau paling tidak dari mayoritas dari poinpoin tersebut 2 Outlier residu adalah sebuah poin yang memiliki standarisasi residu yang besar ketka digunakan dalam perhitungan Kita dapat membedakan antara outlier regresui dan outlier residu, sebuah poin dapat menjadi sebuah outlier regresi tanpa menjadi sebuah outlier residu (jika poin tersebut memiliki pengaruh) dan sebuah poin dapat saja sebagai outlier residu tanpa menjadi bukti yang kuat bahwa poin tersebut juga merupakan outlier regresi 3 Outlier x adalah sebuah poin yang menyimpang hanya pada koordinat x Sepertinya poin tersebut dapat menyebabkan estimasi regresi robust menjadi kurang baik, akan tetapi estimasi robust yang paling modern tidak terpengaruh dengan adanya outlier xsebuah outlier x dapat juga adalah outlier regresi atau outlier residu

12 19 4 outlier y adalah sebuah poin yang menjadi pencilan karena memiliki koordinat y yang ekstrim Cara dan tingkat dimana outlier tersebut dapat mengakibatkan pengaruh pada estimasi parameter akan tergantung pada koordinat x dan konfigurasi umum dari poin-poin lainnya Poin tersebut juga mungkin saja merupakan outlier regresi atau outlier residu 5 outlier x dan y adalah sebuah poin yang menyimpang pada kedua koordinat dan mungkin saja merupakan outlier regresi atau outlier residu, atau outlier tersebut memiliki efek yang kecil atau bahkan tidak memiliki efek apa-apa pada perhitungan regresi Faktor tetapnya adalah konfigurasi dari poin-poin lainnya Dalam tulisan-tulisan mengenai regresi robust, umumnya regresi robust digunakan ketika nilai regresor telah ditetapkan (fixed regresor), fixed regresor adalah kasus spesial dalam regresi robust Pengembangan historis pada banyak kelas-kelas dalam estimasi regresi robust diikuti oleh Rousseeuw dan Leroy (1987) yang kemudian mengemukakan ide dari meminimalisasi jumlah nilai-nilai absolut dari residu Walaupun estimasi didapatkan dari penggunaan dari krriteria yang ridak terlalu dipnegaruhi oleh outlier y, tetapi dpat juga dipengaruhi secara kuat oleh outlier x Persentase terkecil dari data yang kurang baik yang menyebabkan garis persamaan regresi kurang baik disebut sebagai poin pengganggu (breakdown point) Poin pengganggu (breakdown point) dari estimasi adalah hanya 1/n Konsep penting lain dari regresi robust adalah efisiensi, ketika data set mengandung outlier, kita dapat menggunakan efisensi dari estimasi robust ketika Kuadrat Terkecil Biasa hanya hanya dapat diaplikasikan poin-poin data yang baik Tujuan penting dari estimasi robust adalah kita ingin sebuah estimator adalah :

13 20 - dapat membuat estimsi sebaik metode kuadrat terkecil - untuk menciptakan perhitungan yang lebih baik dari metode kuadrat terkecil ketika hasil dari Kuadrat Terkecil Biasa tidak mewakili dengan baik - tidak terlalu sulit untuk dihitung dan dimengerti 2151 Metode Kuadrat Median Terkecil Least Median of Squares (Rouseseeuw, 1984) adalah adalah salah satu metode estimasi dari keluarga robust regression Metode ini melakukan perhitungan dengan menghilangkan pengaruh-pengaruh dari residu Menurut Venables dan Ripley (1999), algoritma ini meminimalkan median(nilai tengah) dari kuadrat residu terurut Gambar disebelah kiri adalah sebuah foto jalan secara aerial dari atas (garis hitam tebal) Pada panel (b), kuadrat terkecil menentukan garis persamaan akan tetapi jalan tersebut tidak tertangkap dengan baik oleh garis putih Pada panel (c) juga terdapat garis, akan tetapi bukan menggunakan algoritma OLS, metode pendekatan yang digunakan adalah Kuadrat Median Terkecil Gambar 2146 indentifikasi jalan

14 21 Hawkins (1993) menyatakan bahwa, kriteria dari metode Kuadrat Median Terkecil adalah metode analisis standar dari data ketika adanya kemungkinan banyaknya data outlier, dimana estimasi terhadap banyaknya nilai pengganggu tetap dimungkinkan Minimalisasi dilakukan pada urutan nilai residu kuadrat, dimana h= [n/2]+[(p+1)/2], n adalah ukuran dari sampel, p adalah jumlah dari parameter random Garis yang dibentuk oleh metode Kuadrat Median Terkecil tidak akan merespon seperti halnya garis dari metode Kuadrat Terkecil Biasa terhadap outlier Hal ini dapat ditunjukkan dari ketahanannya dari poin pengganggu sampai sebesar 50% dari data 216 Masalah Regresi Linier Berganda Di dalam regresi linier berganda dapat terjadi beberapa keadaan yang dapat menyebabkan estimasi koefisien regresi tidak lagi menjadi penduga koefisien tak bias terbaik Beberapa masalah / kondisi yang dapat terjadi pada regresi linier berganda adalah sebagai berikut : 2161 Otokorelasi Di dalam suatu model regresi, dianggap bahwa kesalahan pengganggu εi,di mana i = 1,2,3,,n merupakan variabel acak yang bebas Dengan kata lain bahwa kesalahan observasi yang berikutnya diperoleh secara bebas terhadap kesalahan sebelumnya Artinya E(ε i,ε i+r ) = 0, untuk semua i dan semua r 0 Apabila asumsi tersebut tidak berlaku, maka akan terdapat banyak kesukaran di dalam analisis ekonomi Jika terjadi suatu otokorelasi, maka apabila metode kuadrat

15 22 terkecil diterapkan untuk memperkirakan parameter / koefisien regresi, maka penduga penduga yang dihasilkan bukan lagi penduga tak bias yang terbaik Selain itu, apabila terjadi otokorelasi di antara kesalahan pengganggu maka pengujian nyata berdasarkan statistik uji t dan F sebetulnya tidak berlaku lagi Solusi untuk masalah otokorelasi adalah data asli harus ditransformasikan terlebih dahulu untuk menghilangkan otokorelasi di antara kesalahan pengganggu tersebut Untuk menguji ada tidaknya otokorelasi dapat menggunakan Statistik d Durbin- Watson (The Durbin-Watson d Statistics) 2162 Heterokedastisitas Apabila matriks ragam (variance) kesalahan adalah sebagai berikut : Dan apabila beberapa elemen pada diagonal utama tidak sama dengan satu (Vii 1), maka kesalahan pengganggu tersebut disebut heteroskedastis Dengan kata lain kesalahan pengganggu merupakan variabel bebas, tetapi kesalahan pengganggu tersebut mempunyai varians yang berbeda untuk setiap nilai X yang berbeda, di mana X merupakan variabel bebas Cara untuk mengatasi masalah heterokedastisitas adalah mengubah matrik kovarian menjadi matrik yang memenuhi homokedastisitas

16 Multikolinieritas Multikolinieritas adalah masalah yang timbul pada regresi linier apabila terdapat suatu hubungan atau ketergantungan linier di antara beberapa atau semua dari peubahpeubah bebas Jika peubah-peubah bebas tersebut saling berkorelasi, maka akan sangat sulit untuk memisahkan pengaruh mereka masing-masing terhadap peubah tak bebas dan untuk mendapatkan penaksir yang baik bagi koefisien-koefisien regresi Akibat dari multikolinieritas adalah : a Apabila hubungan tersebut sempurna, maka koefisien regresi parsial tak akan dapat diestimasi b Apabila hubungan tersebut tidak sempurna, maka koefisien regresi parsial masih dapat diestimasi, tetapi kesalahan baku dari penduga koefisien regresi parsial sangat besar Hal ini menyebabkan pendugaan/ramalan nilai Y dengan menggunakan X 1 dan X 2 kurang teliti 22 R Language R Language adalah system komputasi menggunakan manipulasi data, kalkulasi dan tampilan grafik dan dapat digunakan untuk implementasi pengujian-pengujian statistika, analisi deret, akses pada bahasa pemrograman lain dan fasiliatas perbaikan kesalahan Dapat dijalankan dalam lingkungan system UNIX, Windows, dan MacOS

17 24 R Language merupakan implementasi dari S Language yang dikembangkan oleh Bell Laboratories oleh Rick Becker, John Chambers dan Allan Wilks pada tahun 1980, dan sejak itu telah dipakai secara luas oleh komunitas statistika R Language telah banyak dikembangkan untuk analisis data interaktif ke dalam paket-paket yang dapat diperoleh secara gratis Bahasa pemrograman ini merupakan high level language sehingga cukup mudah untuk dipahami dan dipelajari, memiliki fasilitas pengaturan dan penyimpanan data yang efektif R Language juga menyediakan operator untuk perhitungan matriks dan array, selain itu dalam analis data R Language dapat menyediakan tampilan analisis data dalam bentuk grafik R Language memiliki banyak kesamaan dengan bahasa S, namun perbedaan mendasar adalah software S bersifat komersial R Language dapat diperoleh dari Versi terbaru dari R Language adalah R-231 yang terbit pada 1 Juni 2006 Penelitian ini menggunakan versi R terbaru R menyediakan banyak paketpaket fungsi yang dapat digunakan dalam pemodelan statistika