1 BAB I PENDAHULUAN 1.1 Latar Belakang dan Permasalahan Analisis regresi merupakan salah satu analisis yang paling populer dan digunakan secara luas. Analisis regresi diterapkan tidak hanya oleh para statistisi tetapi juga para ekonom, psikolog, sosiolog dan peneliti serta profesi lainnya yang berhubungan dengan prediksi dan peramalan. Analisis regresi adalah analisis yang dilakukan terhadap dua jenis variabel yaitu variabel independen (prediktor) dan variabel dependen (respon). Analisis regresi dilakukan untuk mengetahui ada tidaknya pengaruh variabel independen terhadap variabel dependen sehingga variabel dependen dapat ditaksir atau diramalkan berdasarkan variabel independen. Analisis regresi linear merupakan analisis regresi dengan hubungan antara variabel independen dan variabel dependen adalah linear. Berdasarkan jumlah variabel independen, analisis regresi linear dibedakan menjadi dua yaitu analisis regresi linear sederhana dan regresi linear ganda. Dengan regresi linear sederhana hanya memiliki satu variabel independen dan regresi linear ganda memiliki lebih dari satu variabel independen. Analisis regresi linear ganda sering digunakan dalam berbagai bidang karena suatu hal terjadi diakibatkan oleh beberapa faktor yang mempengaruhinya. Sebagai contoh, volume ekspor dipengaruhi oleh harga bahan baku, nilai mata uang, dan kondisi pasar. Kata regresi ini dikemukakan pertama kali oleh Francis Galton, seorang antropolog dan ahli meteorologi Perancis, dalam artikelnya Family Likeliness in Stature. Namun ada pula yang menyatakan istilah regresi muncul pada pidato Francis Galton di depan Section H of The British Association di Aberdeen pada tahun 1855 dan dimuat dalam Regression toward Mediocrity in Hereditary Stature (Draper and Smith, 1922). Dalam tulisannya, Galton membandingkan tinggi anak laki-laki dengan tinggi badan ayahnya. Galton meunjukkan bahwa tinggi badan anak laki-laki dari ayah yang tinggi setelah beberapa generasi cenderung mundur (regressed) mendekati nilai tengah populasi. Saat ini istilah 1
2 regresi telah digunakan dalam setiap jenis peramalan dan tidak harus berimplikasi suatu regresi nilai tengah populasi. Awal abad XIX, metode kuadrat terkecil (Least Square Method) dipopulerkan oleh Carl Friederich Gauss yang kemudian menjadi dasar analisis regresi klasik. Metode kuadrat terkecil adalah salah satu metode penaksiran parameter untuk menduga koefisien regresi. Serangkaian studi yang dilakukan para statistisi di tahun 1960-an telah menunjukkan bahwa dalam banyak kasus, regresi dengan menggunakan teknik kuadrat terkecil (Ordinary Least Square) seringkali memberikan hasil yang kurang tepat. Tidak jarang pula memberikan kondisi dimana asumsi-asumsi pada regresi klasik tidak terpenuhi. Asumsi regresi klasik yang harus dipenuhi diantaranya adalah; 1. ( ) 2. ( ) 3. ( ) 4. Tidak terjadi multikolinearitas Penaksiran koefisien regresi menggunakan metode kuadrat terkecil terkadang tidak bisa dilakukan dikarenakan adanya asumsi yang tidak terpenuhi, dalam hal ini tidak adanya multikolinaritas dan tidak adanya korelasi antar error. Multikolinearitas terjadi apabila terdapat hubungan linear antara beberapa atau bahkan semua variabel independen. Untuk menangani masalah multikolinearitas ini dapat dilakukan dengan berbagai cara diantaranya mengeluarkan beberapa variabel independen, analisis komponen utama (PCA), dan regresi ridge. Sementara untuk heteroskedastisitas, variansi error setiap observasi yang tidak konstan, bisa ditangani dengan estimasi parameter dengan menggunakan generalized least square. Dengan cara yang sama dengan mengatasi heteroskedastisitas, autokorelasi ( ( ) ) juga dapat ditangani melalui estimasi parameter dengan menggunakan generalized least square. Dalam analisis regresi ridge, penaksir atau estimator yang diperoleh merupakan estimator yang bias. Estimasi model pada analisis regresi ridge dapat dilakukan melalu banyak metode, salah satunya menggunakan Jackknifed Ridge Regression Estimator yang akan dibahas dalam skripsi ini.
3 1.2. Pembatasan Masalah Batasan masalah diperlukan guna menjamin keabsahan dalam kesimpulan yang diperoleh. Dengan berdasar pada latar belakang dan kajian-kajian pendukung, penulis memberikan rumusan dan batasan masalah sehubungan dengan kompleksnya masalah yang akan muncul dalam pembahasan. Dalam penelitian ini, penyimpangan asumsi klasik yang akan dibahas adalah terbatas pada masalah autokorelasi dan multikolinearitas dengan anggapan semua asumsi klasik yang lain terpenuhi. Penelitian ini difokuskan pada cara penanganan autokorelasi pada error serta multikolinearitas dengan menggunakan generalized least square dan memusatkan metode estimasi yang digunakan dalam regresi ridge ini terbatas pada Jackknifed Ridge Regression Estimator dengan menganggap asumsi klasik yang lain terpenuhi. 1.3 Tujuan dan Manfaat Penelitian Tujuan dari penelitian ini adalah memperkenalkan salah satu metode estimasi dalam regresi ridge yaitu Jackknifed Ridge Regression Estimator dalam mengatasi masalah multikolinearitas dan generalized least square dalam mengatasi autokorelasi. Manfaat dari penelitian ini adalah: 1. Memperoleh model persamaan yang menunjukkan adanya hubungan antara variabel independen dan variabel dependen yang memenuhi asumsi klasik, tidak adanya autokorelasi dan multikolinearitas. 2. Agar selanjutnya dapat dilakukan pengembangan metode estimasi dalam regresi ridge untuk menangani kasus multikolinearitas dan metode lain untuk menangani autokorelasi. 1.4 Tinjauan Pustaka Penulisan penelitian ini berangkat dari beberapa penelitian dengan tema serupa yang telah dilakukan. Penelitian tersebut salah satunya adalah Perbandingan Beberapa Metode untuk Menentukan Nilai k pada Regresi Ridge (Tarigan, 2010) yang membandingkan beberapa metode untuk memilih parameter
4 ridge atau bias konstan. Metode-metode tersebut antara lain metode Hoerl, Kennard dan Baldwin, metode McDonald dan Galarneau, Mallows, serta Lawless dan Wang. Metode-metode tersebut masih seputar analisis Ordinary Ridge Regression, yang menambahkan nilai yang sama ke dalam matriks korelasi X X. Hinkley (1977) dalam jurnalnya Jackknifing in unbalanced condition memperkenalkan metode regresi dengan mengeluarkan salah satu observasi kemudian menentukan pseudovalue untuk kondisi dimana masing-masing observasi yang dikeluarkan memliki bobot yang tidak sama atau yang disebut dengan unbalanced condition selanjutnya mengestimasi parameter dalam regresi dengan rata-rata dari pseudovalue. Khurana, Chaubey dan Chandra (2012) dalam tulisannya Jackknifing The Ridge Regression Estimator: A Revisit yang membahas metode jackknifing dalam regresi ridge dengan menggunakan cara yang sama dengan Hinkley, menentukan pseudovalue selanjutnya mengestimasi parameter dalam regresi dengan rata-rata dari pseudovalue. Kemudian Puri (2014) dalam skripsinya yang berjudul Aplikasi Generalized Ridge Regression untuk Menangani Masalah Multikolinearitas membahas pengembangan terhadap regresi ridge dengan modifikasi yaitu penambahan nilai yang berbeda ke dalam matriks korelasi X X. Firinguetti (1989) dalam tulisannya A Simulation Study of Ridge Regression Estimators with Autocorrelated Errors melakukan simulasi penerapan regresi ridge pada generalized least square untuk regresi linear dengan autokorelasi pada error dan multikolinearitas. Metode regresi ridge yang digunakan Firinguetti adalah Ordinary Ridge Regression dan Generalized Ridge Regression. Özkale (2008) dalam jurnalnya A Jackknifing Ridge Estimator in The Linear Regression Model With Heteroscedastic or Correlated Errors menjelaskan tentang penggunaan generalized least square dan selanjutnya menerapkan metode jackknifing dalam regresi ridge yang juga akan penulis angkat menjadi tema dalam skripsi ini. Dimana dilakukan pendugaan parameter menggunakan generalized least square pada model regresi linear yang selanjutnya
5 dilakukan regresi ridge dengan menambahkan nilai k yang sama ke dalam matriks korelasi X X, yang meminimumkan nilai rata-rata kuadrat error. Selanjutnya mengeluarkan satu observasi dan melakukan analisis regresi pada observasi dengan jumlah observasi berkurang satu kemudian mengambil rata-rata dari pseudovalue sebagai hasil estimasi. 1.5. Metode Penulisan Metode penulisan yang digunakan dalam penulisan skripsi ini adalah studi literatur berdasarkan sumber-sumber resmi seperti buku-buku, jurnal, dan artikelartikel yang mendukung tema penelitian yang diperoleh baik dari perpustakaan maupun situs internet. Penulisan skripsi ini juga ditunjang dengan bebrapa perangkat lunak dalam analisis data diantarnya software R, eviews 6 dan SPSS. 1.6 Sistematika Penulisan Penulisan skripsi ini disusun dengan sistematika penulisan sebagai berikut: BAB I PENDAHULUAN Bab ini berisikan latar belakang dan permasalahan, pembatasan masalah, tujuan dan manfaat penelitian, tinjauan pustaka, metode penulisan, dan sistematika penulisan. BAB II DASAR TEORI Bab ini membahas beberapa teori yang berkaitan dengan pembahasan pokok permasalahan seperti variabel random, ekspektasi, variansi, kovariansi, korelasi, matriks,operasi matriks, transpose matriks, invers matriks, matriks identitas,dekomposisi cholesky, nilai eigen dan vektor eigen, diagonalisasi, regresi linear, estimasi kuadrat terkecil, multikolinearitas, serta regresi ridge. BAB III JACKKNIFED RIDGE REGRESSION ESTIMATOR IN THE LINEAR REGRESSION MODEL WITH CORRELATED ERRORS Bab ini membahas tentang konsep penggunaan generalized least square untuk menangani masalah autokorelasi dan selanjutnya
6 BAB IV BAB V menerapkan metode jackknifing dalam regresi ridge yang dapat digunakan dalam mengatasi permasalahan multikolinearitas. STUDI KASUS Bab ini berisi tentang aplikasi transformasi dan metode Jackknifed Ridge Regression Estimator dalam mengestimasi koefisien regresi yang bias pada data. PENUTUP Bab ini berisi kesimpulan yang diperoleh dari pembahasan pada bab sebelumnya dan saran untuk pengembangan dalam penelitian selanjutnya