SKRIPSI WANDA SURIANTO

Transkripsi

1 ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA SKRIPSI WANDA SURIANTO DEPARTEMEN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2016

2 ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA SKRIPSI Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Sains WANDA SURIANTO DEPARTEMEN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2016

3 PERSETUJUAN Judul : ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA Kategori : SKRIPSI Nama : WANDA SURIANTO Nomor Induk Mahasiswa : Program Studi : SARJANA (S1) MATEMATIKA Departemen Fakultas : MATEMATIKA : MATEMATIKA DAN ILMU PENGETAHUAN ALAM (FMIPA) UNIVERSITAS SUMATERA UTARA Disetujui di Medan, Agustus 2016 Komisi Pembimbing : Pembimbing 2, Pembimbing 1, Drs. Ujian Sinulingga, M.Si Dr. Pasukat Sembiring, M.Si NIP NIP Disetujui Oleh Departemen Matematika FMIPA USU Ketua, Prof. Dr. Tulus, M.Si. Ph.D NIP i

4 PERNYATAAN ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA SKRIPSI Menyatakan dengan sebenarnya bahwa skripsi yang saya serahkan ini benar-benar merupakan hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya. Medan, Agustus 2016 WANDA SURIANTO ii

5 PENGHARGAAN Puji dan syukur penulis panjatkan kehadirat Allah swt yang telah melimpahkan rahmat dan hidayah-nya kepada penulis, sehingga penulis dapat menyelesaikan skripsi ini tepat pada waktunya. Skripsi dengan judul Analisis Perbandingan Regresi Komponen Utama dan Regresi Ridge untuk Mengatasi Masalah Multikolinieritas pada Model Regresi Linier Berganda. Salawat dan salam semoga selalu tercurahkan kepada Nabi Muhammad saw, yang telah memberikan contoh teladan sebagai pedoman hidup bagi seluruh umat manusia. Dalam menyelesaikan skripsi ini, banyak pihak yang telah membantu penulis baik moral maupun spiritual sehingga skripsi ini dapat selesai tepat pada waktunya. Untuk itu, penulis menyampaikan ucapan terima kasih yang sebesarbesarnya dan penghargaan yang setinggi-tingginya kepada: 1. Bapak Dr. Pasukat Sembiring, MSi dan Bapak Drs. Ujian Sinulingga, M.Si selaku dosen pembimbing yang senantiasa membantu dan mengarahkan saya dalam menyelesaikan skripsi ini. 2. Bapak Drs. Pengarapen Bangun, M.Si dan Bapak Drs. Gim Tarigan, M.Si selaku dosen pembanding yang memberikan kritik dan saran yang membangun dalam menyelesaikan skripsi penulis. 3. Bapak Dr. Kerista Sebayang, M.S selaku Dekan FMIPA Universitas Sumatera Utara. 4. Seluruh Bapak dan Ibu dosen yang telah mendidik penulis selama menjalani pendidikan dan Staf pegawai di Fakultas Matematika Dan Ilmu Pengetahuan Alam USU Medan. 5. Yang paling teristimewa kepada kedua orangtua tercinta, ayahanda Suriadi, Ibunda Ngatini, dan saudara-saudari penulis. Karena berkat doa, kasih sayang dan kepercayaan yang tak ternilai serta dukungan moral dan material kepada penulis yang tak pernah putus sehingga ananda dapat menyelesaikan studi sampai ke jenjang sarjana. Semoga Allah S.A.W memberikan balasan yang tak terhingga dengan syurga-nya yang mulia. Amin. iii

6 Terima kasih penulis ucapkan kepada seluruh pihak yang telah membantu dalam proses pembuatan skripsi. Medan, Agustus 2016 WANDA SURIANTO iv

7 ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA ABSTRAK Multikolinieritas adalah kondisi dimana dalam sebuah regresi terdapat korelasi yang sangat tinggi antara variabel bebasnya. Regresi Komponen Utama dan Regresi Ridge adalah metode untuk mengatasi masalah multikolinieritas yang terjadi pada analisis regresi linier berganda. Metode Regresi Komponen Utama pada dasarnya bertujuan untuk menyederhanakan variabel yang diamati dengan cara menyusutkan (mereduksi) dimensinya. Metode Regresi Ridge adalah metode yang memberikan tetapan bias yang relatif kecil dengan cara mengalikan tetapan bias pada diagonal matriks identitas. Berdasarkan contoh data hasil penelitian bahwasanya Regresi Ridge lebih efektik digunakan jika data berdistribusi normal dan sebaliknya untuk Regresi Komponen Utama lebih efektif jika digunakan pada data yang tidak berdistribusi normal. Kata Kunci: Multikolinieritas, Regresi Komponen Utama, Regresi Ridge, Regresi Linier Berganda v

8 COMPARISON ANALYSIS OF PRINCIPAL COMPONENT REGRESSION AND RIDGE REGRESSION TO SOLVE MULTYCOLINEARITY PROBLEM AT MULTIPLE LINEAR REGRESSION MODEL ABSTRACT Multicolinearity is a condition where there is a regression in a very high correlation between the independent variables. Principal Component Regression and Ridge Regression are a methodto overcome multicolinearity problems that occur on the analysis of multiple linear regression. Principal Component Regression Method is basically aimed at simplifying the observed variables in a way to shrink (reduce) its dimensions. Ridge Regression Method is a method which provides a relatively small constant bias by multiplying the bias constant on the diagonal identity matrix. Based on research data sample is Ridge Regression is more effectively used if the data were normally distributed and vice versa for the Principal Component Regression is more effective when used on data that are not normally distributed. Keywords: Multicolinearity, Principal Component Regression, Ridge Regression, Multiple Linear Regression vi

9 DAFTAR ISI PERSETUJUAN PERNYATAAN PENGHARGAAN ABSTRAK ABSTRACT DAFTAR ISI DAFTAR TABEL DAFTAR GAMBAR DAFTAR LAMPIRAN Halaman i ii iii v vi vii viii ix x Bab 1. Bab 2. Bab 3. Bab 4. PENDAHULUAN 1.1. Latar Belakang Perumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian Metodologi Penelitian 4 TINJAUAN PUSTAKA 2.1. Matriks Nilai Eigen dan Vektor Eigen Matriks Korelasi Multikolinieritas Regresi Linier Berganda Metode Ordinary Least Square (OLS) Analisis Komponen Utama Regresi Ridge Ridge Trace 25 HASIL DAN PEMBAHASAN 3.1. Analisis Regresi Komponen Utama Regresi Ridge Ridge Trace Contoh Ilustrasi Kasus Contoh Ilustrasi Kasus Perbandingan Hasil Regresi Komponen Utama Dan Regresi Ridge 51 KESIMPULAN DAN SARAN 1.1. Kesimpulan Saran 55 DAFTAR PUSTAKA 56 vii

10 DAFTAR TABEL Nomor Judul Halaman Tabel Tabel 3.1 Data rata-rata jam kerja dan faktor-faktor yang 32 mempengaruhinya Tabel 3.2 Nilai Korelasi Data Rata-rata Jam Kerja Antar Variabel 36 Bebas Tabel 3.3 Faktor Variansi Inflasi (VIF) 36 Tabel 3.4 Nilai Eigen, Proporsi Total Variansi dan Proporsi Variansi 37 Kumulatif Tabel 3.5 Koefisien Komponen Utama (Eigen Vektor) 38 Tabel 3.6 Skor Faktor Komponen Utama 38 Tabel 3.7 Signifikansi Koefisien Regresi Komponen Utama 39 Tabel 3.8 Nilai VIF Dengan Berbagai Nilai 40 Tabel 3.9 Nilai Dengan Berbagai Nilai 41 Tabel 3.10 Data Mengenai Konsumsi ( ), Pendapatan Upah ( ), 45 Pendapatan Non Upah ( ) dan Non Pertanian ( ) di Amerika Serikat dalam Milyar dollar Tabel 3.11 Nilai Korelasi Data Mengenai Konsumsi Antar Variabel 46 Bebas Tabel 3.12 Nilai Faktor Variansi Inflasi (VIF) 47 Tabel 3.13 Nilai Eigen, Proporsi Total Variansi dan Proporsi Variansi 47 Kumulatif Tabel 3.14 Koefisien Komponen Utama (Eigen Vektor) 48 Tabel 3.15 Skor Faktor Komponen Utama Tabel 3.16 Koefisien Regresi dengan Satu Komponen Utama 48 Tabel 3.17 Nilai VIF Dengan Berbagai Nilai 49 Tabel 3.18 Nilai Dengan Berbagai Nilai 50 viii

11 DAFTAR GAMBAR Nomor Judul Halaman Gambar Gambar 3.1 Ridge Trace 42 Gambar 3.2 VIF Plot 42 Gambar 3.3 Ridge Trace 51 Gambar 3.4 VIF Plot 52 Gambar 3.5 Normal Plot dari Residual Persamaan 54 Gambar 3.6 Normal Plot dari Residual Persamaan 55 ix

12 DAFTAR LAMPIRAN Nomor Judul Halaman Lampiran Lampiran 1 Contoh Data Ilustrasi Kasus 1 56 Lampiran 2 Contoh Data Ilustrasi Kasus 2 57 Lampiran 3 Menentukan Parameter Regresi Linier Berganda 58 Lampiran 4 Menentukan Parameter Regresi Linier Berganda 62 Lampiran 5 Transformasi Data Kasus 1 64 Lampiran 6 Transformasi Data Kasus 2 65 Lampiran 7 Nilai Residual dan MSE 66 Lampiran 8 Nilai Residual dan MSE 67 x