PENERAPAN REGRESI GULUD DAN LEAST ABSOLUTE SHRINKAGE AND SELECTION OPERATOR (LASSO) DALAM PENYUSUTAN KOEFISIEN REGRESI ARUM PUSPORINI

Transkripsi

1 PENERAPAN REGRESI GULUD DAN LEAST ABSOLUTE SHRINKAGE AND SELECTION OPERATOR (LASSO) DALAM PENYUSUTAN KOEFISIEN REGRESI ARUM PUSPORINI DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2012

2 RINGKASAN ARUM PUSPORINI. Penerapan Regresi Gulud dan Least Absolute Shrinkage and Selection Operator (LASSO) dalam Penyusutan Koefisien Regresi. Dibimbing oleh AUNUDDIN dan LA ODE ABDUL RAHMAN. Multikolinearitas merupakan salah satu pelanggaran asumsi dalam analisis regresi linier berganda yang dapat terjadi ketika terdapat korelasi yang tinggi antar peubah bebas. Multikolinearitas menyebabkan penduga dengan metode kuadrat terkecil (MKT) menjadi tidak stabil dan menghasilkan ragam yang besar. Salah satu cara untuk mengatasi masalah multikolinearitas tersebut adalah dengan menggunakan regresi gulud (ridge regression). Regresi gulud dapat mengatasi masalah multikolinearitas melalui pemilihan nilai λ yang tepat. Regresi gulud menyusutkan koefisien MKT ke arah nol tetapi tidak dapat melakukan seleksi model. Meskipun model yang diperoleh dari regresi gulud berbias, tetapi keragaman koefisien regresi yang dihasilkan relatif kecil. Akan tetapi, regresi gulud semakin sulit diinterpretasikan jika jumlah peubah bebas yang digunakan sangat banyak. Least Absolute Shrinkage and Selection Operator (LASSO) merupakan metode komputasi dengan menggunakan pemrograman kuadratik yang dapat memerankan prinsip regresi gulud serta melakukan seleksi model. Metode LASSO mulai dikenal setelah ditemukannya algoritma LAR pada tahun Modifikasi dari LAR untuk LASSO menghasilkan algoritma yang lebih efisien dalam menduga solusi penduga koefisien LASSO dengan komputasi yang lebih cepat dibandingkan pemrograman kuadratik. Metode LASSO dapat menyusutkan koefisien MKT tepat nol sehingga dapat melakukan seleksi peubah. Dengan demikian, model yang dihasilkan metode LASSO lebih sederhana dan secara tidak langsung bebas dari multikolinearitas. Kata kunci : multikolinearitas, MKT, regresi gulud, LASSO, algoritma LAR

3 PENERAPAN REGRESI GULUD DAN LEAST ABSOLUTE SHRINKAGE AND SELECTION OPERATOR (LASSO) DALAM PENYUSUTAN KOEFISIEN REGRESI ARUM PUSPORINI Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Statistika pada Departemen Statistika DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2012

4 Judul Nama NRP : Penerapan Regresi Gulud dan Least Absolute Shrinkage and Selection Operator (LASSO) dalam Penyusutan Koefisien Regresi : Arum Pusporini : G Menyetujui : Pembimbing I, Pembimbing II, Prof. Dr. Ir. Aunuddin, M.Sc NIP : La Ode Abdul Rahman, S.Si, M.Si Mengetahui : Ketua Departemen Statistika Fakultas Matematika dan Ilmu Pengetahuan Alam IPB Dr. Ir. Hari Wijayanto, M.Si NIP : Tanggal Lulus :

5 PRAKATA Puji syukur penulis panjatkan kepada Allah SWT atas segala rahmat dan karunia-nya sehingga penulis dapat menyelesaikan karya ilmiah dengan judul Penerapan Regresi Gulud dan Least Absolute Shrinkage and Selection Operator (LASSO) dalam Penyusutan Koefisien Regresi. Karya ilmiah ini penulis susun sebagai salah satu syarat untuk mendapatkan gelar Sarjana Statistika pada Departemen Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Terimakasih penulis ucapkan kepada semua pihak yang telah membantu dalam penulisan karya ilmiah ini, di antaranya: 1. Bapak Prof. Dr. Ir. Aunuddin, M.Sc dan Bapak La Ode Abdul Rahman, S.Si, M.Si selaku dosen pembimbing yang telah memberikan bimbingan, masukan serta saran selama penulisan karya ilmiah ini. 2. Ibu Dr.Ir. Erfiani, M.Si selaku dosen penguji yang telah memberikan banyak masukan dan saran pada penulis. 3. Kedua orang tua dan Anggun Dwi Puspo Supomo atas doa, kasih sayang, serta dukungan kepada penulis. 4. Ibu Tri, Ibu Markonah, Pak Herman, Pak Heri, serta seluruh staf karyawan Departemen Statistika atas segala bantuannya. 5. Rekan satu bimbingan, Hana Maretha dan Gusti Andika Puri atas diskusi, dukungan, dan kekompakannya selama penyusunan karya ilmiah ini. 6. Ika Meilaty, Yulia Anggraeni, Endah Kurniasari, dan Opilianda atas doa dan dukungannya kepada penulis. 7. Yogi Prakoso atas doa, diskusi, dan dukungannya kepada penulis. 8. Seluruh keluarga Statistika 45 dan semua pihak yang tidak dapat dituliskan satu per satu, atas bantuannya penulis ucapkan terima kasih. Penulis menyadari bahwa penulisan karya ilmiah ini masih jauh dari sempurna. Oleh karena itu, kritik dan saran yang membangun sangat penulis harapkan untuk bisa lebih baik di masa mendatang. Semoga karya ilmiah ini dapat bermanfaat bagi pihak yang membutuhkan. Bogor, Oktober 2012 Arum Pusporini

6 RIWAYAT HIDUP Penulis dilahirkan di Purworejo pada tanggal 3 Mei 1990 dari pasangan Bapak Supomo dan Ibu Eko Murti Nurhayati. Penulis merupakan anak pertama dari dua bersaudara. Tahun 2002 penulis lulus dari SD Negeri Rejosari, kemudian melanjutkan pendidikan di SMP Negeri 3 Purworejo dan lulus tahun Selanjutnya, pada tahun 2008 penulis menyelesaikan pendidikannya di SMA Negeri 1 Purworejo dan pada tahun yang sama lulus seleksi masuk Institut Pertanian Bogor melalui jalur Seleksi Nasional Masuk Perguruan Tinggi Negeri (SNMPTN). Penulis diterima sebagai mahasiswa Departemen Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam (FMIPA) Institut Pertanian Bogor dengan mayor Statistika serta minor Ekonomi dan Studi Pembangunan. Selama mengikuti perkuliahan, penulis menjadi asisten dosen mata kuliah Metode Statistika pada tahun ajaran 2010/2011. Kegiatan organisasi yang sempat diikuti adalah himpunan profesi Gamma Sigma Beta (GSB) tahun 2011 menjadi staf divisi Sains dan Organisasi Mahasiswa Daerah (OMDA) Purworejo, GAMAPURI. Selain itu, penulis juga aktif dalam kegiatan kepanitiaan seperti IDEA 2010, Statistika Ria 2010, Welcome Ceremony of Statistics (WCS) 2011, Lomba Jajak Pendapat Statistika (LJPS) 2011, serta Pesta Sains Nasional Pada bulan Februari 2012 sampai dengan April 2012, penulis melaksanakan kegiatan praktik lapang di IFF-PT Essence Indonesia, Jakarta Timur.

7 DAFTAR ISI Halaman DAFTAR GAMBAR... viii DAFTAR TABEL... viii DAFTAR LAMPIRAN... viii PENDAHULUAN... 1 Latar Belakang... 1 Tujuan... 1 TINJAUAN PUSTAKA... 1 Analisis Regresi Linier... 1 Metode Kuadrat Terkecil... 1 Multikolinearitas... 2 Regresi Gulud... 2 LASSO... 3 Algoritma LAR... 3 Validasi Silang... 4 DATA DAN METODE... 4 Data... 4 Metode... 4 HASIL DAN PEMBAHASAN... 5 Eksplorasi Data... 5 Regresi Linier Berganda dengan Metode Kuadrat Terkecil... 5 Mendeteksi Multikolinearitas... 6 Regresi Gulud... 6 LASSO... 7 Pemilihan Model Terbaik LASSO... 8 Perbandingan Model Hasil MKT, Gulud, dan LASSO... 8 SIMPULAN DAN SARAN... 9 Simpulan... 9 Saran... 9 DAFTAR PUSTAKA... 9 LAMPIRAN... 11

8 DAFTAR GAMBAR Halaman 1 Ridge Trace Plot objek LARS yang dihasilkan oleh fungsi LARS untuk menduga koefisien LASSO Nilai validasi silang dengan menggunakan mode fraction Nilai validasi silang dengan menggunakan mode step... 8 DAFTAR TABEL Halaman 1 Analisis ragam hasil MKT Koefisien regresi hasil MKT Nilai VIF untuk setiap peubah bebas Koefisien regresi hasil MKT dan regresi gulud Simpangan baku koefisien hasil analisis regresi dengan MKT dan gulud Peubah bebas yang masuk dalam model untuk setiap tahapan pada metode LASSO Koefisien regresi hasil MKT, gulud, dan LASSO... 9 DAFTAR LAMPIRAN Halaman 1 Plot masing-masing peubah bebas (X) dan peubah respon (Y) Nilai korelasi antar peubah Koefisien regresi menggunakan metode LASSO untuk setiap tahapan Nilai β /max β untuk setiap tahapan LASSO... 15

9 1 PENDAHULUAN Latar Belakang Salah satu masalah yang sering muncul dalam regresi linier berganda adalah adanya korelasi antar peubah bebas (multikolinearitas). Multikolinearitas dapat mempengaruhi ragam dari penduga kuadrat terkecil dan pendugaan model yang dihasilkan. Adanya multikolinearitas menyebabkan matriks (X T X) menjadi singular atau hampir singular, sehingga sedikit perubahan elemen X akan berpengaruh besar terhadap matriks (X T X) -1 pada pendugaan dengan menggunakan Metode Kuadrat Terkecil (MKT). Akibatnya, penduga koefisien MKT menjadi tidak stabil dan memiliki ragam yang cenderung lebih besar (Izenman 2008). Pada kenyataannya, yang diharapkan pada sebuah penelitian adalah model yang memiliki ragam minimum, meskipun berbias. Dengan demikian, salah satu cara untuk mengatasi multikolinearitas dapat dengan menggunakan penduga berbias, seperti regresi komponen utama, regresi kuadrat terkecil parsial, atau regresi gulud. Pada penelitian ini, multikolinearitas diatasi dengan menggunakan regresi gulud. Regresi gulud (ridge regression) merupakan shrinkage methods atau metode penyusutan koefisien regresi yang dapat digunakan untuk mengatasi masalah multikolinearitas. Meskipun model yang diperoleh dari regresi gulud berbias, tetapi penduga koefisien yang dihasilkan cenderung lebih stabil dibandingkan MKT (Chatterjee & Hadi 2006). Seleksi peubah bebas diperlukan agar model lebih sederhana dan mudah diinterpretasikan. Akan tetapi, regresi gulud tidak dapat melakukan seleksi peubah bebas untuk memperoleh model yang terbaik. Pada tahun 1996, Tibshirani memperkenalkan metode Least Absolute Shrinkage and Selection Operator (LASSO) yang dapat memerankan prinsip regresi gulud serta melakukan seleksi model regresi. Tujuan Penelitian ini bertujuan untuk menerapkan regresi gulud dan LASSO dalam penyusutan koefisien regresi pada data dengan multikolinearitas. TINJAUAN PUSTAKA Analisis Regresi Linier Analisis regresi merupakan suatu teknik statistika untuk memeriksa dan memodelkan hubungan antar peubah (Montgomery & Peck 1992). Regresi merupakan tempat kedudukan nilai tengah dari peubah Y untuk berbagai nilai atau selang nilai peubah X, serta merupakan usaha untuk mengepas suatu fungsi atau kurva terhadap pencaran titik-titik pada sumbu X-Y (Mosteller & Tukey dalam Aunuddin 2005). Dalam hal ini, Y adalah peubah tak bebas/respon, sedangkan X adalah peubah bebas/penjelas. Regresi linier sederhana hanya melibatkan satu peubah bebas, sedangkan regresi linier berganda melibatkan p peubah bebas. Regresi linier sederhana memiliki beberapa asumsi, yaitu nilai harapan/rataan sisaan sama dengan nol, ragam sisaan homogen, sisaan saling bebas, sisaan menyebar normal dengan rataan nol dan ragam σ 2, serta sisaan bebas terhadap peubah bebas. Pada regresi linier berganda terdapat asumsi tambahan bahwa tidak ada multikolinearitas pada peubah bebas. Model linier artinya linier dalam parameter (Draper & Smith 1992). Jika terdapat vektor input x T = (x 1, x 2,,x p ) dan digunakan untuk menduga luaran nilai Y yang berupa bilangan riil, maka model regresi linier memiliki bentuk sebagai berikut, y =β + X β +ε Keterangan: y i : vektor peubah respon berukuran nx1 β 0 : intersep X ij : matriks peubah bebas berukuran nx(p+1) β j : slope atau kemiringan ε i : vektor sisaan acak berukuran nx1 Metode Kuadrat Terkecil Metode kuadrat terkecil (Ordinary Least Square) merupakan metode yang digunakan untuk menduga koefisien regresi linier dengan cara meminimumkan jumlah kuadrat sisaan (Hastie et al. 2008), yaitu dengan meminimumkan persamaan: JKS= y fx = y β x β Penduga dengan MKT akan menghasilkan penduga yang tak bias serta solusi unik sebagai berikut,

10 2 = (X T X) -1 X T y Pendugaan koefisien regresi dengan MKT memiliki kuadrat tengah sisaan terkecil di antara semua penduga linier yang tak bias. Namun, pada kondisi tertentu (misalnya multikolinieritas dan peubah sangat banyak), metode kuadrat terkecil sering tidak memuaskan. Hal tersebut disebabkan karena adanya masalah keakuratan prediksi yang mengakibatkan penduga kuadrat terkecil memiliki bias rendah tetapi ragam besar. Selain itu, semakin banyak peubah bebas maka model semakin sulit diinterpretasikan (Tibshirani 1996). Multikolinearitas Multikolinearitas terjadi ketika terdapat korelasi antara dua atau lebih peubah bebas dalam regresi. Adanya multikolinearitas mengakibatkan penduga koefisien regresi yang diperoleh dari MKT akan menghasilkan ragam yang besar, meskipun tetap tidak bias (Pasha & Shah 2004). Selain itu, multikolinearitas juga dapat menyebabkan tanda koefisien regresi berbeda dengan tanda korelasi sederhananya ( Juanda 2009). Multikolinearitas dapat terlihat dari nilai korelasi Pearson antar peubah bebas. Jika korelasi antar peubah bebas sangat tinggi, maka dapat mengindikasikan adanya masalah multikolinearitas. Selain itu, nilai Variance Inflation Factor (VIF) juga dapat digunakan untuk mendeteksi adanya multikolinearitas. Nilai VIF dirumuskan sebagai berikut, VIF =1 R R merupakan koefisien determinasi dari regresi dengan X sebagai peubah respon dan peubah X yang lain sebagai peubah bebas. Jika X tidak berkorelasi dengan peubah bebas lain, maka R akan bernilai kecil dan nilai VIF mendekati 1. Sebaliknya jika X mempunyai korelasi dengan peubah bebas lain, maka R akan mendekati 1 dan nilai VIF menjadi besar. Jika nilai VIF lebih besar dari 10, maka menunjukkan adanya multikolinearitas (Montgomery & Peck 1992). Terdapat beberapa cara untuk mengatasi masalah multikolinearitas, di antaranya adalah membuang peubah bebas yang mempunyai korelasi yang tinggi terhadap peubah bebas lainnya, menambah data pengamatan, dan melakukan transformasi terhadap peubahpeubah bebas yang mempunyai kolinearitas (Juanda 2009). Selain itu, multikolinearitas juga dapat diatasi dengan menggunakan regresi gulud, regresi kuadrat terkecil parsial, dan regresi komponen utama (Izenman 2008). Regresi Gulud Regresi gulud diperkenalkan pertama kali oleh Hoerl pada tahun 1962 untuk mengendalikan ketidakstabilan penduga kuadrat terkecil (Hoerl & Kennard 1970). Regresi gulud merupakan metode pendugaan alternatif yang dapat digunakan ketika terdapat kolinearitas yang tinggi antar peubah bebas (Chatterjee & Hadi 2006). Solusi regresi gulud diperoleh dengan cara yang sama seperti metode kuadrat terkecil, yaitu dengan meminimumkan jumlah kuadrat sisaan. Regresi gulud menambahkan kendala pada kuadrat terkecil sehingga koefisien menyusut mendekati nol (Hastie et al. 2008). Secara spesifik, penduga koefisien pada regresi gulud (β diperoleh dengan cara meminimumkan persamaan sebagai berikut, β = y β x β dengan kendala β t, dimana t merupakan suatu besaran yang mengontrol besarnya penyusutan dengan nilai t 0. Regresi gulud menghasilkan solusi unik dalam bentuk matriks sebagai berikut, = + Keterangan: I : matriks identitas berukuran pxp λ : parameter gulud dengan nilai λ 0 Nilai λ berperan dalam mengontrol besarnya penyusutan. Salah satu cara untuk mencari nilai λ yang optimal adalah dengan menggunakan ridge trace, yaitu simulasi plot antara komponen β(λ) dengan nilai λ (Hoerl & Kennard 1970). Jika λ=0, maka model menjadi bentuk standar. Jika λ dinaikkan, maka nilai mutlak dugaan koefisiennya menjadi semakin kecil menuju nol untuk λ menuju tak hingga (Draper & Smith 1992). Selain itu, pemilihan nilai λ yang optimal juga dapat diperoleh dengan menggunakan validasi silang terampat atau Generalized Cross Validation (GCV). Penduga koefisien yang optimal diperoleh dari pemilihan nilai λ yang menghasilkan nilai GCV paling

11 3 minimum (Montgomery & Peck 1992). Nilai GCV dirumuskan sebagai berikut, e, GCV= n 1+tr Keterangan: e i, λ : sisaan ke-i untuk nilai spesifik λ H : matriks hat Penduga yang dihasilkan oleh regresi gulud merupakan penduga yang berbias tetapi cenderung lebih stabil dibandingkan dengan penduga MKT (Chatterjee & Hadi 2006). Akan tetapi, interpretasi model pada regresi gulud relatif lebih sulit dibandingkan metode seleksi jika jumlah peubah bebas yang digunakan sangat banyak. Regresi gulud menghasilkan penduga koefisien yang disusutkan kearah nol seiring dengan peningkatan nilai λ. Oleh karena itu, seleksi peubah tidak dapat dilakukan oleh regresi gulud karena secara simultan koefisien yang diduga mungkin tidak bernilai nol. Metode LASSO muncul untuk memerankan prinsip regresi gulud sekaligus seleksi peubah. LASSO Metode Least Absolute Shrinkage and Selection Operator (LASSO) diperkenalkan pertama kali oleh Tibshirani pada tahun Penduga koefisien LASSO tidak dapat diperoleh dalam bentuk tertutup seperti pada MKT atau regresi gulud, tetapi dengan menggunakan pemrograman kuadratik (Hastie et al. 2008). Metode LASSO mulai dikenal setelah ditemukannya algoritma LAR pada tahun 2004 oleh Effron. Penduga koefisien pada metode LASSO (β diperoleh dengan cara meminimumkan persamaan sebagai berikut (Tibshirani 1996), β = y β x β dengan kendala β t. Nilai t merupakan suatu besaran yang mengontrol besarnya penyusutan pada pendugaan koefisien LASSO dengan t 0. Jika β merupakan penduga kuadrat terkecil dan t = β, maka nilai t < t 0 akan menyebabkan solusi MKT menyusut ke arah nol, dan memungkinkan beberapa koefisien tepat nol. Jika nilai t yang dipilih lebih besar atau sama dengan daripada t 0, maka penduga LASSO memberikan hasil yang sama dengan penduga kuadrat terkecil (Tibshirani 1996). Pendugaan koefisien LASSO diperoleh dengan menentukan batas yang dibakukan, yaitu =/ dengan = dan adalah penduga kuadrat terkecil untuk model penuh atau pada gambar ditulis sebagai beta /max beta (Dewi 2010). Perbedaan antara regresi gulud dan LASSO terletak pada kendala pendugaan koefisien regresi. Kendala pada regresi gulud adalah β t sedangkan kendala pada metode LASSO adalah β t. Perbedaan kendala antara kedua metode tersebut menyebabkan dugaan koefisien yang diperoleh metode LASSO cenderung lebih kecil dibandingkan dugaan koefisien dengan regresi gulud. Koefisien regresi gulud hanya disusutkan ke arah nol, sedangkan koefisien LASSO dapat disusutkan sampai tepat nol sehingga dapat berfungsi sebagai seleksi peubah seperti regresi bertatar atau regresi subset terbaik. Algoritma LAR Least Angle Regression (LAR) merupakan suatu metode regresi yang algoritmanya dapat dimodifikasi menjadi algoritma komputasi untuk metode LASSO. Modifikasi dari LAR untuk LASSO menghasilkan efisiensi algoritma dalam menduga koefisien LASSO dengan komputasi yang lebih cepat dibandingkan pemrograman kuadratik. Algoritma LAR adalah sebagai berikut (Hastie et al. 2008): 1. Membakukan peubah bebas sehingga memiliki nilai tengah nol dan ragam satu. Dimulai dengan sisaan r = y-y, dan β 1, β 2,, β p = 0. Pembakuan ini dimaksudkan agar dapat membandingkan dugaan koefisien regresi yang memiliki ragam yang berbeda dalam suatu model. 2. Mencari peubah bebas x j yang paling berkorelasi dengan r. 3. Mengubah nilai β j dari 0 bergerak menuju koefisien kuadrat terkecil (x j,r), sampai kompetitor x k yang lain memiliki korelasi yang cukup dengan sisaan akibat x j. 4. Mengubah nilai β j dan β k bergerak ke arah koefisien kuadrat terkecil bersama dari sisaan sekarang dengan (x j,x k ), sampai kompetitor x l yang lain memiliki korelasi yang cukup dengan sisaan akibat (x j,x k ). Modifikasi algoritma LAR untuk mendapatkan solusi LASSO adalah dengan memodifikasi langkah ke-4 menjadi:

12 4 4a. Jika koefisien bukan nol mencapai nilai nol, keluarkan peubah tersebut dari gugus peubah aktif dan hitung kembali arah kuadrat terkecil bersama. 5. Mengulang langkah nomor 4 sampai semua p peubah bebas dimasukkan. Setelah min(n-1,p) langkah, solusi model penuh untuk kuadrat terkecil diperoleh. LAR selalu mengambil p langkah untuk mendapatkan penduga kuadrat terkecil secara penuh, sedangkan modifikasi LAR untuk LASSO dapat memiliki lebih dari p langkah untuk mendapatkannya. Algoritma LASSO dengan memodifikasi LAR merupakan cara yang efisien dalam komputasi solusi masalah LASSO, terutama ketika jumlah peubah bebas yang digunakan jauh lebih banyak daripada data amatannya (Hastie et al. 2008). Validasi Silang Terdapat beberapa metode pemilihan model terbaik, antara lain nilai Cp Mallows. validasi silang atau Cross Validation (CV), dan validasi silang terampat atau Generalized Cross Validation (GCV). Validasi silang membagi data menjadi dua bagian, yaitu data training dan data test. Data training digunakan untuk mengepas nilai β, sedangkan data test digunakan untuk menguji kebaikan prediksi dari Xβ. Nilai validasi silang yang diperoleh merupakan penduga bagi sisaan prediksi (Izenman 2008). Salah satu metode tipe validasi silang adalah k-fold. Metode ini memiliki kelebihan ketika jumlah data amatan yang digunakan sedikit. Dalam validasi silang k-fold, semua observasi dipartisi secara acak ke dalam k subcontoh. Setiap sub-contoh digunakan sebagai data test dan sisanya digunakan sebagai data training. Proses validasi silang diulang sampai k kali, dan setiap satu sub-contoh digunakan hanya sekali dalam data test. Nilai sisaan prediksi PE diduga oleh validasi silang dengan menggunakan persamaan sebagai berikut, PE =CV=, y y x dengan y x adalah dugaan y untuk x i pada saat fold ke-k tidak digunakan dalam menduga model, dan y i adalah peubah respon ke-i pada data test T. Menurut Izenman (2008), validasi silang yang sebaiknya digunakan adalah validasi silang 5-fold atau 10-fold karena menghasilkan nilai PE dengan bias tinggi tetapi ragam rendah. DATA DAN METODE Data Respon yang digunakan dalam penelitian ini adalah persentase balita penderita gizi buruk di Indonesia. Terdapat lima belas peubah bebas yang diduga berpengaruh terhadap respon, yaitu sebagai berikut: X1 : Persentase tingkat kemiskinan X2 : Persentase angka melek huruf X3 : Persentase anak umur bulan yang mendapatkan imunisasi dasar lengkap X4 : Persentase Frekuensi Penimbangan anak umur 6-59 bulan 4 kali selama enam bulan terakhir X5 : Persentase kepemilikan KMS anak balita X6 : Persentase anak umur 6-59 bulan yang menerima kapsul vitamin A selama enam bulan terakhir X7 : Persentase anak balita yang ditimbang ketika baru lahir X8 : Persentase berat badan bayi baru lahir anak balita (< 2500 gr) X9 : Persentase kunjungan neonatus lengkap (KN1, KN2, KN3) X10 : Persentase bayi yang diberi makanan prelakteal X11 : Persentase anak usia 0-23 bulan yang masih disusui X12 : Persentase rumah tangga menurut akses terhadap air minum berkualitas baik X13 : Persentase rumah tangga menurut akses terhadap pembuangan tinja layak Sesuai MDGs X14 : Persentase rumah tangga dengan penanganan sampah baik X15 : Persentase rumah tangga dengan kriteria rumah sehat Data yang digunakan dalam penelitian ini merupakan data sekunder yang diperoleh dari Badan Pusat Statistik dan Laporan Hasil Riset Kesehatan Dasar (Riskesdas) tahun Riset tersebut dilakukan oleh Badan Penelitian dan Pengembangan Kesehatan (Balitbangkes) Kementerian Kesehatan RI yang dilaksanakan di 33 provinsi di Indonesia. Data peubah X1 dan X2 diperoleh dari BPS, sedangkan data peubah lain diperoleh dari Riskesdas. Metode Tahapan yang dilakukan dalam penelitian ini adalah sebagai berikut: 1. Membakukan peubah bebas X sehingga memiliki nilai tengah nol dan ragam satu, serta dapat membandingkan koefisien regresi setiap metode.

13 5 2. Eksplorasi awal berupa plot antara peubah X dan Y, serta korelasi antar peubah. 3. Membakukan peubah bebas X sehingga memiliki nilai tengah nol dan ragam satu. 4. Melakukan analisis regresi menggunakan MKT. 5. Mendeteksi adanya multikolinearitas dengan melihat nilai Variance Inflation Factor (VIF). 6. Melakukan analisis regresi gulud. a) Memilih nilai λ yang paling optimal dari ridge trace dengan menggunakan GCV. b) Analisis regresi menggunakan regresi gulud dengan nilai λ optimal. 7. Melakukan analisis regresi dengan metode LASSO. a) Menentukan penduga koefisien regresi LASSO untuk setiap tahapan. b) Memilih model terbaik dengan menggunakan CV. c) Menduga koefisien model terbaik yang telah dipilih. 8. Membandingkan penduga koefisien regresi yang dihasilkan oleh MKT, regresi gulud dan LASSO. Analisis dalam penelitian ini menggunakan program R versi 2.15 dengan paket tambahan MASS dan LARS. Paket MASS digunakan untuk melakukan pendugaan model dengan menggunakan regresi gulud, sedangkan paket LARS digunakan untuk melakukan pendugaan model dengan menggunakan metode LASSO. HASIL DAN PEMBAHASAN Eksplorasi Data Eksplorasi data diawali dengan membuat plot antara peubah respon (Y) dengan setiap peubah bebasnya (X). Berdasarkan hasil plot terlihat bahwa pada umumnya pencaran titik cenderung mengikuti garis lurus, sehingga secara grafis terlihat bahwa terdapat hubungan linier antara Y dan X (Lampiran 1). Hubungan antar peubah bebas dapat terlihat pada hasil korelasi antar peubah bebas. Pada Lampiran 2 terlihat bahwa terdapat beberapa peubah bebas yang memiliki korelasi cukup besar dengan peubah bebas lainnya. X9 memiliki korelasi cukup besar dengan X4, X6, dan X13, X6 memiliki korelasi cukup besar dengan X7, sedangkan X13 memiliki korelasi cukup besar dengan X14. Hal tersebut dapat mengindikasikan adanya masalah multikolinearitas pada data yang digunakan. Regresi Linier Berganda dengan Metode Kuadrat Terkecil Analisis regresi linier berganda dengan menggunakan MKT menghasilkan model dengan nilai F-hitung sebesar dan nilai-p sebesar Dengan demikian model yang dihasilkan nyata pada taraf 5%. Hasil analisis ragam dengan menggunakan MKT dapat terlihat pada Tabel 1. Tabel 1 Analisis ragam hasil MKT Sumber Keragaman db Jumlah Kuadrat Kuadrat Tengah F- hitung Regresi Sisaan Total Dari lima belas peubah bebas yang digunakan dalam analisis hanya persentase anak balita yang ditimbang ketika baru lahir (X7), persentase anak usia 0-23 bulan yang masih disusui (X11), dan persentase rumah tangga dengan kriteria rumah sehat (X15) yang berpengaruh nyata terhadap balita penderita gizi buruk di Indonesia (Tabel 2). Hal tersebut terlihat dari nilai-p yang kurang dari 5%. Tabel 2 Koefisien regresi hasil MKT Peubah Dugaan Koefisien Nilai-p Intersep E-12 X X X X X X X X X X X X X X X

14 6 Mendeteksi Multikolinearitas Eksplorasi data antar peubah bebas pada Lampiran 2 menunjukkan adanya korelasi antara beberapa peubah bebas. Adanya masalah multikolinearitas lebih terlihat dari nilai VIF yang dihasilkan karena terdapat nilai VIF yang lebih besar dari 10, yaitu sebesar pada peubah X9. Dengan demikian, dapat diketahui bahwa terdapat korelasi antara peubah X9 dengan peubah lainnya. Nilai VIF untuk setiap peubah bebas ke-j dapat terlihat pada Tabel 3. Tabel 3 Nilai VIF untuk setiap peubah bebas Peubah VIF X X X X X X X X X X X X X X X Selain itu, masalah multikolinearitas juga dapat terlihat dari nilai koefisien determinasi yang cukup besar pada model regresi hasil pendugaan dengan menggunakan MKT, yaitu sebesar 84.94%, tetapi banyak peubah bebas yang tidak berpengaruh nyata terhadap respon. Adanya multikolinearitas menyebabkan tanda beberapa koefisien regresi berbeda dengan tanda korelasi sederhananya, seperti X2, X3, X4, X5, X12, X13, dan X15. Regresi Gulud Adanya multikolinearitas pada data yang digunakan, diatasi dengan menggunakan regresi gulud. Penduga koefisien gulud diperoleh dari pemilihan nilai λ yang optimal. Hasil ridge trace pada Gambar 1 menunjukkan hasil yang bersifat subjektif dalam pemilihan nilai λ. Hal tersebut dikarenakan sulitnya menentukan nilai λ yang paling minimum ketika nilai β(λ) mulai stabil pada setiap peubah bebas. Nilai λ yang optimal selanjutnya dapat diperoleh dari nilai GCV yang paling minimum, yaitu ketika λ sebesar 3.6. Pada Gambar 1 nilai λ yang optimal digambarkan dengan garis vertikal.. t(x$coef) Gambar 1 Ridge Trace Berdasarkan nilai λ yang dipilih, maka penduga koefisien hasil analisis dengan menggunakan regresi gulud dapat terlihat pada Tabel 4. Adanya nilai λ pada regresi gulud menyebabkan dugaan koefisien regresi yang dihasilkan menyusut. Dugaan koefisien regresi gulud cenderung lebih kecil dibandingkan dengan dugaan koefisien regresi MKT. Tabel x$lambda Koefisien regresi hasil MKT dan regresi gulud Peubah MKT Regresi gulud Intersep X X X X X X X X X X X X X X X

15 7 Keragaman koefisien regresi hasil analisis dengan menggunakan MKT dan gulud dapat terlihat dari nilai simpangan baku koefisien regresi (S ). Pada Tabel 5 terlihat bahwa keragaman koefisien regresi yang dihasilkan oleh regresi gulud relatif lebih kecil dibandingkan dengan MKT. Dengan demikian, penduga gulud cenderung lebih stabil dibandingkan dengan penduga MKT. Tabel 5 Simpangan baku koefisien hasil analisis regresi dengan MKT dan gulud Peubah MKT Gulud X X X X X X X X X X X X X X X Penduga koefisien regresi gulud hanya disusutkan kearah nol sehingga tidak dapat melakukan seleksi peubah. Dengan demikian, interpretasi regresi gulud akan semakin sulit ketika jumlah peubah bebas yang digunakan sangat banyak. LASSO Metode LASSO juga dapat digunakan untuk mengatasi masalah multikolinearitas yang terjadi pada analisis regresi linier berganda. Penduga koefisien LASSO diperoleh melalui komputasi dengan memodifikasi algoritma LAR sehingga menghasilkan algoritma yang lebih efisien dibandingkan pemrograman kuadratik. Hasil modifikasi algoritma LAR untuk LASSO dapat terlihat pada Gambar 2. Pada metode LASSO, tahap inisialisasi diawali dengan menetapkan semua koefisien dengan angka nol. Selanjutnya, peubah yang memiliki korelasi tinggi dengan sisaan masuk ke dalam model. Pada iterasi pertama, peubah X7 merupakan peubah yang memiliki korelasi yang paling tinggi dengan sisaan dibandingkan peubah lainnya sampai β /max β sekitar masuk peubah X1. Peubah X8 masuk berikutnya ke dalam model dengan β /max β sekitar dan seterusnya sampai peubah X5 merupakan peubah yang terakhir masuk ke dalam model (Tabel 6) Standardized Coefficients * * * ** * ** * * * ** * * ** * ** * ** * ** * ** * * * * * ** * ** * * * ** * * * ** * ** * ** * ** * ** * ** * * * * ** * * * * * * ** * ** * * beta /max beta Gambar 2 Plot objek LARS yang dihasilkan oleh fungsi LARS untuk menduga koefisien LASSO

16 8 Tabel 6 Peubah bebas yang masuk dalam model untuk setiap tahapan pada metode LASSO Peubah bebas yang masuk ke Tahap dalam model 1 X7 2 X7 X1 3 X7 X1 X8 4 X7 X1 X8 X6 5 X7 X1 X8 X6 X9 6 X7 X1 X8 X6 X9 X15 7 X7 X1 X8 X6 X9 X15 X11 8 X7 X1 X8 X6 X9 X15 X11 X4 9 X7 X1 X8 X6 X9 X15 X11 X4 X12 10 X7 X1 X8 X6 X9 X15 X11 X4 X12 X2 11 X7 X1 X8 X6 X9 X15 X11 X4 X12 X2 X3 12 X7 X1 X8 X6 X9 X15 X11 X4 X12 X2 X3 X10 13 X7 X1 X8 X6 X9 X15 X11 X4 X12 X2 X3 X10 X13 14 X7 X1 X8 X6 X9 X15 X11 X4 X12 X2 X3 X10 X13 X14 15 X7 X1 X8 X6 X9 X15 X11 X4 X12 X2 X3 X10 X13 X14 X5 Koefisien model regresi untuk setiap tahapan dapat terlihat pada Lampiran 3. Nilai β /max β untuk setiap tahapan dapat terlihat pada Lampiran 4. Pemilihan Model Terbaik LASSO Pemilihan model terbaik dalam metode LASSO dilakukan dengan menggunakan kriteria validasi silang, yaitu dengan menggunakan mode fraction dan mode step. Pada mode fraction, nilai validasi silang dihitung berdasarkan β /max β (Gambar 3). Cross-Validated MSE Fraction of final L1 norm Gambar 3 Nilai validasi silang dengan menggunakan mode fraction Pada Gambar 3 terlihat bahwa fraction β /max β sekitar merupakan nilai CV yang minimum. Nilai CV minimum tersebut dapat berbeda setiap kali melakukan pemanggilan fungsinya. Dari beberapa pengulangan maka diperoleh CV turun dan kemudian naik kembali pada nilai sekitar Pada Lampiran 4 terlihat bahwa nilai β /max β sekitar berada antara tahap 7. Mode step menghitung nilai validasi silang pada setiap tahapan dimana satu peubah masuk dalam model. Pemilihan model terbaik dengan menggunakan mode step dalam menghitung nilai CV menunjukkan bahwa model terbaik terlihat pada tahap 7 (Gambar 4). Hal tersebut dikarenakan pada tahap 7 memberikan nilai CV yang merupakan titik belok dari turun menjadi naik pertama. Cross-Validated MSE Number of steps Gambar 4 Nilai validasi silang dengan menggunakan mode step Berdasarkan kedua metode validasi silang tersebut, maka model terbaik LASSO yang terpilih pada data ini adalah model pada tahap ke-7. Terdapat tujuh peubah bebas yang masuk ke dalam model pada tahap ke-7, yaitu X1, X6, X7, X8, X9, X11, dan X15. Perbandingan Model Hasil MKT, Gulud, dan LASSO Adanya kendala pada regresi gulud dan LASSO menyebabkan dugaan koefisien regresi kedua metode tersebut menyusut. Perbedaan kendala antara regresi gulud dan LASSO menghasilkan dugaan koefisien LASSO cenderung lebih kecil dibandingkan dugaan koefisien regresi gulud. Perbandingan koefisien regresi hasil analisis dengan menggunakan MKT, regresi gulud, dan LASSO dapat terlihat pada Tabel 7.

17 9 Tabel 7 Koefisien regresi hasil MKT, gulud, dan LASSO Peubah MKT Gulud LASSO Intersep X X X X X X X X X X X X X X X Pada Tabel 7 terlihat bahwa regresi gulud hanya menyusutkan koefisien hasil MKT ke arah nol, sedangkan LASSO dapat menyusutkan koefisien hasil MKT sampai tepat nol sehingga secara otomatis peubahpeubah bebas tersebut akan terseleksi dari model yang terpilih. Peubah-peubah bebas yang terseleksi dari model LASSO merupakan peubah bebas yang tidak berpengaruh nyata terhadap respon dari hasil MKT, dan atau peubah bebas yang memiliki korelasi dengan peubah bebas lainnya. Dengan demikian, metode LASSO dapat menyederhanakan model dan secara tidak langsung masalah multikolinearitas dapat teratasi. Peubah-peubah bebas yang berpengaruh nyata terhadap balita penderita gizi buruk dari hasil MKT seperti X7, X11, dan X15 tetap masuk dalam model LASSO yang terpilih. Akan tetapi, tidak seluruh peubah bebas yang tidak berpengaruh nyata dari hasil MKT disusutkan sampai tepat nol. Hal tersebut dikarenakan pemilihan model terbaik dengan menggunakan validasi silang yang nilainya dapat berbeda setiap kali melakukan pemanggilan fungsinya. SIMPULAN DAN SARAN Simpulan Regresi gulud dapat mengatasi masalah multikolinearitas melalui pemilihan nilai λ yang tepat. Regresi gulud tidak dapat melakukan seleksi peubah bebas karena hanya menyusutkan koefisien MKT ke arah nol, sehingga interpretasi akan semakin sulit jika peubah bebas yang digunakan semakin banyak. Berdasarkan data yang digunakan, metode LASSO lebih baik digunakan karena model yang dihasilkan lebih sederhana dan dapat memperbaiki masalah multikolinearitas melalui penyusutan koefisien tepat nol. Saran Saran untuk penelitian selanjutnya diharapkan dapat membandingkan metode MKT, gulud, dan LASSO dengan menggunakan simulasi untuk mengetahui sifat-sifat dari ketiga metode tersebut. DAFTAR PUSTAKA Aunuddin Statistika: Rancangan dan Analisis Data. Bogor: IPB Press. [BPS]Badan Pusat Statistik Perkembangan Beberapa Indikator Utama Sosial-Ekonomi Indonesia. _2011/ /index11.php?pub=Perke mbangan%20beberapa%20indikator%20 Utama%20SosialEkonomi%20Indonesia %20Edisi%20November% [30 Jun 2012]. Chatterjee S, Hadi AS Regression Analysis by Example. Ed ke-4. USA: John Wiley & Sons, Inc. [Depkes] Departemen Kesehatan Riset Kesehatan Dasar. Jakarta: Depkes RI. Dewi YS.2010.OLS, LASSO dan PLS pada Data Mengandung Multikolinearitas. Jurnal Ilmu Dasar 11(1): Draper N, Smith H Analisis Regresi Terapan Edisi ke 2. Sumantri B, penerjemah. Jakarta: Gramedia Pustaka Utama. Terjemahan dari: Applied Regression Analysis. Hastie T, Tibshirani R, Friedman J The Elements of Statistical Learning. Data Mining, Inference, and Prediction. Ed ke-2. New York: Springer. Hoerl AE, Kennard RW Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics 12(1): Izenman AJ Modern Multivariate Statistical Techniques: Regression, Classification, and Manifold Learning. New York: Springer. Juanda B Ekonometrika: Pemodelan dan Pendugaan. Bogor: IPB Press.

18 10 Montgomery DC, Peck EA Introduction to Linier Regression Analysis. Ed ke-2. USA: John Wiley & Sons, Inc. Pasha GR, Shah AA Application of Ridge Regression to Multicollinear Data. Journal of Research 15(1): Tibshirani R Regression Shrinkage and Selection via the LASSO. Journal of the Royal Statistical Society Series B 58(1):

19 LAMPIRAN

20 12 Lampiran 1 Plot masing-masing peubah bebas (X) dan peubah respon (Y) X1 X2 X3 X X5 X6 X7 X Y X9 X10 X11 X X13 X14 X

21 13 Lampiran 2 Nilai korelasi antar peubah Y X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 X14 X15 X X X X X X X X X X X X X X X

22 14 Lampiran 3 Koefisien regresi menggunakan metode LASSO untuk setiap tahapan Tahapan X1 X2 X3 X4 X5 X6 X7 X Tahapan X9 X10 X11 X12 X13 X14 X

23 15 Lampiran 4 Nilai β /max β untuk setiap tahapan LASSO Tahapan X1 X2 X3 X4 X5 X6 X7 X8 X Tahapan X10 X11 X12 X13 X14 X15 sum beta beta /max beta