METODE PENDUGAAN MATRIKS RAGAM-PERAGAM DALAM ANALISIS REGRESI KOMPONEN UTAMA (RKU) YANI SURYANI

Transkripsi

1 METODE PENDUGAAN MATRIKS RAGAM-PERAGAM DALAM ANALISIS REGRESI KOMPONEN UTAMA (RKU) YANI SURYANI DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2009

2 RINGKASAN YANI SURYANI. Metode Pendugaan Matriks Ragam-Peragam dalam Analisis Regresi Komponen Utama (RKU). Dibimbing oleh ITASIA DINA S dan DIAN KUSUMANINGRUM. Regresi Komponen Utama (RKU) merupakan salah satu analisis regresi yang menggunakan komponen utama untuk mengatasi adanya multikolinearitas pada regresi berganda. Maximum Likelihood Estimation (MLE) biasanya digunakan untuk menduga matrik ragam-peragam pada analisis regresi komponen utama. Namun, metode pendugaan ini sangat sensitif terhadap adanya data pencilan multivariat. Oleh karena itu, salah satu cara untuk mengatasi masalah ini adalah dengan menggunakan metode Minimum Covariance Determinant (MCD) yang diperkenalkan oleh Rousseeuw pada tahun 1985 dalam menduga matriks ragam-peragamnya. Penelitian ini menggunakan metode MLE dan MCD untuk menduga matriks ragam-peragam pada analisis regresi komponen utama. Sedangkan parameter regresinya diduga oleh Metode Kuadrat Terkecil (MKT). Sementara itu, untuk pemilihan jumlah komponen utama digunakan kriteria 80% proporsi keragaman dari data contoh. Hasil penelitian ini menunjukkan bahwa dampak adanya pencilan multivariat pada analisis regresi komponen utama yang matriks ragamperagamnya diduga oleh metode MCD akan menghasilkan nilai rata-rata akar ciri pertama yang tetap stabil pada Komponen Utama Pertama (KU1), walaupun rasio pencilan multivariat dengan banyaknya data terus bertambah. Saat rasio pencilan multivariat dengan banyaknya data sebesar 5%, metode pendugaan parameter regresi komponen utama dengan MKT-MLE dan MKT-MCD menunjukkan hasil yang sama baik karena kedua metode ini cenderung menghasilkan nilai bias dan Mean Squared Error (MSE) yang relatif sama kecil. Namun, pada saat rasio pencilan multivariat dengan banyaknya data lebih besar dari 5% (10%,15%,20%), metode MKT-MCD menunjukkan hasil yang lebih baik dibandingkan metode MKT-MLE dalam menduga parameter regresi komponen utama. Hal ini terjadi karena metode MKT-MCD cenderung menghasilkan nilai bias dan Mean Squared Error (MSE) yang lebih kecil dibandingkan MKT-MLE.

3 METODE PENDUGAAN MATRIKS RAGAM-PERAGAM DALAM ANALISIS REGRESI KOMPONEN UTAMA (RKU) YANI SURYANI Skripsi Sebagai salah satu syarat untuk memperoleh gelar Sarjana Statistika Pada Departemen Statistika DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2009

4 Judul Skripsi Nama NRP : Metode Pendugaan Matriks Ragam-Peragam dalam Analisis Regresi Komponen Utama (RKU) : Yani Suryani : G Menyetujui: Pembimbing I, Pembimbing II, Dra. Itasia Dina S, M.Si NIP Dian Kusumaningrum, S.Si Mengetahui: Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor Dr. drh. Hasim, DEA NIP Tanggal Lulus :

5 RIWAYAT HIDUP Penulis dilahirkan di Pajar Bulan, Lampung Barat pada tanggal 17 September 1987 sebagai putri kedua dari pasangan H. Asep Saepudin dan Hj. Erosmana. Penulis menyelesaikan pendidikan dasar di SDN Purlaksana, Lampung Barat pada tahun Pada tahun yang sama penulis diterima di SLTP Al-Quran Metro, Lampung tengah dan lulus pada tahun 2002, penulis menyelesaikan pendidikan SMU pada tahun 2005 di SMU Al-Kautsar Bandar Lampung. Pada tahun yang sama, penulis diterima sebagai mahasiswa Institut Pertanian Bogor (IPB) melalui jalur Undangan Seleksi Masuk IPB (USMI). Pada semester 3, penulis resmi menjadi salah satu mahasiswa Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam sebagai jurusan mayor dan Manejemen Fungsional sebagai program minor. Semasa menjadi mahasiswa, penulis aktif sebagai pengurus Dewan Perwakilan Mahasiswa (DPM) pada periode dan Himpunan Profesi Departemen Statistika Gamma Sigma Beta (GSB) pada periode Penulis pernah menjadi asisten praktikum Metode Statistika dan Analisis Regresi 2 serta pengajar privat Metode Statistika dan Matematika untuk tingkat SMU. Penulis melakukan Praktik Lapang (PL) di PT. Lingkaran Survey Indonesia (LSI) pada bulan Februari-April 2009.

6 UCAPAN TERIMA KASIH Alhamdulillah, segala puji dan syukur penulis panjatkan kehadirat Allah SWT atas segala karunia-nya sehingga karya ilmiah ini dapat terselesaikan. Karya ilmiah ini berjudul Metode Pendugaan Matriks Ragam-Peragam dalam Analisis Regresi Komponen Utama (RKU). Selesainya karya ilmiah ini tidak terlepas dari bantuan berbagai pihak. Oleh karena itu, pada kesempatan ini penulis ingin mengucapkan terima kasih kepada: 1. Ibu Dra. Itasia Dina S, M.Si dan Ibu Dian Kusumaningrum, S.Si selaku dosen pembimbing yang selalu memberikan arahan, saran, dan kesabaran dalam membimbing penulis. 2. Bapak H. Asep Saepudin dan Ibu Hj. Erosmana selaku orang tua penulis yang telah mencurahkan kasih sayang, doa, dan dukungannya selama ini. 3. Kakakku Maya Lestari, serta adik-adikku Chevy Ariesta, Salma Rosadah, dan Ilham Fahmi terima kasih atas dukungannya. 4. Seluruh dosen Departemen Statistika FMIPA IPB atas ilmu yang diajarkan dan seluruh staf Departemen Statistika (Bu Markonah, Bu Tri, Bu Aat, Pak Edi, Pak Iyan, Mang Sudin, Mang Herman, Mang Dur) yang telah membantu penulis selama belajar di Statistika IPB. 5. Bapak Suyana, S.Si, M.Si atas inspirasi yang telah diberikan kepada penulis. 6. Maulani, Monica Halim, Wiwid Widiyani, Erfira Sefitri, dan Saleem Iqbal atas dukungan dan doanya. 7. Widya Ningsih dan Andi Setiawan atas diskusi dan bantuan dalam pembuatan program simulasi. 8. Teman, sahabat, dan saudara seperjuangan penulis, Statistika `42, atas kebersamaan dan kenangan yang indah selama 4 tahun. 9. Ayi, Lutfi, Mbak Dian, Bunda Karlin (the five angels), Sukma, Dini, dan seluruh penghuni Jaika 90 a atas kebersamaan dan kecerian dalam suka maupun duka. 10. Kakak kelas STK `40 dan `41 serta adik-adik STK `43,`44, dan ` Persatuan Orangtua Mahasiswa (POM) IPB atas bantuan beasiswa yang diberikan penulis pada tingkat 1 & 2 dan IPB atas bantuan beasiswa pada tingkat 4 melalui program Peningkatan Prestasi Akademik (PPA). 12. Semua pihak yang tidak bisa disebutkan satu persatu yang telah membantu penulis dalam pembuatan karya ilmiah ini. Semoga karya ilmiah ini dapat bermanfaat bagi semua pihak yang membutuhkan. Bogor, November 2009 Penulis

7 DAFTAR ISI Halaman DAFTAR TABEL... vii DAFTAR GAMBAR... vii DAFTAR LAMPIRAN... viii PENDAHULUAN Latar Belakang... 1 Tujuan... 1 TINJAUAN PUSTAKA Analisis Regresi Linear Berganda... 1 Multikolinearitas... 1 Analisis Komponen Utama (AKU)... 2 Regresi Komponen Utama (RKU)... 2 Maximum Likelihood Estimation (MLE... 2 Minimum Covariance Determinant (MCD... 3 Pencilan... 4 Pembangkitan Data Pencilan... 4 BAHAN DAN METODE... 4 HASIL DAN PEMBAHASAN Karakteristik Data Bangkitan... 5 Perbedaan Akar Ciri... 5 Bias dan Mean Squared Error (MSE)... 6 KESIMPULAN DAN SARAN Kesimpulan... 8 Saran... 9 DAFTAR PUSTAKA... 9 LAMPIRAN... 10

8 vii DAFTAR TABEL Halaman 1. Rata-rata akar ciri pertama pada komponen utama pertama saat n=20 dan n= DAFTAR GAMBAR Halaman 1. Rasio antara akar ciri pertama dengan akar ciri kedua saat n= Rasio antara akar ciri pertama dengan akar ciri kedua saat n= Perbandingan nilai bias β 1 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai MSE β 1 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai bias β 2 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai MSE β 2 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai bias β 3 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai MSE β 3 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai bias β 4 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai MSE β 4 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai bias β 5 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT Perbandingan nilai MSE β 5 saat n=20 dan n=100 untuk MLE-MKT dan MCD-MKT... 8

9 viii DAFTAR LAMPIRAN Halaman 1. Skema Kerangka Pemikiran Skema Algoritma Metode FAST-MCD Skema Algoritma Simulasi Tabel Nilai Korelasi Antar Peubah Penjelas Nilai Akar Ciri yang Dihasilkan Tiap Komponen Pada Saat n= Nilai Akar Ciri yang Dihasilkan Tiap Komponen Pada Saat n= Nilai bias yang dihasilkan saat n=20 dan n= Nilai Mean Squared Error (MSE) yang dihasilkan saat n=20 dan n=

10 1 PENDAHULUAN Latar Belakang Salah satu masalah yang sering muncul dalam analisis regresi linear berganda adalah adanya korelasi yang kuat antar peubah bebas (multikolinearitas). Hal ini menyebabkan Metode Kuadrat Terkecil (MKT) menghasilkan penduga yang tidak efisien karena matriks yang dibangun untuk menduga parameter regresi yaitu akan memiliki kondisi buruk (ill-conditioned) atau singular yang pada akhirnya menyebabkan penduga ragam bagi parameter regresi menjadi lebih besar dari seharusnya (Myers 1989). Salah satu metode untuk mengatasi adanya multikolinearitas dalam analisis regresi berganda adalah Regresi Komponen Utama (RKU). RKU merupakan salah satu analisis regresi yang menggunakan komponen utama sebagai peubah bebasnya. Komponen utama ini merupakan kombinasi linear dari peubah asal yang bersifat saling bebas dan dihasilkan dari penguraian matriks ragam-peragam. Metode Kemungkinan Maksimum atau Maximum Likelihood Estimation (MLE) biasanya digunakan untuk menduga matriks ragam-peragam pada RKU. Namun, metode pendugaan ini sangat sensitif terhadap adanya data pencilan multivariat. Data pencilan mutivariat diidentifikasi sebagai pengamatan yang memiliki jarak Mahalanobis kekar yang besar secara statistik. Oleh karena itu, metode Minimum Covariance Determinant (MCD), yang diperkenalkan oleh Rousseeuw pada tahun 1985, merupakan salah satu metode pendugaan matriks ragam-peragam yang digunakan untuk mengatasi masalah ini. Pada penelitian ini, menggunakan metode MLE dan MCD untuk menduga matriks ragam-peragam dalam analisis regresi komponen utama. Sedangkan parameter regresinya diduga dengan Metode Kuadrat Terkecil (MKT). Metode MKT-MLE didefinisikan sebagai metode RKU yang matriks ragam-peragamnya diduga dengan metode MLE dan parameter regresinya diduga dengan metode MKT. Sedangkan MKT-MCD didefinisikan sebagai metode RKU yang matriks ragam-peragamnya diduga dengan metode MCD dan pendugaan parameter regresinya diduga dengan metode MKT. Adapun kerangka pemikiran dari penelitian ini dapat dilihat pada Lampiran 1. Tujuan Tujuan dari penelitian ini adalah untuk mengetahui dampak adanya data pencilan multivariat pada Regresi Komponen Utama (RKU) yang matriks ragam-peragamnya diduga dengan metode MLE dan MCD. Serta ingin membandingkan kekekaran metode MKT-MLE dan MKT-MCD. TINJAUAN PUSTAKA Analisis Regresi Linear Berganda Analisis regresi linear berganda adalah salah satu alat statistika yang dapat digunakan untuk menjelaskan hubungan antara peubah respon (Y) dengan beberapa peubah penjelas (X) yang saling bebas. Model regresi linear berganda yang melibatkan p peubah penjelas adalah dalam notasi matriks dapat disajikan sebagai berikut..(2) y adalah vektor berukuran nx1 yang elemenelemennya merupakan nilai-nilai amatan dari peubah respon. X adalah matriks berukuran nx(p+1), β adalah vektor berukuran (p+1)x1 yang elemen-elemennya berupa parameter regresi dan ε adalah vektor sisaan yang berukuran nx1, dengan asumsi bahwa sisaan memiliki E(ε i )=0 dan Var(ε i )=ζ 2 untuk i=1,2,..,n. Salah satu metode yang digunakan untuk menduga parameter regresi (β) dalam regresi linear berganda adalah Metode Kuadrat Terkecil (MKT). Konsep dasar dari MKT adalah menduga parameter regresi (β) dengan meminimumkan kuadrat sisaan sehingga dugaan bagi parameter regresi dalam bentuk matriks dapat dirumuskan sebagai berikut (Draper & Smith 1992). Multikolinearitas Salah satu asumsi dalam analisis regresi berganda adalah tidak adanya multikolinearitas. Multikolinearitas dapat ditandai dengan adanya korelasi yang kuat antar peubah bebasnya. Sehingga hal ini mengindikasikan adanya informasi yang berlebihan (Myers 1989). Adanya multikolinearitas menyebabkan Metode

11 2 Kuadrat Terkecil (MKT) menghasilkan penduga yang tidak efisien karena matriks yang dibangun untuk menduga parameter regresi yaitu akan memiliki kondisi buruk (ill-conditioned) atau singular yang pada akhirnya penduga ragam bagi parameter regresi menjadi lebih besar dari seharusnya (Myers 1989). Analisis Komponen Utama (AKU) Analisis Komponen Utama (AKU) adalah salah satu analisis peubah ganda yang digunakan untuk menjelaskan struktur ragamperagam dari sekumpulan peubah melalui beberapa peubah baru yang saling bebas. Peubah baru ini merupakan kombinasi linear dari peubah asal dan disebut sebagai komponen utama (principal component). Secara umum tujuan dari Analisis Komponen Utama (AKU) adalah mereduksi dimensi data yang besar dan saling berkorelasi menjadi dimensi yang lebih kecil dan tidak saling berkorelasi (Jolliffe 2002). Komponen utama yang dibentuk berdasarkan matriks ragam-peragam adalah sebagai berikut. Misalkan Σ merupakan matriks ragam-peragam dari vektor x 1,x 2,,x p dengan pasangan akar ciri dan vektor ciri yang saling ortonormal (λ 1,e 1), (λ 2,e 2),,(λ p,e p) dengan λ 1 λ 2 λ p 0, maka komponen utama ke-i didefinisikan sebagai berikut: Regresi Komponen Utama (RKU) Regresi Komponen Utama (RKU) merupakan implementasi dari Analisis Komponen Utama (AKU). RKU digunakan untuk menjelaskan hubungan antara peubah respon dengan beberapa komponen utama sebagai peubah penjelasnya (Jolliffe 2002). Cara pembentukan regresi komponen utama melalui analisis komponen utama berdasarkan matriks ragam-peragam adalah sebagai berikut. Misalkan P adalah matriks orthogonal (P`P=PP`=I) dan W=KU=X c P, maka persamaan regresi linear berganda....(6) dapat disajikan dalam bentuk regresi komponen utama:. (7) X c adalah matriks yang elemen-elemennya dikurangi dengan rataannya (centered) yang mensyaratkan rataan nol dan ragam ζ 2. W adalah suatu matriks berukuran nxp yang memuat seluruh komponen utama. Sehingga model regresi komponen utama yang telah direduksi menjadi k komponen adalah Berdasarkan definisi di atas maka ragam dari komponen utama ke-1 adalah Hasil penurunan persamaan Langrange menunjukkan bahwa λ 1 merupakan akar ciri terbesar yang memaksimumkan ragam KU 1 dan e 1 merupakan vektor ciri yang berpadanan dengan λ 1. KU 2 adalah komponen utama ke-2 yang memaksimumkan nilai. KU p adalah komponen utama ke-p yang memenuhi keragaman selain KU 1,KU 2,...,KU p-1 dengan memaksimumkan nilai. Urutan KU 1,KU 2,...,KU p harus memenuhi persyaratan λ 1 λ 2 λ p. Sementara itu, kontribusi keragaman dari setiap komponen utama ke-k terhadap total keragaman adalah α 0 adalah intersep, 1 adalah vektor berukuran nx1 yang elemen-elemennya adalah 1, W k adalah suatu matriks berukuran nxk dengan k<p yang memuat sejumlah k komponen utama, α k adalah vektor koefisien regresi komponen utama berukuran kx1 (Smith 2002). Maximum Likelihood Estimation (MLE) Komponen-komponen utama yang dihasilkan dalam AKU biasanya dihasilkan dari penguraian matriks ragam-peragam yang diduga dengan Metode Kemungkinan Maksimum atau Maximum Likelihood Estimation (MLE). Metode ini pada prinsipnya adalah memaksimumkan fungsi peluang bersama dari data contoh yang kita miliki (Nasoetion & Rambe 1984). Jika terdapat contoh acak berukuran n yang terdiri atas p buah peubah x 1,x 2,,x p, maka matriks X yang berukuran nxp dapat didefinisikan sebagai berikut

12 3 X nxp x x x n1 x x x n2 x 1p x x 2 p np jika det(c 1 ) 0 definisikan jarak relatif d i yaitu Pendugaan vektor rataan dan matriks ragam-peragam bagi contoh acak tersebut dengan menggunakan metode pendugaan MLE adalah sebagai berikut X adalah matriks berukuran nxp dan 1 adalah vektor berukuran nx1 yang elemen-elemennya adalah 1. Minimum Covariance Determinant (MCD) Minimum Covariance Determinant (MCD) diperkenalkan oleh Rousseeuw pada tahun Tujuan dari metode pendugaan MCD adalah mencari himpunan bagian sebanyak h elemen yang matriks ragam-peragamnya memiliki determinan terkecil (Rousseeuw 1999). Pada prinsipnya metode MCD adalah mencari himpunan bagian yang anggotanya sebanyak h elemen dari matriks X dengan h merupakan bilangan bulat terkecil dari (n+p+1)/2. Misalkan himpunan bagian itu adalah X h, maka terdapat sebanyak kombinasi yang harus ditemukan untuk mendapatkan dugaan vektor rataan dan matriks ragam-peragam. Untuk n kecil, pendugaan MCD mudah dan relatif lebih cepat untuk ditemukan. Tetapi, jika n besar maka banyak sekali kombinasi subhimpunan yang harus ditemukan untuk mendapatkan pendugaan MCD. Untuk mengatasi keterbatasan ini digunakan pendekatan FAST- MCD dengan algoritma C-step yang dikembangkan oleh Rousseeuw dan Van Driessen (1999). Misalkan terdapat X p=[x 1,x 2,,x p] merupakan himpunan data sejumlah n pengamatan dari p peubah. Misalkan H 1 *1,2,,n+ dengan, maka hitung dengan i=1,...,n. Selanjutnya ambil H 2 demikian sehingga {d 1 (i);i Є H 2}:={(d 1 ) 1:n,, (d h ) h:n } dengan (d 1 ) 1:n (d 1 ) 2:n (d 1 ) h:n menyatakan urutan jarak. Hitung nilai T 2 dan C 2 berdasarkan himpunan H 2. Maka det(c 2) det(c 1) dan akan sama jika dan hanya jika T 1=T 2 dan C 1=C 2. Penjelasaan di atas mensyaratkan det(c 1 ) 0, karena jika det(c 1 )=0 maka nilai objektif minimum untuk mendapatkan determinan terkecil telah ditemukan. Selain itu, jika det(c 1 )>0, penggunaan formulasi di atas akan menghasilkan C 2 yang det(c 2 ) det(c 1 ). Dalam FAST-MCD akan digunakan algoritma C-step dengan C disebut concentration (pemusatan). Pemusatannya dilakukan pada h amatan agar menghasilkan jarak relatif terkecil dan C 2 dipusatkan agar memiliki determinan yang lebih kecil dibandingkan C 1. Adapun algoritma dari C- step sebagai berikut: 1. Hitung jarak relatif d old (i) untuk i=1,2,,n 2. Urutkan jarak relatif hasil permutasi dari π dengan d old (π(1)) d old (π(2)) d old (π (n)). 3. Tentukan H new :={ π(1), π(2),, π(h)}. 4. Hitung T new dan C new. pengulangan algoritma C-step akan menghasilkan sejumlah proses iterasi. Proses iterasi akan berhenti, jika det(c 2 )=0 atau det(c 2 )=det(c 1 ). Jika kondisi di atas belum terpenuhi, maka proses iterasi akan terus berlangsung hingga menghasilkan sejumlah h amatan yang memiliki nilai determinan terkecil dan konvergen (T full,c full ). Untuk mendapatkan konsistensi ketika data berasal dari sebaran peubah ganda, maka hitung...(14).(15) Selanjutnya hasil akhir dari pendugaan FAST-MCD adalah melalui pembobot. Pendugaan terboboti diperoleh dengan cara sebagai beikut

13 4 dengan 1 Jika d ( T MCD, C MCD ) ( i) 2 p, Lainnya ( 18) Skema algoritma FAST-MCD dapat dilihat pada Lampiran 2. Pencilan Data pencilan adalah suatu pengamatan yang menyimpang cukup jauh dari pengamatan lainnya sehingga menimbulkan kecurigaan bahwa pengamatan tersebut berasal dari distribusi data yang berbeda (Hawkins dalam Suryana). Identifikasi data pencilan pada data peubah ganda (multivariat) umumnya menggunakan jarak kuadrat Mahalanobis. Pengamatan ke-i didefinisikan sebagai data pencilan multivariat jika jarak Mahalanobisnya lebih besar dari nilai khikuadratnya pada p buah peubah (Jhonson 1998). dan menyatakan vektor rataan dan matriks ragam-peragam. Penggunaan jarak Mahalanobis untuk mengidentifikasi pencilan multivariat tidak maksimal jika data mengandung lebih dari satu pengamatan pencilan. Hal ini muncul akibat adanya pengaruh masking dan swamping (Rousseeuw & von Zomeren 1990; Rocke & Woodru 1996). Masking terjadi pada saat pengamatan pencilan tidak terdeteksi sebagai pencilan karena adanya pengamatan pencilan lain yang berdekatan. Swamping terjadi saat pengamatan bukan pencilan teridentifikasi sebagai pengamatan pencilan. Masking maupun swamping dapat diatasi dengan menggunakan penduga kekar. MCD adalah salah satu penduga kekar untuk menduga vektor rataan dan matriks ragamperagam yang digunakan untuk menduga jarak Mahalanobis sehingga disebut jarak kuadrat Mahalanobis kekar. Pengamatan ke-i diidentifikasi sebagai pencilan multivariat jika jarak Mahalanobis kekarnya lebih besar dari nilai khi-kuadratnya pada p buah peubah. ) Pembangkitan Data Pencilan Menurut Huber dkk (2005) untuk mendapatkan n data contoh yang terkontaminasi oleh data pencilan multivariat dapat dilakukan dengan cara membangkitkan sejumlah dari sebaran normal peubah ganda dengan parameter, sedangkan dibangkitkan dari sebaran normal peubah ganda dengan parameter. δ adalah rasio antara banyaknya pencilan multivariat dengan banyaknya data. BAHAN DAN METODE Penelitian ini akan menggunakan data simulasi. Adapun tahapan yang dilakukan adalah sebagai berikut 1. Bangkitkan data populasi berukuran dengan m=2000 dan p=5 serta kondisi antar vektor x nya saling berkorelasi, 2. Bangkitkan data pencilan multivariat berukuran dengan m=300 dan p=5 serta kondisi antar vektor x nya saling berkorelasi, 3. Bangkitkan data sisaan (e) yang menyebar N(0,1). Selanjutnya hitung Y=a t X+e, dengan a t adalah vektor satuan yang merupakan parameter populasi yang sesungguhnya. 4. Ambil data contoh misalkan X (1) berukuran nxp dari X (0) dengan δ% dari n data diantaranya adalah data pencilan (X (out) ). 5. Hitung matriks ragam-peragam dengan metode MLE dan MCD. 6. Hitung nilai akar ciri dari matriks ragamperagam metode MLE dan MCD. 7. Lakukan analisis komponen utama berdasarkan ragam-peragam metode MLE dan MCD. 8. Regresikan skor komponen pada langkah 7 terhadap Y (1) dengan metode MKT. Vektor koefisien regresi yang diperoleh disimbolkan dengan β (1) MKT. 9. Ulangi langkah 4-8 sampai r kali 10. Hitung nilai bias dan Mean Squared Error (MSE) dari dengan cara dan menyatakan vektor rataan dan matriks ragam-peragam yang diduga dengan metode MCD.

14 5 11. Ulangi langkah 4-10 dengan rasio antara banyaknya pencilan multivariat terhadap banyaknya data (δ) yang digunakan adalah 5%, 10%, 15% dan 20% 12. Ulangi langkah 4-11 dengan ukuran n=20 dan n= Bandingkan nilai bias dan MSE yang dihasilkan dari masing-masing metode. Skema algoritma simulasi ini dapat dilihat pada Lampiran 3. Sedangkan software yang digunakan adalah SAS 9.1 dan Microsoft Excel. HASIL DAN PEMBAHASAN Karakteristik Data Bangkitan Data populasi dibangkitkan dengan vektor rataan sedangkan data pencilan multivariat dibangkitkan dengan vektor rataan. Sedangkan besarnya korelasi antar peubah dapat dilihat pada Lampiran 4. Analisis pendugaan parameter regresi komponen utama dilakukan pada ukuran data contoh n=20 dan n=100. Ukuran contoh n=20 dipilih sebagai representasi ukuran contoh kecil sedangkan n=100 dipilih sebagai representasi ukuran contoh besar. Sedangkan rasio antara banyaknya pencilan multivariat dengan banyaknya data (δ) yang dicobakan adalah 5%, 10%, 15% dan 20%, serta ulangan dilakukan sebanyak 100 kali. Adapun hasil simulasi yang dilakukan sebagai berikut. Perbedaan Akar Ciri Rata-rata nilai akar ciri pertama pada komponen utama pertama yang dihasilkan oleh metode MLE dan MCD pada saat n=20 dan n=100 serta rasio antara banyaknya pencilan multivariat dengan banyaknya data (δ) sebanyak 5%, 10%, 15% dan 20% adalah sebagai berikut: Tabel 1 Rata-rata akar ciri pertama pada komponen utama pertama saat n=20 dan n=100 n δ METODE MLE MCD n=20 5% % % % n=100 5% % % % Tabel 1 memperlihatkan bahwa dengan bertambahnya rasio antara banyaknya pencilan multivariat dengan banyaknya data, RKU yang matriks ragam-peragamnya diduga dengan MLE akan menghasilkan rata-rata akar ciri pertama yang lebih besar dibandingkan metode MCD terutama pada komponen utama pertama. Akibatnya, komponen utama pertama pada penduga MLE akan didominasi oleh amatan pencilan, dan tidak mencakup keragaman dari data pada umumnya (Huber dkk 2005). Sedangkan metode MCD menghasilkan nilai rata-rata akar ciri pertama yang cenderung stabil, karena rata-rata akar ciri pertama yang diduga oleh metode ini diperoleh dari penguraian matriks ragam-peragam yang kekar terhadap adanya pencilan multivariat. Adapun nilainilai akar ciri dari setiap komponen utama yang dihasilkan oleh metode MLE dan MCD saat n=20 dan n =100 dapat dilihat pada Lampiran 5 dan Lampiran 6. Gambar di bawah ini menggambarkan rasio antara nilai akar ciri pertama pada komponen utama pertama dengan nilai akar ciri kedua pada komponen utama kedua saat n=20 dan n=100. Nilai Rasio Gambar 1 Nilai Rasio % 10% 15% 20% Proporsi Pencilan MLE MCD Rasio antara akar ciri pertama dan akar ciri kedua saat n=20 5% 10% 15% 20% Proporsi Pencilan MLE MCD Gambar 2 Rasio antara akar ciri pertama dan akar ciri kedua saat n=100 Gambar 1 dan Gambar 2 menunjukkan bahwa metode MLE menghasilkan rasio akar ciri yang besar dengan semakin bertambahnya rasio antara banyaknya pencilan multivariat

15 6 dengan banyaknya data baik pada saat n=20 dan n=100. Sedangkan rasio akar ciri yang dihasilkan oleh metode MCD cenderung konstan atau stabil. Perbedaan nilai rata-rata akar ciri pertama pada metode MLE dan MCD dapat menyebabkan perbedaan jumlah komponen utama yang terpilih. Menurut Jhonson (1998) salah satu kriteria penentuan banyaknya jumlah komponen utama yang digunakan adalah dengan mengambil sejumlah komponen utama yang mampu menjelaskan 80% total keragaman dari data contoh. Saat peubah penjelas yang digunakan sebanyak lima, metode MLE memiliki kemungkinan hanya menggunakan satu komponen utama saja untuk menjelaskan 80% total keragaman dari data contoh. Sedangkan metode MCD akan memiliki kemungkinan untuk menggunakan lebih besar atau sama dengan satu komponen utama. Dalam penelitian ini, saat rasio antara banyaknya pencilan multivariat dengan banyaknya data lebih besar dari 5%, metode MCD menggunakan satu hingga dua komponen utama saja untuk menjelaskan 80% total keragaman dari data contoh. Walaupun dalam analisis regresi diharapkan hanya sedikit saja komponen utama yang digunakan untuk menjelaskan keragaman dari data contoh, tetapi nilai bias dan Mean Squared Error (MSE) yang dihasilkan MKT-MLE lebih besar dibandingkan MKT-MCD. Bias dan Mean Squared Error (MSE) Nilai bias dan Mean Squared Error (MSE) yang diperoleh dengan metode MKT-MLE dan MKT-MCD, pada saat n=20 dan n=100 dapat dilihat pada Lampiran 7 dan Lampiran 8. Mutlak Bias % 10% 15% 20% Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Gambar 3 Perbandingan nilai bias β 1 saat n=20 dan n=100 untuk MKT- MLE dan MKT-MCD. MSE % 10% 15% 20% Gambar 4 Perbandingan nilai MSE β 1 saat n=20 dan n=100 untuk MKT- MLE dan MKT-MCD. Gambar 1 dan Gambar 2 memperlihatkan bahwa saat rasio antara banyaknya pencilan multivariat dengan banyaknya data meningkat lebih dari 5% nilai bias dan MSE β 1 yang dihasilkan oleh metode MKT-MCD akan tetap lebih kecil dibandingkan MKT- MLE baik pada saat ukuran contoh n=20 maupun n=100. Hal ini dikarenakan metode MCD sebagai metode pendugaan matriks ragam-peragam mampu meminimalisasi adanya pengaruh data pencilan multivariat, sehingga saat bertambahnya rasio antara banyaknya pencilan multivariat terhadap banyaknya data, metode ini akan tetap kekar. Penambahan besarnya ukuran contoh dari n=20 menjadi n=100 dapat memperkecil nilai MSE pada metode MKT-MCD. Mutlak BIas Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 5% 10% 15% 20% Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Gambar 5 Perbandingan nilai bias β 2 saat n=20 dan n=100 untuk MKT- MLE dan MKT-MCD.

16 7 MSE % 10% 15% 20% Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Gambar 6 Perbandingan nilai MSE β 2 saat n=20 dan n=100 untuk MKT- MLE dan MKT-MCD. Sama halnya pada pendugaan β 1, Gambar 3 dan Gambar 4 memperlihatkan bahwa nilai bias dan MSE pada pendugaan β 2 yang dihasilkan oleh metode MKT-MCD akan lebih kecil dibandingkan MKT-MLE, baik saat ukuran contoh n=20 maupun n=100. Penambahan banyaknya contoh dari n=20 menjadi n=100 mampu memperkecil nilai MSE pada metode MKT-MCD Gambar 7 dan Gambar 8 memperlihatkan kondisi yang relatif sama seperti pendugaan β 1 dan β 2. Nilai bias dan MSE dari pendugaan β 3 yang dihasilkan oleh metode MKT-MCD akan lebih kecil dibandingkan MKT-MLE baik saat ukuran contoh n=20 maupun n=100. Pada metode MKT-MCD, penambahan banyaknya contoh n=20 menjadi n=100 mampu menghasilkan nilai MSE yang relatif lebih kecil. Mutlak Bias Gambar 9 Perbandingan nilai MSE β 4 saat n=20 dan n=100 untuk MKT- MLE dan MKT-MCD % 10% 15% 20% Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Mutlak Bias MSE % 10% 15% 20% Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Gambar 7 Perbandingan nilai bias β 3 saat n=20 dan n=100 untuk MKT- MLE dan MKT-MCD. MSE % 10% 15% Proporsi Pencilan 20% MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Gambar 8 Perbandingan nilai MSE β 3 saat n=20 dan n=100 untuk MKT- MCD dan MKT-MCD. 0 Gambar 10 5% 10% 15% 20% Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Perbandingan nilai MSE β 4 saat n=20 dan n=100 untuk MKT- MLE dan MKT-MCD. Gambar 9 dan Gambar 10 menunjukkan bahwa bias dan MSE pada pendugaan β 4 yang dihasilkan dari kedua metode pendugaan parameter regresi komponen utama memiliki performa yang hampir sama. Namun, jika dilihat pada Lampiran 7 dan Lampiran 8 untuk pendugaan β 4, metode MKT-MCD tetap menghasilkan bias dan MSE yang lebih kecil dibandingkan metode MKT-MLE. Nilai bias dan MSE yang dihasilkan metode MKT-MCD tetap kecil dan hampir sama dengan pendugaan β lainnya. Dengan kata lain, metode ini tetap kekar saat

17 8 bertambahnya rasio antara banyaknya pencilan multivariat dengan banyaknya data. Sedangkan MKT-MLE menunjukkan hal sebaliknya yaitu nilai bias dan MSE yang dihasilkan pada pendugaan β 4 berbeda dan cenderung relatif lebih kecil dibandingkan pendugaan β lainnya. Hal ini dikarenakan, pada simulasi data pencilan multivariat dibangkitkan dengan cara menggantikan nilai elemen rataan pada X 4 dengan suatu nilai tertentu yang lebih besar dari sebelumnya, sedangkan nilai elemen rataan pada X lainnya tetap. Sehingga saat n data contoh terkontaminasi oleh pencilan multivariat, karakteristik data pada X 4 akan berbeda dengan data-data peubah penjelas lainnya. Perbedaan yang terjadi pada X 4 adalah X 4 akan memiliki rataan dan ragam yang lebih besar dibandingkan sebelumnya. Hal ini akan berpengaruh pada pendugaan akar ciri maupun vektor ciri. Peubah penjelas yang lebih dominan berpengaruh terhadap komponen utama pertama dapat dilihat pada vektor ciri pertama. Adanya n data contoh yang terkontaminasi oleh pencilan multivariat, akan mengakibatkan nilai elemen vektor ciri pada X 4 memiliki nilai yang jauh lebih besar dibandingkan elemen vektor ciri pada X lainnya. Sehingga komponen utama pertama akan didominasi oleh X 4. Transformasi peubah baru ke peubah X atau peubah asal dilakukan untuk mengetahui dugaan parameter regresi pada model awal. Pengaruh X4 yang dominan pada komponen utama pertama, akan menyebabkan nilai dugaan parameter regresi yang dihasilkannya mendekati nilai parameter sesungguhnya. Sehingga dengan kondisi seperti ini nilai bias dan MSE yang dihasilkan untuk menduga parameter X4 relatif lebih kecil dibandingkan X lainnya. Mutlak Bias % 10% 15% 20% Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Gambar 11 Perbandingan nilai MSE β 5 saat n=20 dan n=100 untuk MLE- MKT dan MKT-MCD. MSE Gambar 12 5% 10% 15% 20% Proporsi Pencilan MLE-MKT n=20 MLE-MKT n=100 MCD-MKT n=20 MCD-MKT n=100 Perbandingan nilai MSE β 5 saat n=20 dan n=100 untuk MKT- MLE dan MKT-MCD. Kedua gambar di atas menggambarkan nilai bias dan MSE yang dihasilkan pada pendugaan β 5. Nilai bias dan MSE yang dihasilkannya cenderung memiliki performa yang relatif sama seperti pada pendugaan β 1, β 2, dan β 3. Metode MKT-MCD menghasilkan nilai bias dan MSE yang relatif lebih kecil dibandingkan MKT-MLE saat ukuran contoh n=20 maupun n=100. Penambahan banyaknya contoh n=20 menjadi n=100 pada metode MKT-MCD mampu memperkecil nilai MSE. Secara umum pada saat n=20 dan n=100 nilai bias dan MSE yang dihasilkan oleh metode MKT-MCD cenderung lebih kecil dibandingkan metode MKT-MLE dalam menduga parameter regresi komponen utama (RKU). KESIMPULAN DAN SARAN Kesimpulan Hasil penelitian ini menunjukkan bahwa dampak adanya pencilan multivariat pada analisis regresi komponen utama yang matriks ragam-peragamnya diduga oleh metode MCD akan menghasilkan nilai rata-rata akar ciri pertama yang tetap stabil pada Komponen Utama Pertama (KU 1 ), walaupun rasio pencilan multivariat dengan banyaknya data terus bertambah. Metode MKT-MCD akan lebih baik dalam menduga parameter regresi komponen utama apabila rasio pencilan multivariat dengan banyaknya data lebih besar dari 5% (10%, 15% dan 20%) karena metode MKT-MCD cenderung mengahasilkan nilai bias dan Mean Squared Error (MSE) yang relatif kecil. Sedangkan jika rasio pencilan multivariat dengan banyaknya data kurang dari 5%,

18 9 metode MKT-MCD dan MKT-MLE akan menghasilkan performa yang sama baik. Saran Perlu pengkajian mengenai kombinasi adanya pengaruh pencilan dalam peubah respon maupun peubah penjelas terhadap dugaan parameter regresi. Pengkajian dalam penggunaan matrik ragam-peragam dalam analisis peubah ganda seperti analisis biplot, analisis gerombol maupun analisis diskriminan cukup menarik untuk dikaji. DAFTAR PUSTAKA Atkinson, A. and M. Riani Robust Diagnostic Regression Analysis. New York: Springer. Aunuddin Analisis Data. Institut Pertanian Bogor. Sartono, B. at al Modul Teori Analisis Peubah Ganda. Institut Pertanian Bogor. Smith, I.L A Tutorial on Principal Components Analysis. otago.ac.nz/cosc453/...tutorial/principal_c omponents.pdf. [16 Juli 2009] Sumantri, B Analisis Regresi Terapan, Edisis kedua. Draper, N.R. & H. Smith, penerjemah; Jakarta: PT Gramedia Pustaka Umum. Terjemahan dari: Applied Regression Analiysis, Second Edition. Suryana Analisis Deskriminan Robust dengan Menggunakan Penaksiran Minimum Covariance Determinant dan Minimum Weight Covariance Determinant [Tesis]. Surabaya: Sekolah Pascasarjana, Institut Teknologi Surabaya. Huber, M., P.J. Rousseew, & K.V. Branden ROBPCA: A New Approach to Robust Principal Component Analysis. Technometrrics 47, Jhonson, R.A. & D.W. Wichern Applied Multivaiate Statistics Analysis, Fourt edition. London: Prentice-Hall. Myers, R.M Clasical and Modern Regression with Application, Second Edition. Boston: PWS-KENT. Nasoetion, A.H & A. Rambe Teori Statistika untuk Ilmu-Ilmu Kuantitatif, Edisi kedua. Jakarta: Bhratara Karya Aksara Notiragayu Pembandingan Beberapa Metode Analisis Regresi Komponen Utama Robust. [Makalah Seminar Hasil Penelitian & Pengabdian Kepada Masyarakat]. Bandar Lampung: Universitas Lampung. Rocke, D.M. & D.L. Woodruff Identification of Outliers in Multivariate Data. Journal of the American Statistical Association 91, Rousseeuw, P. & V. Driessen A Fast Algorithm for the Minimum Covariance Determinant Estimator. Technometrics 41,

19 LAMPIRAN

20 10 Lampiran 1. Skema kerangka pemikiran Regresi Berganda Multikolinear Regresi Komponen Utama (RKU) Komponen Utama Komponen Utama Matriks Ragam-peragam Matriks Ragam-peragam Maximum Likelihood Estimation (MLE) Minimum Covariance Determinant (MCD) Tidak Resisten Terhadap pencilan Multivariat

21 11 Lampiran 2. Skema algoritma metode FAST-MCD Misalkan didefinisikan X=[x 1,x 2,,x p] ' Tentukan H 1 dari X yang terdiri dari h elemen dengan h=(n+p+1)/2 Hitung t MCD dan C MCD Hitung rataan(t 1 ), ragamperaga(c 1 ) dan Det(C I ) dari H 1. YES Hitung jarak relatif d i NO Apakah Det(C2)<Det(C1) dan konvergen? Tentukan H 2 berdasarkan jarak relatif yang terkecil d i Hitung t 2 dan C 2 dan Det(C 2 ) dari H 2.

22 12 Lampiran 3. Skema algoritma simulasi Bangkitkan m=2000 dan p=5 dan antar vektor x-nya saling berkorelasi Bangkitkan m=300 dan p=5 dan antar vektor x-nya saling berkorelasi Bangkitkan e~n(0,1) lalu hitung Y=a t X+e, a t adalah vektor satuan yang merupakan parameter populasi yang sesungguhnya Ambil data contoh X (1) dari data X (0) yang berukuran n dan δ% data diantaranya berasal dari (X (out) ). Hitung matriks ragam-peragam dengan metode MLE dan MCD. Hitung akar ciri dari matriks ragamperagam metode MLE dan MCD. Ulang sebanyak r kali Lakukan langkah ini dengan ukuran n dan δ yang berbeda Lakukan analisis PCA Berdasarkan matriks ragam-peragam MLE dan MCD Regresikan skor komponen terhadap Y (1) dengan metode MKT Hitung bias dan Mean Squared Error (MSE dari β) yang dihasilkan Bandingkan nilai bias dan MSE yang dihasilkan dari masing-masing metode

23 13 Lampiran 4. Nilai korelasi antar peubah penjelas X1 X2 X3 X4 X (0.000) X (0.000) (0.000) X (0.000) X (0.000) (0.000) (0.000) (0.000) (0.000) (0.000) Lampiran 5. Nilai akar ciri yang dihasilkan tiap komponen pada saat n=20 Metode Proporsi Pencilan Komponen MLE 5% % % % MKT 5% % % % Lampiran 6 Nilai akar ciri yang dihasilkan tiap komponen pada saat n=100 Metode Proporsi Pencilan Komponen MLE 5% % % % MKT 5% % % %

24 14 Lampiran 7 Nilai bias yang dihasilkan saat n=20 dan n=100 Koefisien Regresi Proporsi pencilan n=20 n=100 MLE-MKT MCD-MKT MLE-MKT MCD-MKT β 1 5% % % % β 2 5% % % % β 3 5% % % % β 4 5% % % % β 5 5% % % %

25 15 Lampiran 8 Nilai Mean Squared Error (MSE) yang dihasilkan saat n=20 dan n=100 Koefisien Regresi Proporsi pencilan n=20 n=100 MLE-MKT MCD-MKT MLE-MKT MCD-MKT β 1 5% % % % β 2 5% % % % β 3 5% % % % β 4 5% % % % β 5 5% % % %