Metode Minimum Covariance Determinan Pada Analisis Regresi Linier Berganda Dengan Kasus Pencilan

Transkripsi

1 Metode Minimum Covariance Determinan Pada Analisis Regresi Linier Berganda Dengan Kasus Pencilan Minimum Covariance Determinants Method On Multiple Linear Regression Analysis The Case Outliers Sifriyani Program Studi Statistika FMIPA Universitas Mulawarman Abstract One of the methods used to model linear regression on data containing outliers is robust regression. Robust regression is a method used to overcome the deviation from the classical assumptions. One method to overcome the deviation robust outlier assumption is minimum covariance determinant (MCD). MCD principle is to use some of the data that has the smallest determinant of covariance to determine the weighting. Identification of outliers and estimate the parameters. This method can produce a model that is more precise than the MKT. this paper will show resistance to outliers in the MCD method uses simulated data with observations of the size of 30, 50, 00, and 50 data as well as the percentage of outliers as much as 0%, 20%, 30% and 40%. Keywords : regression, outliers, robust, MKT, MCD.. PENDAHULUAN Dalam analisis regresi linier berganda yang mengandung data pencilan, pendeteksian tidak dapat dilihat dengan menggunakan diagram pencar (scatter plot). Beberapa metode untuk mendeteksi hal ini adalah DFFITS, Cook s Distance, Leverage Values (Soemartini, 2007) dan menggunakan matriks rata-rata dan matriks kovarians yaitu jarak mahalonobis. Akan tetapi metode-metode ini kurang maksimal bila pengamatan mengandung lebih dari satu data pencilan. Hal ini disebabkan metode jarak mahalonobis tidak dapat mengatasi masking dan swamping effect. Dalam Surya (2008) dijelaskan bahwa masking effect merupakan pengaruh pada data pencilan yang terjadi pada saat data pencilan tidak terdeteksi sebagai pencilan karena adanya data pencilan lain yang berdekatan sedangkan swamping effect merupakan pengaruh pada kumpulan data yang terjadi saat data yang bukan pencilan terdeteksi sebagai data pencilan. Masking dan swamping effect dapat diatasi dengan penaksir robust untuk vektor rata-rata dan matriks kovariansi, sehingga didapat jarak mahalonobis robust. Penaksir robust merupakan penaksir yang ajeg terhadap penyimpangan asumsi. Salah satu metode penaksir robust yang dapat mengukur jarak dan mendeteksi titik pencilan adalah penaksir minimum covariance determinant. Rousseuw (2004) menjelaskan bahwa penaksir M yang dikemukakan Huber pada tahun 973 tidak dapat mengatasi pencilan pada ruang- X sehingga dikembangkanlah metode LMS. Metode LMS memiliki proses yang sangat lama dalam menaksir parameter sehingga dikembangkan metode LTS. Kelemahan metode LTS adalah tidak dapat mendeteksi seluruh pencilan. Metode robust lain yang dapat mengatasi pencilan ruang-x, mendeteksi seluruh pencilan dan memberikan proses yang relatif cepat adalah regresi minimum covariance determinant (MCD) (Rousseuw, 2004). Metode ini dapat mendeteksi seluruh pencilan dalam data dan memiliki ketahanan yang cukup besar tehadap pencilan (Rousseuw, 2004). Prinsip metode MCD adalah menggunakan vector rata-rata dan matriks kovarians yang didapat dari penaksir MCD untuk menentukan bobot dari setiap data, sehingga didapat taksiran parameter model MCD. Paper ini akan membahas tentang pengidentifikasian pencilan, pembobotan data, dan penentuan parameter analisis regresi berganda dengan menggunakan penaksir robust, yaitu penaksir MCD. Hasil yang diperoleh kemudian dibandingkan dengan metode MKT. Akan ditunjukkan juga bahwa metode ini memiliki ketahanan terhadap pencilan dengan membandingkan nilai-nilai bias, MSE, dan R 2 yang diperoleh metode MKT dan MCD. 2. LANDASAN TEORI 2. Analisis Regresi Linier Model persamaan analisis regresi berganda secara umum dapat ditulis dalam notasi matriks sebagai berikut; + = () dimana : vektor variabel tak bebas (n x ) p) : matriks variabel bebas (n x ) : vektor parameter (p x x) : vektor error (n p : k +, k = jumlah variabel bebas, n = jumlah data Program Studi Statistika FMIPA Universitas Mulawarman 43

2 Jumlah kolom matriks X sebesar k + disebabkan oleh adanya variabel X semu yang dimasukkan ke dalam model yang bernilai untuk setiap Y. sehingga bentuk X sebagai berikut. ଵଵ ଶଵ ଵଶ ଶଶ ଵ ଶ ൪ (2) = ൦ ଵ ଶ Metode klasik yang digunakan untuk menaksir parameter model adalah metode kuadrat terkecil (MKT) yang mempunyai prinsip meminimumkan jumlah kuadrat residual. Taksiran parameter untuk model MKT adalah: ( ) = (3) 2.2 Pencilan Pengamatan yang dikategorikan sebagai pencilan harus dilihat berdasarkan sebaran datanya, maka penyebab pencilan itu dapat diketahui, apakah berdasarkan penyimpangan oleh variabel bebasnya (X) atau berdasarkan variabel tak bebasnya (Y), atau bahkan berdasarkan keduanya. Penyimpangan oleh variabel bebas atau levelrage point sangat sukar dideteksi sejak awal karena dalam scatter plot tidak dapat terlihat dan membentuk efek masking. (Suryana, 2008) Pada umumnya untuk mengidentifikasi pencilan, dapat digunakan jarak kuadrat mahalonobis yaitu: (4) ) ) ഥ) ) ( ) ഥ) ) = = ൦ ଵଵ ଶଵ ଵ ଵଶ ଶଶ ଶ ൪ C - = invers matriks kovariansi (k x k) ) ഥ = matriks rata-rata tiap baris (k x Nilai jarak mahanolobis untuk setiap pengamatan didapat dari matriks diagonal utama persamaan (4). Suryana (2008) menjelaskan pengamatan diidentifikasi sebagai pencilan jika memenuhi ketentuan sebagai (5) () > dengan: merupakan batas pencilan (), ( ), = () α = taraf signifikansi Penggunaan jarak mahalanobis tidak lagi maksimal untuk mengidentifikasi pencilan jika lebih dari satu pengamatan pencilan. Hal ini muncul akibat adanya pengaruh masking dan swamping. Pengaruh masking dan swamping kedunya dapat diatasi dengan menggunakan penaksir robust untuk vektor rata-rata dan matrik kovariansi sehingga dihasilkan jarak kuadrat mahalonobis robust. 2.3 Penaksir Robust Penaksir yang robust terhadap pencilan merupakan penaksiran yang ajeg terhadap adanya pencilan atau tidak peka bila terjadi penyimpangan data sehingga hasil taksiran terhadap parameter model tidak akan mendekati nilai yang sebenarnya. Dalam Kristian (200) dijelaskan bahwa tujuan penaksir robust yaitu: i. Menghasilkan taksiran yang sama baiknya dengan taksiran MKT (pada saat residualnya berdistribusi normal dan terbatas dari kesalahan). ii. Menghasilkan taksiran yang baik ketika terdapat kondisi (i) tidak terpenuhi. Dalam penaksir robust dikenal jarak robust dan residu robust. Jarak robust merupakan modifikasi dari jarak mahalonobis, yaitu menggantikan matriks vektor rata-rata dan matriks kovarians metode klasik dengan matriks rata-rata dan kovarians metode robust. Jarak robust diperoleh dengan rumus sebagai ) = ) ( ) ഥ) ) ) ഥ) () dengan : k) = invers matriks kovariansi (k x ഥ ) = matriks rata-rata tiap baris (k x Residu robust merupakan error yang diperoleh dari regresi robust. Berdasarkan jarak robust dapat dikategorikan titik levelrage yang lebih dapat dipercaya daripada jarak mahalonobis. Kristian (200) menjelaskan titik leverage dapat dideteksi dengan jarak robust dengan syarat sebagai () < Jika = ቄ 0 ݎ ݒ ܮ untuk lainnya (7) Berdasarkan Hubert et al (2008), dari residu robust dapat diketahui titik pencilan dengan kritis standardized residual, sebagai (ݍ)ܥ > ௦ (8) dimana: = residual,ܧ ܯ =ݏ s = simpangan baku ଶ, ට,(ଵ ఈ) = (ݍ)ܥ dengan q = jumlah variabel tak bebas 3. MINIMUM COVARIANCE DETERMINANT (MCD) Metode MCD merupakan penaksir robust untuk rata-rata dan matriks kovarians dengan mencari sebagian data yang mempunyai kovarians minimum yang digunakan untuk mengidentifikasi pencilan, menentukan jarak dan residu robust yang akan digunakan untuk pembobotan data dan penentuan parameter regresi. Program Studi Statistika FMIPA Universitas Mulawarman 44

3 Metode MCD mencari himpunan bagian data dari matriks X * sejumlah h pengamatan, yaitu: h = ( + + )/2 (9) dengan > Berdasarkan pengamatan (9) maka terdapat kombinasi pengamatan matriks himpunan bagian data dari matriks pengamatan X * sejumlah a, dengan a diidentifikasi sebagai ܥ = (0) Diperoleh matriks himpunan bagian data H b sebagai ଵଵ ଵଶ ଶଶ ଶଵ ൦ = ൪ ଶ ଵ () dengan b =,, a kemudian untuk setiap H b, sebut sebagai H bl diperoleh nilai matriks rata-rata t l dan matriks kovarians C l sebagai ). =. ( (2) (3) ) ) ) ) ) ) ) ) = dengan adalah matriks yang berukuran h x, sebagai = (4) Dari persamaan (3) dapat diketahui nilai det(c l ) 0 maka dengan menggunakan persamaan (4) dapat diketahui nilai jarak mahalanobis. Nilai jarak mahalonobis yang diperoleh kemudian diurutkan dari nilai terkecil, diambil nilai d MD sebanyak h. identifikasi nomor pengamatan d MD terpilih. Bentuk matriks X * baru sebanyak h pengamatan, dengan elemen matriksnya berupa pengamatan pada variabel X berdasarkan identifikasi nomor pengamatan. Sebut matriks X * baru, sebagai H bl dengan l = l+. Dengan persamaan (2) dan (3) didapat nilai t l dan C l dari matriks H bl yang baru, kemudian didapat nilai determinannya. Bandingkan dengan det(c l ) dan det(c l- ), jika:. det(c l ) det(c l- ), dengan menggunakan persamaan (4) didapat kembali nilai jarak mahalanosi yang baru, kemudian bentuk X * baru sehingga didapat H bl baru. 2. det(c l ) = det(c l- ), pengolahan data dilakukan dari awal lagi, dengan himpunan bagian data H b selanjutnya, sehingga didapat nilai determinan H b lainnya. Bandingkan seluruh nilai determinan matriks kovarians yang didapat dari himpunan bagian data H b, kemudian pilih yang bernilai minimum. Definisikan matriks himpunan bagian data H b yang memiliki nilai determinan minimum sebagai H MCD. Nilai t l dan C l yang didapat H MCD disebut sebagai t MCD dan C MCD. Berdasarkan Huberts et al (2008), diketahui matriks kovarians ൫Σ൯ dari variabel X dan variabel Y sebagai Σ Σ= ቈ Σ (5) Σ Σ dengan : Σ = matriks kovarians dari X (k x k) Σ = matriks kovarians dari X dan Y (k x ) Σ = nilai varians Y Setelah mendapat nilai matriks kovarians ൫Σ൯ dapat diketahui nilai kovarians dari error yaitu: Σ = Σ መߚ Σ መߚ (6) dengan መߚ = Σ Σ Huberts et al (2008) menjelaskan bahwa bobot w ii dirumuskan dengan ketentuan dengan (7) ൯ቁ ቀ ൫ߚመ = ቊ, ݓ ݕ,0 ቀ ൫ߚመ ൯ቁ = ට ൫ߚመ ൯൫Σ ൯ ଵ ቀ ൫ߚመ ൯ቁ Berdasarkan persamaan (7) dapat dibentuk matriks W berukuran n x n sebagai = ൦ ݓ ଵଵ ݓ ଶଵ ݓ ଵଶ ݓ ଶଶ ݓ ଶ ݓ ଵ ݓ dengan entri matriks w ij = 0, dimana i = j ଵ ݓ ଶ ݓ ݓ ൪ (8) Berdasarkan penjelasan di atas jelas bahwa metode regresi MCD merupakan salah satu penerapan dari pembobotan robust. Pembobotan robust merupakan suatu alternatif untuk memperoleh taksiran parameter yang peka terhadap pencilan. Sehingga regresi MCD dimodelkan dengan persamaan sebagai sebagai (9) ) ( ଵ ߠ = ( ) 3. Simulasi Data Resistensi metode MCD terhadap pencilan dapat ditunjukkan menggunakan simulasi data. Simulasi data adalah data yang diperoleh dari pembangkitan data dalam hal ini dengan membangkitkan e i yang berdistribusi N(0,). Selanjutnya data ini dianalisis dengan menggunakan metode regresi MCD dan MKT kemudian dibandingkan. Proses ini dilakukan berulang kali sehingga diharapkan menghasilkan suatu pola yang dapat memberikan kesimpulan mengenai metode yang diteliti. 4. HASIL DAN PEMBAHASAN Dari data simulasi diperoleh nilai bias, MSE dan koefisien determinasi, nilai bias untuk setiap ukuran pengamatan dan presentase pencilan digambarkan dengan grafik Program Studi Statistika FMIPA Universitas Mulawarman 45 (5)

4 Gambar 2.2 Grafik MSE ( መߚ) untuk SemuaUkuran Pengamatan dan Presentase Pencilan Gambar 2. Grafik Bias Untuk Semua Ukuran dan Presentase Pencilan Dari grafik terlihat bahwa garis metode MKT selalu berada di bawah garis metode MCD pada saat pencilan 0% atau tidak terdapat pencilan pada data. Terlihat juga ketika pencilan muncul dalam kata, maka garis metode MCD selalu berada di bawah garis metode MKT. hal ini menunjukkan bahwa metode MCD memiliki bias yang relatif kecil dibanding metode MKT. Nilai MSE untuk setiap ukuran pencilan dan ukuran pengamatan dapat dilihat dalam grafik Berdasarkan grafik terlihat bahwa nilai MSE ൫ߚመ ଷ ൯ untuk semua data yang mengandung pencilan dengan metode MCD dan MKT sama baiknya, garis metode MKT hanya sedikit dibawah metode MCD untuk setiap ukkuran pengamatan. Akan tetapi ketika data sudah mengandung pencilan, garis metode error yang besar dihasilkan oleh metode MKT. Nilai koefisien determinasi untuk setiap ukuran pengamatan dan presentase pencilan terlihat dalam grafik Program Studi Statistika FMIPA Universitas Mulawarman 46

5 MCD lebih mendekati nilai yang sebenarnya dibandingkan dengan metode MKT. 5. KESIMPULAN Berdasarkan analisis dan pembahasan pada bab IV, maka dapat disimpulkan sebagai Dari simulasi data, dengan pengulangan sebanyak 0 kali dan ukuran pengamatan masingmasing sebanyak 30, 50, 00, 50, menunjukkan bahwa regresi MKT tidak dapat mengestimasi model dengan baik bila terdapat pencilan dalam data. Hal ini ditunjukkan oleh rata-rata hasil ekstimasi parameter model yang cukup jauh menyimpang dari nilai yang sebenarnya serta ratarata MSE dan bias yang selalu jauh lebih besar dibandingkan yang dihasilkan regresi MCD. Gambar 2.3 Grafik Koefisien Determinasi untuk Semua Ukuran Pengamatan dan Presentase Pencilan. Berdasarkan grafik terlihat bahwa garis metode MCD selalu lebih besar dari garis metode MKT untuk setiap ukuran pengamatan dan presentase pencilan. Ini menunjukkan bahwa metode MCD memiliki garis regresi sampel yang lebih mendekati sebagian besar data dibandingkan metode MKT. Berdasarkan rangkaian penjelasan tersebut, dapat terlihat bahwa nilai bias dan MSE yang dihasilkan oleh metode MCD lebih kecil dibandingkan dengan MKT serta nilai koefisien determinasi yang dihasilkan MCD lebih besar dari MKT untuk setiap ukuran pengamatan dan ukuran pencilan. Terlihat juga bahwa nilai rata-rata estimasi parameter yang dihasilkan oleh metode 6. DAFTAR PUSTAKA Hubert, Mia. Et al High-Breakdown Robust Multivariat Methods. Statistical Science, Vol. 23, No.. Kristian, Yuddy Estimasi Parameter Model dalam Regresi Linier Berganda dengan Metode Least Trimmed Squares (LTS). Tesis. Bandung: Program Pascasarjana UNPAD BANDUNG. Rousseeuw, P.J. et al Robust Multivariat Regression.Technometrics, Vol. 46, No. 3. Soemartini Pencilan (outlier), (online), ( resources.unpad.ac.id/unpadcontent/ /OUTLIER(PENCILAN).pdf. Suryana Perbandingan Kinerja Penaksir Robust MCD dan MWCD dalam Analisis Diskriminan Kuadratik. Tesis. Surabaya: Program Magister ITS SURABAYA. Program Studi Statistika FMIPA Universitas Mulawarman 47

6 Program Studi Statistika FMIPA Universitas Mulawarman 48