Pengaruh Outlier Terhadap Estimator Parameter Regresi dan Metode Regresi Robust

Transkripsi

1 Pengaruh Outlier Terhadap Estimator Parameter Regresi dan Metode Regresi Robust I GUSTI AYU MADE SRINADI Jurusan Matematika Universitas Udayana, srinadiigustiayumade@yahoo.co.id Abstrak. Metode kuadrat terkecil (MKT) adalah salah satu metode yang umum digunakan untuk mengestimasi parameter pada regresi linear. Akan tetapi estimasi dengan metode kuadrat terkecil mempunyai kelemahan ketika outlier/pencilan terdapat dalam data yang menyebabkan estimator dari parameter bersifat bias. MKT bukanlah prosedur regresi yang robust (tegar) terhadap adanya outliers. Sebagai alternatif, metode regresi robust dapat digunakan diantaranya: Maximum Likelihood Estimator (M-Estimator), Scale-Estimator (S-Estimator), dan Method of Moment Estimator (MM-Estimator). Pada penelitian ini digunakan data bangkitan beberapa kelompok data yang mengandung outliers minor maupun outliers mayor pada variabel respon sebesar 5%, 10%, dan 15%. M-Estimator dan S-Estimator menghasilkan estimator parameter yang bersifat bias, khususnya untuk jenis outliers minor/mayor 5% dan 15% pada M-Estimator, dan outliers minor/mayor 10% pada S-Estimator. Sedangkan MM-Estimator merupakan estimator yang memiliki sifat robust untuk estimasi parameter/koefisien regresi dan dapat mengatasi pengaruh outliers, karena metode ini menghasilkan estimator parameter yang tidak bias untuk tiap jenis pencilan. Kata Kunci: Metode Kuadrat Terkecil, Regresi Robust, M-Estimator, S-Estimator, MM-Estimator 1. Pendahuluan Outlier merupakan data yang tidak mengikuti pola umum atau pola data secara keseluruhan, Weisberg [1]. Outlier dapat memengaruhi hasil estimasi parameter regresi, juga dapat menimbulkan pelanggaran terhadap asumsi kenormalan data. Outliers dalam analisis regresi dapat menyebabkan sisaan yang besar dari model yang terbentuk, keragaman data menjadi lebih besar sehingga menyebabkan data tidak homogen, Montgomery [2]. Jika adanya outlier disebabkan karena kesalahan dalam mencatat amatan atau kesalahan menyiapkan peralatan, outlier tersebut dapat diabaikan atau dibuang sebelum dilakukan analisis data. Namun, bila outlier ada bukan karena kesalahan peneliti, tetapi memang merupakan informasi yang tidak bisa diberikan oleh data laiya maka data outlier tersebut tidak bisa diabaikan dan harus disertakan dalam analisis data. Metode Kuadrat Terkecil (MKT) atau Ordinary Least Square (OLS) sering digunakan dalam estimasi parameter model regresi linear. Estimator yang dihasilkan MKT akan bersifat tak bias dan efisien (Best Linear Unbiased Estimator/BLUE) jika komponen sisaan atau galat memenuhi beberapa asumsi klasik, yaitu: kenormalan, kehomogenan ragam, dan tidak terjadi autokorelasi, Myers [3]. Jika terdapat pelanggaran terhadap asumsi tersebut, estimator yang 1259

2 diperoleh bersifat bias dan tidak efisien sehingga model regresi yang diperoleh tidak cocok (fit) terhadap data yang dimodelkan. Metode yang digunakan untuk menghasilkan model regresi yang bersifat fit meskipun terdapat outlier dalam data adalah metode regresi robust. Menurut Ryan [4], metode regresi robust memiliki sifat : (1) sama baiknya dengan MKT ketika semua asumsi klasik terpenuhi; (2) dapat menghasilkan model yang lebih baik dari MKT ketika ada asumsi tidak terpenuhi; dan (3) estimasi dilakukan secara iteratif sampai diperoleh dugaan terbaik yang memiliki standar error parameter paling kecil. Dalam penelitian ini metode regresi robust yang digunakan adalah Scale-Estimator (S-Estimator), Maximum Likelihood Estimator (M-Estimator), dan Method of Moment Estimator (MM-Estimator). Outlier pada analisis regresi dapat terjadi pada variabel bebas/independent, variabel tak bebas/dependent, atau pada kedua variabel tersebut. Pada penelitian ini perhatian dipusatkan untuk outlier pada variabel tak bebas, menurut jenisnya (minor mayor outlier) dan banyaknya outlier (persentase outlier terhadap data keseluruhan). Penelitian ini bertujuan untuk melihat ketegaran terhadap sifat kenormalan sisaan sera sifat ketakbiasan estimator parameter regresi linear sederhana dari S- Estimator, M-Estimator, dan MM-Estimator pada data simulasi yang mengandung outlier menurut jenis dan banyaknya. 2. Tinjauan Pustaka 2.1 Regresi Linear Sederhana Regresi merupakan alat statistika yang memanfaatkan hubungan antara dua atau lebih variabel kuantitatif sehingga salah satu variabel dapat diramalkan dari variabel laiya. Regresi linear yang hanya melibatkan satu variabel respon dan satu variabel bebas disebut regresi linear sederhana. Model setiap pengamatan dinyatakan dengan rumus YY ii = ββ 0 + ββ 1 XX ii + εε ii dengan YY ii adalah nilai variabel respon dalam amatan ke-i; XX ii adalah variabel bebas yang diketahui nilainya dalam amatan ke-i; εε ii adalah nilai sisaan/galat yang memiliki sifat saling bebas dan menyebar normal: εε ii ~NN(0, σσ 2 ); ββ 0 dan ββ 1 adalah paremeter regresi. Salah satu metode dalam analisis regresi yang digunakan untuk mengestimasi parameter-paremeternya adalah Metode Kuadrat Terkecil (MKT). Prinsip dasar MKT adalah dengan meminimumkan jumlah kuadrat sisaan. 2.2 Outlier Dalam Regresi Outlier adalah suatu data yang tidak biasa, tidak cocok dari data laiya atau data yang tidak mengikuti pola umum dari keseluruhan, Weisberg [1]. Adanya outlier mungkin disebabkan karena kesalahan dalam melakukan observasi yang biasa disebut observasi terkontaminasi atau outlier merupakan data akurat dari kasus yang jarang. Analisis regresi memberikan suatu model yang menggambarkan hubungan variabel independent ( XX ii, ii = 1,2,, ) dengan variabel dependent ( YY ii, ii = 1,2,, ). Model regresi yang diperoleh dengan MKT mensyaratkan asumsi bahwa sisaan/galat dari model yang dihasilkan harus berdistribusi normal. Tetapi dengan adanya outlier menyebabkan asumsi kenormalan tidak terpenuhi. Dalam analisis regresi, terdapat satu variabel dependent yang digambarkan pada 1260

3 scatterplot sebagai arah y, dan satu atau beberapa variabel independent pada scatterplot digambarkan sebagai arah x. Keberadaan data outlier mungkin terdapat pada arah y, pada arah x, atau pada arah keduanya. Outlier pada satu variabel, misalkan pada variabel dependent Y, dibedakan menjadi minor outlier dan mayor outlier yang didefinisikan sebagai berikut : 1. Minor Outlier (mild outlier) Suatu nilai y dikatakan minor outlier jika nilai y tersebut berada pada: QQ 1 3 JJJJ yy QQ 1 1,5 JJJJ atau QQ 3 + 1,5 JJJJ yy QQ JJJJ 2. Mayor Outlier (extreme outlier) Suatu nilai y dikatakan mayor outlier jika nilai y tersebut berada pada: yy < QQ 1 3 JJJJ atau yy > QQ JJJJ dengan: Q 1 adalah kuartil pertama; Q 3 adalah kuartil ketiga; JK adalah jangkauan antar kuartil (Q 3 - Q 1 ). Data outlier dapat dikenali dengan pemeriksaan secara visual dari data mentah (raw data) atau dari dari diagram pencar/scatterplot variabel independent dan variabel dependent. Pada kasus ketika terdapat lebih dari dua variabel independen, beberapa outlier mungkin sangat sulit dideteksi dengan pemeriksaan visual, diperlukan alat bantu yang dikenal dengan regresi diagnostik yang dapat membantu dalam mendeteksi outlier. 2.3 Regresi Robust Masalah outlier pada estimasi MKT dapat diatasi dengan menggunakan metode estimasi yang bersifat tegar terhadap outlier yang dikenal dengan regresi robust. Menurut Myers [3], regresi robust merupakan metode regresi yang digunakan ketika distribusi dari sisaan tidak normal dan adanya beberapa outlier yang berpengaruh pada hasil analisis regresi. Prosedur regresi robust ditujukan untuk mengakomodasi adanya keanehan data, sekaligus meniadakan identifikasi adanya data outlier. Chen [6] menyebutkan beberapa prosedur estimasi parameter dalam regresi robust, tiga diantaranya adalah M-Estimator (Maximum likelihood type estimator) yang diperkenalkan Huber tahun 1973, S-Estimator (Scale estimator) yang diperkenalkan oleh Rousseeuw dan Yohai pada tahun 1984 serta MM-Estimator (Method of Moment estimator) yang diperkenalkan oleh Yohai pada tahun (a) M-Estimator Estmasi parameter dengan metode ini menggunakan metode Iteratively Reweighted Least Squares (IRLS), meminimumkan fungsi ρρ (fungsi obyektif) dari sisaan. TABEL 1. Fungsi objektif, Influence Function dan Fungsi Pembobot M-Estimator Metode Fungsi Objektif Influence Function Fungsi Pembobot Kuadrat Terkecil ρρ(εε ii ) = 1 2 (εε ii ) 2 ψψ(εε ii ) = εε ii ww(εε ii ) =

4 Huber 1 ρρ(εε ii ) = 2 (εε ii ) 2, εε ii rr rr εε ii 1 2 rr2, εε ii > rr εε ii, εε ii rr ψψ(εε ii ) = rr, εε ii > rr rr, εε ii < rr 1, εε ii rr ww(εε ii ) = rr εε ii, εε ii > rr Tukey rr2 2 3 Bisquare ρρ(εε ii ) εε ii rr =, εε ii rr rr 2 6, εε ii > rr Sumber : Montgomery [2] Nilai r pada fungsi objektif, influence dan pembobot pada Tabel 1 adalah tuing constant dan εε ii = εε ii σσ, dimana σσ merupakan estimator skala sisaan yang sifatnya robust (tegar). Kuzmic et.al [6] menyebutkan bahwa M-Estimator efektif digunakan pada α=5% dengan r = untuk fungsi pembobot Huber dan r = 4,685 untuk pembobot Tukey Bisquare. Semakin besar r maka estimasi robust akan mendekati least square. M-Estimator dipandang baik dalam mengestimasi parameter yang disebabkan oleh data outlier dan memiliki breakdown point 1/n, dengan n adalah banyaknya data pengamatan. Breakdown point adalah proporsi minimal dari banyaknya data pencilan dibandingkan dengan seluruh data pengamatan. M-Estimator meminimumkan fungsi objektif : ii=1 ρρ(εε ii ) = ii=1 ρρ(εε ii σσ ) = ii=1 ρρ(( yy ii XX ii bb)/σσ ) (1) σσ merupakan estimator skala sisaan yang sifatnya robust (tegar). Nilai σσ diperoleh melalui iterasi: σσ ll = mmmmmm εε ii mmmmmmεε ii / (2) dengan l (l = 1, 2, ) adalah iterasi. Bila n besar dan sisaan berdistribusi normal, maka dengan konstanta menyebabkan σσ bersifat tak bias, Montgomery[2]. Dengan ψψ = ρρ adalah turunan pertama dari ρρ yang merupakan influence function, maka untuk meminimumkan persamaan (1) : ii=1 ψψ(( yy ii XX ii bb)/σσ )XX ii = 0 (3) ψψ(. ) merupakan influence function yang digunakan dalam memperoleh bobot (weight). Dengan fungsi pembobot ww ii = ψψ εε ii εε ii maka persamaan (3) menjadi: ii=1 ww ii (( yy ii XX ii bb)/σσ )XX ii = 0 (4) Persamaan (4) dinotasikan ke dalam matrik : ψψ(εε ii ) = εε ii 1 εε 2 2 ii rr εε ii rr 2 0, εε ii > rr 2 2 ww(εε ii ) = 1 εε ii rr, εε ii rr 0, εε ii > rr XX TT WWWWbb = XX TT WWWW (5) Persamaan (5) disebut weighted least. Weighted least squares tersebut dapat digunakan sebagai alat untuk mendapatkan M-Estimator, sehingga hasil dari estimasi parameter menjadi : 1262

5 bb = (XX TT WWWW) 1 XX TT WWWW (6) Secara umum prosedur untuk mendapatkan estimasi parameter dengan Iteratively Reweighted Least Squares (IRLS), adalah sebagai berikut: 1) Menaksir parameter regresi menggunakan least square, sehingga didapatkan yy ii,0 dan didapatkan residual εε ii,0, dimana εε ii,0 = yy ii yy ii,0 (i = 1, 2,... n) yang diperlakukan sebagai nilai awal 2) Dari nilai-nilai residual tersebut ditentukan σσ (0) dan fungsi pembobot awal εε ii,0 ww ii,0 = ψψ εε ii,0. Nilai ψψ(εε ii ) dihitung sesuai fungsi Huber 3) Mencari estimasi pada iterasi l ( l = 1, 2, ) dengan weighted least square: bb ll = (XX TT WW ll 1 XX) 1 XX TT WW ll 1 yy dengan WW ll 1 merupakan matriks diagonal dengan elemen diagonalnya adalah ww ii,ll 1. Sehingga estimasi parameter pada iterasi pertama ( l = 1 ) menggunakan εε ii,0 dan ww ii,0 4) Menghitung ii=1 yy ii yy ii,1 atau ii=1 εε ii,1 5) Mengulang tahap 2-4 hingga didapatkan ii=1 εε ii,ll yang konvergen (selisih bb ll+1 dan bb ll mendekati 0). (b) S-Estimator (Scale-Estimator) S-Estimator diperkenalkan oleh Rousseeuw dan Yohai pada tahun S- Estimator dapat mengidentifikasi bad observation yang berarti dapat membedakan good leverage point dan bad leverage point. Good leverage point merupakan pengamatan yang terpencil pada variabel X tetapi terletak dekat dengan garis regresi (pengamatan x i menjauh, tetapi y i cocok dengan garis regresi), sedangkan bad leverage point merupakan pengamatan yang terpencil pada variabel bebas X dan terletak jauh dari garis regresi. Untuk mengatasi hal tersebut diperlukan high breakdown point, Chen [5]. S-Estimator merupakan estimator yang memiliki high breakdown point untuk mengestimasi skala sisaan σσ. S-Estimator meminimumkan skala M-Estimator terhadap sisaan (σσ ). Bentuk S- Estimator adalah: bb SS = mmmmmm ββ σσ (εε 1 (bb),, εε (bb)) (6) dimana σσ adalah penduga skala robust yang memenuhi 1 ρρ(εε ii ii=1 = δδ, dimana δδ adalah konstanta yang didefinisikan sebagai δδ = EE(ΦΦ, ρρ( )) dimana ΦΦ berdistribusi normal standar. (c) MM-Estimator (Method of Moment Estimator) MM-Estimator merupakan estimator yang mempunyai sifat robust yang tinggi dan efektif terhadap outlier. Metode MM-Estimator melalui dua tahap. Pertama, mengestimasi parameter regresi awal dan menghitung scale estimate dengan metode S-Estimtor. Kedua, mengestimasi parameter regresi akhir dengan M-Estimator. pada umumnya MM-Estimator menggunakan metode Tukey Bisquare. MM-Estimator juga menggunakan IRLS (Iteratively Reweighted Least σσ ) 1263

6 Square) untuk mencari estimasi parameter regresi. Langkah-langkah estimasi parameter pada MM-Estimator adalah sebagai berikut: 1. Menghitung estimator awal bb ii,0 dan εε ii,0 dengan menggunakan S-Estimator (high breakdown point) 2. Dari nilai residual εε ii,0 yang diperoleh pada langkah 1, ditentukan estimator skala σσ ss, dihitung pula pembobot awal ww ii,0 = ψψ εε ii,0, εε ii = εε ii σσ ss, dan ww ii,0 dihitung sesuai fungsi Tukey Bisquare 3. Nilai residual εε ii,0 dengan estimator skala σσ ss pada langkah 2 digunakan dalam iterasi awal: bb ll = (XX TT WW ll 1 XX) 1 XX TT WW ll 1 yy dengan WW ll 1 merupakan matriks diagonal dengan elemen diagonalnya adalah ww ii,ll 1. Sehingga estimasi parameter pada iterasi pertama (nilai l = 1) menggunakan εε ii,0 dan ww ii,0 4. Menghitung ii=1 yy ii yy ii,1 atau ii=1 εε ii,1 5. Mengulangi langkah 2 sampai 4 hingga didapatkan ii=1 εε ii,ll yang konvergen (selisih bb ll+1 dan bb ll mendekati 0), dengan l adalah banyaknya iterasi. 3. Hasil dan Pembahasan Berdasarkan tujuan dalam penelitian ini yaitu melihat sifat ketakbiasan estimator parameter regresi linear sederhana dari MKT, S-Estimator, M- Estimator, dan MM-Estimator pada data simulasi yang mengandung outlier menurut jenis dan banyaknya, dalam penelitian ini outlier hanya terjadi pada peubah dependent Y. Kumpulan data yang dianalisis mencakup data yang mengandung minor-outlier sebesar 5%, 10%, dan 15% serta data-data yang mengandung mayor-outlier sebesar 5%, 10%, dan 15%. Data simulasi awal (tanpa outlier) dibangkitkan data berdistribusi normal dengan EE(YY XX) = 2 + XX, selanjutnya untuk memenuhi kriteria data mengandung jenis dan banyak outlier tertentu, dilakukan dengan mengganti sejumlah data dengan data outlier sesuai jenis dan banyaknya. Karena MKT tidak memenuhi asumsi kenormalan, maka sifat ketakbiasan estimator dari parameter regresi dilihat pada S-Estimator, M-Estimator, dan MM- Estimator. Sifat ketakbiasan dilihat pada selang kepercayaan 95% parameter regresi, apabila nilai harapan parameter regresi, yaitu EE ββ 1 = ββ 1 = 1 berada pada selang kepercayaan yang disusun berdasarkan nilai ββ 1 maka dikatakan estimator ββ 1 bersifat tidak bias. Demikian juga, apabila EE ββ 0 = ββ 0 = 2 berada pada selang kepercayaan yang disusun berdasarkan nilai ββ 0 maka estimator ββ 0 bersifat tidak bias. Sifat ketakbiasan S-Estimator, M-Estimator, dan MM- Estimator secara rinci diuraikan pada Tabel 2, Tabel 3, dan Tabel 4. εε ii,0 TABEL 2. Selang Kepercayaan 95% ββ 0 dan ββ 1 dari S-Estimator Posisi Jenis Outlier BB 0 Ket. BB 1 Ket. Outlier Batas Batas Batas Batas Atas Bawah Atas Bawah Bawah Minor 5% T T 1264

7 Minor 10% T B Minor 15% T T Mayor 5% T T Mayor 10% T B Mayor 15% T T Atas Minor 5% T T Minor 10% T T Minor 15% T T Mayor 5% T T Mayor 10% T T Mayor 15% T T Tengah Minor 5% T T Minor 10% T B Minor 15% T T Mayor 5% T T Mayor 10% T B Mayor 15% T T TABEL 3. Selang Kepercayaan 95% ββ 0 dan ββ 1 dari M-Estimator Posisi Outlier Jenis Outlier BB 0 Ket. BB 1 Ket. Batas Bawah Batas Atas Batas Bawah Batas Atas Bawah Minor 5% T T Minor 10% T T Minor 15% T T Mayor 5% T T Mayor 10% T T Mayor 15% T T Atas Minor 5% T B Minor 10% T T Minor 15% T B Mayor 5% T B Mayor 10% T T Mayor 15% T B Tengah Minor 5% T T Minor 10% T T Minor 15% T T Mayor 5% T T Mayor 10% T T Mayor 15% T T TABEL 4. Selang Kepercayaan 95% ββ 0 dan ββ 1 dari MM-Estimator Posisi Outlier Jenis Outlier BB 0 Ket. BB 1 Ket. Batas Batas Batas Batas Atas Bawah Atas Bawah Bawah Minor 5% T T Minor 10% T T Minor 15% T T Mayor 5% T T Mayor 10% T T Mayor 15% T T Atas Minor 5% T T 1265

8 Minor 10% T T Minor 15% T T Mayor 5% T T Mayor 10% T T Mayor 15% T T Tengah Minor 5% T T Minor 10% T T Minor 15% T T Mayor 5% T T Mayor 10% T T Mayor 15% T T Ket. : T = tidak bias, B = bias Berdasarkan hasil yang diuraikan dalam Tabel 2, 3, dan 4 maka terlihat bahwa ketiga metode regresi robust menghasilkan estimator tidak bias untuk parameter pada semua jenis dan banyak outlier dalam data. Sedangkan untuk estimator parameter pada S-Estimator diperoleh estimator yang bias pada data yang mengandung outlier sebanyak 10% untuk jenis minor dan mayor pada posisi bawah dan tengah data. Pada M-Estimator, estimator yang bias untuk parameter diperoleh pada data yang mengandung outlier sebanyak 5% untuk jenis minor dan mayor pada posisi atas dari data. Sedangkan MM-Estimator memberikan estimator tak bias untuk parameter pada semua jenis dan banyak outlier di semua posisi data. Hal ini memperlihatkan bahwa diantara ketiga metode regresi robust yang diamati, MM-Estimator merupakan metode yang memiliki kekekaran yang paling tinggi dalam mengatasi pengaruh outlier pada analisis regresi linier. 4. Kesimpulan Adanya outlier pada suatu data dalam analisis regresi linier mengakibatkan pelanggaran terhadap asumsi kenormalan, sehingga MKT tidak tepat digunakan dalam estimasi parameter. Metode regresi robust digunakan sebagai alternatifnya. Dari ketiga metode regresi robust, yaitu S- Estimator, M-Estimator, dan MM-Estimator diperoleh bahwa MM- Estimator merupakan metode yang memiliki kekekaran yang paling tinggi dalam mengatasi pengaruh outlier pada analisis regresi linier. Daftar Pustaka [1] Weisberg, S., Applied Linear Regression. John Wiley and Sons Inc., [2] Montgomery,D.C. and Peck, E.A., Introduction to Linear Regression Analysis, 2 nd Edition, John Wiley and Sons Inc., [3] Myers, R.H., Classical and Modern Regression With Application, 2 nd Edition, Duxbury/Thompson Learning, [4] Ryan, T.P., Modern Regression Methods, A Wiley-Interscience Publication, [5] Chen, C., The Robust Regression and Outlier Detection With The Robustreg Procedure. Paper SAS Institute. Cary, NC, [6] Kuzmic, Petr, et al., Practical Robust Fit of Enzyme Inhibition Data. Methods in Enzymology. 383: ,