Azzakiy Fiddarain ABSTRACT

Transkripsi

1 IDENTIFIKASI TITIK HIGH LEVERAGE PADA MODEL REGRESI LOGISTIK DENGAN METODE ROBUST LOGISTIC DIAGNOSTIC Azzakiy Fiddarain Mahasiswa Program Studi S1 Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Riau Kampus Bina Widya Pekanbaru 28293, Indonesia ABSTRACT This article discusses the robust logistic diagnostic method for the identification of high leverage points in logistic regression model which is a review of article from Syaiba and Habshah [Journal of Applied Sciences, 10 (2010), ]. On first stage, robust estimator used to identify suspect high leverage points by computing the robust Mahalanobis distance based on minimum covariance determinant and minimum volume ellipsoid. On the second stage, the group deleted based on the distance from the mean for logistic regression model is computed. Then the effectiveness of this method is investigated through the simulation of data using software R version Keywords: Logistic regression model, outlier, high leverage, robust Mahalanobis distance, minimum covariance determinants, minimum volume ellipsoid ABSTRAK Artikel ini membahas metode robust logistic diagnostic untuk mengidentifikasi titik high leverage pada model regresi logistik yang merupakan kajian ulang dari artikel Syaiba dan Habshah [Journal of Applied Sciences, 10 (2010), ]. Pada tahap pertama penaksir robust digunakan untuk mengidentifikasi pengamatan yang diduga sebagai titik high leverage dengan menghitung jarak Mahalanobis robust berdasarkan determinan kovarian minimum dan elipsoid volume minimum. Pada tahap kedua, hitung kelompok dihapus berdasarkan metode jarak dari ratarata pada model regresi logistik. Kemudian keefektifitasan metode ini diselidiki melalui simulasi data menggunakan software R versi Kata kunci: Model regresi logistik, outlier, high leverage, jarak Mahalanobis robust, determinan kovarian minimum, elipsoid volume minimum 1

2 1. PENDAHULUAN Regresi logistik digunakan untuk menganalisis kasus-kasus penelitian dengan tujuan mendapatkan model terbaik dan sederhana untuk menjelaskan hubungan di antara variabel respon (Y ) dengan variabe-variabel prediktor (X) [6, h. 63]. Agresti [1, h.188] menyatakan bahwa variabel respon dalam regresi logistik dapat berupa kategori atau kualitatif. Masalah yang sering muncul dalam analisis regresi adalah ditemukannya satu atau beberapa titik data berada jauh dari pola data pada umumnya atau yang biasa disebut sebagai outlier. Diagnosa outlier leverage pada regresi logistik merupakan bagian penting ketika menganalisis data karena outlier leverage dapat menyebabkan penaksir parameter menjadi bias. Rousseeuw [10] menyatakan bahwa titik high leverage tidak sesuai dengan model sama sekali dan titik ini lebih berbahaya dari outlier karena memiliki pengaruh paling besar pada regresi linear klasik. Imon [7] menunjukkan bahwa titik high leverage tidak hanya menyebabkan penaksir parameter menjadi salah, tetapi juga membentuk efek masking dan swamping. Efek masking terjadi pada saat pengamatan outlier tidak terdeteksi karena adanya pengamatan outlier lain yang berdekatan sedangkan efek swamping terjadi saat pengamatan baik teridentifikasi sebagai outlier. Dalam artikel ini untuk mengidentifikasi titik high leverage dalam model regresi logistik digunakan metode Robust Logistic Diagnostic (RLGD). Metode RLGD menggabungkan metode DM teknik yang diusulkan oleh Imon [7] dengan metode Diagnostic-Robust Generalized Potential (DRGP) yang diusulkan oleh Habsah et al. [4]. Pada tahap pertama, titik high leverage diidentifikasi dengan penaksir robust Minimum Covariance Determinant (MCD) atau Minimum Volume Ellipsoid (MVE) yang diperkenalkan oleh Rousseeuw [9]. Kemudian, pendekatan diagnostik digunakan untuk mengkonfirmasi high leverage. 2. PENAKSIRAN PARAMETER REGRESI LOGISTIK, OUTLIER, HIGH LEVERAGE Pada bagian ini dibahas mengenai model regresi logistik, penaksiran parameter model regresi logistik dengan metode maximum likelihood dan metode Newton- Raphson, outlier dan titik high leverage. Model Regresi Logistik Regresi logistik merupakan salah satu bagian dari analisis regresi. Regresi logistik digunakan untuk menganalisis kasus-kasus penelitian dengan tujuan untuk mencari pola hubungan antara sekumpulan variabel prediktor dengan suatu variabel respon bertipe katagorik atau kualitatif secara simultan. Variabel Y pada model regresi logistik merupakan variabel biner yang mempunyai dua nilai (0 atau 1). 2

3 Secara umum model regresi logistik dengan melibatkan lebih dari satu variabel prediktor dapat diformulasikan sebagai berikut: π(x i ) = exp (β 0 + β 1 x i1 + β 2 x i2 + + β k x ik ) 1 + exp (β 0 + β 1 x i1 + β 2 x i2 + + β k x ik ). (1) Hosmer dan Lemewshow [6, h. 6] menyebutkan bahwa untuk memudahkan dalam menaksir parameter pada persamaan regresi logistik dapat digunakan transformasi logit. Bentuk logit π(x i ) dinyatakan sebagai g(x i ), yaitu: g(x i ) = k β p x ip. (2) p=0 β 0 = konstanta, yang lazim disebut intercept β 1, β 2,..., β k = koefesien regresi variabel prediktor x i0, x i1,..., x ik = variabel prediktor yang pengaruhnya akan diteliti dengan x i0 = 1. Metode yang biasa dipakai untuk menaksir parameter dalam model regresi logistik adalah metode maximum likelihood. Pada dasarnya metode Maximum likelihood memberikan nilai estimasi β untuk memaksimumkan fungsi likelihood. secara sistematis fungsi likelihood untuk model regresi logistik dikotomus dapat ditulis sebagai berikut ( ) ni f(y; β) = π y i i (1 π i) n i y i, (3) y i dan fungsi log-likelihood untuk model regresi logistik adalah N ( ( ( k )) ( ( k )) ln L(β) = y i exp β p x ip ) n i ln 1 + exp β p x ip i=1 + log ( ni y i p=0 p=0 )). (4) Untuk memperoleh nilai taksiran ˆβ p, p = 0, 1,, k yang memaksimumkan nilai fungsi ln L(β) adalah dengan mendifferensialkan ln L(β) terhadap β p dan hasilnya disamakan dengan nol. Differensial pertama adalah ln L(β) β p = sedangkan differensial kedua bentuk umumnya adalah N i=1 (y i x ip n i π i x ip ), (5) 2 ln L(β) β p β p N = n i x ip π i (1 π i ) x ip. (6) i=1 3

4 Fungsi log-likelihood untuk model regresi logistik adalah cepat mencapai konvergen dan ada nilai taksiran untuk parameter. Akan tetapi fungsi tersebut adalah fungsi yang non-linear untuk menaksir β dengan menggunakan metode maximum likelihood, sehingga dibutuhkan penyelesaian iterasi Newton-Raphson, yaitu suatu metode yang digunakan untuk menyelesaikan persamaan-persamaan non-linear [1, h. 143]. Bentuk persamaan dari metode Newton-Raphson untuk menetukan maximum likelihood yang berasal dari differensial pertama dan kedua dari fungsi log-likelihood untuk mendapatkan nilai taksiran parameter yang optimal adalah β (t+1) =β (t) + [ (X T V X) ] 1 X T (y ˆµ), (7) proses iterasi ini berjalan sampai tidak ada perubahan secara esensial di antara elemen-elemen β dari satu iterasi ke iterasi lain. Pada tahap ini, penaksir maksimum likelihood sudah dapat dikatakan konvergen. Outlier pada Model Regresi Logistik Draper dan Smith [3, h. 75] mendefinisikan outlier sebagai sisaan dimana nilai mutlaknya jauh lebih besar daripada sisaan-sisaan lainnya dan bisa jadi terletak tiga atau empat simpangan baku atau lebih jauh lagi dari sisaan lainnya. Pengaruh outlier dalam analisis data yang dideteksi pada artikel ini adalah outlier yang berasal dari peubah prediktornya (x-outlier; titik leverage). Untuk tiap kasus, leverage menginformasikan seberapa jauh kasus tersebut dari nilai ratarata himpunan data variabel independen. Outlier dalam regresi linear dideteksi menggunakan hat matriks. Elemen diagonal dari hat matriks memberikan informasi tentang data observasi yang mempunyai nilai leverage yang besar. Menggunakan metode weighted least square pada regresi linear sebagai model, Pregibon [8] mendefenisikan hat matriks pada regresi logistik adalah H = V 1/2 X(X T V X) 1 X T V 1/2, (8) V adalah matrik diagonal berukuran n n dengan elemen v j = m j ˆπ j (1 ˆπ j ). Elemen diagonal dari H berisi nilai-nilai leverage yang didefinisikan sebagai: h j = m j ˆπ j (1 ˆπ j )x T j (X T V X) 1 x j. (9) Nilai rata-rata dari h j adalah (p + 1)/n, dengan n merupakan banyaknya data, dan p merupakan jumlah koefesien (β p ) variabel independen ditambah 1 sebagai konstanta (β 0 ). Titik yang memiliki nilai h j besar pada umumnya dianggap sebagai titik high leverage. Pada tahun 1978 Hoaglin dan Welsch (lihat Imon [7]) menganggap observasi menjadi tidak biasa ketika h j melebihi 2(p + 1)/n yang umumnya dikenal sebagai aturan dua kali rata-rata (2M: twice the mean). Pada tahun 1981 Vellman dan Welsch (lihat Imon [7]) menganjurkan mempertimbangkan aturan tiga kali rata-rata (3M) dimana h j dianggap sebagai high leverage ketika 4

5 melebihi 3(p+1)/n. Pada tahun 1981 Huber (lihat Habshah et al. [4]) menyarankan agar membagi interval h j, (0 h j 1), menjadi 3 interval. Nilai h j 0, 2 nilai yang aman, nilai antara 0, 2 dan 0, 5 beresiko, dan nilai di atas 0, 5 harus dihindari. Meskipun metode di atas dirancang untuk mendeteksi titik high leverage pada regresi linear, namun dapat juga digunakan pada regresi logistik. 3. IDENTIFIKASI TITIK HIGH LEVERAGE PADA MODEL REGRESI LOGISTIK DENGAN METODE ROBUST LOGISTIC DIAGNOSTIC Metode Jarak dari Rata-rata Menggunakan defenisi hat matriks pada persamaan (8), nilai leverage ke j didefinisikan sebagai h j = m j ˆπ j (1 ˆπ j )x T j (X T V X) 1 x j = v j b j. Jika kovariat ke j adalah titik yang ektrim, nilai x T j yang bersesuaian akan menjadi sangat dekat dengan 0 atau 1, yang menghasilkan nilai m j ˆπ j (1 ˆπ j ) yang sangat kecil. Oleh karena itu titik yang paling ektrim dalam ruang kovariat mungkin memiliki nilai leverage paling kecil. Namun, kuantitas yang meningkat dengan jarak dari rata-rata adalah b j = x T j (X T V X) 1 x j. (10) Kuantitas dari jarak rata-rata inilah yang selanjutnya digunakan untuk pengidentifikasian titik high leverage yang dalam artikel ini disebut sebagai metode DM. Hosmer & Lemeshow [6, h. 172] menganjurkan agar fokus pada b j untuk pengukuran jarak tersebut. b j dianggap pengamatan yang lebih besar apabila: dengan b j > median(b j ) + cmad(b j ), (11) MAD(b j ) = median { b j median(b j ) } /0.6745, (12) c adalah konstanta 2 atau 3. Bentuk ini sama dengan kepercayaan untuk parameter lokasi dan dispersi, dimana rata-rata dan standar deviasi yang tidak robust diganti dengan median dan median absolute deviation (MAD). Metode Robust Logistic Diagnostic Pendeteksian titik high leverage pada metode Robust Logistic Diagnostic (RLGD) menggabungkan pendekatan diagnostik dan penaksir robust. Pendekatan diagnostik dapat dilakukan melalui uji statistik formal, tetapi lebih sering juga menyangkut evaluasi yang kurang formal mengenai tabel dari nilai statistik tertentu atau melalui gambaran secara grafik atau plot dari nilai-nilai tersebut. Tahapan pertama pendeteksian titik high leverage adalah dengan menggunakan jarak Mahalanobis robust (robust Mahalanobis distance). Bentuk dari persamaan jarak Mahalanobis robust adalah RMD i = (x i T (X)) T S(X) 1 (x i T (X)). (13) 5

6 Pada dasarnya tujuan dari penaksiran robust adalah mengkontruksi secara penuh efisiensi penyesuaian taksiran. Suatu pendekatan untuk mengidentifikasi outlier yaitu menggunakan penaksir yang robust pada T (X) dan S(X). Sehingga metode ini meminimumkan pengaruh outlier dalam penaksiran kecocokan model. Rousseeuw [9] menganjurkan metode Minimum Covariance Determinant (MCD) dan Minimum Volume Ellipsoid (MVE) untuk memperoleh penaksir yang robust pada T (X) dan S(X). Setelah menghitung robust multivariat dan parameter scale dengan metode MCD atau MVE, selanjutnya hitung RMD dengan menggunakan persamaan (13). RMD i dianggap high leverage apabila dengan RMD i > median (RMD i ) + cmad (RMD i ) (14) MAD(RMD i ) = median { RMD i median(rmd i ) } /0.6745, (15) Metode Robust Logistic Diagnostic Tahapan selanjutnya dari metode RLGD adalah menggunakan konsep group-deleted. Diasumsikan pengamatan d diantara himpunan pengamatan n akan dihapus. Akan ditunjukkan R menjadi himpunan kasus yang tersisa dalam penganalisaan dan D menjadi himpunan kasus yang dihapus. Oleh karena itu, R berisi kasus (n d) setelah kasus d dihapus. Dengan mengasumsikan bahwa pengamatan ini adalah baris d terakhir dari X, Y dan V sehingga: [ ] [ X X = R, Y = X D Y R Y D, dan V = ] [ ] V R 0. 0 V D Misalkan ˆβ ( D) vektor yang sesuai pada keofesien penaksir setelah kasus D dihapus. Nilai kecocokan untuk seluruh data didefinisiskan dengan: ( ) exp x (T ) ˆπ ( D) i ˆβ ( D) i = ( ), i = 1, 2,..., n (16) 1 + exp ˆβ ( D) v ( D) j x (T ) i dengan variansi dan pola kovariatnya: ( ) ( D) ( D) = m j ˆπ i 1 ˆπ i. j = 1, 2,..., J (17) Selanjutnya, berdasarkan persamaan (10), misalkan: maka bisa ditunjukkan ˆX = V (1/2) X (18) b j = x T j ( ˆX T ˆX) 1 x j. (19) Dengan demikian, jarak dari rata-rata untuk kelompok dihapus kasus D adalah b ( D) j = x T j ( ˆX T R ˆX R ) 1 x j (20) 6

7 Hal ini memberikan hubungan sederhana antara nilai potensial yang diusulkan oleh Hadi [5] dan persamaan (20) yaitu: j = x T j ( ˆX R T ˆX R + x j x T j ) 1 x j = b( D) j. (21) 1 + b ( D) j b ( D+j) Berdasarkan index kelompok dihapus kasus pada D, dengan mengadopsi jarak dari rata-rata, kelompok dihapus potensial dinotasikan dengan: { ( ) ( D) b p ( D) j / 1 + b ( D) j ; j R jj = (22) b ( D) j ; j D. Karena distribusi p ( D) jj tidak diketahui, titik cutoff yaitu pembatasan suatu ruang distribusi mayoritas data dari suatu pengamatan outlier ditetapkan berdasarkan median dan MAD untuk p ( D) jj seperti yang disarankan oleh Hadi [5]. Untuk setiap pengamatan yang lebih besar dari nilai titik cutoff dengan p ( D) jj ( > median p ( D) jj ) ( + cmad p ( D) jj { MAD(p ( D) p ( D) jj ) = median jj median(p ( D) jj ) ) (23) } /0.6745, (24) dinyatakan sebagai high leverage. Langkah identifikasi titik high leverage dengan metode robust logistic diagnostic diringkas sebagai berikut: 1. Untuk setiap titik ke-i, hitung RMD i menggunakan metode penaksir robust MCD atau MVE, 2. Untuk setiap titik ke-i dengan RMD i > Median(RMD i ) + cmad(rmd i ) terdeteksi sebagai titik high leverage kelompokan pada kelompok dihapus D. Titik-titik lainnya pada kelompok R, 3. Hitung p ( D) jj, 4. Nilai p ( D) jj > median high leverage. 4. Simulasi Data ( p ( D) jj ) ( + cmad p ( D) jj ) dinyatakan sebagai titik Data penelitian ini berupa data simulasi yang dibangkitkan dengan bantuan program R versi untuk 100 data pengamatan. Nilai variabel dependen (Y ) dibangkitkan dari data berdistribusi binomial, variabel X1 dibangkitkan dari data berdistribusi Uniform dan variabel X2 dibangkitkan dari data berdistribusi Normal sebanyak 90% ditambah 10% data berdistribusi Uniform. Untuk melihat karakteristik sebaran data dilakukan plot data pada variabel Y, variabel X1 dan variabel X2. Hasil plot sebaran data ditampilkan pada Gambar (1). Gambar (2), Gambar (3) dan Gambar (4) merupakan index plot metode hat matriks, Metode DM dan metode RLGD. 7

8 Gambar 1: Scatter Plot X1 dan X2 Gambar 2: Index Plot Hat Matriks Gambar 3: Index Plot Metode DM 8

9 Gambar 4: Index Plot Metode RLGD Hasil plot data Gambar (1) menunjukkan pengamatan 5,87,99,6,34,42,57,93, diduga sebagai titik high leverage karena letaknya yang tidak berada pada kumpulan data. Berdasarkan nilai hat matriks pada Gambar (2) megidentifikasi pengamatan ke-5,34,42,57,87,93 sebagai titik high leverage tetapi mengalami efek masking yaitu pengamatan yang merupakan outlier tidak terdeteksi sebagai outlier pada pengamatan 6 dan 99. Dari Gambar (2) terlihat pengamatan ke-6 dan 99 berada dekat dengan nilai cutoff yang ditentukan. Berdasarkan Metode DM Gambar (3) mengidentifikasi pengamatan 5,34,42,57,87,93,99 sebagai titik high leverage. Hasil tersebut mengidentifikasi seluruh pengamatan berdasarkan nilai hat matriks dan pengamatan ke-99 yang sebelumnya tidak terdeteksi berdasarkan nilai hat matriks dengan metode DM pengamatan tersebut terdeteksi sebagai titik high leverage tetapi tidak fokus pada pengamatan ke-6. Dari Gambar (3) pengamatan ke-6 berada sangat dekat dengan nilai cutoff. Berdasarkan metode RLGD(MCD) Gambar (4) mengidentifikasi pengamatan ke-5,6,34,42,57,87, 93,99. Dari Gambar (4) terlihat bahwa dengan metode RLGD plot data tergambar lebih baik dari kedua metode sebelumnya, dimana data yang merupakan high leverage berada jauh di atas nilai cutoff -nya, dan tidak ada pengamatan yang berada di sekitar nilai cutoff. 5. KESIMPULAN Berdasarkan pembahasan yang telah dikemukakan sebelumnya, titik high leverage tidak hanya menyebabkan penaksir parameter menjadi salah, tetapi juga dapat membentuk efek masking dan swamping. Berdasarkan simulasi data pendeteksian titik high leverage berdasarkan hat matriks dan metode DM mengalami efek masking dimana data yang merupakan titik high leverage tidak terdeteksi oleh kedua metode tersebut. Sedangkan metode RLGD lebih efektif dalam mendeteksi titik high leverage dan tidak terjadi efek masking maupun efek swamping. secara umum dapat disimpulkan metode RLGD lebih efisien dalam mendeteksi titik high leverage dibandingkan pendeteksian berdasarkan hat matriks maupun metode DM. 9

10 Ucapan Terima Kasih Ucapan terima kasih diberikan kepada Bapak Dr. M. D. H Gamal, M.Sc yang telah membimbing dan memberikan arahan dalam penulisan artikel ini. DAFTAR PUSTAKA [1] A. Agresti, Categorical Data Analysis. Wiley, New York, [2] L. J. Bain dan M. Engelhardt, Introduction To Probability and Mathematical Statistics, Second Edition, Duxbury Press, California, [3] N. R. Draper dan H. Smith, Applied Regression Analiysis, Third Edition, Wiley, New York, [4] M. Habshah, M. R. Norazan dan A. H. M. R. Imon, The Performance of Diagnostic-Robust Generalized Potential for the Identification of Multiple High Leverage Points in Linear Regression. Journal Applied Statistics, 36 (2009), [5] A. S. Hadi, A New Measure of Overall Potential Influence in Linear Regression, Journal Computational Statistics and Data Analysis, 14 (1992), [6] D. W. Hosmer dan S. Lemeshow. Applied Logistic Regression, Second Edition, Wiley, New York, [7] A. H. M. R. Imon, Identification of High Leverage Points in Logistic Regression, Pakistan Journal of Statistics, 22 (2006), [8] D. Pregibon, Logistic Regression Diagnostic, The Annals of Statistics, 9 (1981), [9] P. J. Rousseeuw, Least Median of Squares Regression, Journal of American Statistical Association, 79 (1984), [10] P. J. Rousseeuw, A Diagnostic Plot for Regression Outlier and Leverage Points, Journal Computational Statistics and Data Analysis, 11 (1991), [11] B. A. Syaiba dan M. Habshah, Robust Logistic Diagnostic for the Identification of High Leverage Points in Logistic Regression Model, Journal Applied Sciences, 10 (2010),