PENGARUH MIXED DISTRIBUTION PADA PENDEKATAN QUASI-LIKELIHOOD DALAM MODEL LINEAR 1)

Transkripsi

1 PENGARUH MIXED DISTRIBUTION PADA PENDEKATAN QUASI-LIKELIHOOD DALAM MODEL LINEAR 1) Anang Kurnia Departemen Statistika FMIPA IPB Jl. Meranti, Wing 22 Level 4 Kampus IPB Darmaga, Bogor [email protected] Abstrak. Diawali oleh Wedderburn (1974), perkembangan metode quasilikelihood (QL) telah memberikan manfaat yang sangat besar dalam pemodelan statistika. Dengan keuntungan yang dimilikinya yaitu tidak memerlukan diketahuinya bentuk sebaran dari peubah respon, metode QL telah menjadi alternatif dalam pemodelan statistika yang komplek. Namun demikian, inferensi berdasarkan metode quasi-likelihood hanya bisa dilakukan berdasarkan sifat asimtotik. Disamping itu, pengaruh data pencilan atau terjadinya mixed distribution pada peubah respon akan mempengaruhi akurasi pendugaan yang dihasilkannya. Kajian simulasi untuk hal tersebut, menunjukkan bahwa terjadinya mixed distribution dibawah 10% masih memungkinkan untuk digunakan quasilikelihood dengan menganggap respon berasal dari satu populasi. Sedangkan jika terjadi mixed distribution diatas 10%, analisis harus mempertimbangkan kondisi ini karena pendugaaan dan inferensi jika hal tersebut diabaikan menjadi jauh dari kondisi sebenarnya. Kata Kunci : Quasi-likelihood, mixed distribution 1. Pendahuluan Pemodelan statistika berkembang sangat cepat sejalan dengan perkembangan teknologi komputasi. Namun demikian banyak masalah-masalah aktual dalam pemodelan yang tidak bisa dilakukan dengan sederhana. Pendekatan full likelihood memiliki keterbatasan pada asumsi sebaran peubah respon. Diawali oleh Wedderburn (1974), kemudian McCullagh (1983) dikembangkan suatu pendekatan lain quasi-likelihood yang memiliki keuntungan tidak memerlukan diketahuinya bentuk sebaran dari peubah respon, karena estimating function dibentuk hanya berdasarkan pada momen satu dan momen kedua. Namun demikian, keuntungan ini tidak menjadikan quasi-likelihood sebagai metode yang power-full. Oleh karena sifatnya yang relatif bebas sebaran, inferensi berdasarkan metode quasilikelihood hanya bisa dilakukan berdasarkan sifat asimtotik. Disamping itu, pengaruh data pencilan atau terjadinya mixed distribution pada peubah respon akan mempengaruhi akurasi pendugaan yang dihasilkannya. Seberapa besar pengaruh mixed distribution mempengaruhi pendugaan pada metode quasi-likelihood menjadi kajian pada paper ini. 2. Tinjauan Pustaka Generalized Linear Model (GLM) Model linear khususnya model regresi sudah mulai digunakan sejak awal abad 19, ditandai dengan kajian-kajian yang dilakukan oleh Francis Galton ( ) tentang hubungan tinggi badan ayah dan anaknya. Dalam perkembangannya, model regresi linear dengan asumsi peubah respon Y i ~ N(µ i, σ 2 ) tidaklah mampu menjawab masalah-masalah yang dihadapi dalam pemodelan statistik. Generalized Linear Model (GLM) merupakan pengembangan dari model linear klasik khususnya 1) Paper disampaikan pada Seminar Nasional Statistika, Universitas Islam Bandung, 24 Mei

2 dalam mengatasi kendala peubah respon yang tidak normal. Namun demikian, peubah respon dalam GLM diasumsikan memiliki sebaran yang termasuk dalam keluarga sebaran eksponensial. Ada tiga komponen utama dalam GLM (McCullagh dan Nelder,1989), meliputi : 1. Komponen acak, yaitu peubah respon Y 1, Y 2,, Y n yang merupakan contoh acak dimana Y i ~ (µ i, σ 2 ) dan termasuk dalam keluarga sebaran eksponensial 2. Komponen sistematik yang merupakan fungsi dari peubah penjelas : η i = β 1 x 1i + β 2 x 2 i + β 3 x 3i + + β p x pi 3. Fungsi hubung yang menghubungkan suatu fungsi dari nilai tengah komponen acak dengan komponen sistematik : g(µ i ) = η i. Jika Y adalah suatu peubah acak, baik kontinu maupun diskret, dan termasuk dalam keluarga sebaran eksponensial, maka fungsi peluang atau fungsi kepekatan peluang Y dapat dimodelkan sebagai berikut dengan a, b, dan c merupakan fungsi spesifik yang diturunkan berdasarkan fungsi peluang atau fungsi kepekatan peluang dari Y. Nilai harapan dan ragam peubah acak Y dinotasikan : Jika µ merepresentasikan nilai tengah dari Y, dan ragam merupakan fungsi dari nilai tengah, maka dimana V(.) adalah suatu fungsi ragam yang diketahui. Fungsi likelihood dari n peubah acak Y 1, Y 2,..., Y n didefinisikan sebagai fungsi kepekatan peluang bersama dari n peubah acak f(y θ) yang dilihat sebagai fungsi dari θ dan dinotasikan dengan L(θ y). Untuk suatu gugus y yang diketahui, memaksimumkan L(θ y) adalah metode kemungkinan maksimum dalam menduga θ. Dalam kasus Y i adalah keluarga sebaran eksponensial, log [L(θ y)] adalah Jika E(Y) = µ tergantung pada parameter β 1, β 2,, βp maka penduga kemungkinan maksimum untuk setiap βj adalah penyelesaian dari persamaan berikut dimana η i = X i β, atau dapat pula ditulis dalam notasi score function yang merupakan turunan pertama terhadap θ dari fungsi log-likelihood. Sedangkan nilai harapan dari turunan keduanya E( ) disebut Fisher information function. Solusi kemungkinan maksimum dari θ adalah penyelesaian S(θ) = 0, dan [I(θ)] -1 adalah penduga ragamnya. Quasi Likelihood Quasi-likelihood (QL) merupakan suatu framework dalam pemodelan statistika yang didasari oleh pendekatan terhadap model fungsi likelihood. Keuntungan dari quasi-likelihood adalah tidak 2

3 memerlukan diketahuinya bentuk sebaran dari peubah respon, karena estimating function dibentuk berdasarkan momen satu dan momen kedua. Model dasar quasi-likelihood pertama kali dikembangkan oleh Wedderburn (1974). Fungsi quasilikelihood didefinisikan sebagai dengan E(y i ) = µ i dan ragam var(y i ) = V(µ i ) dengan V merupakan suatu fungsi yang diketahui. Dalam kasus regresi, µ i biasanya tergantung pada suatu fungsi linear xβ melalui suatu fungsi hubung g sehingga µ i = g -1 (xβ). Wedderburn (1974) memperlihatkan bahwa perhatian pada µ i dan koefisien regresi β dari fungsi Q(µ i ;y i ) memiliki sifat yang sama dengan fungsi log-likelihood. Hal ini dapat dijelaskan dengan memperhatikan prinsip-prinsip quasi-likelihood yang mirip dengan GLM, meliputi : 1. Pola hubungan nilai tengah dengan peubah bebas yang membentuk suatu fungsi hubung, g(µ i ) = η i. 2. Pola hubungan ragam dengan nilai tengah yang membentuk fungsi ragam (variance function), Var(Y i ) = φv(µ i ), dengan φ adalah dispersion parameter. Berdasarkan dua komponen yang menyusun QL tersebut, jelas menjadikan quasi-likelihood mirip dengan fungsi log-likelihood pada GLM sehingga QL dapat diselesaikan dengan cara yang sama seperti pada penyelesaian GLM. Parameter yang akan diduga pada quasi-likelihood adalah θ = (β, φ) dimana β merupakan parameter yang menjadi perhatian, sedangkan φ biasanya bukan merupakan parameter yang menjadi perhatian dan sering disebut nuisance parameter. Pengaruh φ digunakan pada pendugaan galat baku penduga β. Dalam kasus model linear, Pawitan (2001) menunjukkan bahwa dengan kondisi E(y i ) = x i β = µ i (β) dan var(y i ) = σ 2 i = V i (β), maka untuk µ i (.) dan V i (.) yang diketahui, penduga bagi β adalah penyelesaian dari persamaan berikut n µ i (yi µ i) = 0 i=1 β Vi 3. Kajian Simulasi untuk Kasus Mixed Distribution Desain Simulasi Kajian simulasi didasarkan pada model linear. Untuk pasangan pengamatan (y i, x i ), i = 1, 2,, n dimana E(y i ) = x i β = µ i (β) var(y i ) = σ 2 i = V i (β) Dengan memperhatikan bahwa penduga β merupakan penyelesaian dari n µ i (yi µ i) n (y = 0 i xi' β) x = 0 i=1 β V i 2 i i=1 σi sehingga n i=1 x 2 iyi σi β ˆ = n 2 i=1 xixi' σi = (X V -1 X) -1 X V -1 Y dengan V = diag[σ 2 i ]. Dengan demikian, untuk kasus Y i ~ N(µ i, σ 2 i ) penyelesaian dengan quasi-likelihood, restricted maximum likelihood maupun ordinary least square akan menghasilkan pendugaan yang sama. 3

4 Kajian simulasi dilakukan dengan memberikan intervensi pada peubah respon seolah-olah berasal dari dua populasi yang berbeda. Banyaknya intervensi berturut-turut 5%, 10%, 15%, 20%, dan 25% dari banyaknya pengamatan. Banyaknya pengamatan ditentukan n = 200 dan masing-masing diulang sebanyak 30 ulangan. Algoritma pembangkitan data didesain sebagai berikut : 1. Bangkitkan X (sebagai peubah bebas), X ~ Seragam(145, 190) 2. Tetapkan parameter, β = (-100 1,1) 3. Hitung µ i = X i β 4. Untuk setiap proporsi intervensi, set µ i = X i β Hitung ragam untuk setiap pengamatan, σ 2 i = sqrt(µ i ) 6. Bangkitkan Y (peubah respon), Y i ~ N(µ i, σ 2 i ) 7. Evaluasi pasangan pengamatan (y i, x i ) dengan metode quasi-likelihood, restricted maximum likelihood dan ordinary least square Hasil Kajian Simulasi Gambar 1 dan Gambar 2 menyajikan pola distribusi data simulasi. Gambar 1 adalah pola distribusi data simulasi untuk 200 pengamatan dengan intervensi mixed distribusion sebesar 5%. Sedangkan Gambar 2 adalah pola distribusi data simulasi dengan pengamatan 200 dan intervensi mixed distribution sebesar 25%. Gambar 1. Sebaran peubah respon dengan intervensi 5% Gambar 2. Sebaran peubah respon dengan intervensi 25% Deskripsi hasil simulasi disajikan pada Tabel 1. Terlihat bahwa semakin besar intervensi yang dilakukan pada data, bias pendugaan baik intersep maupun koefisien model semakin besar. Gambar 3 menyajikan pola perubahan bias pendugaan parameter berdasarkan perubahan intervensi pada data. Berdasarkan Tabel 1 dan Gambar 3, terlihat bahwa intervensi data sampai dengan 10% dari banyaknya pengamatan masih memberikan toleransi bias pendugaan yang kecil. Baik intersep 4

5 maupun koefisien parameter memiliki nilai mutlak bias dibawah 5%. Nilai mutlak bias naik dengan tajam jika intervensi data lebih dari 10%. Tabel 1. Deskripsi rata-rata pendugaan parameter model Presentase Intervensi Intercept Coeff MSE-Model Persentase Bias Persentase Intervensi Intersep Series1 Koefisien Series2 Gambar 3. Persentase bias pendugaan parameter untuk setiap persentase intervensi pada data Pendugaan MSE-model juga memiliki pola yang serupa dengan pola nilai mutlak bias pendugaan parameter. Untuk intervensi yang lebih dari 10% dari data pengamatan, besarnya pendugaan MSEmodel meningkat dengan cukup tajam. Peningkatan MSE-model seperti yang disajikan pada Gambar 4, juga berpengaruh langsung secara linear dalam pendugaan galat baku atau MSE-penduga parameter, karena MSE-penduga parameter merupakan fungsi linear dari MSE-model Persentase Intervensi Gambar 4. Perubahan pendugaan MSE-Model untuk setiap persentase intervensi pada data Peningkatan yang tajam baik pada nilai mutlak bias maupun MSE penduga parameter model untuk intervensi data memberikan indikasi bahwa jika ada indikasi mixed-distribution, apalagi lebih dari 5

6 10% data pengamatan, peneliti harus lebih hati-hati dalam melakukan analisis. Memaksakan melakukan analisis dengan menganggap bahwa respon berasal dari satu populasi beresiko dalam pendugaan parameter. 4. Kesimpulan Penggunaan metode quasi-likelihood (QL), restricted maximum likelihood (REML) maupun ordinary least square (OLS) untuk data simulasi yang dibangkitkan dari populasi normal menghasilkan pendugaan parameter yang sama. QL dan OLS adalah dua metode yang tidak mensyaratkan diketahuinya sebaran peubah respon, sedangkan REML ataupun maximum likelihood untuk kasus data normal secara analitik akan menghasilkan pendugaan parameter yang sama dengan QL maupun OLS. Pengaruh intervensi mixed distribution pada data simulasi baik dilakukan analisis dengan metode QL, OLS maupun REML memberikan hasil yang sama. Peningkatan proporsi intervensi yang diberikan semakin meningkaktan nilai mutlak bias maupun pendugaan MSE. Intervensi mixed distribution yang kurang dari 10%, menyebabkan bias kurang dari 5%, sehingga jika hal ini terjadi pada data empirik masih memungkinkan untuk dilakukan analisis dengan mengasumsikan data berasal dari satu populasi. Namun untuk intervensi yang lebih dari 10%, mengasumsikan data masih berasal dari satu populasi memberikan resiko yang besar dalam inferensi model, sehingga seharusnya dilakukan analisis berbasis mixed distribution. Daftar Pustaka Godambe VP. dan Heyde CC Quasi-likelihood and optimal estimation. Intl Statist Review. ;55: McCullagh P Quasi-likelihood functions. Ann Statist. ;11: McCullagh, P.dan Nelder, JA Generalized Linear Models. 2. Chapman and Hall, London. Nelder JA, dan Lee Y Likelihood, quasi-likelihood and pseudolikelihood: some comparisons. J R Statist Soc B.;54: Pawitan, Y In All Likelihood: Statistical Modelling and Inference Using Likelihood. Clarendon Press, Oxford. Wedderburn RWM Quasi-likelihood functions, generalized linear models, and the Gauss- Newton method. Biometrika.;61:

7 Lampiran 1. Sebagian Output Quasi-Likelihood, Restricted Maximum Likelihood dan Ordinary Least Square pada data simulasi dengan intervensi 5 %. The GLIMMIX Procedure Model Information Response Distribution Unknown Link Function Identity Variance Function 1 Estimation Technique Quasi-Likelihood Parameter Estimates Standard Effect Estimate Error DF t Value Pr > t Intercept <.0001 X <.0001 Residual The GLIMMIX Procedure Model Information Response Distribution Link Function Variance Function Estimation Technique Gaussian Identity Default Restricted Maximum Likelihood Parameter Estimates Standard Effect Estimate Error DF t Value Pr > t Intercept <.0001 X <.0001 Scale The REG Procedure Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model <.0001 Error Corrected Total Parameter Estimates Parameter Standard Variable Label DF Estimate Error t Value Pr > t Intercept Intercept <.0001 X X <

8 Lampiran 2. Hasil pendugaan parameter pada data simulasi berdasarkan metode quasi-likelihood No. Intervensi 5% Intervensi 10% B0 B1 MSE-Model B0 B1 MSE-Model

9 Lampiran 2. Hasil pendugaan parameter pada data simulasi berdasarkan metode quasi-likelihood No. Intervensi 15% Intervensi 20% B0 B1 MSE-Model B0 B1 MSE-Model

10 Lampiran 2. Hasil pendugaan parameter pada data simulasi berdasarkan metode quasi-likelihood No. Intervensi 25% B0 B1 MSE-Model