Linear and Generalized Linear Mixed Models and Their Applications (Jiang 2007)

Transkripsi

1 Tugas Aalisis Data Lajuta Liear ad Geeralized Liear Mixed Models ad Their Applicatios (Jiag 007) Geeralized Liear Mixed Models : Part I 3.7 Further Results ad Techical Notes Oleh Yei Agraii (G ) SEKOLAH PASCA SARJANA 016

2 Noliear Gauss-Seidel Algorithm (NLGSA) Pada bagia ii aka dijelaska lebih lajut tetag Noliear Gauss-Seidel Algorithm (NLGSA). Algoritma ii diguaka utuk meghitug Maximum Posterior Estimators (MPE) yag diusulka oleh Jiag (000). Algoritma ii merupaka pegembaga dari Gauss-Seidel Algorithm dalam aalisis umerik utuk meyelesaika persamaa liear yag dimesiya besar, karea metode stadar yag biasa diguaka utuk meyelesaika persamaa oliear ( Newto-Raphso) aka tidak efisie da lambat jika dimesi dari solusi besar. Fokus pada bagia ii adalah meyelesaika l J = 0 bersyarat β. α Misalka pegaruh acak salig bebas (da meyebar ormal). Dega kata lai matriks G, matriks koragam dari α = (α k ) 1 k m adalah matriks diagoal (G = diag(d 1,, d m )). Selajutya diasumsika juga fugsi peghubug kaoik ξ i = η i. Eleme matriks racaga pegaruh acak, Z, dituliska sebagai z i = ( ) 1 k m sehigga l J α = 0 dapat dituliska sebagai α k m + d k a i (φ) b (x i β + x il α l ) = a i (φ) y i, 1 k m l=1 Misalka f k (α 1,, α k 1, α k+1,, α m ) meyataka solusi uik dari λ utuk persamaa berikut ii : λ + d k a i (φ) b (x i β + λ + z il α l ) = a i (φ) y i l k (t) (t) (t) (t 1) (t 1) Algoritma rekursif ditadai dega α k = fk (α 1,, αk 1, αk 1,, αm ), 1 k m Utuk t = 1,,, atau ekuivale dega α k (t) k + d k a i (φ) b (x (t) (t 1) i β + z il α l + z il α l ) = a i (φ) y i, 1 k m l=1 m l=k+1 Jiag (000b) membuktika teorema berikut ii terkait dega kekovergea dari NLGSA atau dikeal dega Global Covergece of NLGSA Theorem : Utuk β yag tetap da sembarag ilai awal, maka NLGSA koverge ke suatu solusi yag uik α = α (β) pada persamaa g(μ i ) = η i = x i β + z i α. Pembuktia teorema ii megguaka the golbal covergece theorem dari Lueberger (1984). Meurut Jiag, mudah utuk ditujukka bahwa dega β yag tetapka, maka persamaa g(μ i ) = η i = x i β + z i α memiliki solusi yag uik α = α (β). Utuk pejelasa lebih lajut dapat dilihat di Jiag (000). Sifat asimtotik dari peduga Pealized Geeralized Weighted Least Squares (PGWLS) Teori asimtotik terkait pegaruh acak sagat berbeda dega paremeter tetap. Hal ii disebabka oleh beberapa hal : 1. Pegaruh acak idividu biasaya tidak dapat diidetifikasi. Jumlah pegaruh acak (m) dimugkika meigkat dega meigkatya ukura cotoh (). 1

3 Peduga Pealized Geeralized Weighted Least Squares (PGWLS) dari γ = (β, α ) didefeisika sebagai maximizer dari l P (γ) = w i {y i η i b i (η i )} λ P Aα dimaa λ adalah kostata positif. Da peduga PGWLS didapatka dega meyelsaika l P γ = 0. Utuk megekplorasi lebih lajut sifat asimtotik dari peduga PGWLS, perlu diasumsika bahwa m meigkat sagat lambat dibadigka (m 0). Tekik dasar yag diguaka adalah pealizatio. Tujua dari pealizatio adalah agar pegaruh idividu dapat diidetifikasi. Megacu ke persamaa l P (γ) = w i {y i η i b i (η i )} λ P Aα, salah satu alasa dibutuhya suatu pealizer (P A ) adalah karea l C (γ) = w i {y i η i b i (η i )} tergatug pada γ = (β, α ) haya melalui η = Xβ + Zα. Namu γ tidak dapat diidetifikasi melalui η sehigga aka bayak vektor γ yag bersesuaia dega η yag sama. Sehigga perlu dilakuka pembatasa ruag S = {γ: P A α = 0}, akibatya γ dapat ditetuka uik oleh η. Utuk megekplorasi sifat asimtotik dari peduga PGWLS, pertama adalah bagaimaa cara pemiliha matriks P A pada l P (γ) = w i {y i η i b i (η i )} λ P Aα. Misalka didefeisika T: γ = (β, α ) γ = (β, α ) sebagai berikut α = P A α, β = β + (X X) 1 X ZP A α. Jelas T tidak tergatug pada pemiliha matriks A. Karea Xβ + Zα = Xβ + Zα P X ZP A α = Xβ + Zα, sehiga diperoleh l C (γ) = l C (γ ). Misalka G A = ( X Z 0 A ) sehigga ada beberapa lemma, corollary da theorema yag dapat dituruka. Salah satuya adalah rak(g A ) = p + m, dimaa p adalah dimesi dari β. Ketika matriks P A dapat dipilih dega tepat maka peduga PGWLS dari pegaruh tetap da acak aka kosiste. MSE dari EBP Suatu prediksi terbaik, BP atau dilambagka dega ζ adalah prediksi yag memiliki Mea Square Error (MSE) palig miimum. Prediksi terbaik tergatug pada y S da ψ, ζ = u(y S, ψ). Dega catata, y S = (y i ) i S, y i = (y ij ) 1 j i da S adalah aak gugus dari {1,,, m}. Biasaya ψ tidak diketahui, da diduga dega ψ. Sehigga ζ = u(y S, ψ ) da disebut sebagai prediksi terbaik empirik (EBP). Pada bagia ii aka dijelaska lebih lajut terkait aproksimasi da pedugaa MSE dari EBP. Diasumsika parameter dispersi φ diketahui, b(ψ) pada persamaa b(ψ) = b(θ) sehigga MSE(ζ ) = MSE(ζ ) + E(ζ ζ ) = b(ψ) + E(ζ ζ ) b(θ) = MSE(ζ ) = E(ζ ) {E(ζ )} = E{ζ(β, α S ) } [E{u(y S, θ)}]

4 Berikutya aka diguaka deret Taylor utuk megaproksimasi ζ ζ dimaa ζ = u(y S, θ ), ζ = u(y S, θ). ζ ζ = u(y S, θ ) u(y S, θ) = ( u θ ) (θ θ) + o(m 1/ ) Sehigga E(ζ ζ ) = m 1 E {( u θ ) m(θ θ)} + o(m 1 ) Ada beberapa asumsi yag diguaka utuk lagkah-lagkah berikutya, diataraya dega megasumsika θ adalah peduga yag diperoleh berdasarka pada y S, dimaa y S = (y i ) i S sebagai kosekuesiya θ adalah bebas terhadap Y S. Misalka θ = θ S maka E {( u θ ) m(θ S θ)} = E (E [{( u θ ) m(θ S θ)} y S = w] w=ys ) Dimaa V S (θ) = me(θ S θ)(θ S θ) = E [{ θ u(w, θ)} V S (θ) { θ u(w, θ)} w=y S ] = E [{ θ u(y S, θ)} V S (θ) { θ u(y S, θ)}] = e S (θ) Dega memisalka ζ 1 = u(y S, θ S ) maka aka diperoleh MSE(ζ 1) = b(θ) + m 1 e S (θ) + o(m 1 ) Sekarag misalka θ adalah peduga yag diperoleh berdasarka semua data. Diasumsika θ S memeuhi θ S θ = O(m 1 ) da θ θ S = o(m 1 ). Sehigga aproksimasi secodorder MSE dari EBP adalah sebagai berikut: MSE(ζ ) = E(ζ ζ 1) + E(ζ ζ 1)(ζ 1 ζ ) + E(ζ 1 ζ) = MSE(ζ 1) + o(m 1 ) = b(θ) + m 1 e(θ) + o(m 1 ) dimaa e(θ) = e S (θ), V S (θ) digatika V(θ) = me(θ θ)(θ θ) θ pada e(θ) dapat digatika dega θ, amu θ pada b(θ) tidak dapat digatika karea bias E{b(θ ) b(θ)} = O(m 1 ) atau dega kata lai belum tetu koverge ke ol. Namu jika θ θ = O(m 1 ) da E(θ θ) = O(m 1 ) dega megguaka deret Taylor aka diperoleh dega b(θ ) = b(θ) + ( b θ ) (θ θ) + 1 (θ θ) ( b θ θ ) (θ θ) + o(m 1 ) 3

5 E{b(θ )} = E {b(θ) + ( b θ ) (θ θ) + 1 (θ θ) ( b θ θ ) (θ θ) + o(m 1 )} = b(θ) + m 1 [( b θ ) me(θ θ) + 1 E [{ m(θ θ)} ] ( b θ θ ) { m(θ θ)}] + o(m 1 ) E{b(θ )} = b(θ) + m 1 B(θ) + o(m 1 ) Jika pedugaa bagi MSE adalah sebagai berikut : MSE (ζ ) = b(θ ) + m 1 {e(θ ) B(θ )} Dega megguaka beberapa persamaa diatas, sehigga dapat ditujukka persamaa berikut ii terpeuhi E{MSE (ζ ) MSE(ζ )} = o(m 1 ) Mea Square Predictor Error (MSPE) dari Model-Assisted EBP MSPE sama seperti MSE amu MSPE adalah arbitary predictor dari Y i atau dilambagka dega ζ i. Dimaa Y i adalah rata-rata dari populasi yag terbatas. Populasi terbatas ii dibagi dalam m domai da N i adalah ukura populasi dari domai ke-i. sehigga MSPE(ζ i) = E(ζ i Y i) (ζ i Y i) = (ζ i ζ i ) + O P (N i 1 ) Sehigga MSPE(ζ i) aka diaproksimasi melalui E(ζ i ζ i ) dega asumsi ukura populasi N i lebih besar dari m. MSPE(ζ i) = MSPE(ζ ) + E(ζ i ζ i) + E(ζ i ζ i)(ζ i ζ i ) + o(m 1 ) MSPE(ζ ) = E(ζ i ) E(ζ i ) = E { w ij E(y ij v i )} Seperti yag diperoleh pada MSE dari EBP, i j=1 + E{u i (y iw, θ)} b i (θ) E(ζ i ζ i) = e i (θ)m 1 + o(m 1 ), dimaa e i (θ) = E {( u i θ ) V(θ) ( u i θ )} dega V(θ) = me(θ θ)(θ θ) E(ζ i ζ i)(ζ i ζ i ) = g i (θ)m 1 + o(m 1 ) Sehigga MSPE(ζ i) = b i (θ) + {e i (θ) + g i (θ)}m 1 + o(m 1 ) Peduga bagi MSPE : 4

6 MSPE (ζ i) = b i (θ ) + {e i (θ) + gi (θ ) B i (θ)}m 1 dimaa B i (θ) = m {( b i θ ) E(θ θ) + 1 E(θ θ) ( b i θ θ ) (θ θ)} Selajutya aka diperoleh E{MSPE (ζ i) MSPE(ζ i)} = o(m 1 ) Butir petig terkait GLMM sesuai dega pemahama saya : 1. GLMM adalah perluasa dari model GLM dimaa peubah respoya harus megikuti sebara keluarga ekspoesial sedagka peubah bebasya terdiri dari peubah tetap da acak. Sama halya seperti pada model campura, peetua pegaruh tetap da pegaruh acak yag masuk ke dalam model merupaka hal petig yag perlu diperhatika 3. Sama halya seperti GLM, GLMM memiliki tiga kompoe yaitu peubah tak bebas Y (kompoe acak) yag megikuti sebara tertetu yag berasal dari keluarga ekspoetial (Balliger 004), kompoe sistematik yag terdiri dari beberapa peubah kovariat X yag dapat dikombiasika dalam betuk fugsi liier serta fugsi hubug yag meghubugka kompoe acak da kompoe sistematik 4. Fugsi likelihood pada GLMM 5. Metode prediksi bagi pegaruh acak pada model GLMM 5