BAB III ESTIMASI PARAMETER PADA MODEL REGRESI LOGISTIK -LEVEL Model hirarki -level erupakan odel statistik ang digunakan untuk enganalisis data ang bersarang, atau data ang epunai struktur hirarki -level. Sebagai contoh data -level, urid bersarang pada sekolah, diana urid erupakan data level-1 dan sekolah erupakan data level-. Dengan enganalisis data ang bersifat hirarki -level enggunakan odel regresi -level dapat diketahui inforasi engenai variasi pada level- ang tidak dapat diketahui ika analisis ang digunakan adalah odel regresi biasa (tanpa eperhatikan struktur hirarki pada data. Jika variabel respon ang diaatina berupa variabel respon biner (isal keadian sukses dan gagal atau data binoial, aka odel ang dibutuhkan adalah odel regresi logistik -level. Sebelu ebahas engenai odel regresi logistik -level, akan dibahas engenai estiasi paraeter dala odel regresi -level dengan etode IGLS. 3.1 Estiasi Paraeter Model Regresi -Level Pada bab sebeluna telah dibahas engenai karakteristik data hirarki dan bentuk odel regresi -level. Pada data hirarki, keiripan karakteristik unit-unit pada level-1 dala unit level- ang saa enebabkan data hirarki 3 Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
31 tidak bersifat independen, sehingga etode Ordinar Least Square (OLS kurang tepat untuk digunakan. Dala subbab ini akan dibahas engenai cara estiasi paraeter-paraeter dala odel regresi -level ang dapat entolerir karakteristik data hirarki tersebut, aitu dengan enggunakan etode Iterative Generalized Least Square (IGLS. Metode IGLS akan berguna dala estiasi paraeter dala odel regresi logistik -level ang akan dibahas di subbab selanutna. Penaksiran dengan etode IGLS dilakukan dengan enaksir paraeter-paraeter tetap (fixed paraeter terlebih dahulu dengan diketahui suatu atriks varians-kovarians V enggunakan Generalized Least Square (GLS, selanutna hasil taksiran ang diperoleh digunakan untuk enaksir paraeter rando dala odel enggunakan GLS. Prosedur estiasi fixed paraeter dan rando paraeter dilakukan berulang-ulang secara bergantian sapai endapatkan taksiran ang konvergen. Untuk eudahkan penerapan prosedur estiasi, aka persaaan odel regresi -level dengan rando intercept dituliskan dala bentuk atriks sebagai berikut : Y Xβ E (3.1 diana - Y erupakan vektor berukuran nx1 ang berisi observasi-observasi, dituliskan : Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
3 11 1 n 11 1 Y { }, n 1 n = respon untuk unit ke-i dala unit level- ke- i = 1,,, enatakan unit-unit level- = 1,,, n enatakan unit-unit level-1 ang bersarang dala tiap unit level-. Total observasi dinatakan oleh n, dengan n n 1 - X erupakan design atrix ukuran nx(p+1 berisi konstanta satu dan observasi untuk P-variabel penelas, unit level-, dan n ulah total observasi, ditulis sebagai berikut : 1 x xp 1 x xp X 1 x1 n x 111 11 11 1 Pn Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
33 x Pn = observasi variabel penelas ke-p untuk unit level-1 ke-n dala unit level- ke- - β adalah vektor ukuran (P+1x1 ang berisi fixed paraeter, 1 β P - E enatakan atriks ang berisi penulahan residual level-1 dan level-, diana E { e }, e u. enatakan variansi error level-1 dan u enatakan variansi error level-. Paraeter-paraeter ang akan ditaksir pada odel regresi -level seperti ang telah dituliskan ulang dala persaaan (3.1 adalah fixed paraeter p dengan p = 1,,..,P dan rando paraeter,. u Langkah pertaa dala enaksir paraeter dengan etode IGLS adalah enaksir fixed paraeter β, untuk suatu atriks varians-kovarians V ang diketahui, dengan enggunakan Generalized Least Square (GLS : ˆ T -1-1 T -1 β (X V X X V Y (3. Sebagai taksiran inisial, atriks varians-kovarians ang digunakan pada persaaan (3. adalah V I (diasusikan u, diana I adalah atriks identitas ukuran nxn. Dengan diketahui V I, artina pada taksiran inisial nilai taksiran diperoleh seperti pada Ordinar Least Square, Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
34 ˆ T -1 T β (X X X Y Setelah taksiran dari β diketahui, hitung nilai-nilai taksiran untuk Y, aitu ˆ Ŷ Xβ. Sehingga dapat diperoleh nilai residual ang dinatakan dala bentuk : ˆ ˆ Y Y - Y Y - Xβ Bentuk cross product atriks T YY : 1 1 11 1 1 1 11 1 1 1 1 1 n n n n n n T YY Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
35 11 11 1 11 11 111 11 11 111 11 111 1 1 11 11 1 1 11 1 n1111 n 11 1 n 11 n 111 n 11 n11 111 11 111 11 1 11 1 1 1 11 1 11 1 11 1 1 n 11 n 1 n n11 1 1 1 11 1 1 1 11 1 1 1 1 1 1 n 11 n1 n n11 n1 n n n n 1 n n n n n n n n n n n n n n n n n n n n n n n n n n Lakukan pevektorisasian pada atriks T YY : 11 n11 111 T Y* vec( YY (3.3 n 1 11 n n Operator vec erupakan operator ang ebuat atriks ukuran nxn enadi vektor ukuran nnx1 dengan enusun entri-entri atriks pada kolo (s+1 di bawah entri terakhir kolo ke-s, dengan s = 1,,,n. Matriks varians-kovarians V ukuran nxn adalah atriks block diagonal ang dinatakan dala bentuk sebagai berikut : Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
36 A1 A V A (3.4 = banakna unit level- ang diobservasi, dan A, A,..., A adalah atriks 1 varians-kovarians untuk asing-asing unit level-, ang didefinisikan sebagai berikut : A J I u ( n ( n A J I 1 1 1 u ( n ( n A J I u ( n ( n (3.5 Jika dabarkan, atriks varians-kovarians untuk unit level- ke-, dabarkan sebagai berikut : A, A u u u u u u u u u A berukuran n xn, dengan I ( adalah atriks identitas berukuran n xn, n dan J( n adalah atriks ang entri-entrina berisi konstanta 1 ukuran n xn. Dari (3.4 dan (3.5, atriks varians-kovarians untuk n observasi, diana n n, dinatakan dala bentuk : 1 Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
37 V J I u ( n ( n 1 1 J I u ( n ( n J I u ( n ( n (3.6 Lakukan pevektorisasian pada atriks varians-kovarians V dengan enusun entri-entri dari kolo ke-(s+1 di bawah entri terakhir dari kolo ke-s dari atriks V, dengan s = 1,,,n. Vektorisasi atriks V dinatakan dala notasi V*, dengan V* berukuran nnx1 : u u * V vec( V (3.7 u u u Diketahui nilai ekspekstasi dari T YY adalah V : T ˆ ˆ T E(( Y E( Y( Y E( Y E(( Y - Y( Y - Y E(( ˆ ( ˆ T Y - Xβ Y - Xβ E( T YY V (3.8 Dengan pengaturan sedeikian rupa, bisa dibentuk odel linier berdasarkan (3.8 : T E( YY V ( ( T E vec YY vec( V E( Y V * * * * Sehingga diperoleh odel Y V R, dengan R enatakan residual, ang dabarkan dala bentuk berikut : Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
38 * * Y V R 11 1 u n 11 11 1 1 u R u n 1 11 n 1 u n 1 1 R (3.9 Pada odel linier ang terbentuk dala persaaan (3.9, Y* dadikan sebagai respon, u dan enadi koefisisen-koefisien odel, dan vektorvektor berisi konstanta dan 1 ang bersesuaian dengan u dan enadi variabel-variabel penelas. Sehingga pada (3.9, paraeterparaeter ang akan ditaksir adalah u dan. Jika vektor-vektor ang bersesuaian dengan u dan dala (3.9 dinotasikan sebagai Z * dan Z *, keudian dibentuk atriks Z* [Z Z ], 1 * * 1 dan paraeter-paraeter rando ang akan ditaksir tergabung dala vektor θ, diana u θ, aka (3.9 dapat diodelkan dala persaaan : E( Y* Z * θ (3.1 Dengan ebentuk odel ang dinatakan dala persaaan (3.1, paraeter-paraeter rando ang ingin diketahui ( dan u dapat Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
39 ditaksir. Penaksiran paraeter-paraeter rando dilakukan dengan etode ang saa seperti pada penaksiran paraeter-paraeter tetap p, p = 1,,,P, aitu dengan enggunakan etode Generalized least Square (GLS : T -1-1 T -1 θ (Z * (V* Z* Z * (V* Y * (3.11 dengan V* = V V, V* berukuran nnxnn. Setelah diperoleh taksiran dari paraeter-paraeter rando, ulangi langkah pengestiasian fixed paraeter dengan nilai atriks varianskovarians ang baru, keudian hasil penaksiran fixed paraeter digunakan untuk enaksir rando paraeter, selanutna dilakukan penaksiran berulang-ulang secara bergantian antara fixed paraeter dan rando paraeter sapai konvergen, aitu nilai taksiran tidak lagi berfluktuasi pada iterasi-iterasi berikutna. 3. Model Regresi Logistik -Level Model regresi logistik -level dapat digunakan untuk enganalisis data ang epunai struktur hirarki -level dan respon biner. Model regresi logistik -level dengan efek rando teradi pada perpotongan dengan subu (intercept saa disebut sebagai odel regresi logistik -level dengan rando intercept. Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
4 Asusikan terdapat unit level- ang diabil secara acak dari populasi unit level-, dan diabil n unit level-1 secara acak dari tiap-tiap unit level- ang telah diperoleh sebeluna, dengan = 1,,, enatakan unit-unit level- i = 1,,, n enatakan unit-unit level-1 ang bersarang dala tiap unit level-. Julah total observasi level-1 dala unit-unit level- adalah : n n 1 Secara uu bentuk representasi ultilevel dari odel regresi logistik -level dengan rando intercept dituliskan sebagai berikut : Model level-1 : P logit( log px p 1 (3.1 p1 dengan = variabel respon untuk unit ke-i pada level-1 dala unit ke- pada level- = rando intercept untuk unit ke- pada level- p = efek tetap (fixed effects untuk variabel penelas ke-p x p = variabel penelas ke-p di level-1 untuk unit ke-i pada level-1 dala unit ke- pada level- Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
41 Model level- : u (3.13 dengan = fixed intercept, erupakan rata-rata keseluruhan u = efek rando (error untuk unit ke- pada level-, diasusikan berdistribusi N u (, Jika odel level-1 dan level- digabungkan diperoleh : ' logit( log 1x1... P xp u xβ u (3.14 1 diana logit( log 1 erupakan prediktor linier ang terdiri dari fixed ' part dari odel, xβ dan rando part, u β = vektor fixed effect, berukuran (P+1x1, 1 β P ' x = vektor berisi variabel penelas ukuran 1x(P+1, x [1 x x... x ] ' 1 P Seperti pada odel regresi logistik biasa, bentuk persaaan odel regresi logistik -level dengan rando intercept (3.14 dapat uga ditulis sebagai : Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
4 ' 1 f ( xβ uo u ' 1 exp{ ( xβ } (3.15 Seperti ang telah delaskan pada bab, pada variabel respon biner, respon kini dapat ditulis sebagai ulah dari probabilitas dengan residual level-1 ang diasusikan epunai distribusi kuulatif logistik : (3.16 diana seperti ditunukkan dala persaaan (3.15, erupakan residual odel level-1 ang epunai ean nol dan variansi (1, berdistribusi Bernoulli dengan probabilitas : ~ Bernoulli(1,. 3.3 Estiasi Paraeter Model Regresi Logistik -Level Dala skripsi ini estiasi paraeter-paraeter dala odel regresi logistik -level dilakukan dengan etode Penalized Quasi Likelihood (PQL. Estiasi paraeter dengan etode PQL dilakukan dengan elinierkan bagian ang non-linier dari odel terlebih dahulu sehingga diperoleh bentuk linier dari odel. Selanutna, paraeter-paraeter dala odel ang telah dilinierkan diestiasi enggunakan prosedur estiasi odel linier -level. Hasil taksiran paraeter ang diperoleh digunakan untuk endapatkan bentuk odel ang dilinierisasi, keudian didapat bentuk odel linier ang Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
43 baru untuk dicari taksiran paraeter-paraeterna. Proses tersebut dilakukan secara berulang-ulang sapai konvergen. Langkah pertaa dari etode PQL aitu elinierisasi bagian ang nonlinier dari odel (3.16, aitu, diana erupakan fungsi dari x β u seperti ditunukkan pada persaaan (3.15. Maka elinierkan saa saa dengan elinierkan fungsi dari x β u. Cara elinierisasi f ( xβ u ang digunakan adalah dengan enggunakan perluasan deret Talor. Diisalkan x β u H, sehingga dapat ditulis f ( H dan turunan pertaa dari f ( H adalah f '( H (1 (ditunukkan dala Lapiran 1. Maka perluasan deret Talor sapai order pertaa untuk fungsi f ( H pada dinatakan sebagai berikut : f ( H f ( H ( H H f '( H Dengan ensubstitusi H dengan x β u, dan H enatakan suatu nilai, aka persaaan di atas enadi : f ( x β u f ( H (( x β u ( x β u f '( H ( ( f ( H (( x β x β ( u u f '( H ( ( f ( H ( x β x β f '( H ( u u f '( H ( ( f ( H x ( β β f '( H ( u u f '( H ( ( (3.17 Persaaan (3.17 erupakan perluasan deret Talor order pertaa di sekitar nilai H. Order dari perluasan deret Talor endasari order dari etode PQL ang digunakan. Metode PQL order kedua (PQL- elinierkan Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
44 bagian non-linier dari odel dengan enggunakan perluasan deret Talor order kedua, seentara etode PQL order pertaa (PQL-1 elinierkan bagian non-linier dari odel enggunakan perluasan deret Talor order pertaa. Pada skripsi ini pebahasan estiasi paraeter untuk odel regresi logistik -level dengan rando intercept dikhususkan pada etode PQL order pertaa, sehingga perluasan deret Talor dilakukan pada nilai β dan u dan deret Talor hana dilakukan sapai order pertaa. Metode PQL erupakan etode ang bersifat iteratif, diana pada setiap iterasi dilakukan pelinierisasian pada nilai β dan u dengan nilai keduana berbeda untuk setiap iterasi. Hal tersebut disebabkan nilai β dan u pada iterasi ke-t erupakan nilai ang diperoleh dari hasil taksiran pada iterasi sebeluna, sehingga nilai β dan u tidak selalu saa pada tiap iterasi. Untuk selanutna pelinierisasian bagian ang non-linier dari odel pada iterasi ke-t engikuti ketentuan etode Penalized Quasi Likelihood order pertaa dituliskan dala bentuk : dengan f ( x β u f ( H x ( β β f '( H ( u u f '( H (3.18 t t t t = enatakan langkah iterasi, t =,1,, (sapai iterasi berhenti. t = enatakan nilai inisial (seperti pada persaaan (3.17 Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
45 f ( H t = erupakan nilai dari fungsi f(h pada titik H t saat iterasi ke-t, diana ( t f ( H t = nilai untuk unit level-1 ke-i pada unit level- ke- saat iterasi ke-t x = vektor ukuran 1x(P+1 berisi observasi dari variabel-variabel penelas untuk unit ke-i pada level-1 dala unit ke- pada level-, x 1 x x x 1 P β = adalah vektor ukuran (P+1x1 berisi fixed paraeter, 1 β P β = adalah vektor ukuran (P+1x1 berisi nilai fixed paraeter saat iterasi ke-t, β P 1 f '( H t = erupakan nilai turunan pertaa dari fungsi f(h pada titik H t saat iterasi ke-t, diana f '( H (1, f '( H disibolkan t t sebagai w. u = enatakan efek rando untuk unit ke- pada level- u = enatakan nilai efek rando untuk unit ke- pada level- saat iterasi ke-t Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
46 Setelah epunai bentuk linier dengan pendekatan deret Talor seperti pada persaaan (3.18, substitusikan bentuk linier tersebut ke dala persaaan (3.16 : dengan ( t f ( H x ( β β f '( H ( u u f '( H (3.19 t t t = Nilai respon untuk unit ke-i pada level-1 dala unit ke- pada level- = Nilai residual untuk unit ke-i pada level-1 dala unit ke- pada level- Pada langkah awal (t =, persaaan (3.19 ditulis : f ( H x ( β β ( f '( H ( u u ( f '( H (3. dengan diberikan suatu nilai awal (, u. ( β, dan ( Selanutna untuk eperoleh odel dala bentuk linier, bagi ( ( ( persaaan (3. denganf '( H t (1 t w t sehingga diperoleh : t f ( Ht x ( β β f '( Ht ( u u f '( Ht f ( Ht x ( β β f '( Ht ( u u f '( Ht f '( Ht f '( Ht f ( H t xβ xβ u u f '( Ht f '( Ht f '( Ht ( ( ( f H t t t xβ u xβ u f '( Ht f '( Ht ( f Ht xβ u xβ u f '( Ht f '( Ht xβ u x ( ( β u t t (1 (1 Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
47 x β u u w x β w (3.1 Dari persaaan di atas, lakukan pengaturan sedeikian rupa sehingga diperoleh : x β u (3. ** ** Model (3. adalah odel ang telah dala bentuk linier, diana berdasarkan persaaan (3.1 dan persaaan (3., dengan ( x β u (3.3 ( w ** t t = enatakan langkah iterasi, t =,1,, (sapai iterasi berhenti. t = enatakan nilai inisial * * = erupakan nilai respon ang telah ditransforasi untuk unit ke-i pada level-1 dala unit ke- pada level- saat iterasi ke-t x = vektor ukuran 1x(P+1 berisi observasi dari variabel-variabel penelas untuk unit ke-i pada level-1 dala unit ke- pada level-, x 1 x x x 1 P β = adalah vektor ukuran (P+1x1 berisi nilai fixed paraeter saat iterasi ke-t, β P 1 Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
48 u = enatakan nilai efek rando untuk unit ke- pada level- saat iterasi ke-t = erupakan nilai observasi respon untuk unit ke-i pada level-1 dala unit ke- pada level- = nilai untuk unit ke-i pada level-1 dala unit ke- pada level- saat dan iterasi ke-t w f '( H (1. t * * w (3.4 Model dala persaaan (3. erupakan odel ang telah dilinierisasi dengan respon transforasi inisial adalah ** var( var w 1 w ** dan Paraeter-paraeter dala odel ang telah dilinierisasi pada iterasi ke-t ang dinatakan dala persaaan (3. dapat diestiasi dengan enggunakan prosedur estiasi dari odel ultilevel linier, aitu etode Iterative Generalized Least Square (IGLS seperti delaskan dala subbab 3.1. Prosedur estiasi paraeter-paraeter dala odel (3. enggunakan IGLS di tiap iterasi PQL serupa dengan ang delaskan pada * subbab 3.1, dengan engganti Y { } enadi Y { * }. Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
49 Setelah diperoleh taksiran paraeter tetap dan rando ang konvergen dengan IGLS, hitung nilai taksiran residual ang akan digunakan pada proses linierisasi di iterasi berikutna dengan : u n uo n uo untuk nilai residual level-, sehingga nilai residual level-1 na adalah t u ( ** diana u = Nilai efek rando (residual level- untuk unit level- ke- pada iterasi ke-t. Disini baru bisa dicari pada iterasi pertaa dan seterusna (t = 1,,.. n = Banakna unit level-1 dala unit ke- pada level- uo = Variansi efek rando (residual level- ang diperoleh dari penaksiran IGLS = Variansi error level-1 = Rata-rata dari untuk setiap unit level- ke- ( / n, dengan ˆ seperti pada prosedur IGLS. Untuk lebih ringkasna, prosedur estiasi paraeter-paraeter dala odel logistik -level dengan rando intercept enggunakan etode Penalized Quasi Likelihood order pertaa (PQL-1 adalah : Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
5 (1 Linierisasi bagian non-linier dari odel, aitu, dengan enggunakan perluasan deret Talor order pertaa dengan diberikan nilai taksiran, β, dan u ang diperoleh dari iterasi sebeluna (khusus untuk langkah awal (t =, diberikan suatu nilai-nilai inisial. Pada bentuk odel ang telah dilinierkan diperoleh nilai respon ang telah ditransforasi. ( Paraeter-paraeter pada odel dala bentuk linier ang diperoleh dari langkah (1 diestiasi dengan prosedur estiasi odel ultilevel linier, aitu Iterative Generalized Least Square (IGLS. (3 Hasil taksiran paraeter rando dala odel digunakan untuk encari nilai taksiran u. (4 Ulangi langkah (1 dengan enggunakan hasil taksiran fixed dan rando paraeter dari langkah ( serta hasil taksiran u dari langkah (3. (5 Langkah (1 sapai (4 dilakukan sapai nilai taksiran-taksiran paraeter ang diperoleh konvergen. Intra-class correlation Seperti halna pada odel regresi -level pada bab sebeluna, pada odel logistik -level dengan rando intercept uga dapat diketahui korelasi Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8
51 antara dua unit level-1 dala unit level- ang saa, atau disebut intra-class correlation, ang dinatakan dengan : u u (3.5 diana / 3. Seakin tinggi nilai enunukkan seakin iripna dua unit level-1 dari unit level- ang saa, dibandingkan dengan dua unit level-1 ang diabil dari dua unit level- ang berbeda. Estiasi Paraeter..., Anastia Dewi L., FMIPA UI, 8