ESTIMASI PARAMETER REGRESI LOGISTIK MULTINOMIAL DENGAN METODE BAYES

Transkripsi

1 JURNAL GAUSSIAN, Volume, Nomor, Tahu 03, Halama Olie di: ESTIMASI PARAMETER REGRESI LOGISTIK MULTINOMIAL DENGAN METODE BAYES Wayaig Apsari, Hasbi Yasi, Sugito 3 Mahasiswa Jurusa Statistika FSM Uiversitas Dipoegoro,3 Staf Pegajar Jurusa Statistika FSM UNDIP ABSTRAK Regresi logistik multiomial merupaka regresi logistik dimaa variabel depedeya bersifat polychotomous yaitu ilai variabel depedeya lebih dari dua kategori. Pada umumya estimasi parameter regresi logistik multiomial megguaka metode klasik yag haya didasarka pada iformasi saat ii yag diperoleh dari sampel tapa memperhitugka iformasi awal dari parameter regresi logistik. Jika dimiliki iformasi awal tetag parameter yaitu distribusi prior, maka estimasi parameter dapat megguaka metode Bayes. Metode Bayes meggabugka iformasi pada sampel dega iformasi distribusi prior, da hasilya diyataka dega distribusi posterior. Jika distribusi posteriorya tidak dapat dituruka secara aalitis maka didekati dega megguaka algoritma Markov Chai Mote Carlo (MCMC) terutama algoritma Metropolis-Hastigs. Algoritma ii megguaka mekaisme peerimaa da peolaka utuk membagkitka barisa sampel radom. Kata kuci: Regresi Logistik Multiomial, Metode Bayes, algoritma Markov Chai Mote Carlo (MCMC), algoritma Metropolis-Hastigs. ABSTRACT Multiomial logistic regressio is a logistic regressio where the depedet variable is polychotomous is depedet variable value of more tha two categories. Multiomial logistic regressio parameter estimatio usually use classical method that is based oly o curret iformatio obtaied from the sample without takig ito accout the iitial iformatio of logistic regressio parameters. If have early iformatio about parameter is prior distributio, the parameter estimatio ca use Bayes method. Bayesia methods combie iformatio o the sample with prior distributio of iformatio, ad the results are expressed i the posterior distributio. If posterior distributio ca ot be derived aalytically so approximated usig Markov Chai Mote Carlo (MCMC) algorithm especially Metropolis-Hastigs algorithm. This algorithm uses acceptace ad rejectio mechaism to geerate a sequece of radom samples. Keyword: Multiomial Logistic Regressio, Bayes Method, Markov Chai Mote Carlo algorithm (MCMC), Metropolis-Hastigs algorithm.. PENDAHULUAN Regresi logistik multiomial merupaka regresi logistik dimaa variabel depedeya mempuyai skala yag bersifat polychotomous atau multiomial yag terdiri lebih dari dua kategori. Pedugaa koefisie parameter model regresi logistik multiomial pada umumya megguaka metode Maksimum Likelihood dega megguaka pedekata distribusi. Pada umumya metode klasik ii haya berkutat pada iformasi saat ii yag diperoleh dari sampel tapa memperhitugka iformasi awal da haya medasarka iferesiya pada sampel. Sehigga jika distribusi populasi tidak diketahui metode Maksimum Likelihood tidak dapat diguaka. Iferesi aka lebih bagus jika data yag diguaka adalah data gabuga atara data sampel saat ii dega data peelitia sebelumya (data prior). Metode iferesi dega megguaka data sampel da data prior disebut dega metode Bayes []. Distribusi prior adalah distribusi subyektif berdasarka pada keyakia seseorag da dirumuska sebelum data sampel diambil []. Distribusi sampel yag digabug dega distribusi prior aka meghasilka distribusi baru yaitu distribusi posterior.

2 Kepadata posterior utuk parameter regresi pada model multiomial tidak dapat dituruka secara aalitis. Sebalikya, tekik umerik diperluka utuk merigkas distribusi peluag ii. Karea peyelesaia utuk estimasi margial posterior setiap parameter dari persamaa itu aka rumit, sehigga aka didekati dega algoritma Markov Chai Mote Carlo terutama algoritma Metropolis-Hastigs.. TINJAUAN PUSTAKA. Regresi Logistik Multiomial Regresi logistik multiomial merupaka regresi logistik dega variabel depede (Y) mempuyai skala yag bersifat polychotomus atau multiomial yaitu skala dega kategori lebih dari dua [3]. Misal X variabel idepede yag berukura (p+) da variabel depede Y (j kategori) mempuyai kategori j = 0,, dega probabilitas respo 0,, da j = Probabilitas bersyarat P(y = j x) = j (x), j =0,, Jadi probabilitas bersyarat j = 0,, dapat ditulis: j0 Dega fugsi logit sebagai berikut: g x x g 0 x 0 x x x. Teorema Bayesia Misal peristiwa-peristiwa membetuk partisi di ruag sampel S sedemikia higga ; i=,,,k da misalka B sebarag peristiwa sedemikia higga. Maka utuk i=,,,k Teorema bayes memberika atura sederhaa utuk meghitug probabilitas bersyarat peristiwa diberika B terjadi, jika masig-masig probabilitas tak bersyarat da probabilitas bersyarat B diberika terjadi diketahui [4]... Distribusi Prior Distrribusi prior dikelompokka mejadi dua berdasarka betuk fugsi likelihood, yaitu [5] :. Berkaita dega betuk distribusi hasil idetifikasi pola dataya a. Distribusi prior kojugat (cojugate), megacu pada acua aalisis model terutama dalam pembetuka fugsi likelihoodya sehigga dalam peetua prior kojugat selalu dipikirka megeai peetua pola distribusi prior yag mempuyai betuk kojugat dega fugsi desitas peluag pembagu likelihoodya. b. Distribusi prior tidak kojugat (o-cojugate), pemberia prior pada model tidak mempertimbagka pola pembetuk fugsi likelihoodya JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 80

3 . Berkaita dega peetua parameter pada pola distribusi prior a. Distribusi prior iformatif, megacu pada pemberia parameter dari distribusi prior yag telah dipilih baik distribusi prior kojugat atau tidak, pemberia ilai parameter pada distribusi prior ii didasarka pada iformasi yag diperoleh b. Distribusi prior o iformatif, pemilihaya tidak didasarka pada data yag ada atau distribusi prior yag tidak megadug iformasi tetag parameter θ. Apabila pegetahua tetag priorya sagat lemah, maka bisa diguaka prior berdistribusi ormal dega mea ol da varia besar. Efek dari pegguaa prior dega mea ol adalah estimasi parameterya dihaluska meuju ol. Pemulusa ii dilakuka oleh varia, sehigga pemulusa tersebut bisa dilakuka dega meigkatka varia [6]... Distribusi Posterior Distribusi posterior adalah fugsi desitas bersyarat θ jika diketahui ilai observasi x da dapat ditulis sebagai berikut [4] : f, x f x f x Fugsi kepadata bersama da margial yag diperluka dapat ditulis dalam betuk distribusi prior da fugsi likelihood, f (, x) f x f x f, xd f f x f Sehigga fugsi desitas posterior utuk variabel radom kotiu sebagai berikut, f f x f x f f x d d.3 Algoritma Metropolis-Hastigs Persamaa posterior yag mempuyai betuk aalitik yag sulit, utuk megetahui ilai estimasi parameter dari betuk tersebut aka diguaka simulasi Radom-walk Metropolis-Hastigs. Sebelum memulai iterasi, terlebih dahulu ditetuka distribusi proposal yag aka diguaka [7]. Lagkah-lagkah dari simulasi Radom-walk Metropolis-Hastigs aka berjala sebagai berikut:. Meetuka ilai awal. Meetuka bayak iterasi t=,,t a. Megatur b. Membagkitka ilai baru dari dari distribusi proposal c. Meghitug, dega A diberika oleh d. Membagkitka sampel radom u e. Memperbaharui dega peluag peerimaa α da dega peluag -α. Jika maka diterima sebagai aggota sampel da jika maka ilai sebelumya (β) yag diterima sebagai aggota sampel. JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 8

4 3. PEMBAHASAN 3. Fugsi Likelihood Pada model regresi logistik multiomial, Y i terdiri lebih dari dua kategori maka model regresi logistik multiomial didasarka pada distribusi multiomial Fugsi desitas peluag utuk regresi logistik multiomial dega tiga kategoti adalah y0 i y f ( y ) ( x ). ( x ) i x y 0 i i. i i Fugsi likelihood utuk data Y y y,.., dega L, y adalah sebagai berikut g x g x y exp g x y g x y log e e i i g g i i i x 0 x x 0 x x x 3. Distribusi Prior Distribusi prior Normal utuk model regresi logistik multiomial adalah p p g exp P p P 3.3 Distribusi Posterior g x g x p p g y exp g x y i g x yi log e e i i i p Distribusi posterior yag diguaka utuk megestimasi parameter regresi pada model multiomial mempuyai betuk aalitik yag sulit. Utuk itu dilakuka simulasi dari distribusi posterior yag terbetuk. Metode simulasi yag diguaka adalah algoritma Markov Chai Mote Carlo khususya Metropolis Hastigs. Utuk megimplemetasika algoritma Metropolis-Hastigs perlu ditetuka distribusi proposal yag tepat. Jika distribusi proposal simetris maka pegambila sampel dega Radom-walk Metropolis Hastigs samplig. Distribusi proposal yag diguaka utuk regresi logistik multiomial utuk tiga kategori da dua variabel idepede megguaka Idepedet Normal proposal adalah ' N (, diag s, s, s, s, s s ~ 6, Cotoh Aplikasi Data diambil dari buku [8], halama Sebayak 63 sampel Aligator di Daau George, dimaa setiap aligator mempuyai piliha makaa utama yag berbeda, yaitu ika, siput atau cacig, da laiya (katak, kura-kura, ular, burug, ular, reptil, da mamalia). Sebagai variabel idepede adalah pajag da jeis kelami aligator. Pajag aligator diklasifikasika secara bier yaitu jika pajag aligator.83 meter maka dikategorika aligator muda, jika pajag aligator >.83 meter maka dikategorika aligator dewasa sedagka jeis kelami dikategorika mejadi jata da betia JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 8

5 3.5. Distribusi Prior g,,, 0 0,, exp Distribusi Posterior g ( x) g ( x) g( x) y i g ( x) yi log e e i i i g0,,, 0,, y exp Distribusi posterior yag diguaka utuk megestimasi parameter regresi logistik multiomial mempuyai betuk aalitik yag sulit. Utuk itu dilakuka simulasi dari distribusi posterior yag terbetuk. Jalaya simulasi tersebut membutuhka ilai prior, ilai awal, da distribusi proposal.. Prior Utuk megatasi sedikitya iformasi, maka diguaka prior berdistribusi ormal (0, 00 ). Nilai awal Nilai awal yag diguaka dalam proses simulasi semua paramter adalah 0 3. Distribusi Proposal Distribusi proposal yag diguaka adalah idepedet ormal proposal dega ilai Lagkah selajutya adalah mejalaka simulasi Radom-walk Metropolis Hastigs dega iterasi awal sebayak iterasi tetapi memberika hasil yag belum koverge. Utuk megatasi hal tersebut yaitu dega meambah iterasi da iterasi meigkat sampai utuk memastika kovergesi. s p Gambar Trace plot sebayak iterasi JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 83

6 Gambar Ergodic mea plot sebayak iterasi Gambar 3 Plot autokorelasi sebayak iterasi Setelah kodisi koverge terpeuhi, lagkah selajutya adalah mecari ilai estimasi parameter beta. Utuk meghidari ilai awal, maka iterasi ii aka dimulai pada iterasi ke dimaa kodisi mulai dari iterasi ii sudah meujukka koverge. JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 84

7 Gambar 4 Trace plot dega buri da thi 600 Gambar 5 Ergodic mea plot dega buri da thi 600 JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 85

8 Gambar 6 Plot autokorelasi dega buri da thi 600 Gambar 4,5 da 6 merupaka trace plot, ergodic mea plot, da plot autokorelasi sebayak iterasi dega buri da thiig iterval 600. Setelah iterasi dihilagka, maka didapatka ilai estimasi parameter regresi logistik multiomial yag baru Pembetuka Model Pegujia hipotesis terhadap parameter regresi dilakuka dega pedekata iterval kofidesi 95% dari masig-masig parameter. Hal ii dikareaka distribusi posterior tidak diketahui dega pasti. Iterval kofidesi 95% dihitug dega batas bawah yaitu kuatil ke,5% da batas atasya adalah kuatil ke 97,5%. Parameter diyataka sigifika jika iterval kofidesi 95% parameter tidak memuat ilai ol [7]. Variabel Parameter Mea Tabel Nilai Estimasi Parameter,5% 97,5% Kuatil Kuatil Sigifika Kesimpula Kostata Pajag ya Berpegaruh Jeis Kelami Tidak Tidak Berpegaruh Kostata Pajag Tidak Tidak Berpegaruh Jeis Kelami Tidak Tidak berpegaruh Dari tabel di atas diketahui variabel yag berpegaruh haya pajag da variabel jeis kelami tidak berpegaruh, sehigga yag dimasukka ke dalam model haya variabel pajag. Sehigga didapat model sebagai berikut Fugsi Logit: g( x) P g ( x) P JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 86

9 Nilai Probabilitas: Utuk piliha makaa ika e e e Utuk piliha makaa siput atau cacig 0.55 e ) P e e Utuk piliha makaa laiya 0 ) P e e p ( x ) P P.337P ( x P ( x P Cotoh perhituga: Seekor aligator mempuyai pajag.30 meter aka dicari peluagya memilih makaa utama ika, siput atau cacig, da makaa lai. Pajag aligator =.30 meter dikodig 0 a. Probabilitas memilih makaa ika p e ( ) P e e (0) e (0) 0.55 e e = x 337 P.337(0) b. Probabilitas memilih makaa siput atau cacig P x e ( ) P P e e (0) e (0) (0) e e = c. Probabilitas memilih makaa lai x ( 0 ) P P e e (0) (0) e e = 0.89 Jadi, seeekor aligator yag mempuyai pajag.30 meter mempuyai probabilitas memilih makaa ika sebesar 0.708, probabilitas memilih makaa siput atau cacig sebesar da probabilitas memilih makaa lai sebesar Ii berarti, seekor aligator yag mempuyai pajag.83 meter cederug memilih makaa ika. JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 87

10 4. KESIMPULAN. Jika diketahui pegetahua awal tetag parameter regresi logistik multiomial yag diyataka dega distribusi prior, maka estimasi parameter dapat dilakuka dega megguaka metode Bayes.. Jika distribusi posterior dari parameter regresi logistik multiomial sulit diselesaika secara aalitik, maka diguaka algoritma Markov Chai Mote Charlo terutama Metropolis Hastigs. Algoritma ii megguaka mekaisme peerimaa da peolaka utuk membagkitka barisa sampel radom. DAFTAR PUSTAKA. Bolstad, W.M Itroductio to Bayesia Statistics Secod Editio. A Joh Wiley & Sos. Ic: America.. Walpole, R. E. da Myers, R. H Ilmu Peluag da Statistika utuk Isiyur da Ilmuwa. Terbita kedua. ITB: Badug. 3. Hosmer, D.W. ad Lemeslow Applied Logistic Regressio Secod Editio. Joh Wiley & Sos, Ic: New York. 4. Soejati, Z da Soebaar Iferesi Bayesia. Karuia Uiversitas Terbuka; Jakarta. 5. Box, G.E.P ad Tiao, G.C Bayesia Iferece I Statistical Aalysis. Addisio-Wesley Publishig Compay, Ic: Philippies. 6. Ntzoufras, I Bayesia Modellig Usig WiBUGS. Joh Wiley & Sos, Ic: Ney Jersey. 7. Galido-Garre, F. ad Vermut, J. K Bayesia Posterior Estimatio of Logit Parameters With Small Samples, Artikel. Sage Publicatio: Netherlads. 8. Agresti, A A Itroductio to Categorial Data Aalysis.New York: Joh Wiley & So s. JURNAL GAUSSIAN Vol., No., Tahu 03 Halama 88