ESTIMASI PARAMETER MODEL REGRESI LINIER SEDERHANA BAYES DENGAN DISTRIBUSI PRIOR NONINFORMATIF JEFFREY

Transkripsi

1 Prosidig Semiar Matematika da Pedidika Matematika ISBN: ESTIMASI PARAMETER MODEL REGRESI LINIER SEDERHANA BAYES DENGAN DISTRIBUSI PRIOR NONINFORMATIF JEFFREY Firda Amalia, Dewi Reto Sari Saputro, Triwik Jatu 3 Mahasiswa Program Studi Matematika FMIPA UNS,3 Pegajar Program Studi Matematika FMIPA UNS firdaamalia0@gmail.com Abstrak: Tujua utama dalam memodelka data observasi dega model regresi adalah megestimasi parameterya. Pedugaa parameter dapat berupa pedugaa parameter titik da iterval. Pedugaa parameter titik dapat dilakuka dega dua metode, yag pertama disebut sebagai pedekata klasik (frequetist). Salah satu tekik yag diperguaka dalam metode klasik adalah metode maksimum likelihood. Pedekata kedua, dikeal sebagai bayesia. Bayesia, selai memafaatka proses iferesi pada data sampel yag diambil dari populasi, juga mempertimbagka distribusi awal (distribusi prior). Dalam metode Bayes parameter diaggap sebagai variabel yag meggambarka pegetahua awal tetag parameter sebelum pegamata dilakuka da diyataka dalam suatu distribusi yag disebut sebagai distribusi prior. Setelah pegamata dilakuka, iformasi dalam distribusi prior dikombiasika dega iformasi dega data sampel melalui teorema Bayes, da hasilya diyataka sebagai distribusi posterior. Secara umum pemiliha distribusi prior dilakuka atas dasar diketahui atau tidakya iformasi tetag parameter. Dalam artikel ii dibahas estimasi parameter model regresi liier pada pola distribusi prior yaki apabila iformasi tetag parameter tidak tersedia, diguaka prior oiformatif Jeffrey. Prior oiformatif ii tidak memberika pegaruh sigifika terhadap distribusi sehigga iformasi yag diperoleh dari data amata bersifat lebih objektif. Kata kuci: Regresi Bayesia, Estimasi Parameter, Distribusi Prior, Prior Noiformatif. PENDAHULUAN Model regresi adalah model yag memberika gambara tetag hubuga atara variabel bebas da variabel tak bebas yag dipegaruhi oleh beberapa parameter regresi yag belum diketahui ilaiya sehigga diperluka utuk megestimasiya (Sembirig, 995). Meurut (Bolstad, 007), terdapat dua metode yag pada umumya diperguaka utuk megestimasi parameter. Metode yag pertama adalah metode klasik (metode kuadrat terkecil da metode maximum likelihood). Metode tersebut megguaka pedekata statistika klasik dimaa pedugaa parameter da iferesiya berdasarka iformasi yag ada sampel da megabaika iformasi awal (prior) peeliti. Prosedur tersebut dikembagka haya dega melihat performa seluruh kemugkia sampel acak (all possible radom sample) saat ii. Iformasi sampel acak yag diperoleh sebelumya (pada percobaa/observasi lai di masa lalu) diabaika. Pedekata klasik ii 05

2 Prosidig Semiar Matematika da Pedidika Matematika ISBN: memiliki kelemaha dalam hal iterpretasi terhadap selag kepercayaa distribusi parameter (Casella ad Berger, 00). Metode yag kedua adalah metode bayesia yag merupaka metode pedugaa yag meggabugka distribusi prior da distribusi sampel. Distribusi prior adalah distribusi awal yag memberika iformasi tetag parameter. Distribusi sampel yag digabugka dega distribusi prior meghasilka distribusi baru yaitu distribusi posterior yag meyataka derajat keyakia seseorag tetag posisi parameter setelah sampel diamati (Walpole ad Myers, 995). Pada parameter regresi, terkadag diperoleh iformasi tambaha parameter populasi yag berasal dari data sebelumya. Jika iformasi tersebut mejadi faktor pertimbaga pada aalisis data, maka estimasi dega metode kuadrat terkecil tidak dapat diperguaka. Oleh karea itu, diperluka metode bayesia utuk megestimasi parameter regresiya. Metode bayesia, selai memafaatka proses iferesi pada data sampel yag diambil dari populasi, juga mempertimbagka distribusi awal (distribusi prior). Dalam metode Bayes parameter diaggap sebagai variabel yag meggambarka pegetahua awal tetag parameter sebelum pegamata dilakuka da diyataka dalam distribusi yag disebut distribusi prior. Setelah pegamata dilakuka, iformasi dalam distribusi prior dikombiasika dega iformasi dega data sampel melalui teori Bayes, da hasilya diyataka sebagai distribusi posterior yag aka meetuka estimasi parameter (Soejoeti da Subaar, 988). Aalisis regresi liier sederhaa bayesia dipegaruhi oleh pemiliha prior da iformasi sampel. Pemiliha prior secara umum dilakuka berdasarka diketahui atau tidakya iformasi parameter. Jika iformasi parameter diketahui, maka dapat diguaka prior iformatif. Prior iformatif mempegaruhi distribusi posterior da bersifat sagat subjektif (Gelma,et al, 004). Sebalikya, jika iformasi parameter tidak diketahui, maka dapat diguaka prior oiformatif. Prior oiformatif ii tidak memberika pegaruh yag sigifika terhadap distribusi posterior sehigga iformasi yag diperoleh dari data amata bersifat lebih objektif (Box da Tiao, 973). Salah satu prior oiformatif adalah prior Jeffrey. Prior Jeffrey adalah salah satu jeis prior oiformatif apabila iformasi awal tetag parameter distribusi sagat kurag (Al-Kutubi ad Ibrahim, 009). Kajia yag terkait dega peelitia ii adalah Nurlaila dkk. pada tahu 03, yag meyataka bahwa metode bayesia dega perluasa distribusi prior Jeffrey lebih efektif dibadigka dega metode MLE. Peelitia laiya, pada tahu 0, Guure, et al. 05

3 Prosidig Semiar Matematika da Pedidika Matematika ISBN: membadigka kierja estimator maksimum likelihood da estimator Bayes megguaka perluasa iformasi prior Jeffrey. Hasil meujukka bahwa estimator Bayes megguaka perluasa prior Jeffrey dega liear expoetial loss fuctio dalam kebayaka kasus memberika mea square error (MSE) terkecil. Berdasarka hal yag telah diuraika da keterkaita peelitia sebelumya, pada artikel ii dibahas model regresi liier sederhaa bayesia dega prior oiformatif Jeffrey. METODE PENELITIAN Metode yag diguaka dalam peulisa artikel ii adalah studi literatur, dega megumpulka referesi berupa jural, artikel, da buku yag dapat medukug pembahasa tetag estimasi parameter regresi liier sederhaa dega metode bayesia prior oiformatif. Distribusi prior yag diperguaka adalah distribusi ormal da metodeya adalah Jeffrey. Lagkah-lagkah dalam peelitia ii adalah meguraika regresi liier sederhaa dega metode bayesia prior oiformatif, megguaka distribusi ormal utuk megestimasi parameter regresi liier sederhaa dega metode bayesia prior oiformatif, meetuka fugsi likelihood dari variabel radom. Selajutya, meetuka distribusi prior megguaka Jeffrey, meetuka distribusi posterior, da meetuka estimasi parameter regresi. HASIL DAN PEMBAHASAN Pada pembahasa ii diuraika tetag model regresi liier sederhaa, metode bayesia, model regresi liier sederhaa bayesia prior oiformatif, da estimasi parameter model tersebut. A. Model Regresi Liier Sederhaa Model regresi liier berdasarka bayakya variabel bebas dibagi mejadi dalam tipe model yaitu model regresi liier gada da model regresi liier sederhaa. Model regresi liier gada adalah model regresi yag memiliki dua atau lebih variabel bebas. Model regresi liier sederhaa adalah model regresi dega satu variabel bebas da variabel tak bebas. Model regresi liier diperguaka utuk memperoleh hubuga liier atara satu variabel bebas da satu variabel tak bebas. Model regresi liier sederhaa ditulis sebagai Y = β 0 + β X + ε 053

4 Prosidig Semiar Matematika da Pedidika Matematika ISBN: dega ε~n(0, σ ), Y merupaka variabel tak bebas, X merupaka variabel bebas, da β 0, β adalah parameter regresi. Liier meujukka bahwa model tersebut liier dalam parameter β 0, β. B. Probabilitas Bersyarat, Metode Bayesia da Fugsi Likelihood. Pegertia tetag probabilitas bersyarat da fugsi likelihood yag diberika pada artikel ii diambil dari (Bai ad Egelhardt, 99). Probabilitas bersyarat adalah peluag kejadia dari A jika diketahui B telah terjadi yag ditulis sebagai P(A B). Misal dipuyai ruag sampel S da A, B adalah peristiwa didalam S. Probabilitas A dega syarat B didefiisika, P A B = P(A B) degap(b) 0 P(B) Dasar metode bayesia adalah probabilitas bersyarat sehigga utuk melakuka pedugaa parameter diperluka iformasi awal parameter yag disebut distribusi prior. Fugsi likelihood adalah fugsi desitas probabilitas bersama dari variabel radom. Misal T, T,, T adalah variabel radom dega pegamataya adalah t, t,, t, fugsi likelihood dapat ditulis dega f(t, t,, t ; θ). Utuk ilai t, t,, t tertetu, fugsi likelihood merupaka fugsi θ ditulis dega L(θ). Jika T, T,, T adalah variabel radom yag idepede, maka L θ = f t i ; θ = f( t ; θ), f t ; θ,, f(t ; θ) dega θ adalah parameter yag tidak diketahui. Pada peelitia ii, diguaka distribusi prior ormal dega fugsi desitas probabilitasya ditulis sebagai f X; θ; σ = σ π exp X θ σ () Berdasarka persamaa () ditetuka fugsi likelihood-ya. Fugsi likelihood dega variabel radom berdistribusi ormal, X i ~N(θ; σ ) adalah = (π L θ, σ = f x i ; θ; σ σ ) exp 054

5 Prosidig Semiar Matematika da Pedidika Matematika ISBN: C. Distribusi Prior Noiformatif = (πσ ) exp (σ) exp Salah satu pedekata distribusi prior oiformatif adalah metode Jeffrey (Al- Kutubi ad Ibrahim, 009). Metode ii meyataka bahwa distribusi prior f θ merupaka akar kuadrat dari iformasi Fisher yag ditulis sebagai f θ = [I θ ] dega I θ adalah iformasi Fisher. Meurut (Bai ad Egelhardt, 99), iformasi Fisher ditulis sebagai. I θ = E θ [ log f x; θ θ ] Jika θ = (θ, θ,, θ p ) t adalah vektor diguaka f θ = [det I θ ] dega I(θ) adalah matriks iformasi Fisher berordo (pxp). Iformasi Fisher tersebut adalah dega i =,,..., p da j =,,..., p. I ij θ = E θ [ log f x; θ θ i θ j ] Prior oiformatif distribusi ormal, f θ dega θ = θ, σ, diasumsika θ da σ adalah idepede sehigga berlaku f(θ) = f θ)f(σ. Selajutya, ditetuka distribusi prior oiformatif f(σ ), lagkah peetuaya sebagai berikut.. Pada proses perhituga, dimisalka u = σ sehigga f X; θ, σ = f X; θ, u. dega f X i ; θ; σ = σ π exp [ X i θ. Utuk peyederhaaa perhituga, persamaa () ditrasformasika dega fugsi l, dega hasil berikut. σ ] l f X; θ, u = l π 3. Persamaa (), dituruka terhadap σ, diperoleh d log f X; θ, u du (X θ) l u. () u = (X θ) + u u. (3) 055

6 Prosidig Semiar Matematika da Pedidika Matematika ISBN: Turua ke- persamaa (3) adalah 5. Iformasi Fisher utuk persamaa (4) adalah d log f X; θ, u du = (X θ) σ4 σ 6. (4) I u = E d log f X; θ, u du = σ 4. Dega metode Jeffrey diperoleh bahwa prior oiformatifya adalah f u = f σ = I σ σ da prior oiformatif utuk f θ = c (kosta). Dega demikia diperoleh f θ = f θ)f(σ = c σ = c σ σ D. Distribusi Posterior Meurut (Larso, 974) fugsi desitas posterior utuk θ merupaka fugsi desitas probabilitas bersyarat θ dega sampel pegamata x ditulis sebagai f θ x = f(x,θ) f(x). Parameter sampel dapat berasal dari distribusi variabel radom diskrit maupu kotiu. Apabila diberika suatu sampel radom X = {x, x,, x } dega parameter θ, probabilitas posterior-ya adalah f θ X = f x, x,, x, θ f(θ) f x, x,, x, θ f θ d(θ) f θ X (likelihood) x (prior) Apabila distribusi prior-ya berdistribusi ormal, distribusi posterior utuk distribusi ormal ditulis sebagai f θ, σ x σ σ exp 056

7 Prosidig Semiar Matematika da Pedidika Matematika ISBN: dega s = = exp σ+ σ (x i x ) + (x θ) = exp σ+ σ s + (x θ) (x i x ). Utuk memperoleh distribusi posterior margial utuk σ, distribusi posterior f θ, σ x da diperoleh f σ x σ exp σ+ σ exp + σ (σ + ) exp s + (x θ) dθ s πσ s σ yag merupaka fugsi desitas utuk ivers χ berskala, atau dapat ditulis sebagai f σ x ~Iv χ (, s ). Fugsi desitas utuk distribusi ivers-χ berskala memiliki fugsi desitas yag sama dega distribusi Iv gamma(, s ) ( Gelma,et al, 004). Utuk memperoleh distribusi posterior margial utuk θ, distribusi posterior f θ, σ x diitegralka terhadap σ, diperoleh Jika t = (x θ) s/ f θ x = exp σ+ σ s + (x θ) dσ s β ( ), maka f θ x ~t( ). ( ) + (θ x ) s ( +) E. Estimasi Parameter Model Regresi Liier Sederhaa Bayesia dega Distribusi Prior Noiformatif Misal X, X,, X merupaka sampel radom dari distribusi ormal dega mea θ da variasi σ. Dega megguaka metode maksimum likelihood dapat dicari estimator titik utuk θ da σ. Fugsi desitasya adalah: Fugsi likelihood: f X i ; θ; σ = σ π exp [ X i θ σ ] 057

8 Prosidig Semiar Matematika da Pedidika Matematika ISBN: Log likelihood: Estimasi parameter utuk θ L θ, σ = f x i ; θ; σ = (π σ ) exp = (πσ ) exp l = log [L θ, σ ] = log π log σ l θ = 0 0 θ = σ θ = σ θ = σ 0 = x i σ θ σ maka estimasi parameter θ adalah x i σ l θ = 0 θ σ = 0 x i σ Estimasi parameter utuk σ θ = = θ σ x i x i x i θ + θ x i θ x i + θ x i θ l σ = 0 σ + σ 3 (x i θ) + θ θ 058

9 Prosidig Semiar Matematika da Pedidika Matematika ISBN: maka estimasi parameter σ adalah l σ = 0 σ + σ 3 (x i θ) σ 3 (x i θ) (x σ i θ) σ = = 0 = σ = Jadi diperoleh estimasi parameter utuk θ = (x i θ) x i da σ = (x i θ) Sedagka secara komputasi, salah satu metode komputasi yag diguaka utuk meduga parameter adalah metode Markov Chai Mote Carlo (MCMC). MCMC merupaka salah satu tekik utuk meetuka dugaa parameter model regresi bayesia yag peyelesaia aalitikya sulit ditetuka. Terdapat tiga macam metode MCMC yaitu metode Metropolis, metode Metropilis-Hastig, da metode Gibbs Sampler. Metode Gibbs Sampler merupaka metode yag serig diguaka dalam metode bayesia. Pada peelitia ii diperguaka metode Gibss Sampler yag algoritmeya diyataka sebagai berikut.. Meetuka ilai awal β (0).. Utuk iterasi t=,...,t, dilakuka lagkah berikut. (a). Megatur β = β (t ). (b). Utuk j=0,...,k,membagkitka β j distribusi posterior. (c). Membagkitka β 0 (t) dari f(β0 β t, β t,, βk t, x) membagkitkaβ (t) dari f(β β 0 t, β t,, βk t, x) membagkitka β (t) dari f(β β 0 t, β t,, βk t, x) (t) membagkitka β k dari t f(βk β, t β,, t βk, x) Berdasarka iterasi tersebut dapat dilihat apakah trace plot sudah koverge, apabila belum koverge diperluka tambaha iterasi higga koverge. SIMPULAN Berdasarka hasil da pembahasa, diperoleh simpula berikut. 059

10 Prosidig Semiar Matematika da Pedidika Matematika ISBN: Salah satu pedekata distribusi prior oiformatif utuk distribusi ormal megguaka metode Jeffrey, ilai prior oiformatifya adalah f θ σ.. Distribusi posterior margial utuk distribusi ormal pada model regresi liier sederhaa bayesia dega distribusi pior oiformatif adalah f σ x ~Iv-χ (, s ) f θ x ~t( ) 3. Estimasi parameter model regresi liier sederhaa bayesia dega distribusi prior oiformatif adalah DAFTAR PUSTAKA θ = σ = x i (x i θ) Al-Kutubi, H. S., Ibrahim N. A. (009). Bayes Estimator for Expoetial Distributio with Extesio of Jeffery Prior Iformatio. Malaysia Joural of Mathematical Scieces, 3(), Bai, L. J. ad Egelhardt, M. (99). Itroductio to Probability ad Mathematical Statistics, secod ed., Buxbury Press, Ic., Califoria. Bolstad, W. M. (007). Itroductio to Bayesia Statistics, d ed. New Jersey: Wiley. Box, G. E. P., Tiao, G. C. (007). Bayesia Iferece i Statistics, d ed, New Jersey: Wiley. Casella, G. ad Berger, R. L. (00). Statistical Iferece, Secod Ed., Thomso Learig, Duxbury, p: Gelma, A., Carli Joh, B., Ster Hal, S., ad Rubi Doald, B. (004). Bayesia Data Aalysis, d ed, New York: Chapma & Hall. Guure, C. B., Ibrahim, N. A. & Ahmed, A. O. M. (0). Bayesia Estimatio of Two Parameter Weibull Distributio Usig Extesio of Jeffrey s Prior Iformatio with Three Loss Fuctios. Mathematical Problems i Egieerig. Larso, H. J. (974). Itroductio to Probability Theory ad Statistical Iferece. Joh Wiley ad Sos, Ic., New York.. Nurlaila, D., Kusadar, D. da Sulistiaigsih, E. (03). Perbadiga Metode Maximum Likelihood Estimatio (MLE) da Metode Bayes dalam Pedugaa Parameter Distribusi Ekspoesial. Buleti Ilmiah Mat. Stat. da Terapaya (Bimaster) Volume 0, No. hal Sembirig, R. K. (995). Aalisis Regresi, ITB, Badug. 060

11 Prosidig Semiar Matematika da Pedidika Matematika ISBN: Soejoeti, Z. da Subaar. (988). Iferesi Bayesia, Karuika, Uiversitas Terbuka, Jakarta. Walpole, R. E. ad Myers, R. H. (995). Ilmu Peluag da Statistika utuk Isiyur da Ilmuwa, Peerbit ITB, Badug. 06