ANALISIS REGRESI BAYES LINEAR SEDERHANA DENGAN PRIOR NONINFORMATIF

Transkripsi

1 E-Jural Matematika Vol. 3, No.2 Mei 204, ISSN: ANALISIS REGRESI BAYES LINEAR SEDERHANA DENGAN PRIOR NONINFORMATIF ANAK AGUNG ISTRI AGUNG CANDRA ISWARI, I WAYAN SUMARJAYA 2, I GUSTI AYU MADE SRINADI 3,2,3 Jurusa Matematika FMIPA Uiversitas Udayaa, Bukit Jimbara-Bali iswari.cadra@gmail.com, 2 sumarjaya@uud.ac.id, 3 sriadiigustiayumade@yahoo.co.id Abstract The aim of this study is to apply Bayesia simple liear regressio usig oiformative prior. The data used i this study is 30 observatioal data with error geerated from ormal distributio. The oiformative prior was formed usig Jeffreys rule. Computatio was doe usig the Gibbs Sampler algorithm with iteratio. We obtai the followig estimates for the parameters, α 0 =, with 95% Bayesia cofidece iterval (0,775775; 2,626025), β = 2, with 95% Bayesia cofidece iterval (2,948; 3,052), ad σ 2 = 0, with 95% Bayesia cofidece iterval (0,375295;,4). These values are ot very differet compared to the actual value of the parameters, which are α 0 = 2 ad β = 3 Keywords: Bayesia regressio, oiformative prior, Jeffreys rule, the Gibbs Sampler algorithm. Pedahulua Aalisis regresi liear sederhaa adalah salah satu cara yag dapat diguaka utuk megetahui hubuga atara variabel bebas da variabel terikat. Pedugaa parameter model regresi liear sederhaa dapat dilakuka dega berbagai cara tergatug dari padaga peeliti. Dalam ilmu statistika, terdapat dua padaga yag serig diguaka sebagai dasar dalam metode-metode utuk megolah data (William M. Bolstad, 2007). Padaga pertama merupaka padaga yag umumya serig diguaka oleh peeliti (frequetist) yaki metode yag diguaka utuk megolah data adalah metode-metode regresi klasik seperti metode kuadrat terkecil (least square estimatio) da metode kemugkia maksimum (maximum likelihood estimatio). Padaga kedua merupaka padaga yag berbeda dega para frequetist. Padaga ii megguaka pegetahua dari peeliti, yag bersifat subjektif sebagai prior yag kemudia diolah bersama data utuk memperoleh parameter regresi yag diigika.padaga kedua ii disebut padaga Bayes. Dalam padaga Bayes, seseorag dapat memberika kepercayaa awal (prior believe) terhadap suatu parameter karea adaya asumsi bahwa parameter merupaka suatu variabel acak (William M. Bolstad, 2007). Kepercayaa awal ii dapat diperbarui dega megguaka Teorema Bayes ketika diperoleh data amata. Teorema Bayes meyataka bahwa distribusi peluag posterior utuk θ terhadap data x, proporsioal terhadap produk dari distribusi prior utuk θ terhadap data da likelihood utuk θ jika diberika data x (George E. P. Box ad George C. Tiao, 973). Oleh karea itu, aalisis regresi Bayes liear sederhaa aka dipegaruhi oleh pemiliha prior da likelihood data. Distribusi prior adalah distribusi awal parameter θ Mahasiswa Jurusa Matematika FMIPA Uiversitas Udayaa 38 2 Staf Pegajar Jurusa Matematika FMIPA Uiversitas Udayaa

2 E-Jural Matematika Vol. 3, No.2 Mei 204, ISSN: sebelum diperolehya data amata (Adrew Gelma, et al., 2004). Dega kata lai distribusi prior merupaka tigkat kepercayaa peeliti terhadap setiap ilai parameter yag mugki. Sehigga distribusi prior aka selalu bersifat subjektif karea merupaka represetasi kepercayaa peeliti. Pemiliha prior secara umum dilakuka berdasarka diketahui atau tidakya iformasi megeai parameter. Jika iformasi megeai parameter diketahui, maka prior iformatif, yaitu prior yag memegaruhi hasil distribusi posterior da bersifat sagat subjektif dapat diguaka (Adrew Gelma, et al., 2004), sedagka jika iformasi megeai parameter tidak tersedia, maka diguaka prior oiformatif yag tidak memberika pegaruh yag sigifika terhadap distribusi posterior (George E. P. Box ad George C. Tiao, 973) sehigga iformasi yag diperoleh dari data amata bersifat lebih objektif. Peelitia ii bertujua utuk meerapka aalisis regresi Bayes liear sederhaa dega megguaka prior oiformatif. Selai meduga parameter regresi, aka dilakuka iferesi dega megguaka selag kepercayaa Bayes. 2. Metode Peelitia Model regresi liear sederhaa merupaka salah satu model regresi yag serig diguaka dalam aalisis regresi. Pada model ii, haya terdapat satu variabel bebas dega fugsi regresi liear. Disebut sederhaa karea model ii haya melibatka satu variabel bebas da disebut liear karea liear dalam parameter da liear dalam variabel bebasya [5]. Model regresi liear sederhaa yag diguaka dalam peelitia ii adalah sebagai berikut: y = α 0 + βx + ε. Data yag diguaka dalam peelitia ii adalah data yag dibagkitka dega megguaka program R versi Data yag dibagkitka adalah data dega galatyag berdistribusi ormal dega mea ol da varias satu. Variabel bebas yag dibagkitka merupaka bilaga bulat positif dega ilai, 2,, 30. Variabel terikat ditetuka oleh hubuga liear atara variabel bebas da variabel terikat. Adapu ilai parameter yag dipilih sebagai cotoh simulasi dalam peelitia ii adalah α 0 = 2 da β = 3. Sehigga hubuga liear atara variabel bebas da variabel terikat yag ditetukaadalah sebagai berikut, y = 2 + 3x + ε dega ε adalah galat berdistribusi ormal yag dibagkitka. Karea data yag dibagkitka berdistribusi ormal, maka likelihood data diyataka oleh: L(μ, σ 2 ) ( σ ) exp { 2σ [y 2 i μ] 2 } i=. () Peelitia ii megguaka prior oiformatif yag tidak memberika pegaruh terhadap distribusi posterior karea tidak tersediaya iformasi awal megeai parameter. Prior oiformatif yag diguaka dapat dibetuk dega megguaka atura Jeffreys (Robert E. Kass ad Larry Wasserma, 996). Berdasarka atura Jeffreys, dari likelihood pada persamaa (), dibetuk prior oiformatif sebagai berikut: π(μ, σ 2 ) = σ 2. (2) Dari likelihood data pada persamaa () da prior oiformatif pada persamaa (2) dibetuk distribusi posterior, yaitu: π(μ, σ 2 y i ) σ ( 2 σ ) exp [ { 2σ [y 2 i μ] 2 }] dega i= = exp [ σ+2 2σ 2 { (y i y ) 2 i= + (y μ) 2 }] = exp [ σ+2 2σ {( 2 )s2 + (y μ) 2 }] s 2 = (y i y ) 2. i= Utuk memperoleh distribusi posterior margial utuk σ 2, distribusi posterior π(μ, σ 2 y i )diitegralka terhadap μ, sehigga π(σ 2 y i ) exp [ σ+2 2σ {( 2 )s2 + (y μ) 2 }] dμ exp ( σ+2 2σ ( 2 )s2 ) 2πσ2 (σ 2 ) + 2 exp ( ( )s2 2σ 2 ) 39

3 A.A.I.A. Cadra Iswari, I Waya Sumarjaya, I.G.A.M. Sriadi yag merupaka fugsi desitas utuk ivers- χ 2 berskala (scaled iverse-chi-square), dega kata lai σ 2 y i ~Iv χ 2 (, s 2 ). Fugsi desitas utuk distribusi ivers χ 2 berskala memiliki fugsi desitas yag sama dega distribusi Iv gamma (, 2 2 s2 ) (Adrew Gelma, et al., 2004). Pedugaa ilai parameter dilakuka dega meghitug mea dari distribusi posterior (Bradley P. Carli ad Thomas A. Louis, 2009). Salah satu metode komputasi yag dapat diguaka utuk meduga parameter adalah metode Markov Chai Mote Carlo. Metode ii membetuk suatu ratai Markov yag diguaka sebagai sampel Mote Carlo atau dapat diyataka sebagai: μ M = M B g(x i) i=b+ dega M merupaka jumlah sampel yag dibagkitka da B merupaka bur-i yaitu bilaga bulat o-egatif yag meyataka jumlah sampel awal yag harus dibuag karea terlalu bias terhadap ilai awal (Radu V. Craiu ad Jeffrey S. Rosethal, 204). Dalam peelitia ii diguaka algoritma Gibbs Sampler yag merupaka salah satu algoritma yag termasuk ke dalam kelas algoritma Markov Chai Mote Carlo. Algoritma Gibbs Sampler membagkitka variabel acak dari suatu distribusi margial tapa harus diketahui fugsi desitasya (Christope Adrieu, et. al. 2003). Dalam peelitia ii, algoritma Gibbs Sampler dilakuka sebayak kali iterasi dega bur-i sebayak.000 sampel. 3. Hasil da Pembahasa Adapu data yag dibagkitka utuk peelitia ii merupaka data dega galat berdistribusi ormal dega mea ol da varias satu. Plot (a) pada Gambar. meujukka plot variabel bebas X da variabel terikat Y da plot (b) meujukka plot variabel terikat Y dega galat. Plot atara variabel bebas X da variabel terikat Y M Aalisis Regresi Bayes Liear Sederhaa dega Prior Noiformatif meujukka bahwa data yag dibagkitka memiliki hubuga yag liear atara variabel terikat da variabel bebasya. Sedagka plot atara variabel terikat Y dega galat meujukka bahwa galat yag dibagkitka memiliki varias kosta. Gambar. (a) Plot Variabel Bebas X da Variabel Terikat Y da (b) Plot Variabel Terikat Y da Galat Data variabel bebas X, galat berdistribusi ormal da variabel terikat Y yag dibagkitka ditujukka oleh Tabel. Data yag telah dibagkitka memiliki distribusi ormal, sehigga likelihood data amata merupaka likelihood distribusi ormal seperti yag ditujukka oleh persamaa (). 40

4 E-Jural Matematika Vol. 3, No.2 Mei 204, ISSN: Tabel. Data Variabel Bebas, Galat, da Variabel Terikat yag Dibagkitka X ε Y = 2 + 3x + ε -2, , , , , , , , , ,3073 6, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , Dari data yag dibagkitka, dilakuka aalisis dega megguaka metode regresi Bayes liear sederhaa. Pedugaa parameter dilakuka dega megguaka batua program R versi da WiBUGS versi.4. Luara dari program tersebut ditujukka oleh Tabel 2. Tabel 2. meujukka ilai dugaa utuk masig-masig parameter dega simpaga baku da juga kuatil-kuatilya. Kuatil 2,5% da 97,5% meujukka batas bawah da batas atas dari selag kepercayaa Bayes utuk masig-masig parameter. Tabel 2. Luara Pedugaa Nilai Parameter Mea Simpaga Baku α 0, , β 2, ,02629 σ 2 0, ,8857 Kuatil 2,5% 25% 50% 75% 97,5% α 0 0,775775,392,699 2,00 2, β 2,948 2,983 2,999 3,06 3,052 σ 2 0, ,563 0,6792 0,8675,4 Nilai dugaa utuk parameterα 0 =, dega selag kepercayaa Bayes 95% (0,775775; 2,626025). Selag kepercayaa Bayes dapat diiterpretasika sebagai peluag ilai parameter α 0 berada di atara selag (0,775775; 2,626025) adalah sebesar 95%. Nilai parameter dugaa α 0 =, meujukka bahwa ilai variabel terikat Y aka sama dega, jika ilai variabel bebasx sama dega ol. Nilai dugaa utuk parameterβ = 2,999468meyataka bahwa ilai variabel terikat Yaka megalami perubaha sebesar jika terjadi perubaha sebesar satu uit satua pada variabel bebas X.Selag kepercayaa Bayes 95% (2,948; 3,052) meujukka bahwa peluag ilai parameter β berada di atara selag (2,948; 3,052) adalah sebesar 95%. Nilai dugaa utuk parameterσ 2 = 0, dega selag kepercayaa Bayes 95% (0,375295;,4). Dega kata lai ilai parameter σ 2 memiliki peluag sebesar 95% berada di atara selag (0,375295;,4). Masig-masig ilai parameter dugaa yag diperoleh memiliki kesesuaia dega ilai parameter yag ditetuka. Nilai dugaa da ilai sesugguhya dari parameter α 0, yaitu dua, tidak memiliki perbedaa yag jauh. Selag kepercayaa Bayes meyakika bahwa ilai parameter sesugguhya berada pada selag tersebut. Nilai dugaa utuk parameter βmemiliki ilai yag medekati ilai parameter 4

5 A.A.I.A. Cadra Iswari, I Waya Sumarjaya, I.G.A.M. Sriadi sesugguhya. Jika dibulatka, maka ilai parameter dugaa utuk β aka sama dega ilai parameter β yag sesugguhya, yaitu tiga. Nilai dugaa yag medekati ilai parameter yag sesugguhya ii juga ditujukka oleh sempitya selag kepercayaa Bayes utuk ilai parameter Aalisis Regresi Bayes Liear Sederhaa dega Prior Noiformatif dugaaβ. Nilai dugaa utuk parameter σ 2 juga tidak memiliki perbedaa yag jauh dari ilai parameter yag sesugguhya. Varias dari galat yag dibagkitka adalah satu, da selag kepercayaa Bayes mecakup ilai tersebut. Ratai Markov Iterasi Alpha iterasi Gambar 2a. Ratai Markov utuk Iterasi Parameter α 0 Gambar 2b. Plot Fugsi Desitas utuk α 0 Gambar 2a. meujukka ratai Markov yag diperoleh dari iterasi Gibbs Sampler utuk parameter α 0. Dari ratai Markov yag diperoleh, dapat dibetuk suatu plot fugsi desitas utuk parameter α 0 seperti yag ditujukka pada Gambar 2b. Plot fugsi desitas parameter α 0 memiliki betuk yag meyerupai distribusi ormal. 42

6 E-Jural Matematika Vol. 3, No.2 Mei 204, ISSN: Ratai Markov Iterasi Beta iterasi Gambar 3a. Ratai Markov utuk Iterasi Parameter β Gambar 3b. Plot Fugsi Desitas utuk β Gambar 3a. meujukka ratai Markov yag diperoleh dari iterasi Gibbs Sampler utuk parameter β. Dari ratai Markov yag diperoleh, dibetuk suatu plot fugsi desitas utuk parameter β seperti yag ditujukka pada Gambar 3b. Plot fugsi desitas parameter β juga memiliki betuk yag meyerupai distribusi ormal. Ratai Markov Iterasi Sigma^ iterasi Gambar 4a.Ratai Markov utuk Iterasi Parameter σ 2 43

7 A.A.I.A. Cadra Iswari, I Waya Sumarjaya, I.G.A.M. Sriadi Aalisis Regresi Bayes Liear Sederhaa dega Prior Noiformatif Gambar 4b. Plot Fugsi Desitas utuk σ 2 Gambar 4a. meujukka ratai Markov yag diperoleh dari iterasi Gibbs Sampler utuk parameter σ 2. Dari ratai Markov yag diperoleh, dibetuk suatu plot fugsi desitas utuk parameter σ 2 seperti yag ditujukka pada Gambar 4b. Plot fugsi desitas parameter σ 2 memiliki betuk yag meyerupai distribusi ivers-gamma. Hal ii bersesuaia dega distribusi posterior margial dari σ 2 yag diperoleh. 4. Kesimpula Peerapa aalisis regresi Bayes liear sederhaa dega megguaka prior oiformatif selai memberika ilai dugaa utuk parameter, juga memberika gambara megeai kecederuga distribusi dari parameter-parameter yag diduga. Hal ii dapat diguaka sebagai iformasi prior jika dilakuka peelitia pada masa medatag dega karakteristik data yag sama. Daftar Pustaka William M. Bolstad Itroductio to Bayesia Statistics, 2d ed. New Jersey: Wiley. George E. P. Box ad George C. Tiao Bayesia Iferece i Statistical Aalysis. Bosto: Addiso-Wesley Publishig Compay, 973. Adrew Gelma, Joh B. Carli, Hal S. Ster, ad Doald B. Rubi Bayesia Data Aalysis, 2d ed. New York: Chapma & Hall. Adrew Gelma Statistical Modelig, Causal Iferece, ad Social Sciece. [Olie]. ormative_ad/ Joh Neter, William Wasserma, ad Michael H. Kuter Applied Liear Regressio. Illois: Richard D. Irwi. Robert E. Kass ad Larry Wasserma "The Selectio of Prior Distributio by Formal Rules," Joural of the America Statistical Associatio, vol. 9, pp Bradley P. Carli ad Thomas A. Louis Bayesia Methods for Data Aalysis, 3rd ed. New York: Chapma & Hall. Radu V. Craiu ad Jeffrey S. Rosethal "Bayesia Computatio Via Markov Chai Mote Carlo," Aual Review of Statistics ad Its Applicatio, vol. I, pp Christope Adrieu, Nado de Freitas, Araud Doucet, ad Michael I. Jorda "A Itroductio to MCMC for Machie Learig," Machie Learig, vol. 50, pp