ESTIMASI PARAMETER DAN INTERVAL KREDIBEL DENGAN MODEL REGRESI LINIER BERGANDA BAYESIAN

Transkripsi

1 ESTIMASI PARAMETER DAN INTERVAL KREDIBEL DENGAN MODEL REGRESI LINIER BERGANDA BAYESIAN Vania Mutiarani a, Adi Setiawan b, Hanna Arini Parhusip c a Program Studi Matematika FSM UKSW Jl. Diponegoro 52-6 Salatiga, vania.mutiarani@yahoo.com b Program Studi Matematika FSM UKSW Jl. Diponegoro 52-6 Salatiga, adi_setia_3@yahoo.com c Program Studi Matematika FSM UKSW Jl. Diponegoro 52-6 Salatiga, hannaariniparhusip@yahoo.co.id ABSTRAK Regresi linier berganda merupakan model regresi linier dengan satu variabel dependen dan lebih dari satu variabel independen. Dalam makalah ini, diambil data SUSENAS (Survey Sosial Ekonomi Nasional) tahun 211 dari BPS Salatiga yaitu pendapatan sebagai variabel dependen dan pengeluaran masyarakat Salatiga (pengeluaran untuk konsumsi makanan dan pengeluaran untuk konsumsi non makanan) sebagai variabel independen dengan sampel n = 135. Hubungan antar variabel tersebut membentuk garis lurus yang tidak dapat ditentukan secara tepat dan membutuhkan taksiran parameter yang dapat dicari menggunakan model regresi linier Bayesian yaitu dengan merancang rantai Markov dari distribusi posterior (dari model regresi linier Bayesian) dengan bantuan Gibbs sampling. Sehingga dengan mencari rata-rata dari sebanyak 45 nilai Gibbs sampler diperoleh hasil taksiran parameter yaitu ς 2 =.32, β = 1.44, β 1 =.355, dan β 2 =.493 dan dihasilkan pula fungsi densitasnya. Dari fungsi densitas tersebut dihasilkan interval kredibel 95% untuk masing-masing taksiran parameter ς 2, β, β 1, dan β 2 berturut-turut yaitu (.25,.41), (.596, 2.271), (.176,.543) dan (.365,.621). Kata Kunci : model regresi linier berganda Bayesian, estimasi parameter, interval kredibel. ABSTRACT Multiple linear regression is a linear regression model using one dependent variable and more than one independent variable. In this paper, data are taken SUSENAS (National Socio- Economic Survey) from BPS Salatiga in 211. The income is supposed as the dependent variable and expenditure of Salatiga society (expenditure for food consumption and non-food consumption expenditure) as an independent variable with sample size of n = 135. The relationship between these variables form a straight line that can not be precisely determined and requires estimates of parameters using the Bayesian linear regression model. Markov chain design can be constructed based on the posterior distribution (Bayesian linear regression model) using Gibbs sampling. So by finding the average of the 45 of the Gibbs sampler values, point estimation of parameters can be found i.e. ς 2 =.32, β = 1.44, β 1 =.355, and β 2 =.493 and also its density function. Based on the density function can be found 95% credible intervals for each parameter estimates ς 2, β, β 1, and β 2 respectively are (.25,.41), (.596, 2.271), (.176,.543) and (.365,.621). Keywords : Bayesian multiple linear regression model, parameter estimates, credible intervals. SENDIKMAD 212 1

2 Pendahuluan dan β 1 =.78 sehingga persamaan Analisis regresi merupakan alat statistik yang banyak digunakan dalam berbagai bidang yang bertujuan untuk mengetahui hubungan antara variabel garis regresi dugaan : y i = x i dengan y i adalah dugaan untuk pendapatan masyarakat dan x i adalah pengeluaran masyarakat. Dari nilai-nilai dependen dan variabel independen Gibbs sampler yang telah didapatkan, (Suwarno, 29). Hubungan antara dihasilkan fungsi densitas untuk masingmasing variabel dependen dan independen parameter sehingga interval membentuk garis lurus yang disebut juga garis regresi yang tidak dapat ditentukan secara tepat sehingga diperlukan taksiran kepercayaan Bayesian (interval kredibel) 95% untuk taksiran parameter ς 2 adalah (.34,.97), untuk β yaitu (1.67, parameter untuk model regresi linier. 2.61) dan (.6282,.7879) untuk Untuk memperoleh taksiran parameter tersebut, biasanya dicari dengan metode kuadrat terkecil. Namun, ada cara lain parameter β 1. Dalam penelitian ini dilakukan pengembangan dari makalah sebelumnya yaitu dengan model regresi linier yaitu dengan model regresi linier Bayesian. berganda. Regresi linier berganda Pada makalah terdahulu merupakan model regresi linier dengan (Mutiarani dkk., 212) telah dijelaskan tentang penerapan model regresi linier Bayesian untuk mengestimasi parameter satu variabel dependen dan lebih dari satu variabel independen. Dalam makalah ini akan digunakan model regresi linier dan interval kredibel dengan mengambil berganda dalam konteks Bayesian. data SUSENAS tahun 211 yang Dengan mengambil data SUSENAS diperoleh dari BPS Salatiga yaitu (Survey Sosial Ekonomi Nasional) tahun pendapatan dan pengeluaran masyarakat Salatiga dengan sampel n = 3. Untuk mengestimasi parameter garis regresi dengan model regresi linier Bayesian, dirancang rantai Markov dari distribusi 211 dari BPS Salatiga yaitu pendapatan dan pengeluaran masyarakat Salatiga (pengeluaran untuk konsumsi makanan dan pengeluaran untuk konsumsi non makanan) dengan sampel n = 135, akan posterior yaitu dengan bantuan Gibbs dijelaskan bagaimana mengestimasi sampling sebanyak 5 iterasi dan parameter dan interval kepercayaan diperoleh taksiran parameter yang Bayesian (interval Kredibel) dengan merupakan rata-rata dari nilai Gibbs model regresi linier berganda Bayesian. sampler yaitu ς 2 =.57, β = 2.11 SENDIKMAD 212 2

3 Dasar Teori 1. Regresi Linier Berganda Bayesian Dalam statistik, regresi linier Bayesian merupakan pendekatan untuk regresi linier dimana analisis statistik yang dilakukan dalam konteks inferensi Bayesian (Web 1). Saat model regresi memiliki error yang berdistribusi normal, dan jika bentuk khusus dari distribusi prior diasumsikan, hasil eksplisit tersedia untuk distribusi probabilitas posterior dari parameter model. Analisis regresi linier berganda adalah pengembangan dari analisis regresi linier sederhana. Analisis regresi linier berganda ialah suatu alat analisis peramalan nilai pengaruh dua atau lebih variabel independen terhadap variabel dependen untuk membuktikan ada atau tidaknya hubungan fungsi atau hubungan kausal antara dua variabel atau lebih X 1, X 2, X 3,, X n dengan satu variabel dependen (Suwarno, 29). Persamaan regresi ganda dengan dua variabel bebas dirumuskan: y i = β + β 1 x 1i + β 2 x 2i + ε i dengan i = 1, 2,, n dan galat ε i ~N(, ς 2 ). Fungsi likelihood : p y X, β, ς 2 ς 2 n/2 exp 1 2ς 2 y Xβ T y Xβ. dengan X = 1 x 1i x 2i ; β = β, β 1, β 2 T Distribusi Prior Konjugat Prior konjugat adalah suatu prior yang jika dikombinasikan dengan fungsi likelihood akan menghasilkan suatu posterior dengan distribusi yang sama dengan distribusi prior (Gelman, 26). Dengan β = β, β 1, β 2 T, bentuk untuk prior : p β, ς 2 = p ς 2 p β ς 2 dengan ς 2 berdistribusi Inv Gamma(a, b ) dengan a = v /2 dan b = v s 2 dengan v = 1 dan s 2 = 1. Kepadatan prior ditulis sebagai p ς 2 ς 2 v /2+1 exp v s 2 2ς 2. Lebih lanjut, prior bersyarat β ς 2 berdistribusi N(μ, ς 2 Λ 1 ). Pada makalah ini, μ = β (), β1 (), β2 T =,, T, Λ = I dan memiliki kepadatan prior bersyarat : p(β ς 2 ) ς 2 k/2 exp 1 2ς 2 β μ T Λ β μ dengan β μ T Λ β μ yang dijabarkan sebagai berikut : β β 1 β 2 β β 1 β 2 T I 3 3 β β 1 β 2 = β β, β1 β 1, β2 β 2 I3 3 β β 1 β 2 β β β 1 β 1 β 2 β 2 = β β 2 + β 1 β β 2 β 2 2 Sehingga kepadatan prior bersyarat menjadi : SENDIKMAD 212 3

4 p(β ς 2 ) ς 2 k/2 exp 1 2ς 2 β β + β 1 β β 2 β Distribusi Posterior Posterior dapat dinyatakan sebagai distribusi normal dikalikan dengan distribusi invers-gamma dan diparameterisasi sebagai berikut : p(β, ς 2 y, X) p(β ς 2, y, X)p ς 2 y, X dengan kedua faktor sesuai dengan kepadatan dari distribusi N μ n, ς 2 X T X + Λ 1 2 dan Inv Gamma(a n, b n ) dengan parameternya diberikan oleh a n = 1 2 (n + v ), (pada makalah ini v = 1 dan n = 135) b n = b (yt y + μ T Λ μ μ n T Λ n μ n ), μ n = X T X + Λ 1 X T y + Λ μ, Λ = I. Pada makalah ini, X T X bertipe 3 3 sehingga Λ bertipe 3 3 yaitu I MCMC (Markov Chain Monte Carlo) Salah satu cara untuk merancang rantai Markov yaitu dari distribusi posterior dengan p ς 2 y, X ~Inv Gamma(a n, b n ) dan p β ς 2, y, X ~N μ n, ς 2 X T X + Λ 1 yaitu dengan Gibbs Sampling yang menghasilkan rantai Markov oleh sampling dari distribusi bersyarat. Jika ς 2 ~Inv Gamma(a n, b n ), maka : ς 2 y, X~Inv Gamma 1 2 n + v, b yt y + μ T Λ μ μ n T Λ n μ n (*) Jika β β 1 β 2 ~N 3 μ 1 μ 2 μ 3, Σ 11 Σ 12 Σ 21 Σ 22, (Jennings et al., 21) maka distribusi dari β bersyarat pada β 1, β2 : 1 β β 1, β 2 ~N μ 1 + Σ 12 Σ β 1 22 μ 2 β μ, 3 2 Σ 11 Σ 12 Σ 1 22 Σ 12. (**) dengan Σ 11 = ς 11, Σ 12 = ς 12 ς 13, Σ 22 = ς 22 ς 23 ς 23 ς 33. Diberikan ς 2 dan vektor β yang tidak diketahui : β = β, β 1, β 2 T 1. Dipilih nilai awal ς 2(), β, β 1, β Sampel ς 2(1) dari p ς 2(1) y, X sehingga ς 2(1) y, X memenuhi (*). Sampel β 1 p β 1 ς 2 (1), β 1, β2, y, X dari sehingga β 1 ς 2 1, β 1, β2 memenuhi (**). 3. Langkah 2 diulangi sebanyak bilangan besar B, misalnya 5 kali. 4. Akhirnya didapatkan sampel dari p ς 2 y, X dan p(β ς 2, y, X) dalam bentuk rantai Markov Interval Kredibel (Interval Kepercayaan Bayesian) Dalam statistik Bayesian, interval kredibel 1 α 1% merupakan SENDIKMAD 212 4

5 interval di dalam domain dari distribusi probabilitas posterior yang digunakan untuk penaksiran interval (Web 2). Salah satu metode untuk mengestimasi interval kredibel yang paling mudah digunakan adalah interval kredibel dua ekor (Johnson, 29). Interval kredibel dua ekor disusun dengan menemukan kuantil α/2 dan 1 α/2 dengan tingkat signifikansi α. Metode Penelitian Data yang digunakan dalam penelitian adalah nilai logaritma dari data SUSENAS (Survey Sosial Ekonomi Nasional) masyarakat Salatiga tahun 211 dari BPS Salatiga yaitu pendapatan sebagai variabel dependen y terhadap pengeluaran untuk konsumsi makanan sebagai variabel independen X 1 dan pengeluaran untuk konsumsi non makanan sebagai variabel independen X 2 dengan sampel n = 135. Dalam melakukan perhitungan, digunakan alat bantu program WinBUGS Langkah-langkah penyelesaian untuk mengestimasi parameter dan interval kredibel menggunakan model regresi linier Bayesian sebagai berikut : 1. Merancang rantai Markov dari distribusi posterior p(β, ς 2 y, X) p ς 2 y, X p(β ς 2, y, X) dengan p ς 2 y, X ~Inv Gamma(a n, b n ) dan p(β ς 2, y, X)~N(μ n, ς 2 X T X + Λ 1 ) yaitu dengan Gibbs Sampling yang menghasilkan 4 rantai Markov dengan iterasi sebanyak 5 yaitu untuk taksiran parameter ς 2, β, β 1 dan β Taksiran parameter ς 2, β, β 1 dan β 2 diperoleh dengan mencari rata-rata dari nilai Gibbs sampler. 3. Dari nilai-nilai Gibbs sampler tersebut, dihasilkan fungsi densitas untuk ς 2 berdistribusi invers-gamma dan β, β 1 dan β 2 berdistribusi normal. 4. Mencari interval kredibel 95% untuk masing-masing taksiran parameter berdasarkan pada fungsi densitas dengan tingkat signifikansi α =.5. Hasil dan Pembahasan Pada Gambar 1 diperlihatkan diagram pencar untuk data logaritma pendapatan (y) terhadap data logaritma pengeluaran untuk konsumsi makanan ( X 1 ), sedangkan Gambar 2 merupakan diagram pencar untuk data logaritma pendapatan (y) terhadap data logaritma pengeluaran untuk konsumsi non makanan (X 2 ). SENDIKMAD 212 5

6 Gambar 1. Diagram Pencar Data Logaritma Pendapatan (y) Terhadap Data Logaritma Pengeluaran Untuk Konsumsi Makanan (X 1 ) ς 2 X T X + Λ 1 = yaitu dengan Gibbs sampling sebanyak 5 iterasi. 1. Taksiran Parameter ς 2 dan Interval Kredibel ς 2 Untuk mendapatkan taksiran parameter ς 2 yang berdistribusi invers-gamma, dilakukan Gibbs sampling sebanyak 5 iterasi dengan memilih nilai awal ς 2 = 1. Kemudian 5 iterasi pertama dipotong dan diperoleh rantai Markov yang konvergen pada Gambar Gambar 2. Diagram Pencar Data Logaritma Pendapatan (y) Terhadap Data Logaritma Pengeluaran Untuk Konsumsi Non Makanan (X 2 ) Selanjutnya untuk mendapatkan estimasi parameter ς 2 dan β = β, β 1, β T 2 dengan model regresi linier berganda Bayesian, dirancang rantai Markov dari distribusi posterior p(β, ς 2 y, X) p ς 2 y, X p(β ς 2, y, X) dengan p ς 2 y, X ~Inv Gamma(a n, b n ) dan p(β ς 2, y, X)~N(μ n, ς 2 X T X + Λ 1 ) Gambar 3. Rantai Markov untuk Taksiran Parameter ς 2 Diperoleh hasil taksiran parameter ς 2 =.32 dengan mencari rata-rata dari 45 nilai Gibbs sampler. Dari nilai Gibbs sampler tersebut dihasilkan fungsi densitas pada Gambar 4 sehingga interval kredibel 95% untuk taksiran ς 2 adalah (.25,.41). dengan μ n = 1.431,.355,.494 T dan kovarians SENDIKMAD 212 6

7 Gambar 6 sehingga interval kredibel 95% adalah (.596, 2.271). Gambar 4. Fungsi Densitas Taksiran Parameter ς 2 2. Taksiran Parameter β dan Interval Kredibel β Dengan memilih nilai awal β =, lalu dilakukan Gibbs sampling sebanyak 5 iterasi. Setelah memotong 5 iterasi pertama untuk taksiran β yang berdistribusi normal, didapatkan rantai Markov yang konvergen pada Gambar 5. Gambar 6. Fungsi Densitas Taksiran Parameter β 3. Taksiran Parameter β 1 dan Interval Kredibel β 1 Untuk memperoleh taksiran parameter β 1 yang berdistribusi normal, dipilih nilai awal β 1 = kemudian dengan melakukan Gibbs sampling sebanyak 5 iterasi dan memotong 5 iterasi pertama, diperoleh rantai Markov yang konvergen pada Gambar 7. Gambar 5. Rantai Markov untuk Taksiran Parameter β Dengan mencari rata-rata dari 45 nilai Gibbs sampler yang ada, diperoleh hasil taksiran β = 1.44 dan dihasilkan fungsi densitas pada Gambar 7. Rantai Markov untuk Taksiran Parameter β 1 Dari 45 nilai Gibbs sampler yang ada pada Gambar 7 di atas, setelah dicari rata-ratanya didapat hasil SENDIKMAD 212 7

8 taksiran β 1 =.355. Nilai-nilai Gibbs sampler tersebut menghasilkan fungsi densitas pada Gambar 8 sehingga interval kredibel 95% adalah (.176,.543). ada, diperoleh hasil taksiran β 2 =.493. berdasarkan nilai-nilai Gibbs sampler tersebut dihasilkan fungsi densitas pada Gambar 1 dan interval kredibel 95% (.365,.621). Gambar 8. Fungsi Densitas Taksiran Parameter β 1 4. Taksiran Parameter β 2 dan Interval Kredibel β 2 Dipilih nilai awal untuk β 2 =. Kemudian dilakukan Gibbs sampling sebanyak 5 iterasi, dan memotong 5 iterasi pertama sehingga diperoleh rantai Markov yang konvergen pada Gambar 9. Gambar 9. Rantai Markov untuk Taksiran Parameter β 2 Selanjutnya dengan mencari rata-rata dari 45 nilai Gibbs sampler yang Gambar 1. Fungsi Densitas Taksiran Parameter β 2 Dengan estimasi parameter yang telah diperoleh yaitu β = 1.44,.355,.493 T dibentuk persamaan garis regresi linier berganda dugaan : y i = x 1i x 2i. Gambaran penggunaan: Dipilih nilai x 1 = 6.15 dan x 2 = 5.96, kemudian nilai-nilai tersebut disubstitusikan ke dalam persamaan regresi linier berganda di atas, sehingga didapatkan hasil dugaan y = Artinya, dalam nilai logaritma, dengan pengeluaran untuk konsumsi makanan sebesar 6.15 dan pengeluaran untuk konsumsi non makanan sebesar 5.96, dugaan untuk pendapatan sebesar 6.56 atau Rp ,183. Sedangkan SENDIKMAD 212 8

9 pendapatan pada data asli sebesar Rp 3.55., sehingga error (galat) dalam persamaan garis regresi dugaan pada titik data tersebut yaitu e = y y = = = atau sebesar 2.64 %. Sebagai perbandingan, dengan program R , diperoleh hasil estimasi sebagai berikut : Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) *** x *** x e-12 *** --- Signif. codes: ***.1 **.1 * Jadi, hasil estimasi parameter β, β 1, dan β 2 signifikan karena berdasarkan uji t, nilai p masing-masing parameter lebih kecil dari tingkat signifikansi α =.5. Kesimpulan Berdasarkan pembahasan, dengan mengambil data SUSENAS masyarakat Salatiga tahun 211 dari BPS Salatiga dengan sampel n = 135 sebagai simulasi, dapat disimpulkan bahwa: 1. Dengan merancang rantai Markov dari distribusi posterior dengan bantuan Gibbs sampling sebanyak 5 iterasi, lalu memotong 5 iterasi pertama agar tidak mengacaukan hasil taksiran dan diperoleh hasil taksiran untuk masing-masing parameter yang tidak diketahui, yaitu ς 2 =.32, β = 1.44, β 1 =.355, dan β 2 = Dari sebanyak 45 nilai Gibbs sampler yang ada, dihasilkan fungsi densitas untuk taksiran parameter ς 2 berdistribusi invers-gamma dan taksiran parameter β, β 1, dan β 2 berdistribusi normal. Sehingga dengan tingkat signifikansi α =.5, diperoleh interval kredibel 95% untuk taksiran parameter ς 2, β, β 1, dan β 2 berturut-turut yaitu (.25,.41), (.596, 2.271), (.176,.543) dan (.365,.621). Pustaka Gelman, A. 26. Bayesian Analysis. Department of Statistics and Department of Political Science : Columbia University. Hair, J. F. 21. Multivariate Data Analysis Seventh Edition. USA : Pearson Prentice Hall. Johnson, M. S. 29. Introduction to Bayesian Statistics with WinBUGS. New York : Columbia University. Johnson, R. A. and Wichern, Dean W Applied Multivariate Statistical Analysis. New Jersey : Prentice Hall. Mutiarani, V., Setiawan, A., & Parhusip, H. A Penerapan Model Regresi Linier Bayesian Untuk Mengestimasi Parameter Dan Interval Kredibel. Prosiding Seminar Nasional Matematika dan Pendidikan Matematika UNY tanggal 1 November 212. Supranto. 24. Analisis Multivariat: Arti dan Interpretasi. Jakarta : Rineka Cipta. SENDIKMAD 212 9

10 Suwarno, B. 29. Rumus dan Data dalam Analisis Statistika. Bandung : Alfabeta. Widyaningsih, N. 21. Statistika dan Probabilitas. Universitas Mercu Buana : Fakultas Teknik Sipil dan Perencanaan. Pustaka Internet Jennings, R., Wakeman-Linn, M., & Zhao, Xin. 21. Multivariate Normal Distribution tersedia di cs/morey/7818/jointdensity/notes OnMultivariateNormal/Multivaria te%2normal%2distribution_w akeman-linnjenningszhao.pdf. Diakses tanggal 12 November 212. Web 1 : Bayesian_linear_regression Bayesian Linear Regression Diunduh pada 28 Agustus 212 Web 2 : Credible_interval Credible Interval Diunduh pada 5 September 212 Wijayanto, A. 23. Analisis Regresi Linear Berganda tersedia di IS_REGRESI_LINEAR_BERGA NDA/, Diakses tanggal 21 November 212. SENDIKMAD 212 1