ESTIMASI PARAMETER MODEL REGRESI MULTIVARIAT BAYESIAN DENGAN DISTRIBUSI PRIOR INFORMATIF 1. PENDAHULUAN

Transkripsi

1 ESTIMASI PARAMETER MODEL REGRESI MULTIVARIAT BAYESIAN DENGAN DISTRIBUSI PRIOR INFORMATIF Dina Ariek Prasdika, Dewi Retno Sari Saputro, Purnami Widyaningsih Program Studi Matematika Fakultas Matematika dan Ilmu pengetahuan Alam Abstrak. Model regresi multivariat merupakan model regresi dengan lebih dari satu variabel dependen yang saling berkorelasi. Nilai parameter model tersebut tidak diketahui sehingga dilakukan estimasi. Estimasi parameter model regresi multivariat pada penelitian ini menggunakan metode Bayesian. Metode Bayesian mempunyai dua distribusi yaitu distribusi prior dan distribusi posterior. Jika informasi parameter diketahui, maka digunakan prior informatif. Tujuan penelitian ini untuk menentukan estimasi parameter model regresi multivariat menggunakan metode Bayesian dengan distribusi prior informatif. Berdasarkan hasil dan pembahasan disimpulkan bahwa estimasi parameter ditentukan melalui ekspektasi variabel random dari distribusi posterior marginal. Ekspektasi variabel random tersebut tidak dapat ditentukan secara analitik sehingga dilakukan pembangkitan sampel yang mendekati distribusi posterior yang disebut metode Markov chain Monte Carlo (MCMC) algoritme Gibbs sampling. Nilai estimasi parameter model regresi multivariat diperoleh dari rata- rata sampel hasil pembangkitan. Kata kunci: model regresi multivariat, distribusi prior, distribusi posterior, Gibbs sampling 1. PENDAHULUAN Menurut Walpole et al. [15], model regresi digunakan untuk mengetahui pola hubungan antara variabel dependen dan variabel independen. Model regresi multivariat merupakan bentuk model regresi yang mempunyai lebih dari satu variabel dependen yang saling berkorelasi dan beberapa variabel independen (Johnson and Wichern [12]). Pada model regresi terdapat parameter yang dapat merepresentasikan populasi sebuah penelitian. Populasi tersebut diukur melalui sampel random yang diambil untuk penelitian. Nilai parameter tidak diketahui sehingga diperlukan estimasi parameter berdasarkan sampel tersebut. Menurut Bolstad [4], estimasi parameter dapat ditentukan dengan pendekatan klasik dan pendekatan Bayesian. Pendekatan klasik menggunakan data sampel yang diambil dari populasi sebagai objek penelitian dan mengabaikan informasi awal sampel. Informasi awal sampel adalah distribusi awal sampel yang bersumber dari penelitian sebelumnya atau pendapat ahli. Apabila data penelitian merupakan gabungan antara data sampel dan distribusi awal sampel maka teknik ini disebut pendekatan Bayesian selanjutnya disebut metode Bayesian. Metode Bayesian didasarkan pada teorema Bayes yang menyatakan bahwa perkalian distribusi prior dengan informasi sampel (data sampel) hasilnya proporsional dengan distribusi posterior. Distribusi prior merupakan informasi tentang distribusi awal sampel. Box and Tiao [5] membagi distribusi prior berdasarkan diketahui atau tidaknya informasi parameter. Jika informasi parameter tidak diketahui, maka digunakan 1

2 prior noninformatif. Sebaliknya jika informasi parameter diketahui, maka dapat digunakan prior informatif. Distribusi prior informatif digunakan oleh Bolstald [4], Evans [9], dan Prasdika dkk. [13] untuk menentukan estimasi parameter model regresi univariat. Sementara itu, Arashi et al. [1] membuktikan distribusi prior normal multivariat dan invers Wishart konjugat dengan distribusi posterior. Namun Arashi et al. [1] tidak menggunakan distribusi prior tersebut untuk mengestimasi parameter model regresi multivariat. Kemudian distribusi tersebut digunakan oleh Prasdika et al. [14] untuk menentukan estimasi parameter model regresi multivariat namun tidak dilakukan penerapannya. Pada penelitian ini dilakukan estimasi parameter model regresi multivariat Bayesian dengan distribusi normal multivariat dan invers Wishart sebagai prior informatif dan penerapannya. 2. MODEL REGRESI MULTIVARIAT Menurut Johnson and Wichern [12], model regresi multivariat adalah Y 1 = β 01 + β 11 X β r1 X r + ε 1 Y 2 = β 02 + β 12 X β r2 X r + ε 2. Y m = β 0m + β 1m X β rm X r + ε m. (2.1) Model (2.1) merupakan sistem persamaan yang memuat variabel dependen sebanyak m yaitu Y 1, Y 2,..., Y m ; variabel independen sebanyak r yaitu X 1, X 2,..., X r ; dan eror ε = (ε 1, ε 2,..., ε m ) T. Eror tersebut diasumsikan E(ε) = 0 dan V ar(ε) = Σ, matriks Σ berukuran m m. Model (2.1) dapat pula dinyatakan dalam bentuk matriks yaitu Y = Xβ + ε (2.2) untuk j = 1, 2,..., n; Y = (Y 1, Y 2,..., Y j ) T untuk setiap Y j = (Y j1, Y j2,..., Y jm ); X = (1, X j1, X j2,..., X jr ) T ; dan β merupakan matriks koefisien regresi berukuran ((r + 1) m). Variabel random Y j diasumsikan berdistribusi normal multivariat Y j N m (X j β, Σ) sehingga fungsi kepadatan probabilitasnya adalah f(y j ) = 1 e ( 1 (2π) m 2 Σ 1 2 (Y j X j β) T Σ 1 (Y j X j β)) METODE BAYESIAN Menurut Congdon [8], inferensi metode Bayesian didasarkan pada distribusi posterior. Menurut Gelman et al. [10], fungsi distribusi posterior f(θ Y ) adalah fungsi kepadatan probabilitas bersyarat parameter θ dengan nilai observasi variabel random Y telah diketahui dan didefinisikan sebagai f(θ Y ) = f(θ, Y ) f(y ) = f(y θ)f(θ), f(y ) 0 (3.1) f(y )

3 dengan f(y ) = θ f(θ)f(y θ), untuk θ diskrit dan f(y ) = f(θ)f(y θ)dθ untuk θ kontinu. Persamaan (3.1) dapat pula dinyatakan sebagai f(θ Y ) f(y θ)f(θ) (3.2) dengan f(y θ) adalah fungsi likelihood dan f(θ) adalah fungsi distribusi prior. Menurut Casella and Berger [6], estimasi parameter ditentukan dari ekspektasi variabel posterior marginal. 4. HASIL DAN PEMBAHASAN Berikut merupakan fungsi likelihood, distribusi prior, distribusi posterior, estimasi parameter model regresi multivariat, dan penerapan kasus Fungsi Likelihood. Fungsi likelihood pada model regresi multivariat merupakan fungsi kepadatan bersama dari j variabel random Y j yang berdistribusi normal multivariat dengan syarat parameternya telah diberikan. Parameter model regresi multivariat yaitu β dan Σ sehingga fungsi likelihood untuk model tersebut adalah f(y β, Σ) = Π n j=1f(y j β, Σ) = Π n j=1(2π) m 2 Σ 1 2 e 1 2 tr (Σ 1 (Y j X j β) T (Y j X j β)) Σ n 2 e 1 2 tr (Σ 1 (Y Xβ) T (Y Xβ)) (4.1) dengan 2π nm 2 n i=1 (Y i Ȳ )T (Y i Ȳ ) merupakan konstanta Distribusi Prior. Distribusi prior informatif mengacu pada parameter dari distribusi prior dengan pola distribusi prior konjugat maupun tidak konjugat (Box and Tiao [5]). Distribusi prior konjugat merupakan distribusi prior yang konjugat dengan distribusi posterior. Pada inferensi Bayesian, parameter dianggap sebagai variabel random yang mengikuti distribusi tertentu. Fungsi distribusi prior untuk parameter model regresi multivariat β dan Σ merupakan perkalian fungsi kepadatan probabilitas Σ dengan fungsi kepadatan probabilitas β Σ dan didefinisikan sebagai f(β, Σ) = f(σ)f(β Σ). (4.2) Variabel random Σ berdistribusi invers Wishart yang dinotasikan sebagai Σ IW m (f 0, G 0 ) dengan f 0 adalah derajat bebas dan G 0 adalah matriks berukuran m m. Fungsi kepadatan probabilitas Σ adalah f(σ) Σ f 0 +m+1 2 e 1 2 tr(σ 1 G 1 0 ). (4.3) Variabel random β Σ berdistribusi normal multivariat yang dinotasikan sebagai β Σ N m (U 0, V 0 ) dengan U 0 adalah mean dan V 0 adalah variansi. Fungsi kepadatan probabilitas β Σ adalah f(β Σ) V 0 m 2 e 1 2 tr(σ 1 (β U 0 ) T V 1 0 (β U 0 )). (4.4)

4 Dengan demikian fungsi distribusi prior untuk parameter model regresi multivariat adalah f(β, Σ) = Σ f 0 +m+1 2 e 1 2 tr (Σ 1 G 1 0 ) V0 m 2 e 1 2 tr (Σ 1 (β U 0 ) T V 1 0 (β U 0 )). (4.5) 4.3. Distribusi Posterior. Fungsi distribusi posterior model regresi multivariat merupakan fungsi kepadatan probabilitas dari parameter model regresi multivariat β, Σ dengan syarat nilai observasi variabel Y telah diketahui dan dinyatakan sebagai f(β, Σ Y ). Fungsi distribusi posterior proporsional dengan perkalian fungsi likelihood (4.1) dan fungsi distribusi prior (4.5). Fungsi distribusi posterior untuk parameter model regresi multivariat adalah f(β, Σ Y ) f(y β, Σ)f(β, Σ) Σ n 2 e 1 2 tr (Σ 1 (Y Xβ) T (Y Xβ)) Σ f 0 +m+1 2 e 1 2 tr (Σ 1 G 1 0 ) V 0 m 2 e 1 2 tr (Σ 1 (β U 0 ) T V 1 0 (β U 0 )) Σ (f 0 +n+m+1) 2 (X T X + V 1 0 ) 1 m 2 e 1 2 trσ 1 (Y T Y +U T 0 V 1 0 U 0+β T (X T X+V 1 0 )β (Y T X+U T 0 V 1 0 )β+g 1 0 ) Σ (fn+m+1) 2 V n m 2 e 1 2 tr(σ 1 (β U n) T Vn 1 (β U n)) 1 2 tr(σ 1 G 1 ( Σ (fn+m+1) n ) ) ( ) V n m 2 e 1 2 tr(σ 1 (β U n) T Vn 1 (β U n)) 2 e 1 2 tr(σ 1 G 1 f(σ Y )f(β Σ, Y ) (4.6) dengan V n = (X T X + V 1 0 ) 1, U n = V n (X T Y + V 1 0 U 0 ), f n = f 0 + n, dan G n = G 0 + (Y T Y + U T 0 V 1 0 U 0 U T nv 1 n U n ) 1. Berdasarkan fungsi distribusi posterior (4.6), nampak bahwa distribusi posterior marginal Σ Y adalah invers Wishart yang dinotasikan sebagai Σ Y n ) IW m (f n, G n ) dan distribusi posterior marginal β Σ, Y adalah normal mutivariat dengan parameter mean U n dan variansi V n yang dinotasikan sebagai β Σ, Y N m (U n, V n ) Estimasi Parameter. Estimasi parameter model regresi multivariat ditentukan melalui ekspektasi variabel dari distribusi posterior marginal. Ekspektasi untuk masing- masing parameter model regresi multivariat adalah ˆΣ = E [Σ Y ] =... Σ Σ (fn+m+1) 2 e ( 1 2 trσ 1 G 1 n ) dσ11... dσ m1 dσ 1m... dσ mm. (4.7) ˆβ = E [β Σ, Y ] =... β V n m 2 Σ k 2 e 1 2 tr (Σ 1 (β U n ) T V T n (β U n)) dβ01... dβ r1 dβ 0m... dβ rm. (4.8)

5 Nilai integral fungsi pada persamaan (4.7) dan (4.8) secara analitik sulit ditentukan. Fungsi tersebut merupakan fungsi distribusi populasi. Oleh karena itu fungsi distribusi tersebut didekati dengan sampel yang diperoleh dari hasil pembangkitan. Sampel tersebut dibangkitkan menggunakan metode MCMC algoritme Gibbs sampling yang mendekati distribusi posterior. Menurut Casella and George [7], Gibbs sampling merupakan teknik pembangkitan variabel random yang menggunakan sampel sebelumnya untuk membangkitkan sampel berikutnya secara random sehingga didapatkan suatu rantai Markov. Berikut adalah algoritme Gibbs sampling. (1) Menginisialisasi nilai β (0) dan Σ (0). (2) Membangkitkan Y (0) jm N m(xβ (0), Σ (0) ) sehingga diperoleh Y (0) jm. (3) Membangkitkan Σ (1) Y (0) jm IW m(f 0, G 0 ) dengan f 0 = n 1 yaitu jumlah observasi dikurangi 1 dan matriks G 0 = n j=1 (Y j Ȳ j) T (Y j Ȳ j ) pada langkah ini diperoleh Σ (1). (4) Membangkitkan β (1) Σ (1), Y (0) N m (U 0, V 0 ) dengan U 0 = 1 n n j=1 Y (0) j dan V 0 = Σ (1) pada langkah ini diperoleh β (1). (5) Mengulangi kembali langkah (2) sampai dengan (4) sebanyak M pengulangan hingga diperoleh sampel bangkitan Σ M IW (f n, G n ) dan β M N m (U n, V n ). Hasil algoritme Gibbs sampling adalah rantai markov yang terdiri atas barisan matriks Σ (1), β (1), Σ (2), β (2),..., Σ (M), β (M). Selanjutnya menurut Johnson and Albert [11], estimasi parameter ditentukan dari rata-rata sampel hasil pembangkitan yaitu ˆβ = 1 M M k=1 β(k) dan ˆΣ = 1 M M k=1 Σ(k) Penerapan. Pada penelitian ini, estimasi parameter model regresi multivariat Bayesian diterapkan pada data kurs tengah Great Britain Poundsterling (GBP) dan United States Dollar (USD) tahun Data tersebut merupakan data kuartalan yang diperoleh dari Bank Indonesia [3]. Variabel dependen dalam penelitian ini terdiri atas kurs tengah GBP sebagai Y 1 dan kurs tengah USD sebagai Y 2. Sedangkan variabel independen dalam penelitian ini terdiri atas produk domestik bruto (PDB) sebagai X 1 dan laju inflasi sebagai X 2. Sebelum variabel dependen dan independen digunakan untuk estimasi parameter model regresi multivariat, dilakukan pengujian asumsi regresi multivariat yaitu uji kelinieran antara variabel dependen dan independen, uji Bartlett Sphericity dan Mahalonobis distance. Berikut adalah uji asumsi regresi multivariat. (1) Uji keliniearan antara variabel dependen dan independen. Berdasarkan sistem persamaan (2.1), model regresi multivariat merupakan persamaan linier. Oleh karena itu hubungan variabel dependen dan variabel independen adalah linier. Plot scatter digunakan untuk melihat sebaran pola

6 data dari variabel dependen dan independen. Berdasarkan plot scatter pola hubungan Y 1 dengan masing-masing X 1 dan X 2 memiliki kecenderungan menyebar di sekitar garis lurus. Sama halnya dengan pola hubungan Y 2 dengan masing-masing X 1 dan X 2 sehingga hubungan antar variabel dependen dan variabel independen adalah linier. (2) Uji Bartlett Sphericity. Uji Bartlett Sphericity digunakan untuk mengetahui hubungan antar variabel dependen saling bebas. Hipotesis yang digunakan adalah H 0 : antar variabel dependen saling bebas dan H 1 : antar variabel dependen tidak saling bebas. Pada pengujian ini nilai Bartlett Sphericity dibandingkan dengan χ ,1 yaitu sebesar Jika nilai nilai Bartlett Sphericity χ ,1, maka H 0 ditolak. Pada data ini diperoleh nilai Bartlett Sphericity sebesar sehingga dapat disimpulkan bahwa hubungan antar variabel dependen adalah tidak saling bebas. (3) Uji Mahalonobis Distance. Uji Mahalonobis distance digunakan untuk mengetahui distribusi variabel dependen. Hipotesis yang digunakan adalah H 0 : data berdistribusi normal multivariat dan H 1 : data tidak berdistribusi normal multivariat. Pada pengujian ini nilai d 2 i dibandingkan dengan χ 2 2,0.5 yaitu sebesar Jika diperoleh kondisi dimana nilai d 2 i χ 2 2,0.5 kurang setengah jumlah sampel, maka H 0 ditolak. Pada data ini diperoleh kondisi d 2 i χ 2 2,0.5 yaitu 9 dari 28 observasi atau sebesar % dari jumlah sampel sehingga dapat disimpulkan bahwa data berdistribusi normal multivariat. Dengan demikian variabel dependen dan independen memenuhi ketiga asumsi regresi multivariat sehingga data variabel kurs tengah GDP dan USD tahun 2010 sampai dengan 2016 dapat dimodelkan menggunakan model regresi multivariat. Setelah asumsi regresi multivariat terpenuhi selanjutnya ditentukan nilai estimasi parameternya menggunakan algoritme Gibbs sampling. Langkah pertama, data variabel dependen dan independen digunakan untuk menentukan nilai awal parameter model regresi multivariat dengan metode kuadrat terkecil dan diperoleh ( ) nilai β (0) = dan Σ(0) =. Kemudian Σ (1) Y dibangkitkan dari distribusi invers Wishart dengan parameternya (f 0, G 0 ) dan β (1) Σ, Y dibangkitkan dari distribusi normal multivariat dengan parameternya (U 0, V 0 ). Iterasi dilakukan hingga diperoleh barisan sampel Σ berdistribusi invers Wishart dan β Σ berdistribusi normal multivariat. Hasil estimasi parameter pada penelitian ini merupakan hasil dari pembangkitan rantai MCMC sebanyak M yaitu iterasi. Selanjutnya, nilai estimasi ditentukan dari rata-rata sampel hasil

7 bangkitan. Setelah diperoleh nilai estimasi parameter model regresi, selanjutnya dilakukan pengujian parameter untuk mengetahui pengaruh variabel independen terhadap variabel dependen. Nilai estimasi parameter model tersebut diuji menggunakan interval kepercayaan pada tingkat kepercayaan 95% yang ditandai dengan persentil 2.5% dan 97.5%. Parameter dikatakan signifikan jika selang interval pada tingkat kepercayaan 95% parameter tidak memuat nilai nol. Parameter yang signifikan menunjukkan variabel independen berpengaruh terhadap variabel dependen. Nilai estimasi dan interval kepercayaan dari parameter model regresi multivariat ditunjukkan pada Tabel 1. Tabel 1. Nilai estimasi parameter dan interval kepercayaan β dan Σ Parameter Estimasi Interval Kepercayaan Persentil 2.5 Persentil 97.5 Kesimpulan ˆβ signifikan ˆβ signifikan ˆβ signifikan ˆβ signifikan ˆβ signifikan ˆβ signifikan ˆΣ signifikan ˆΣ signifikan ˆΣ signifikan ˆΣ signifikan Berdasarkan Tabel 1 kolom kedua diperoleh nilai estimasi parameter model regresi ( ) multivariat yaitu ˆβ = dan ˆΣ = Berdasarkan Tabel 1 kolom ketiga dan keempat nampak bahwa semua parameter tidak memuat nilai nol sehingga dapat dikatakan bahwa semua parameter signifikan yang artinya bahwa laju inflasi dan PDB memengaruhi kurs tengah GBP dan USD. Model regresi multivariat yang diterapkan pada data kurs tengah GBP dan USD tahun adalah Ŷ 1 = X X 2 (4.9) Ŷ 2 = X X 2. (4.10) Persamaan (4.9) menjelaskan bahwa setiap penambahan 1% PDB akan menurunkan kurs tengah GBP sebesar rupiah, setiap pertambahan 1% laju inflasi akan menurunkan kurs tengah GBP sebesar rupiah, dan apabila tidak ada penambahan dan pengurangan PDB dan laju inflasi maka nilai kurs tengah GBP sebesar rupiah. Hal yang sama diterapkan pada persamaan (4.10)

8 5. Kesimpulan Berdasarkan hasil dan pembahasan disimpulkan bahwa estimasi parameter model regresi multivariat Bayesian dengan distribusi prior informatif ditentukan melalui ekspektasi variabel random dari distribusi posterior marginal. Ekspektasi variabel random tersebut sulit ditentukan sehingga dilakukan pembangkitan sampel yang mendekati distribusi posterior dengan metode MCMC algoritme Gibbs sampling. Hasil algoritme tersebut adalah barisan sampel terdiri atas matriks Σ (1), β (1), Σ (2), β (2),..., Σ (M), β (M) yang mendekati distribusi posterior. Estimasi masing-masing parameter model regresi multivariat adalah ˆβ = 1 M M k=1 β(k) dan ˆΣ = 1 M M k=1 Σ(k). DAFTAR PUSTAKA [1] Arashi, M., A. Iranmaneshb, M. Norouziradb, and H.S. Jenatabadic, Bayesian Analysis in Multivariate Regression Models with Conjugate Priors, Journal of Theoretical and Applied Statistics, 48 (2014), no. 6, pp [2] Bain, L. J. and M. Engelhardt, Introduction to Probability and Mathematical Statistics, 2 nd ed., Buxbury Press, California, [3] Bank Indonesia, [Bank Indonesia], Statistik Ekonomi dan Keuangan Indonesia, Jakarta, [4] Bolstad, W.M., Introduction to Bayesian Statistics, 2 nd ed., A John Wiley and Sons, America, [5] Box, G. E. P and G.C. Tiao, Bayesian Inference in Statistics, 2 nd ed., Wiley, New Jersey, [6] Casella G and R.L. Berger, Statistical Inference, Boston, Duxbury Press, [7] Casella, G. and E. I. George, Explaining the Gibbs Sampler, The American Statistisian 46 (1992), no. 3, pp [8] Congdon, P., Bayesian Statistical Modeling, John Wiley, Chinchester, [9] Evans, S., Bayesian Regression Analysis, A Theses, Department of Mathematics, University of Louisville, Louisville, [10] Gelman, A., J.B. Carlin, D.B. Dunson, A. Vehtari, and D.B.Rubin, Bayesian Data Analysis, 3 th ed., Chapman and Hall, New York, [11] Johnson, V. E. and J. H. Albert, Ordinal Data Modeling, Springer-Verlag Inc.,New York, [12] Johnson, R.A. and D. Wichern, Applied Multivariate Statistical Analysis, Prentice Hall, New Jersey, [13] Prasdika, D.A., D.R.S. Saputro, dan T.J. Parmaningsih, Estimasi Parameter Model Regresi Linier Sederhana Bayesian dengan Distribusi Prior Informatif, Prosiding Seminar Nasional Matematika dan Pendidikan Matematika 2016, Universitas Sebelas Maret, [14] Prasdika, D. A., D.R.S. Saputro, P. Widyaningsih, and K.R. Demu, Parameter Estimation of Multivariate Regression Model using Bayesian with Normal Multivariate and Inverse Distribution, First International Conference on Science Mathematics Environment and Education, Universitas Sebelas Maret, [15] Walpole,R.E., R.H. Myers, S.L. Myers, and K. Ye, Probability and Statistics for Engineers and Scientists, 8 th ed., Prentice Hall, New Jersey, USA,