ESTIMASI PARAMETER MODEL REGRESI MULTIVARIAT BAYESIAN DENGAN DISTRIBUSI PRIOR NONINFORMATIF JEFFREYS 1. PENDAHULUAN

Transkripsi

1 ESTIMASI PARAMETER MODEL REGRESI MULTIVARIAT BAYESIAN DENGAN DISTRIBUSI PRIOR NONINFORMATIF JEFFREYS Firda Amalia, Dewi Retno Sari Saputro, Purnami Widyaningsih Program Studi Matematika FMIPA Abstrak. Metode Bayesian merupakan metode yang dapat digunakan untuk mengestimasi parameter model regresi multivariat. Dalam metode Bayesian terdapat dua distribusi yaitu distribusi prior dan posterior. Distribusi prior Jeffreys merupakan jenis distribusi prior noninformatif, yaitu distribusi prior yang digunakan ketika tidak diketahui informasi parameter. Penelitian ini bertujuan untuk mengestimasi parameter model regresi multivariat menggunakan metode Bayesian dengan distribusi prior noninformatif Jeffreys. Distribusi prior noninformatif Jeffreys dikalikan dengan informasi data sampel menggunakan teorema Bayes yang hasilnya proporsional dengan distribusi posterior yang digunakan untuk mengestimasi parameter. Berdasarkan hasil dan pembahasan, estimasi parameter merupakan nilai ekspektasi dari distribusi posterior marginalnya. Namun dalam perhitungan estimasi parameter melibatkan integral fungsi yang sulit ditentukan nilai integralnya sehingga digunakan pengambilan sampel dengan algoritme Markov chain Monte Carlo MCMC) Gibbs sampling sebagai pendekatan dalam mengestimasi parameternya. Kata kunci: model regresi multivariat, metode Bayesian, prior noninformatif Jeffreys, Gibbs sampling 1. PENDAHULUAN Model regresi adalah model yang digunakan untuk mendapatkan suatu bentuk hubungan antara variabel respon dengan variabel prediktor yang dipengaruuhi oleh parameter yang tidak diketahui dalam model. Model regresi dengan satu variabel respon disebut model regresi univariat, sedangkan model regresi dengan dua atau lebih variabel respon yang saling berkorelasi disebut model regresi multivariat Mendeṣ [1]). Pada model regresi terdapat parameter yang merupakan karakteristik populasi. Untuk mendapatkan nilai parameter dilakukan estimasi parameter. Menurut Bolstad [6], jika dalam mengestimasi parameter hanya ada informasi sampel, maka digunakan metode klasik. Namun, jika informasi distribusi awal sampel dijadikan faktor pertimbangan dalam estimasi parameter, maka digunakan metode Bayesian. Dalam metode Bayesian informasi sampel yang digunakan adalah fungsi likelihood dan informasi distribusi awal sampel sebagai distribusi prior. Fungsi likelihood adalah fungsi probabilitas bersama dari sampel random. Metode Bayesian didasarkan pada teorema Bayes. Menurut Harris et al. [9] perhitungan pada metode Bayesian adalah mengalikan fungsi likelihood dengan distribusi prior yang hasilnya proporsional dengan distribusi posterior. Distribusi posterior dipengaruhi oleh pemilihan distribusi prior. Pemilihan distribusi prior secara umum berdasarkan diketahui atau tidaknya informasi parameter Iswari dkk. [10]). Jika informasi parameter diketahui, maka 1

2 digunakan distribusi prior informatif. Sebaliknya, jika informasi parameter tidak diketahui, maka digunakan distribusi prior noninformatif. Menurut Yang and Berger [16], terdapat empat jenis distribusi prior noninformatif yaitu uniform, Jeffreys, reference, dan informasi data maksimal. Distribusi prior noninformatif Jeffreys merupakan pengembangan distribusi prior noninformatif uniform. Distribusi prior noninformatif uniform digunakan oleh Sinay and Hsu [13] untuk mengestimasi parameter model regresi multivariat Bayesian. Berbeda dengan Sinay and Hsu [13] pada penelitian ini digunakan distribusi prior noninformatif Jeffreys yang dapat mengatasi masalah invariant yang tidak dapat diatasi menggunakan distribusi prior noninformatif uniform. Distribusi prior noninformatif Jeffreys merupakan prior noninformatif yang biasa digunakan pada model regresi multivariat Bayesian Sun and Berger [14]). Penelitian tentang distribusi prior noninformatif Jeffreys sebelumnya dilakukan oleh Amalia dkk. [1] yang menggunakan distribusi prior noninformatif Jeffreys untuk menentukan estimasi parameter model regresi linier sederhana. Pada tahun 017 Amalia et al. [] mengembangkan penelitian Amalia dkk. [1] dengan menggunakan distribusi prior noninformatif Jeffreys untuk menentukan estimasi parameter model regresi multivariat, namun tidak dilakukan penerapannya. Dalam penelitian ini dilakukan estimasi parameter model regresi multivariat menggunakan metode Bayesian dengan distribusi prior noninformatif Jeffreys serta penerapannya.. MODEL REGRESI MULTIVARIAT Menurut Johnson and Wichern [11], model regresi multivariat adalah model regresi yang memiliki m variabel respon Y 1, Y,..., Y m dan r variabel prediktor X 1, X,..., X r dengan observasi sebanyak n. Model regresi multivariat adalah Y 1 β 01 + β 11 X 1 + β 1 X β r1 X r + ε 1 Y β 0 + β 1 X 1 + β X β r X r + ε. Y m β 0m + β 1m X 1 + β m X β rm X r + ε m..1) Model regresi.1) dikonstruksikan dalam bentuk matriks sebagai Y j m X j r+1) β r+1) m + ε j m..) Berdasarkan model.), ε adalah sisaan yang memiliki asumsi E[ε] 0, V ar[ε] Σ, dan Σ adalah matriks variansi berukuran m m. Berdasarkan persamaan.) diperoleh X j 1, X j1,..., X jr ) sebagai variabel prediktor pada observasi ke-j, diberikan Y j Y j1, Y j,..., Y jm ) sebagai variabel respon pada observasi ke-j, dengan j 1,,..., n. Y j merupakan variabel random sehingga memiliki fungsi densitas probabilitas yang diasumsikan berdistribusi normal multivariat Y j 017

3 N m X j β, Σ) dengan fungsi densitas probabilitasnya adalah fy j β, Σ) π) m Σ 1 exp 1 Y j X j β) Σ 1 Y j X j β))..3) 3. METODE BAYESIAN Inti perhitungan metode Bayesian adalah menentukan fungsi likelihood dan distribusi prior yang kemudian dikalikan dan hasilnya proporsional dengan distribusi posterior yang digunakan untuk mengestimasi parameter. Fungsi distribusi prior dinotasikan sebagai fθ) dengan θ adalah parameter. Sedangkan fungsi likelihood dinotasikan sebagai fy θ) yaitu fungsi probabilitas bersama dari sampel random Y apabila θ diketahui. Menurut Gelman et al. [8] fungsi distribusi posterior merupakan fungsi probabilitas bersyarat θ dengan Y diketahui. Fungsi distribusi posterior dinyatakan sebagai fθ Y ) fθ, Y ) fy ) fθ)fy θ) fy ) fθ)fy θ). 3.1) 4. HASIL DAN PEMBAHASAN Pada pembahasan ini diuraikan tentang fungsi likelihood untuk model regresi multivariat, distribusi prior noninformatif Jeffreys, distribusi posterior, dan estimasi parameter. Setelah dilakukan penjabaran secara teoritis, dilakukan penerapan estimasi parameter model regresi multivariat Bayesian dengan distribusi prior noninformatif Jeffreys pada data posisi simpanan masyarakat di Provinsi Papua dan Papua Barat Fungsi Likelihood. Menurut Bain and Engelhardt [4], fungsi likelihood merupakan fungsi kepadatan probabilitas bersama dari j variabel random Y j1, Y j,..., Y jm dengan j 1,,..., n dan dinotasikan sebagai fy θ) n fy j θ) fy 1 θ)fy θ)...fy n θ). j1 Berdasarkan fungsi densitas probabilitas.3) dikonstruksi fungsi kepadatan probabilitas bersama fungsi likelihood) untuk n observasi dengan parameter β dan Σ. Fungsi likelihood untuk model regresi multivariat adalah n fy β, Σ) π) m 1 1 Σ exp Y j X j β) Σ 1 Y j X j β)) dengan Ȳ 1 n j1 nȳ X j β) Ȳ X j β)))) π) nm Σ n exp tr n Ȳ X j β) Σ 1 Ȳ X j β) 1 Σ 1 S n j1 Y j dan S n j1 Y j Ȳ ) Y j Ȳ ) ))

4 4.. Distribusi Prior Noninformatif. Menurut Harris et al. [9] pengetahuan tentang distribusi prior dapat diperoleh dari pendapat para ahli atau menggunakan kembali distribusi posterior penelitian sebelumnya. Tetapi jika pengetahuan tentang distribusi prior tidak pasti, hilang, atau diabaikan, maka digunakan distribusi prior noninformatif. Distribusi prior Jeffreys merupakan salah satu jenis distribusi prior noninformatif dan merupakan akar kuadrat informasi Fisher yang ditulis sebagai fθ) Iθ), dengan Iθ) adalah informasi Fisher Yang and Berger [16]). [ Berdasarkan ] Bain and Engelhardt [4] informasi Fisher ditulis sebagai Iθ) E logfy θ) θ. θ Terdapat empat langkah dalam menentukan fungsi distribusi prior Jeffryes. Langkah pertama adalah menentukan fungsi ln likelihood, yaitu lnfy β, Σ) nm lnπ) n ln Σ n Ȳ X j β) Σ 1 Ȳ X j β) 1 Σ 1 S. Langkah kedua adalah menentukan fungsi distribusi prior noninformatif Jeffreys untuk β, yaitu [ ] fβ) E logfy β, Σ) β E [ Σ 1] Σ 1 Diberikan model regresi multivariat dengan m dimensi sehingga fungsi distribusi prior Jeffreys untuk β adalah fβ) fβ 1,..., β m ) fβ 1 )... fβ m ) Σ 1... Σ 1 Σ m. Langkah ketiga adalah menentukan fungsi distribusi prior noninformatif Jeffreys untuk Σ, yaitu [ ] fσ) E logfy β, Σ) Σ E [ Ȳ X j β) Σ 3 Ȳ X j β) ] Σ 1. Langkah keempat menentukan fungsi distribusi prior noninformatif Jeffreys untuk fθ) dengan θ β, Σ) diasumsikan β dan Σ independen, untuk model regresi multivariat m dimensi, fungsi distribusi prior noninformatif Jeffreys untuk model regresi multivariat adalah fθ) fβ)fσ) Σ m Σ 1 Σ m Distribusi Posterior. Setelah diperoleh fungsi likelihood dan distribusi prior ditentukan distribusi posterior. Persamaan 3.1) diterapkan untuk menentukan distribusi posterior untuk model regresi multivariat dengan parameter θ β, Σ). Fungsi distribusi posterior untuk model regresi multivariat adalah fβ, Σ Y ) fβ, Σ)fY β, Σ) Σ m+ π) nm Σ n exp tr n Ȳ X j β) Σ 1 Ȳ X j β) 1 Σ 1 S )) 4 017

5 fβ, Σ Y ) Σ n 1 exp tr 1 ) ))) 1 Σ Ȳ X j β) Ȳ X j β) n Σ n+m exp tr 1 ))) SΣ 1 4.1) Berdasarkan karakteristik 4.1) fungsi distribusi posterior marginal untuk β dinyatakan sebagai fβ Y ) Σ 1 exptr 1Ȳ X n j β) ) Σ 1 n Ȳ Xj β))) dan fungsi distribusi posterior marginal untuk Σ dinyatakan sebagai fσ Y ) Σ n+m exptr 1 SΣ 1) ). Setelah diperoleh fungsi distribusi posterior marginal, ditentukan estimasi parameternya Estimasi Parameter. Estimasi parameter ditentukan dari nilai ekspektasi variabel random fungsi distribusi posterior marginal dan berupa estimasi titik untuk mean β dan variansi Σ Diana dan Soehardjoepri [7]). Diberikan β adalah matriks parameter regresi berukuran r+1) m sehingga estimasi parameter untuk β adalah ˆβ E[β Y ] E[β 01, β 11,..., β r+1) m ]... β Σ 1 n exp tr 1 ) )) 1 Σ Ȳ X j β) Ȳ X j β) n dβ r+1) m...dβ 11 dβ 01 4.) dan estimasi parameter untuk Σ adalah ˆΣ E[Σ Y ] E[Σ 11, Σ 1,..., Σ mm ]... Σ Σ n+m exp tr 1 )) SΣ 1 dσ mm...dσ 1 dσ ) Pada persamaan 4.) dan 4.3) terlihat bahwa untuk mengestimasi parameter β dan Σ melibatkan integral fungsi yang sulit ditentukan nilai integralnya. Oleh karena itu diperlukan pendekatan dengan melakukan pembangkitan sampel random yang sesuai dengan karakteristik distribusi posterior marginal masing-masing parameter menggunakan algoritme MCMC Gibbs sampling. Menurut Walsh [15] MCMC digunakan untuk membangkitkan sampel random dari distribusi posterior. Terdapat dua algoritme MCMC yaitu algoritme Metropilis- Hasting dan Gibbs sampling. Algoritme Gibbs sampling merupakan kejadian khusus dari Metropolis-Hastings karena parameter yang diestimasi lebih dari satu Asriadi [3]). Pada model regresi multivariat Bayesian terdapat dua parameter yang diestimasi sehingga algoritme yang digunakan adalah algoritme Gibbs sampling

6 Pada metode Bayesian, parameter dianggap sebagai variabel random sehingga memiliki sebaran data dan dapat didekati dengan suatu distribusi tertentu. Berdasarkan karakteristik dari fungsi distribusi posterior marginal fβ Y ) dapat dilakukan pendekatan terhadap fungsi densitas probabilitas normal multivariat sehingga diperoleh β Y ) N m Ȳ, Σ ). Sedangkan fungsi distribusi posterior marginal fσ Y ) dilakukan pendekatan terhadap distribusi invers Wishart n sehingga diperoleh Σ Y ) IW S 1, n). Langkah selanjutnya adalah membangkitkan sampel random dari distribusi posterior marginal dengan menggunakan algoritme MCMC Gibbs sampling. Nilai estimasi parameter merupakan nilai rata-rata sampel random hasil bangkitan dari distribusi posterior marginal. Berikut algoritme MCMC Gibbs sampling 1) mengkonstruksi model regresi multivariat sehingga diperoleh β dan Σ, ) melakukan inisialisasi nilai β 0) dan Σ 0) berdasarkan nilai β dan Σ yang diperoleh dari langkah 1, 3) menentukan nilai Y 1) N m Xβ 0), Σ 0) ), 4) membangkitkan β 1) Y 1) N m Ȳ, Σ n β0) ), 5) membangkitkan Σ 1) Y 1) IW S 1, n Σ 0) ), dan 6) mengulangi langkah 3, 4, dan 5 sebanyak M pengulangan hingga diperoleh sampel bangkitan β M) Y M) N m Ȳ, Σ n βm 1) ) dan Σ M) Y M) IW S 1, n Σ M 1) ). Hasil algoritme MCMC Gibbs sampling adalah sampel bangkitan berupa barisan matriks β 1), β ),..., β M) ) dan Σ 1), Σ ),..., Σ M) ). Estimasi parameter untuk ˆβ 1 M M i1 βi) dan estimasi parameter untuk ˆΣ 1 M M i1 Σi) Penerapan. Pada penelitian ini dilakukan estimasi parameter model regresi multivariat Bayesian pada data posisi simpanan masyarakat dalam rupiah di Provinsi Papua dan Papua Barat dari Januari 010 hingga April 017 yang bersumber dari website Bank Indonesia [5]. Variabel respon pada penelitian ini adalah posisi simpanan masyarakat dalam rupiah di Provinsi Papua sebagai Y 1 dan posisi simpanan masyarakat dalam rupiah di Provinsi Papua Barat sebagai Y. Sedangkan variabel prediktornya adalah faktor-faktor yang memengaruhi posisi simpanan masyarakat, yaitu kurs rupiah terhadap dolar sebagai X 1, banyaknya uang kartal yang beredar sebagai X, dan suku bunga bank sebagai X 3. Sebelum dilakukan estimasi parameter, dilakukan uji asumsi model regresi multivariat yaitu kelinieran, korelasi antar variabel respon, dan uji normal multivariat untuk variabel respon. Telah dilakukan uji asumsi model regresi multivariat dan diperoleh kesimpulan bahwa data posisi simpanan masyarakat dalam rupiah di Provinsi Papua dan Papua Barat dari Januari 010 hingga April 017 memenuhi asumsi kelinieran, korelasi antar variabel respon, dan uji normal multivariat untuk variabel respon. Oleh karena itu data baik dimodelkan menggunakan model regresi multivariat

7 Estimasi Parameter. Setelah semua asumsi regresi multivariat terpenuhi ditentukan estimasi parameter β dan Σ menggunakan algoritme MCMC Gibbs sampling. Diberikan nilai awal atau inisialisasi β 0) dan Σ 0) dengan ) β 0) ) dan Σ 0) Selanjutnya membangkitkan sampel random dari distribusi posterior marginal untuk β i) Y i) N Ȳ, Σ n βi 1) ) dan Σ i) Y i) IW S 1, n Σ i 1) ) dengan i 1,,..., Dari sampel hasil bangkitan, ditentukan nilai rata-rata untuk β i) Y i) dan Σ i) Y i) yang merupakan nilai estimasi parameternya. Nilai estimasi parameternya diberikan pada Tabel 1. Tabel 1. Nilai estimasi parameter dan interval kofidensi untuk β dan Σ Parameter Estimasi Persentil.5 Persentil 97.5 Keterangan ˆβ Signifikan ˆβ Signifikan ˆβ Signifikan ˆβ Signifikan ˆβ Signifikan ˆβ Signifikan ˆβ Signifikan ˆβ Signifikan ˆΣ Signifikan ˆΣ Signifikan ˆΣ Signifikan Berdasarkan Tabel 1, nampak bahwa semua estimasi parameter pada model regresi multivariat signifikan, yang artinya bahwa semua parameter mempunyai pengaruh yang signifikan terhadap variabel respon. Estimasi parameter β dan Σ ditulis sebagai β ˆβ01 ˆβ11 ˆβ1 ˆβ31 ˆβ 0 ˆβ1 ˆβ ˆβ3 dan Σ ) ˆΣ11 ˆΣ1 ˆΣ ) ) ˆΣ dengan ˆΣ 1 ˆΣ 1. Hasil estimasi parameter tersebut dikonstruksikan dalam model regresi multivariat.1) dan ditulis sebagai Ŷ X X X 3 Ŷ X X X 3 ) 7 017

8 Berdasarkan sistem persamaan model regresi multivariat tersebut dapat disimpulkan bahwa kenaikan nilai kurs dan banyaknya uang kartal akan meningkatkan simpanan rupiah masyarakat di Papua dan Papua Barat, namun meningkatnya suku bunga akan menurunkan simpanan rupiah masyarakat di Papua dan Papua Barat. 5. Kesimpulan Estimasi parameter model regresi multivariat menggunakan metode Bayesian diperoleh dengan menentukan nilai ekspektasi dari variabel random fungsi distribusi posterior marginal fβ Y) dan fσ Y). Namun dalam perhitungan estimasi parameter melibatkan integral fungsi yang sulit ditentukan peyelesaiannya sehingga digunakan pengambilan sampel dengan algoritme MCMC Gibbs sampling sebagai pendekatan dalam mengestimasi parameternya. Hasil algoritme MCMC Gibbs sampling diperoleh sampel bangkitan berupa barisan matriks β 1), β ),..., β M) ) dan Σ 1), Σ ),..., Σ M) ). Estimasi parameter untuk ˆβ 1 M M i1 βi) dan estimasi parameter untuk ˆΣ 1 M M i1 Σi). DAFTAR PUSTAKA [1] Amalia, F., D.R.S. Saputro, dan T.J.Parmaningsih, Estimasi Parameter Model Regresi Linier Sederhana Bayes dengan Distribusi Prior Noninformatif, Seminar Nasional 016 Matematika dan Pendidikan Matematika, 016. [] Amalia, F., D.R.S. Saputro, and P. Widyaningsih, Parameter Estimation of Multivariate Multiple Regression Model using Bayesian with Noninformative Jeffreys Prior, International Conference on Science, Mathematics, Environment, and Education ICoSMEE), 017, under review). [3] Asriadi, A., Simulasi Stokastik menggunakan Algoritma Metropolis Hastings, JMAP Jurnal Matematika dan Pembelajaran) Jurusan Matematika FMIPA UNJ 6 007), no, pp [4] Bain, L. J. and M. Engelhardt, Introduction to Probability and Mathematical Statistics, second ed., Buxbury Press, Inc., California, 199. [5] Bank Indonesia, [Bank Indonesia], Statistik Ekonomi dan Keuangan Indonesia, Jakarta, 017 [6] Bolstad, W. M., Introduction to Bayesian Statistics, ed., New Jersey: Wiley, 007. [7] Diana, E.M. dan Soehardjoepri, Pendekatan Metode Bayesian untuk Kajian Estimasi Parameter Distribusi Log-Normal untuk Non-Informatif Prior, Jurnal Sains dan Seni ITS 5 016), no, pp [8] Gelman,A., J.B.Carlin, H.S.Stern, D.B.Dunson, A.Vehtari, and D.B.Rubin, Bayesian Data Analysis, ed., New York: Chapman and Hall, 004. [9] Harris, P., M. Cox, C. Matthews, I. Smith, and L. Wrigh, A Guide to Bayesian Inference for Regression Problems, European Metrologu Research Programme EMRP), 015), pp [10] Iswari, A.A.I.A.C., I.W.Sumarjaya, dan I.G.A.M.Srinadi, Analisis Regresi Bayes Linear Sederhana dengan Prior Noninformatif, E-Jurnal Matematika 3 014), no., pp [11] Johnson, R. and D.W.Wichern, Applied Multivariate Statistical Analysis, 6 ed., Pearson Education, Inc., America, 007. [1] Mendeṣ, M., Multivariate Multiple Regression Analysis Based on Principal Component Scores to Study Relationships between Some Pre- and Post-slaughter Traits of Broilers, Jurnal of Agricultural Sciences, ), pp [13] Sinay, M.S. and J.S.J. Hsu, Bayesian Inferensi of a Multivariate Regression Model, Jurnal of Probability and Statistics, ), pp [14] Sun, D. and J.O.Berger, Objective Priors for the Multivariate Normal Model, ISBA 8th World Meeting on Bayesian Statistics, 006. [15] Walsh, B., Markov Chain Monte Carlo and Gibbs Sampling, Lecture Notes for EEB 581, 004. [16] Yang, R. and J.O.Berger, A Catalog of Noninformative Priors, Technical Report, Dake University, ISDS 97-4,