BAB I PENDAHULUAN 1.1 Latar Belakang

Transkripsi

1

2

3 BAB I PENDAHULUAN 1.1 Latar Belakang Banyak cabang ilmu statistika yang digunakan dalam berbagai bidang contohnya seperti ekonometri biostatistika psikometri dan masih banyak yang lain. Ekonometri merupakan cabang ilmu dari bidang ekonomi yang memadukan ilmu ekonomi matematika dan statistika. Dalam ekonometri peran statistika sangat penting yakni mengestimasi parameter yang ada dalam model ekonometri tersebut. Biostatistika dalam ilmu di bidang medis kedokteran seperti patologi epidemologi juga digunakan untuk mengestimasi parameter. Analisis statistika yang sering digunakan dalam ekonometri biostatistika psikometri dan ilmu bidang lain adalah analisis regresi. Analisis regresi digunakan untuk memodelkan berbagai permasalahan dalam bentuk matematis dimana persamaan dalam regresi tersebut menjelaskan bagaimana hubungan antara variabel dependen atau biasa dikenal dengan respon dengan variabel independen atau prediktor. Tujuan lain dari analisis regresi adalah mengestimasi nilai dari variabel dependen berdasarkan nilai variabel independen yang diketahui. Selain itu juga dapat digunakan untuk menentukan variabel independen mana yang berkontribusi banyak dalam menentukan nilai dari variabel dependen. Salah satu metode yang digunakan untuk menduga parameter-parameter dalam persamaan regresi adalah metode Ordinary Least Square OLS. Secara matematis penentuan parameter regresi ini dengan cara meminimumkan jumlah kuadrat dari residualnya Walpole Metode OLS menghasilkan penduga yang memenuhi syarat-syarat sebagai penduga yang baik yakni memenuhi Best Linear Unbiased Estimator BLUE jika semua asumsi klasik yang berkaitan dengan residual terpenuhi. Namun pada kenyataannya asumsi normalitas dan homoskedastisitas seringkali tidak terpenuhi ketika terdapat data pencilan atau 1

4 2 outlier. Jika terdapat pencilan maka data tidak berbentuk simetris sehingga nilai mean menjadi sangat peka dengan adanya outlier tersebut sehingga metode OLS kurang tepat digunakan. Biasanya peneliti akan melakukan transformasi data dengan maksud agar asumsi normalitas dan homoskedastisitas terpenuhi. Namun pada akhirnya meskipun telah dilakukan transformasi data sering kali parameter yang dihasilkan masih bias. Dengan adanya fenomena tersebut maka berkembanglah metode baru yaitu Median Regression dengan pendekatan Least Absolute Deviation LAD yang dikembangkan dengan mengganti pendekatan rata-rata pada OLS menjadi median. Namun disini metode median regression hanya dapat melihat dua kelompok data yang dibagi pada nilai tengahnya saja dan ketika terdapat data yang berbentuk lonceng tidak simetris atau titik pusat data bukan terletak pada mediannya melainkan terletak pada potongan kuantil tertentu maka metode ini juga dirasa kurang tepat untuk digunakan. Selanjutnya dikembangkan metode regresi kuantil yang tidak membutuhkan asumsi galat dalam model dan estimatornya bersifat tegar robust terhadap pencilan outlier pada variabel dependen. Pendekatan regresi kuantil yaitu dengan memisahkan atau membagi data yang dicurigai ada perbedaan nilai taksiran pada kuantil-kuantil tertentu. Lebih lanjut regresi kuantil sudah mulai berkembang dengan cepat dan sangat populer bukan lagi di bidang ekonometri namun juga di ilmu sosial kedokteran dan kesehatan. Metode penduga parameter untuk regresi kuantil juga dikembangkan dengan penalized likelihood dengan menggunakan alat Least Absolute Shrinkage Selection Operator LASSO Smoothly Clipped Absolute Deviation SCAD Adaptive Lasso dan lain sebagainya. Dengan menggambungkan metode Lasso dan Adaptive Lasso nantinya dapat menghasilkan regresi yang robust dengan penduga parameter yang BLUE dan lebih mengecilkan galat dari model regresi kuantil. Dalam penarikan sampel biasanya diperoleh informasi parameter yang akan diestimasi. Jika informasi tersebut dimasukkan dalam analisis data maka metode estimasi yang digunakan tidak memungkinkan untuk memasukkan

5 3 informasi tersebut. Oleh karena itu diperlukan metode estimasi yang dapat melibatkan parameter yang akan diestimasi. Analisis fleksibel bayesian telah diperkenalkan dan dikembangkan oleh Bayes. Metode fleksibel bayesian dalam mengestimasi parameter memanfaatkan informasi awal dan bentuk distribusi awal prior dari suatu populasi. Informasi ini kemudian digabungkan dengan informasi dari sample. Dalam hal ini peneliti harus menentukan distribusi prior dari parameter yang ditaksir. Distribusi prior dapat berasal dari data penelitian sebelumnya atau berdasarkan intuisi peneliti. Dugaan penentuan distribusi parameter sangatlah subyektif Hogg dan Craig Setelah informasi data digabungkan dengan informasi prior maka didapatkan distribusi posterior yang nantinya akan menjadi parameter regresi. Secara analitik memperoleh marginal posterior merupakan hal yang sulit. Dalam model yang rumit mengintegralkan parameter dari distribusi posterior bersama atau menentukan kenormalan dari distribusi posterior secara umum adalah hal yang sangat sulit dan tak mungkin dilakukan. Metode bayesian mengatatasi permasalahan ini dengan menggunakan bantuan algoritma MCMC Markov Chain Monte Carlo yaitu Gibbs sampling. Dengan bantuan algoritma ini dengan mudah mendapatkan distribusi posterior bahkan dalam kasus yang kompleks. 1.2 Pembatasan Masalah Pembatasan masalah sangat diperlukan dalam penulisan skripsi ini agar terfokus pada suatu poin saja dan tidak terjadi penyimpangan dari tujuan semula. Model regresi kuantil terpenalti memiliki ruang lingkup yang sangat luas untuk dibahas. Oleh karena itu dalam skripsi ini hanya akan dibahas estimasi model regresi kuantil terpenalti dengan alat LASSO dan adaptive LASSO dengan menggunakan metode fleksibel bayesian dan dengan algoritma Markov Chain Monte Carlo MCMC Gibbs sampling serta terbatas pada model regresi kuantil dengan hubungan linear dengan melibatkan semua variabel independen yang sudah terbukti secara teoritis.

6 4 1.3 Tujuan Penulisan Berdasarkan latar belakang dan batasan masalah diatas maka tujuan penulisan skripsi ini adalah sebagai berikut : 1. Mempelajari perkembangan analisis regresi khususnya regresi kuantil terpenalti. 2. Mempelajari metode estimasi OLS dan fleksibel bayesian untuk mengestiamsi parameter pada model regresi kuantil terpenalti. 3. Mempelajari penerapan algoritma MCMC Gibbs sampling dalam estimasi model regresi kuantil terpanalti dengan metode fleksibel bayesian. 4. Mengaplikasikan regresi kuantil terpenalti dengan fleksibel bayesian untuk menganalisis hubungan korelasi antara prostate spesific antigen dengan sejumlah tindak klinis pada pria yang hendak menerima prostatektomi radikal. 1.4 Tinjauan Pustaka Model regresi merupakan model yang paling sering digunakan dalam bidang ekonometri. Regresi kuantil dikenalkan oleh Koenker dan Basset pada tahun Regresi ini dikembangkan karena ada beberapa kekurangan yang belum bisa tercover dari regresi linear sederhana. Regresi ini berguna untuk menganalisis sejumlah data yang bentuknya tidak simetris dan juga berguna jika distribusi tidak homogen. Regresi kuantil adalah regresi yang tegar robust terhadap data pencilan outlier. Pada tahun 2001 Keming Yu dan Rana A. Moyeed mempopulerkan metode bayesian pada regresi kuantil. Mereka memperkenalkan gagasan regresi kuantil menggunakan fungsi likelihood yang didasarkan pada asymmetric laplace distribution. Penggunaan distribusi ini merupakan cara alami dan efektif untuk pemodelan regresi kuantil bayesian. Yu dan Moyeed juga memperkenalkan regresi kuantil bayesian menggunakan algoritma MCMC untuk inferensi posteriornya. Dalam metodenya mereka menggunakan algoritma MetropolisHasting untuk menganalisis kuantil bayesian.

7 5 Lebih lanjut Reich et al pada tahun 2010 memperkenalkan metode fleksibel bayesian untuk regresi kuantil. Dikatakan fleksibel karena metode ini tidak mengharuskan asumsi parametrik atau tidak mengharuskan bentuk distribusi residual. Kemudian seiring berkembangnya ilmu banyak peneliti yang mengembangkan regresi kuantil dengan menggunakan penalized likelihood dalam mengestimasi parameternya salah satunya adalah Tibshirani pada tahun Ia memperkenalkan seleksi variabel dengan penalized likelihood dengan LASSO least absolute shrinkage selection operator SCAD Smoothly clipped absolute deviation Adaptive LASSO dan lain-lain. Pada tahun 2010 Li et al mengenalkan Bayesian Regularized Quantile regression dengan menggunakan penalti LASSO group LASSO dan net penalti. Alhamzawi et al pada tahun 2011 juga mengenalkan Bayesian Adaptive Lasso Quantile Regresion. Dan tahun 2012 Alkenani et al memperkenalkan Penalized Flexibel Bayesian Quantile Regression dengan LASSO dan Adaptive LASSO dengan asumsi distribusi galat infinite mixture of Gaussian Densities. Pada tahun 2002 Thionas mengembangkan regresi kuantil Bayesian dengan algoritma Gibbs sampling. Selanjutnya tahun 2009 Hiedo Kozumi dan Kobayashi mengembangkan regresi kuantil Bayesian dengan metode MCMC dengan bantuan algoritma Gibbs Sampling yang berdasarkan pada mixture representation dari asymmetric laplace distribution. Mereka memaparkan dengan algoritma tersebut dengan mudah menemukan densitas dari posterior. Pada Tahun 2013 Rahim Alhamzawi menyempurnakan tulisan sebelumnya dalam bentuk tesis yang juga membahas regresi kuantil bayesian selain itu pada tahun yang sama Annisa Hanif dalam skripsinya membahas regresi kuantil dengan menggunakan estimasi bayesian. Hanif menggunakan metode MCMC dengan algoritma Gibbs sampling. 1.5 Metode Penulisan Metode yang digunakan dalam penulisan skripsi ini adalah studi literatur yang didapat dari perpustakaan buku-buku jurnal-jurnal dan situs-situs internet yang berhubungan dengan tema skripsi ini. Pengerjaan skripsi ditunjang oleh

8 6 perangkat lunak software SPSS 16 Eviews 6.0 R dengan package lmtest quantreg MCMCpack dan bayesqr untuk mencari nilai estimasi parameter regresi kuantil terpenalti dengan metode fleksibel bayesian. 1.6 Sistematika Penulisan Skripsi ini disusun dengan sistematika penulisan sebagai berikut: BAB I PENDAHULUAN Bab ini berisi tentang latar belakang penulisan skripsi pembatasan masalah dalam skripsi tujuan yang ingin dicapai dalam penulisan tinjauan pustaka metode penulisan yang digunakan dan sistematika penulisan yang memberikan arah dan tujuan penulisan skripsi ini. BAB II DASAR TEORI Bab ini membahas tentang dasar-dasar teori penunjang yang mendasari dan mendukung pembahasan regresi kuantil terpenalti dengan metode fleksibel bayesian. BAB III PEMBAHASAN Bab ini akan membahas pokok tema skripsi penjabaran tenteng regresi kuantil terpenalti serta penerapan metode fleksibel bayesain dan penggunaan algoritma Gibbs sampling. BAB IV STUDI KASUS Bab ini menjelaskan studi kasus yang dilakukan estimasi parameter dengan metode OLS dan fleksibel bayesian pada regresi kuantil terpenalti. Data yang digunakan adalah data sekunder yang bersumber dari sebuah jurnal biostatistika. Data menunjukkan hubungan korelasi antara prostate spesific antigen dengan sejumlah tindak klinis pada pria yang hendak menerima prostatektomi radikal. BAB V PENUTUP Bab ini membahas tentang kesimpulan dari materi yang telah dibahas dari skripsi ini. Serta saran atas kekurangan dari hasil pembahasan yang bisa diberikan sebagai bahan acuan untuk penelitian lanjutan.

9 BAB II LANDASAN TEORI 2.1 Matriks Definisi matriks Matriks adalah suatu jajaran persegi empat dari bilangan-bilangan yang disusun dalam baris dan kolom. Suatu matriks dinyatakan dalam bentuk: 2.1 Dimana menyatakan baris dan menyatakan kolom. Suatu matriks yang hanya terdiri dari satu kolom disebut matriks kolom vektor kolom dan suatu matriks yang hanya terdiri dari satu baris disebut matriks baris vektor baris. Ada beberapa jenis matriks diantaranya adalah sebagia berikut: 1. Matiks identitas Adalah matriks bujur sangkar dengan elemen diagonal utamanya 1 dan elemen lainnya 0. Matriks ini dinyatakan dengan 2. Matriks singular dan nonsingular Jika. adalah matriks bujur sangkar terdapat matriks sama sedemikian rupa sehingga yang ukurannya maka dibalik invertible dan B disebut invers dari A. Jika matriks didefinisikan maka disebut dapat tidak dapat disebut sebagai matriks singular. Matriks singular memiliki nilai determinan sama dengan nol dan tidak memiliki invers dan sebaliknya jika B dapat didefinisikan memiliki determinan tak nol dan memiliki invers disebut matrik nonsingular. 3. Matriks Diagonal Suatu matriks bujur sangkar yang semua entrinya tidak terletak pada diagonal utama adalah nol. 7

10 8 4. Matriks Simetrik Suatu matriks bujur sangkar adalah simetrik jika 5. Matriks Idempoten Adalah matriks yang didefinisikan sebagai didefinisikan bahwa dan juga yang artinya bahwa hasil perkalian matriks dengan dirinya sendiri adalah matriks itu sendiri. 6. Matriks Definit Positif Suatu matriks simetrik A disebut matriks yang definit positif jika 0 untuk sembarang vektor > 0. Matriks A adalah matriks simetrik definit positif jika dan hanya jika minimal terdapat satu akar karakteristiknya yang lebih dari nol. Matriks A akan definit positif jika 7. Matriks Semi Definit Positif >0 Matriks empirik disebut semi definit positif jika sembarang vektor Perkalian matriks Jika adalah matriks cross product AB adalah matriks dan adalah matriks 0 untuk maka hasil kali yang entri-entrinya ditentukan sebagai berikut: Untuk mencari entri pada baris matriks dan kolom dari pisahkan baris dari dan kolom dari. Kalikan entri-entri yang bersesuaian dari baris dan kolom tersebut kemudian jumlahkan hasil yang diperoleh.

11 Transpose matriks Jika A adalah matriks mxn maka transpose dari A dinyatakan dengan didefinisikan sebagai matriks nxm yang didapatkan dengan mempertukarkan baris-baris dan kolom-kolom dari A sehingga kolom pertama dari pertama dari A kolom kedua dari adalah baris adalah baris kedua dari A begitu setersnya. Sifat-sifat transpose: dengan k adalah skalar sembarang Determinan matriks Suatu hasil kali elementer elementary product dari suatu matriks A nxn adalah hasil kali dari n entri dari A yang tidak satupun berasal dari baris atau kolom yang sama. Misalkan A adalah matriks bujursangkar fungsi determinan dinotasikan dengan didefinisikan sebagai jumlah semua hasil kali elementer bertanda dari A. Angka disebut determinan dari A. det ± 2.2 Teorema Misalkan A adalah matriks bujur sangkar. a Jika A memiliki satu baris atau satu kolom bilangan nol maka b Invers matriks 0 Jika A adalah matriks bujursangkar dan jika terdapat B yang ukurannya sama sedemikian rupa sehingga AB BA I maka A disebut dapat dibalik invertible dan B disebut sebagai invers dari A dinotasikan dengan dimana 0 dan adalah transpose dari matriks kofaktor dari. Sifat-sifat invers: 1. Jika B dan C keduanya invers dari matriks A maka B C

12 Trace matriks Jika A adalah sebuah matriks bujursangkar maka trace dari A yang dinyatakan sebagai tra didefinisikan sebagai jumlah entri-entri pada diagonal uatama A. Trace dari A tidak dapat didefinisikan jika A bukan matriks bujur sangkar. 2.2 Probabilitas Bersyarat dan Independensi Probibilitas bersyarat Definisi Misalkan A adalah kejadian dengan PA > 0 maka probabilitas bersyarat didefinisikan sebagai: dengan PB 0 Bain dan Engelhardt Teorema Untuk setiap kejadian A dan B diperoleh 2.5 Persamaan 2.5 juga dikenal dengan Multiplication Theorem of Probability Bain dan Engelhardt Hukum Total Probabilitas Teorema Jika B1... Bk adalah kejadian saling asing lengkap maka untuk setiap kejadian A diperoleh Bukti: Kejadian. 2.6 adalah kejadian saling asing. Maka berlaku:. Hasil dari teorema merupakan aplikasi dari persamaan 2.5 untuk setiap indeks. Dalam beberapa kondisi kejadian A tidak dipengaruhi oleh kejadian B atau sebaliknya kejadian B tidak dipengaruhi kejadian A. Kondisi ini dikatakan A independen dengan B Bain dan Engelhardt 1992.

13 Kejadian independen Definisi Dua kejadian A dan B disebut kejadian yang independen bila Bain dan Engelhardt Teorema Bila A dan B independen maka dan B A dan dan independen. Bukti : dan B. Perhatikan B Untuk karena saling asing maka dan yang berarti. Karena A dan B independen maka atau 1 Untuk.. Perhatikan A dan dan atau. Perhatikan independen maka karena. Karena atau 1 Bain dan Engelhardt Definisi Kejadian yang berarti saling asing maka yang berarti dan. Karena A dan B independen maka 1 Untuk karena saling asing maka dan untuk setiap { } {12 } Bain dan Engelhardt dan B disebut independen bila

14 Variabel Random Definisi Suatu variabel random X adalah suatu fungsi yang didefinisikan di sekitar himpunan sampel S yang menghubungkan suatu nilai riil Xex dengan setiap kemungkinan hasil e dalam S Bain dan Engelhardt Variabel random diskret Definisi Jika kumpulan dari semua kemungkinan nilai pada variabel random dan X suatu kumpulan yang dapat dihitung x1 x2... xn maka X disebut variabel random diskret. Fungsi dari variabel random diskret dengan x x1 x2... xn yang memberikan probabilitas pada tiap kemungkinan nilai x discrete probability density function pdf diskret. Fungsi fx adalah pdf diskret jika dan hanya jika memenuhi kedua sifat yaitu 0 untuk semua i dan 1. Fungsi Fx adalah cumulative distribution function CDFuntuk variabel random X yang didefinisikan untuk semua x yaitu Fx P[X x] Bain dan Engelhardt Variabel random kontinu Definisi Suatu fungsi fx adalah pdf untuk variabel random kontinu jika dan hanya jika memenuhi sifat 0 1 dan fungsi Fx P[X x ] yang memberikan harga peluang pada suatu interval - ] untuk setiap nilai x yang mungkin dinamakan sebagai fungsi distribusi kumulatif cumulative distribution function. CDF dari suatu variabel random kontinu X didefinisikan untuk setiap bilangan real x: Bain dan Engelhardt 1992.

15 Ekspektasi Variansi Skewnes dan Kurtosis Ekspektasi variabel random Jika X merupakan variabel random dengan pdf fx maka nilai ekspektasi dari X didefinisikan sebagai berikut : E X xf x jika X diskrit x E X x f x dx jika X kontinu 2.8 Sifat-sifat ekspektasi sebagai berikut : 1. ± ± ± Untuk kasus diskret 2. ± ±. ±. 1. ± ± ±. ± a dan b merupakan konstan 2.10 Untuk kasus diskret Untuk kasus kontinu 2.9 Untuk kasus kontinu.

16 14 3. jika X1 dan X2 independen 2.11 Untuk kasus diskret Untuk kasus kontinu Variansi variabel random 1. Variansi dari variabel random didefinisikan sebagai berikut: VarX [ ] Variansi dari variabel axb didefinisikan sebagai berikut: VaraXb [ E[ ] ] Skewnes dan kurtosis variabel random Skewnes dan kurtosis dari variabel random didefinisikan sebagai berikut: [ ] 2.14 Diberikan gambar untuk lebih jelas memahami kemiringan kurva densitas skewnes dan ketebalan kurva densitas kurtosis sebagai berikut :

17 15 Gambar 2.1 Skewnes dan kurtosis Terlihat pada gambar diatas bahwa nilai skewnes positif distribusinya miring kekiri skewed to left sebaliknya untuk skewnes negatif distribusinya miring kekanan skewed to right. Untuk kasus kurtosis semakin besar nilai kurtosis menghasilkan kurva yang runcing leptokurtik sebaliknya semakin kecil menghasilkan kurva tebal platikurtik. Moment Generating Function 2.5 Definisi 2.5 Jika X adalah variabel random maka nilai harapan 2.15 yang disebut moment generating function MGF dari X jika nilai ini ada untuk semua nilai di t pada interval dengan bentuk h <t < h untuk h>0 Bain dan Engelhardt Teorema 2.5 Jika maka MGF dari variabel random independen dengan MGF adalah : Bain dan Engelhardt Bukti : Diketahui jika

18 Distribusi Variabel Random Distribusi variabel random yang digunakan pada pembahasan bab selanjutnya adalah sebagai berikut Distribusi normal Variabel random X dikatakan berdistribusi normal dengan mean μ dan variansi dinotasikan dengan densitas probabilitas : untuk < apabila memiliki bentuk fungsi ~ µ exp 2.17 < dengan < µ < dan 0 < < Bain dan Engelhardt Distribusi normal multivariat Himpunan variabel random kontinu { } dikatakan berdistribusi normal multivariat dengan mean μ dan kovariansi Σ dinotasikan dengan ~ µσ apabila memiliki bentuk fungsi densitas probabilitas bersama : dengan < < < 12 dan Dimana exp [ < < dan Σ adalah ] [ < ] Σ matriks kovariansi nonsingular Bain dan Engelhardt Distribusi eksponensial Variabel random kontinu X dikatakan berdistibusi eksponensial apabila X memiliki fungsi densitas probabilitas : dimana > 0 dan Distribusi gamma 0 0 < Bain dan Engelhardt Variabel random kontinu X dikatakan berdistribusi gamma apabila X memiliki fungsi densitas probabilitas : 2.20

19 17 dengan 0 < < dimana Γ > 0 > 0 dan Γ > 0 Γ merupakan fungsi gamma Bain dan Engelhardt Distribusi inverse gamma Variabel random kontinu X dikatakan berdistibusi inverse gamma apabila X memiliki fungsi densitas probabilitas : dengan 0 < < dimana Γ 2.7 > > 0 dan Γ > 0 Γ merupakan fungsi gamma Bain dan Engelhardt Kuantil Misalkan X adalah variabel random kontinu dengan fungsi distribusi kumulatif Fx kuantil ke untuk 0 < Median dari 2.8 < 1 adalah berperan sebagai ukuran pusat. { :. Fungsi Karakteristik Fungsi karakteristik adalah salah satu jenis transformasi yang sering digunakan pada teori peluang dan statistika. Fungsi karakteristik dari suatu variabel random X dinotasikan dengan didefinisikan sebagai berikut : 2.22 dimana < < dan 1 merupakan unit imajiner. Sama halnya dengan fungsi pembangkit momen fungsi karakteristik dapat digunakan untuk menghitung momen dari variabel random X selain itu fungsi karakteristik dapat juga digunakan untuk menentukan fungsi distribusi dari suatu variabel random. 2.9 Analisis Regresi Linear Ganda Menurut Walpole 1995 analisis regresi adalah salah satu metode statistik yang digunakan untuk memprediksi nilai dari satu variabel dependen dari satu atau lebih variabel independen. Analisis regresi linear ganda merupakan analisis regresi dengan dua atau lebih variabel independen. Regresi linear ganda dapat ditulis dengan bentuk persamaan :

20 18 dimana : konstanta koefisien kemiringan parsial T Banyaknya observasi Jika disajikan dalam bentuk matriks maka persamaan regresi diatas dapat ditulis sebagai berikut : atau dapat ditulis dimana : 2.24 Y vektor pengamatan respon berukuran T x 1 X variabel independen berukuran T x k1 vektor koefisien variabel independen berukuran k1 x 1 vektor error berukuran T x 1 Asumsi yang harus dipenuhi dalam model regresi linear diantaranya sebagai berikut : 1. Model regresi linear dalam parameter. 2. Galat berdistribusi normal ~ Nilai-nilai prediktor X fixed dalam penarikan sampel berulang atau dengan kata lain ~ X bersifat nonstokastik maka. E sehingga 4. Nilai ekspektasi dari error random untuk nilai X yang diberikan adalah nol [ ] Error bersifat homoskedastis artinya variansi dari untuk semua observasi sama. 6. Error bersifat noautokorelasi yaitu korelasi antara nol. dan adalah

21 19 0 dengan [ [ ] ][ Karena 7. Kovariansi antara 0 ] adalah nol. [ ] karena 0 maka [ ][ 0 ] Tidak ada multikolinearitas antar variabel prediktor artinya tidak ada hubungan linear sempurna antara variabel-variabel prediktor Ordinary Least Square OLS Untuk mengestimasi parameter dalam model regresi linear seperti pada persamaan 2.24 dapat dilakukan dengan menggunakan metode kuadrat terkecil ordinary least square. Estimasi parameter dengan metode ini diperoleh dengan cara meminimalkan jumlah kuadrat dari error persamaan terhadap parameter. Estimator OLS ini mempunyai sifat Best Linear Unbiased Estimator BLUE. Asumsi Ordinary Least Equare OLS : 1. X bersifat deterministik atau variabel independennya bersifat independen terhadap error. 2. Rank X k 1 atau X full rank atau semua baris dan kolom pada X bersifat linear independen atau nilai ekspektasi dari error bernilai nol.

22 20 4. atau tidak ada heteroskedastisitas dari komponen error berdistribusi normal multivariat. > 0 dan tidak ada batasan nilai untuk nilai. Dengan menggunakan metode OLS maka estimator untuk dapat dicari sebagai berikut : 2.27 Karena sehingga 2 Untuk menunjukkan bahwa benar-benar minimum maka hasil dari derivatif kedua dari jumlah kuadrat error harus lebih besar dari nol. Karena adalah matriks definit positif maka 2 minimum. > 0 sehingga

23 21 Estimator OLS bersifat Best Linear Unbiased Estimator BLUE untuk membuktikan sifat ini akan ditunjukkan bahwa tak bias linear dan mempunyai variansi minimum. Berikut bukti untuk BLUE : 1. Tak bias Suatu estimator dikatakan tak bias jika ekspektasi dari estimator tersebut sama dengan nilai dari parameternya Linear Linear yang dimaksud adalah linear dalam parameter. Artinya bahwa memiliki hubungan linear dengan variabel dependennya. Dengan kata lain perubahan nilai matematis dari Y. akan dipengaruhi oleh variabel dependennya. Secara terlihat bahwa merupakan fungsi linear 3. Variansi minimum Suatu estimator akan dikatakan lebih efisien jika estimator ini memiliki varian yang lebih kecil dari varian yang dihasilkan oleh estimator lain yang juga tak bias dan linear. Untuk menunjukkan bahwa estimator OLS adalah estimator yang best maka ditunjukkan bahwa estimator OLS ini memiliki varian lebih kecil daripada varian estimator lain yang juga tak bias dan linear Jika hasil pembandingan dengan cara pengurangan itu menghasilkan suatu matriks yang semi definit positif maka estimator dari metode OLS dikatakan lebih efisien atau best. Matriks kovarian dari adalah sebagai berikut :

24 22 Diambil sembarang estimator dimana 2.31 adalah matriks berukuran k1 x T yang tidak bergantung pada Y atau dengan kata lain estimator ini adalah parameter yang nilainya tidak diketahui. Pada kondisi ini estimator yang linear untuk yaitu sehingga Dengan tidak tergantung pada Y. Jika Terbukti bahwa Dan kovarian dari 2.32 adalah estimator tak bias maka akan adalah sebagai berikut : 0 adalah estimator tak bias dengan maka: adalah matriks k1 x T yang konstan dan dan dibuktikan bahwa adalah estimator least square adalah [ ] 0 dan karena [ ] [ ] 2.33

25 23 Nilai dari karena 0 sehingga didapatkan : Matriks - adalah matriks yang semi definit positif karena Jika 0 maka estimator alternatif ini akan menjadi estimator dari metode OLS. Sehingga dapat disimpulkan bahwa estimator OLS memiliki varian yang minimum sehingga merupakan estimator yang best Uji Asumsi Klasik Model regresi berganda dibangun atas beberapa asumsi klasik yang diperlukan untuk mendapatkan estimator OLS yang bersifat BLUE. Berikut merupakan keterangan singkat tentang uji asumsi klasik dari model regresi. a. Uji Multikolinearitas Dalam model regresi diasumsikan tidak memuat hubungan dependensi linear antar variabel independen. Jika terjadi korelasi kuat yang muncul maka akan terjadi multikolinearitas. Jika hal ini terjadi maka akan menghasilkan estimasi yang tidak valid dan memiliki standar error yang tinggi. Multikolinearitas dapat terjadi akibat adanya kesalahan metode dalam pengumpulan data kurang tepat dalam melakukan spesifikasi model dan model bersifat overdetermined yang artinya jumlah variabel independen lebih banyak daripada jumlah data. Penyelesaian masalah ini ada berbagai cara yaitu menambah lebih banyak observasi menguluarkan variabel independen yang memiliki korelasi yang kuat mengkombinasikan data time series dengan cross sectional mentransformasikan variabel independen atau melakukan analisis regresi bayesian atau ridge.

26 24 Uji multikolinearitas ini dapat dideteksi dengan adanya koefisien determinasi tinggi namun t hitung tiap koefisien tidak signifikan adanya korelasi tinggi antara variabel independen nilai VIF >10 dan TOL < 01 dengan b. dan. Uji Heteroskedastisitas Galat Uji ini bertujuan untuk menganalisis apakah variansi galat bersifat tetap atau konstan atau berubah-ubah. Dalam regresi OLS diasumsikan sedemikian sehingga variansi dari masing-masing residual bersyarat terhadap pemilihan prediktor merupakan suatu konstanta yang bernilai sama. Keadaan ini disebut homoskedastisitas dilambangkan dengan Bila terjadi heteroskedastisitas maka kesimpulan apapun yang kita ambil dalam regresi OLS akan meyesatkan misleading. Hal ini terjadi dikarenakan adanya data outlier adanya kekeliruan spesifikasi model dan sebagainya. Deteksi adanya heteroskedastisitas dapat dilakukan secara grafis dengan membuat scatterplot antara dengan. Jika sebaran dari plot ini membentuk pola tertentu yang tidak acak maka terdapat heteroskedastisitas dan sebaliknya. Selain itu uji statistik yang dapat dilakukan adalah uji BreuchPagan atau yang lebih umum dikenal dengan uji White. Uji BP dilakukan dengan menghitung statistik BP kuadrat terstandarisasi dengan hipotesis sebagai berikut: dari regresi semu antara residual. H0: Asumsi homoskedastisitas terpenuhi H1: Asumsi homoskedastisitas tidak terpenuhi Menolak H0 jika BP > untuk suatu nilai tingkat signifikansi tertentu yang nilainya biasanya 005. Untuk menyelesaikan masalah ini dapat dilakukan estimasi model dengan metode weight least square WLS mentransformasi variabel independen menggunakan estimasi white yang bersifat heteroscedasticity consistent melakukan regresi kuantil.

27 25 c. Uji Autokorelasi Residual Dalam asumsi OLS klasik residual bersifat independen satu dengan yang lain. Bila terjadi autokorelasi akan menghasilkan spesifikasi model yang bias. Autokorelasi orde 1 dapat dideteksi dengan metode grafik uji run uji DurbinWatson Ljung-Box Breuch-Godfrey dan sebagainya. Metode grafik dengan membuat scatterplot antara residual ke-i dengan residual ke-i1 atau dengan residual ke-i-1. Jika plot tersebut membentuk trend linear dapat dicurigai bahwa ada autokorelasi pada residual. Uji statistika yang sering digunakan adalah Durbin-Watson yang dirumuskan sebagai berikut: dengan n jumlah data. Setelah mendapatkan nilai d lalu kita membandingkan dengan nilai du dan dl yang tersedia pada tabel kritik Durbin-Watson. Berikut merupakan aturan pengambilan keputusan uji Durbin-Watson: Tabel 2.1 Aturan keputusan uji Durbin-Watson Hipotesis nol Keputusan Tidak ada korelasi positif Tidak ada korelasi positif Tidak ada korelasi negatif Tidak ada korelasi negatif Tidak ada korelasi positif dan negatif Menolak H0 Tidak ada keputusan Menolak H0 Tidak ada keputusan Tidak Menolak H0 Jika d berada pada rentang 0< < Apabila galat mengandung autokorelasi dapat dilakukan penanganan yaitu estimasi dengan menggunakan metode generalized least square melakukan respesifikasi model dengan memasukkan komponen lag variabel dependen atau independen ke dalam model atau dengan menggunakan pendekatan estimator Newey-West yang bersifat heteroscedasticity and autocorrelation consistent.

28 26 d. Uji normalitas galat Salah satu uji asumsi yang sering disorot adalah uji normalitas residual. Yaitu dimana akan mengecek residual berdistribusi normal atau tidak. Jika residual tidak berdistribusi normal maka prediksi dan estimasi parameternya menjadi tidak valid dan reliabel. Deteksi untuk uji ini dapat dilakukan dengan berbagai cara secara visual dapat dengan melihat histogram dari residualnya. Bila histogram membentuk genta/lonceng yaitu memiliki satu puncak ditengah maka dapat dikatakan residual berdistribusi normal dan sebaliknya. Selain itu dapat pula dengan membuat PP atau QQ plot yang merupakan scatterplot residual pada salah satu sumbu dengan harga harapannya probabilitas kumulatif dari distribusi normal. Teknik ini dipandang lebih argumentatif dibanding histogram karena membandingkan antara distribusi empirik data dengan distribusi teoritik normal. Secara uji statistik dapat digunakan uji kesesuaian distribusi. Uji ini lebih bisa meyakainkan karena terdapat nilai p-value uji sehingga kesimpulan lebih meyakinkan. Beberapa contoh uji kesesuaian distribusi yaitu Uji Chi-square Kolmogorov-Smirnov Liliefors Anderson-Darling dan Jarque-Bera. Untuk sampel besar sering dilakukan uji Jarque-Bera dengan nilai statistik JB adalah: dimana S skewnes K kurtosis dan n banyak data. Untuk pengujian ini digunakan hipotesis H0: Residual berdistribusi normal H1: Residual tidak berdistribusi normal Menolak H0 jika JB > untuk suatu nilai tingkat signifikansi tertentu yang nilainya biasanya 005. Uji ini sering sekali tidak terpenuhi karena data dilapangan banyak yang mengandung outlier dan distrbusi dari data tidak simetris sehingga residual tidak berdistribusi normal. Penanganan untuk masalah ini adalah dengan

29 27 melakukan transformasi data yang sesuai atau melakukan analisis regresi kuantil Fungsi Likelihood Definisi 2.12 Fungsi likelihood Misalkan diberikan merupakan sampel random dari distribusi besyarat X dengan fungsi densitas probabilitas bersama dari diberikan adalah. Fungsi densitas 2.35 dinamakan fungsi likelihood. Fungsi likelihood juga dapat ditulis sebagai Bain dan Engelhardt Penalized Function Penalized function merupakan fungsi penting dalam menentukan dan pada estimasi terpenalti. Penalized function sering digunakan pada metode regresi linear regresi logistik regresi poisson cox proportional hazard model regresi kuantil dan masih banyak yang lain. Beberapa macam penalized function yang biasa digunakan adalah L1 absolute value LASSO L2 quadratic Ridge kombinasi L1 dan L2 Naive elastic net fussed LASSO weighted LASSO Adaptive LASSO SCAD penalti nonconcav. Diberikan vektor ~ dan matrik dimana berdistribusi Gaussian yang tidak diketahui mean kovariannya dan dinotasikan dengan. Diberikan matrik kovarian sampel yang berarti mean sampel dari dinotasikan dengan yang berisikan elemen dimana sehingga yaitu kompenen ke j dan ke k. Kemudian diberikan matrik ketepatan Σ / yang diestimasi dengan memaksimumkan dua kali fungsi log-likelihoodnya diperoleh persamaan berikut ini: 2 c 2.36

30 28 adalah trace dari matriks dimana dan c adalah konstanta. Sesuai dengan rangka penalized likelihood estimasi untuk matriks ketepatan yang lebih kecil adalah dengan persamaan berikut: max adalah elemen ke ij dari matrik dimana 2.37 dan adalah parameter yang bersesuaian tuning parameter. Untuk LASSO penalty digunakan L1 penalized function dengan. Tibshirani1996. Sedangkan untuk adaptive LASSO yang pada dasarnya adalah versi pembobotan dari LASSO penalty dengan beberapa bobot terpilih yang benar. Didefinisikan bobot adaptive dengan estimasi dari 1/ untuk > 0 dan. Kemudian dengan memasukkan adaptive LASSO penalty ke persamaan 2.51 maka kita peroleh max Zou Teorema Bayes Salah satu teorema yang banyak digunakan dalam statistika yang pertama kali diterbitkan oleh seorang menteri yang juga seorang matematis bernama Thomas Bayes pada tahun Aturan ini nantinya menjadi salah satu dasar lahirnya suatu pendekatan baru dalam estimasi dan inferensi statistika yaitu metode bayesian. Teorema 2.14 Aturan Bayes Jika adalah himpunan kejadian saling asing lengkap maka untuk j k berlaku : Bain dan Engelhartd Bukti: Diberikan merupakan kejadian saling asing maka:

31 29 Dari pembahasan sebelumnya diperoleh : Sehingga Kemudian di peroleh 2.15 Analisis Bayesian. Analisis Bayesian adalah suatu analisis yang berdasarkan pada informasi sampel sample information dan informasi prior prior information. Gabungan dari informasi sampel dan informasi prioe disebut informasi posterior posterior information. Dalam analisis bayesian parameter dianggap sebagai variabel random. Parameter ini dilambangkan. Distribusi dari disebut distribusi prior dilambangkan dengan. Informasi sampel direpresentasikan sebagai perkalian densitas probabilitas x bersyarat dilambangkan dengan notasi dinamakan fungsi likelihood. Fungsi likelihood sudah dibahas di pembahasan sebelumnya Distribusi posterior Berdasarkan Subanar 2006 distribusi posterior bersyarat parameter adalah distribusi jika diberikan data observasi x yang secara matematis dinyatakan dengan: dimana dan distribusi marginal dari x adalah : Distribusi posterior pada persamaan 2.40 dengan menggunakan metode Box-Tiao ditulis dengan ; 2.43

32 Distribusi prior sekawan conjugate prior distribution Adanya kesulitan yang mungkin dihadapi dalam menghitung membuat statistisi Bayesian mengembangkan konsep tentang disribusi prior sekawan yang merupakan suatu keluarga distribusi dan bertujuan untuk menyederhanakan perhitungan. Definisi Distribusi prior sekawan Misalkan F adalah keluarga yang berkaitan dari distribusi parametrik P dari distribusi prior. Keluarga disebut keluarga sekawan conjugate family untuk F bila distribusi posterior berada dalam keluarga P untuk semua Berger1985. Sifat sekawan suatu keluarga distribusi dalam setiap situasi tergantung pada bentuk fungsi likelihood dan fungsi likelihood ini tergantung pada model statistik yang dipilih Subanar Prior tak informatif dan prior tak sejati Prior tak informatif noninformative prior adalah prior yang tidak memuat informasi tentang tidak ada yang lebih disukai dari yang lain. Sedangkan prior tidak sejati improper prior jika Estimasi titik bayesian 1 Subanar2006. Misalkan ingin dicari estimator titik dari. Dari pandangan bayesian maka persoalannya menjadi pencarian yang merupakan nilai prediksi dari bila nilai x dan distribusi posterior diketahui. Pencarian terlepas dari fungsi kerugian dan bagaimana memilih risiko bayesiannya minimum Subanar2006. Definisi Risiko Bayes didefinisikan sebagai Subanar2006. Definisi Risiko posterior didefinisikan sebagai [ ini tidak sehingga ] relatif terhadap distribusi posterior

33 31 Subanar2006. Estimator Bayes adalah estimator yang meminimumkan. Dalam praktiknya pencarian estimator bayes lebih mudah melalui estimator yang meminimumkan risiko posterior seperti yang akan ditunjukkan dalam teorema dibawah ini. Teorema Misalkan terdapat fungsi yang meminimumkan risiko posterior maka adalah estimator Bayes Subanar2006. Bukti: Akan dibuktikan untuk kasus kontinu. Untuk kasus diskret dapat dibuktikan secara analog dengan kasus kontinu. Risiko bayes untuk fungsi adalah [ ] 2.44 Integral bagian dalam pada persamaan 2.55 adalah risiko posterior. Karena tak negatif maka minimum sehingga teorema terbukti. sama dengan minimum Teorema Dalam kasus fungsi kerugian kuadratis yaitu maka estimator Bayes adalah mean dari distribusi posterior yaitu Subanar2006. Bukti: Harga yang meminimumkan 2 didapat dengan mendiferensikan terhadap dan menyamakannya dengan nol. Sehingga diperoleh

34 32 2 Karena 0 sehingga 2. Selanjutnya untuk mengecek apakah minimum maka turunan kedua dari Diperoleh 2 2 terhadap > 0. Karena >0 maka minimum dan merupakan estimator Bayes yaitu Metode markov chain monte carlo MCMC Metode MCMC adalah metode komputasi yang digunakan untuk memperoleh sampel dari distribusi posterior. Tujuan dasar metode MCMC adalah mensimulasikan nilai-nilai sampel dari distribusi posterior untuk suatu vektor parameter. Secara umum sampel yang dibangkitkan dari distribusi posterior berkorelasi namun korelasi ini cenderung menghilang seiring meningkatnya interval pengambilan sampel. Dengan demikian jika update sampel yang besar dilakukan grup terakhir dari barisan sampel sampel dari distribusi posterior. Iterasi mewakili dikenal dengan nama burn-in dan tidak mewakili sampel dari distribusi posterior Hamada et al Iterasi dalam metode MCMC harus dilakukan sampai diperoleh hasil yang konvergen. Brooks dan Gelman 1998 mengukur kekonvergenan dari m rantai dalam MCMC dengan menggunakan nilai potential scale reduction factor. dimana: m : jumlah rantai n : jumlah iterasi 1 : variabel random : nilai iterasi ke-t dari rantai ke-j 1

35 33 : rata-rata nilai pada rantai ke-j : rata-rata keseluruhan nilai Nilai diberikan secara otomatis oleh software. Apabila nilai untuk setiap parameter mendekati 1 maka iterasi dikatakan konvergen. Dilihat dari sudut pandang yang lebih umum algoritma MCMC menghasilkan random-walk dari distribusi peluang. Dengan mengambil sejumlah langkah yang cukup pada random-walk algoritma simulasi MCMC menuju ke ruang sampel yang sebanding dengan peluang posteriornya. Untuk tujuan inferensi kita dapat meringkas iterasi pada random-walk sehingga kita akan meringkas sampel independen dari distribusi posterior Gibbs sampling Algoritma Gibbs sampling merupakan salah satu algoritma yang menerapkan metode MCMC. Dalam algoritma ini dibutuhkan distribusi posterior lengkap untuk semua parameter. Anggap bahwa vektor parameter dipartisi menjadi q komponen bersyarat lengkap dengan : dapat dan dinotasikan distribusi Berikut adalah alur dari algoritma Gibbs sampling: 1. Inisialisai nilai 2. Membangkitkan 3. Membangkitkan ~ ~ 4. Melakukan dengan analog hingga membangkitkan Membangkitkan ~ 5. Mengulangi kembali kangkah 2 sampai 4 sebanyak jumlah iterasi.

36 Pemilihan Model MSE Mean Square Error dan Kriteria dalam pemilihan model terbaik ada beberapa macam diantaranya yaitu dengan menggunakan nilai SSE dan memiliki nilai MSE terkecil dan. Model terbaik adalah model yang terbesar. Rumus untuk mencari MSE dan adalah sebagai berikut: dengan adalah data hasil observasi adalah data hasil estimasi dan n adalah jumlah observasi dan p adalah jumlah variabel independen ditambah kontan. 1 dimana rata data hasil observasi. Zulaela dimana adalah rata-