PEMILIHAN MODEL REGRESI TERBAIK DENGAN BAYESIAN INFORMATION CRITERION (BIC) oleh NURUL KUSTINAH M

Transkripsi

1 PEMILIHAN MODEL REGRESI TERBAIK DENGAN BAYESIAN INFORMATION CRITERION (BIC) oleh NURUL KUSTINAH M SKRIPSI ditulis dan diajukan untuk memenuhi sebagian persyaratan memperoleh gelar Sarjana Sains Matematika FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2012

2 SKRIPSI PEMILIHAN MODEL REGRESI TERBAIK DENGAN BAYESIAN INFORMATION CRITERION (BIC) yang disiapkan dan disusun oleh NURUL KUSTINAH M Pembimbing I dibimbing oleh Pembimbing II Dra. Yuliana Susanti, M.Si Bowo Winarno, S.Si, M.Kom NIP NIP telah dipertahankan di depan Dewan Penguji pada hari Senin, 2 Januari 2012 dan dinyatakan telah memenuhi syarat. Anggota Tim Penguji Tanda Tangan 1. Dra. Respatiwulan, M.Si 1. NIP Drs. Siswanto, M.Si 2. NIP Surakarta, 2 Januari 2012 Disahkan oleh Fakultas Matematika dan Ilmu Pengetahuan Alam Dekan Ketua Jurusan Matematika Ir. Ari Handono Ramelan, MSc., PhD NIP Irwan Susanto, DEA NIP ii

3 ABSTRAK Nurul Kustinah, PEMILIHAN MODEL REGRESI TERBAIK DENGAN BAYESIAN INFORMATION CRITERION (BIC). Fakultas Matematika dan Ilmu Pengetahuan Alam. Universitas Sebelas Maret. Pemilihan model regresi linear terbaik adalah memilih model regresi linear yang memiliki kecocokan dengan data. Terdapat beberapa kriteria sebagai tolak ukur untuk menilai suatu kecocokan model dengan data, salah satu satunya adalah BIC. BIC merupakan metode pemilihan model terbaik dari beberapa kandidat model. Kriteria pemilihan model dengan menggunakan BIC didasarkan pada teorema Bayesian dan metode MLE. Tujuan dari penelitian ini adalah mengkaji ulang metode BIC dan menerapkannya dalam pemilihan model regresi terbaik. Berdasarkan hasil penelitian menunjukkan bahwa BIC memiliki bentuk umum yaitu = 2ln + ln. Dalam memilih model regresi terbaik dengan BIC dilakukan dengan memilih model dengan nilai BIC terkecil yang didapat dari =ln2 +ln + ln +1. Kata kunci: regresi linear, teorema Bayesian, MLE, BIC. iii

4 ABSTRACT Nurul Kustinah, THE BEST SELECTION REGRESSION MODEL WITH BAYESIAN INFORMATION CRITERION (BIC). Faculty of Mathematics and Natural Sciences. Sebelas Maret University. The best regression model selection is method for selection the most appropriate fit between the regression model and the data. There are several criterias as a benchmark to evaluate the suitability of the model with data, one of them is BIC. BIC is a method in model selection to choose the best of several candidate models. Criteria for model selection using BIC is based on Bayesian theorem and MLE. The aims of this research are to review the BIC and apply it in the best regression model selection. Based on the results, BIC has the general form = 2ln + ln. In selecting the best regression model with BIC performed by selecting the model with the smallest BIC value obtained from =ln2 +ln + ln +1. Keywords: linear regression, Bayesian theorem, MLE, BIC. iv

5 MOTO Sesungguhnya sesudah kesulitan itu ada kemudahan. (QS. Alam Nasyrah: 6) Dan Dia mendapatimu sebagai seorang yang bingung, lalu Dia beri petunjuk. (QS: Ad-Duhaa ayat 7) Jangan pernah menghindar dan selalu berkata tidak, majulah ke depan, hadapi hidupmu dan berkatalah, ya, aku bisa! v

6 PERSEMBAHAN Alhamdulillahirobbil aalamiin... Karya ini kupersembahkan untuk Ibu dan Bapak tercinta Yang tiada henti mendoakan aku Kakakku Mas Rochim dan mbak Ita Adikku Tirta dan Riyanti Kak Gilang dan keluarga atas semua fasilitasnya Valui Aditya dengan bantuan laptopnya Damar, Bili, Uswa, Desi, Umi, Siti & Ahmad yang memberi semangat vi

7 KATA PENGANTAR Puji syukur penulis panjatkan kehadirat Tuhan Yang Maha Esa atas segala rahmat dan hidayah-nya sehingga penulis dapat menyelesaikan skripsi ini. Selain itu, penulis mengucapkan terima kasih kepada seluruh pihak yang telah membantu dalam penyusunan skripsi ini. 1. Dra. Yuliana Susanti, M.Si dan Bowo Winarno, S.Si, M.Kom selaku Dosen Pembimbing I dan Dosen Pembimbing II yang telah memberikan bimbingan kepada penulis. 2. Endah Krisna Murti yang telah memberi bantuan diskusi materi kepada penulis. 3. Semua pihak yang telah membantu sehingga skripsi ini dapat selesai. Semoga skripsi ini bermanfaat untuk semua pihak. Surakarta, 2 Januari 2012 Penulis vii

8 DAFTAR ISI Halaman JUDUL... i PENGESAHAN... ii ABSTRAK... iii ABSTRACT... iv MOTO... v PERSEMBAHAN... vi KATA PENGANTAR... vii DAFTAR ISI... viii DAFTAR GAMBAR... ix DAFTAR TABEL... xi BAB I PENDAHULUAN Latar Belakang Masalah Rumusan Masalah Tujuan Penelitian Manfaat Penelitian... 2 BAB II LANDASAN TEORI Tinjauan Pustaka Probabilitas Bersyarat Estimasi Maksimum Likelihood Distribusi Prior dan Distribusi Posterior Teorema Bayes Faktor Bayes Uji Asumsi Klasik Analisis Model Regresi Kerangka Pemikiran BAB III METODE PENELITIAN BAB IV PEMBAHASAN Bayesian information criterion(bic) viii

9 4.2 BIC dalam Regresi Contoh Aplikasi pemilihan Model Regresi Terbaik dengan BIC BAB V PENUTUP Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN ix

10 DAFTAR GAMBAR Halaman Gambar 2.1 Gambar 4.1 Pola plot residu terhadap... Plot probabilitas dari residu Gambar 4.2 Plot residu dengan x

11 DAFTAR TABEL Halaman Tabel 4.1 Hasil Uji Multikolinearitas Tabel 4.2 Hasil Uji F Tabel 4.3 Hasil Uji t Tabel 4.4 Nilai BIC dari model xi

12 BAB I PENDAHULUAN 1.1 Latar Belakang Masalah Analisis regresi adalah teknik statistik yang digunakan untuk menyelidiki dan memodelkan hubungan antara variabel-variabel yang terdiri dari variabel independen dan variabel dependen. Model regresi adalah suatu cara untuk mengetahui kecenderungan perubahan variabel dependen Y yang berubah sesuai perubahan variabel independen X. Model regresi dapat digunakan untuk beberapa tujuan antara lain untuk deskripsi data, estimasi dan prediksi. Penerapan dari regresi sangat banyak dan dapat ditemukan hampir disetiap bidang ilmu pengetahuan. Penerapan regresi diantaranya dapat ditemukan dalam analisis runtun waktu, ilmu ekonomi, biologi, dan ilmu sosial (Sembiring,1995). Pada analisis regresi hubungan antara variabel dependen (Y) dan beberapa variabel independen (X) dapat dinyatakan dengan suatu model regresi linear yaitu = , dengan adalah banyaknya variabel independen, adalah parameter dan adalah sesatan random dengan asumsi ~ (0; ), untuk =1,2,, (Neter dan Wasserman, 1996). Ada beberapa metode pemilihan model regresi terbaik, diantaranya adalah metode Akaike s Information Criterion (AIC) dan Bayesian Information Criterion (BIC). BIC merupakan salah satu kriteria pemilihan model terbaik dimana konsep dari metode ini dikemukakan oleh Schwarz (1978). Perumusan BIC menggunakan teorema Bayesian untuk menentukan probabilitas posterior. Estimasi parameter dalam model regresi menggunakan MLE. Kemudian BIC digunakan untuk pemilihan model regresi. Hasil pemilihan model dengan BIC cukup akurat karena jumlah parameter dalam model diperhatikan. Dalam penelitian ini, penulis mengkaji ulang metode BIC dan menerapkannya dalam regresi linear. 1

13 2 1.2 Perumusan Masalah Berdasarkan uraian dalam latar belakang masalah, dapat dirumuskan permasalahan yaitu bagaimana menurunkan ulang metode BIC dan penerapan BIC dalam pemilihan model regresi terbaik. 1.3 Tujuan Penelitian Tujuan yang ingin dicapai adalah menjelaskan metode BIC dan menerapkan BIC dalam regresi linear. 1.4 Manfaat Penelitian Memberikan pemahaman yang lebih tentang BIC untuk pemilihan model regresi terbaik dan sebagai bahan referensi penelitian yang akan datang.

14 BAB II LANDASAN TEORI 2.1 Tinjauan Pustaka Pada bagian pertama dari bab ini diberikan tinjauan pustaka yang terdiri dari definisi maupun teorema sebagai dasar pengertian untuk mempermudah pembahasan selanjutnya. Pada bagian kedua dari bab ini disusun kerangka pemikiran yang menjelaskan alur dalam penulisan skripsi ini. Berikut ini akan diberikan beberapa definisi dan pengertian yang mendukung pemilihan model regresi terbaik berdasarkan metode BIC Probabilitas bersyarat Pengertian tentang probabilitas bersyarat peristiwa A jika diketahui B telah terjadi ditulis sebagai pada dua kejadian independen dan fungsi likelihood diberikan pada definisi dan teorema berikut menurut Bain dan Engelhardt(1992). Definisi 2.1. Diberikan suatu percobaan dengan S sebagai ruang sampel dan A 1, A 2, A 3,,A n merupakan kejadian asing yang mungkin terjadi. Sebuah fungsi yang mengawankan nilai real dari P(A) dengan setiap kejadian A disebut probabilitas dari A, dinotasikan P(A), jika memenuhi : 1. 0 untuk setiap himpunan bagian 2. P (S) = = Probabilitas terjadinya suatu peristiwa A, bila diketahui peristiwa B telah terjadi disebut probabilitas bersyarat dan dinotasikan. Definisi 2.2 S suatu ruang sampel dan A, B adalah peristiwa-peristiwa di dalam S. Probabilitas bersyarat P(A B) didefinisikan sebagai =. 3

15 4 Definisi 2.3. S adalah suatu ruang sampel dari suatu percobaan. A 1, A 2,..., A k adalah peristiwa-peristiwa di dalam S, sedemikian hingga = untuk setiap dan =. Dikatakan bahwa A 1, A 2,..., A k membentuk partisi dalam S. Teorema 2.1. (Teorema Probabilitas Total). Jika A=[ A 1, A 2,..., A k ] adalah partisi S dan B sebarang peristiwa anggota S, maka P(B)=P(B A 1 )P(A 1 )+P(B A 2 )P(A 2 )+... +P(B A k )P(A k ) Estimasi Maksimum Likelihood Pengertian tentang estimasi maksimum likelihood yang diberikan pada definisi berikut menurut Bain dan Engelhardt(1992). Definisi 2.4. Fungsi kepadatan bersama dari n variabel random,,, pada,,, dilambangkan dengan,,, ; dengan dimana adalah ruang parameter yang tidak diketahui dinyatakan dengan fungsi likelihood. Untuk,,, yang tetap fungsi likelihood adalah fungsi dari dan dinotasikan. Jika,,, mewakili sampel random dari, maka, = ; = ; ; ;. Definisi 2.5. Misalkan =,,, ; dengan, adalah fungsi kepadatan bersama dari variabel random,,. Untuk himpunan pengamatan,,,, suatu nilai dalam yang memaksimumkan disebut sebagai estimator maksimum likelihood dari. Secara sistematis ditulis,,,, ; =,,, ;. Memaksimumkan log lebih mudah dibandingkan memaksimumkan sehingga dapat ditulis sebagai, log,,, ; =,,, ;.

16 5 Apabila Ω adalah interval terbuka dari L( yang differensiabel dan diasumsikan maksimum pada Ω, maka estimator maksimum likelihood dari diperoleh dengan menyelesaikan persamaan =0. Jika terdapat lebih dari satu penyelesaian untuk maka dicari penyelesaian yang memaksimumkan L( dengan membandingkan penyelesaian untuk yang telah diperoleh. Kemudian dicari turunan kedua dari L(. Bila nilainya negatif maka penyelesaian untuk tersebut merupakan estimator maksimum. Kegunaan MLE dalam mendapatkan estimator parameter dari suatu distribusi dapat digunakan untuk menyusun suatu matriks yang disebut matriks informasi Fisher. Invers dari matriks ini disebut matriks invarian-kovarian. Untuk menentukan variansi dan kovariansi yang asimtotik dari estimator maka dikonstruksikan sebuah matriks informasi I dengan elemen ke- adalah : I = log ; Invers matriks, I adalah matriks varian-kovarian dari. Var =I dan cov, =I Distribusi Prior dan Distribusi Posterior Definisi distribusi prior dan distribusi posterior di bawah ini menurut Larson (1974). Deinisi 2.6. Distribusi prior dari suatu parameter merupakan fungsi kepadatan probabilitas yang menggambarkan tingkat keyakinan nilai. Sebagaimana ditulis oleh Larson, distribusi prior tersebut diperoleh sebelum melakukan analisis data. Definisi 2.7. Fungsi kepadatan posterior untuk merupakan fungsi kepadatan probabilitas bersyarat diberikan nilai sampel y, sehingga

17 6 =,. Secara umum, distribusi posterior menggambarkan tingkat keyakinan terhadap kemungkinan nilai parameter setelah diberikan nilai sampel Teorema Bayes Percobaan awal yang telah dilakukan akan berpengaruh terhadap hasil percobaan sekarang. Untuk menghitung probabilitas kejadian sekarang dengan syarat kejadian awal dijelaskan dalam teorema Bayes. Teorema 2.2 di bawah ini diambil dari Bain dan Engelhardt (1992), sedangkan teorema 2.3 dan teorema 2.4 diambil dari Walpole dan Myers (1995). Teorema 2.2. Jika A dan B adalah dua kejadian sebarang, maka = +. Akibatnya jika A dan B adalah kejadian yang saling asing, maka = sehingga = +. Selanjutnya jika,,, saling asing, maka = Teorema 2.3. Misal kejadian,,, merupakan kejadian yang saling asing dari ruang sampel S dengan 0 untuk =1,2,,. Maka untuk setiap kejadian A anggota S, = =. Teorema 2.4. Misal kejadian,,, merupakan kejadian yang saling asing dari ruang sampel S dengan 0 untuk =1,2,,. Misalkan A suatu kejadian sebarang dalam S dengan 0, maka = =, untuk =1,2,,. Teorema 2.4 disebut sebagai teorema Bayes. Teorema Bayes memberikan aturan untuk menghitung probabilitas bersyarat peristiwa diberikan A, jika masingmasing probabilitas tak bersyarat dan probabilitas bersyarat A yang diberikan diketahui. Untuk selanjutnya, disebut probabilitas prior, disebut sebagai fungsi likelihood dan disebut fungsi probabilitas posterior.

18 Faktor Bayes Dari sampel random ={,,, } diberikan model, yaitu : {,,, }. Misalkan bahwa ( ) adalah fungsi kepadatan dari data dan merupakan fungsi kepadatan priornya, dimana parameter tidak diketahui serta Θ, untuk i=1, 2,...,. Jika distribusi prior dari model-model tersebut adalah,,, maka distribusi posteriornya adalah dengan = =. adalah distribusi marginal dari data sampel pada model. Jadi rasio probabilitas posterior untuk 2 model dan adalah = = = dengan adalah faktor Bayes untuk model dan dari data sampel, ditulis =. Faktor Bayes sangatlah berhubungan dengan distribusi prior, hal ini dikarenakan faktor Bayes didefinisikan dengan rasio dari distribusi marginal yang bergantung pada nilai-nilai absolut dari prior-prior (Kass and Raftery, 1995).

19 Uji Asumsi Klasik Normalitas Gujarati (1995) menjelaskan bahwa pada regresi linear klasik diasumsikan bahwa tiap didistribusikan secara normal dengan ~ 0,. Salah satu cara untuk menguji asumsi kenormalan adalah dengan uji Kolmogorov-Smirnov. Pengujian hipotesis yang digunakan adalah sebagai berikut : a. : Data berdistribusi normal Data tidak berdistribusi normal b. Tingkat signifikasi c. Daerah kritis: ditolak jika > d. Statistik uji =, =1,2,,. dengan, : fungsi distribusi frekuensi kumulatif relatif dari distribusi teoritis di bawah. : distribusi frekuensi kumulatif pengamatan sebanyak sampel. e. Kesimpulan : Jika ditolak maka data tidak berdistribusi normal Heteroskedastisitas Uji heterokedastisitas bertujuan untuk mengetahui apakah variansi konstan. Pendeteksian kesamaan variansi dapat dilakukan dengan membuat plot sisa terhadap. Plot yang diperoleh seharusnya tidak menghasilkan pola tertentu dan terkumpul di sekitar garis lurus yang melalui titik nol. Montgomery dan Peck (1992) menggambarkan beberapa plot sisa terhadap sebagai berikut

20 9 (a) (b) (c) (d) Gambar 2.1 Pola plot residu terhadap Jika hasil plot mirip pola pada Gambar 2.1a maka berarti asumsi homogenitas variansi dipenuhi karena titik tersebar. Pada Gambar 2.1b menunjukkan bahwa titik tersebar dengan variansi tidak konstan (heteroskedastisitas). Pola pada Gambar 2.1c seharusnya tidak akan muncul kecuali kalau ada kesalahan dalam perhitungan. Pola Gambar 2.1d menunjukkan model yang digunakan kurang tepat, atau perlu dilakukan transformasi Mutikolinearitas Menurut Montgomery dan Peck (1992), salah satu cara mendeteksi adanya multikolinearitas dalam model adalah dengan nilai tolerance dan VIF (Variance Inflation Factors). Matriks = adalah matriks untuk mendeteksi adanya multikolinearitas dengan merupakan diagonal matriks yang dapat ditulis 1 = = 1

21 10 dengan adalah nilai koefisien determinasi atau ketika yang diregresikan dengan variabel bebas selain. adalah faktor perubahan variansi dalam variabel bebas ke-j. Nilai >10 menunjukkan multikolinearitas yang kuat Autokorelasi Autokorelasi adalah suatu keadaan kesalahan gangguan dari periode tertentu berkorelasi dengan kesalahan gangguan dari periode sebelumnya. Jika kesalahan gangguan periode dengan 1 berkorelasi maka terjadi korelasi tingkat pertama. Autokorelasi dapat dideteksi dengan berbagai cara antara lain dengan uji Durbin Watson. Langkah-langkah pengujian autokorelasi dengan Durbin Watson adalah sebagai berikut (Gujarati, 1995): 1. Melakukan regresi kuadrat terkecil biasa dan memperoleh residu 2. Menghitung nilai (statistik Durbin Watson ), dengan = 3. Mencari nilai (batas bawah Durbin Watson) dan (batas atas Durbin Watson) untuk ukuran sampel dan banyaknya variabel independen tertentu. 4. Jika adalah tidak terdapat autokorelasi positif, maka jika < : menolak > : tidak menolak : pengujian tidak meyakinkan 5. Jika adalah tidak terdapat autokorelasi negatif, maka jika >4 : menolak <4 : tidak menolak 4 4 : pengujian tidak meyakinkan 6. Jika adalah tidak terdapat autokorelasi positif atau negatif, maka jika < : menolak >4 : menolak < <4 : tidak menolak : pengujian tidak meyakinkan 4 4 : pengujian tidak meyakinkan

22 Analisis Model Regresi Uji Serempak (Uji F) Menurut Supranto (1995) uji serempak dilakukan untuk mengetahui apakah variabel independen berpengaruh secara bersama-sama terhadap variabel dependen. Sebelum pengujian hipotesis akan dicari perumusan terlebih dahulu dengan, : Rataan Kuadrat Regresi : Rataan Kuadrat Sisa = / 1 / = Pengujian hipotesis yang digunakan adalah sebagai berikut : a. : = = = =0 (variabel independen secara bersama-sama tidak mempunyai pengaruh yang signifikan terhadap variabel dependen) 0, untuk =1,2,, (variabel independen secara bersama-sama mempunyai pengaruh yang signifikan terhadap variabel dependen) b. Tingkat signifikasi c. Daerah kritis: ditolak jika >,, d. Statistik uji = e. Kesimpulan : Jika ditolak maka variabel independen secara bersama-sama mempunyai pengaruh yang signifikan terhadap variabel dependen Uji Parsial (Uji t) Menurut Supranto (1995) uji parsial dilakukan untuk mengetahui pengaruh variabel independen secara individual terhadap variabel dependen, dengan menganggap variabel independen lainnya konstan. Pengujian hipotesis yang digunakan adalah sebagai berikut : a. : =0, untuk =1,2,, (tidak ada pengaruh yang signifikan antara variabel independen ke-j terhadap variabel dependen)

23 12 0, untuk =1,2,, (ada pengaruh yang signifikan antara variabel indenpenden ke-j terhadap variabel dependen) b. Tingkat signifikasi c. Daerah kritis, ditolak jika > /, atau < /, d. Statistik uji dengan, = = koefisien regresi independen = sesatan standar dari koefisien regrsi. e. Kesimpulan : Jika ditolak maka ada pengaruh yang signifikan antara variabel independen ke-j terhadap variabel dependen. 2.2 Kerangka Pemikiran BIC merupakan suatu metode pemilihan model dengan menerapkan beberapa teorema Bayesian dan MLE dalam penurunan rumusnya. Selanjutnya hasil penurunan rumus yang diperoleh diterapkan dalam regresi linear. Rumus yang diperoleh untuk regresi diterapkan untuk menentukan model terbaik pada suatu data. Data diregresikan dengan regresi linear kemudian sesatan model diuji dengan asumsi klasik regresi linear yaitu normalitas, tidak terdapat multikolinearitas, tidak terdapat heteroskedastisitas dan tidak terdapat autokorelasi. Kemudian model dipilih sebagai model terbaik menurut metode BIC.

24 BAB III METODE PENELITIAN Pada penelitian ini, metode yang digunakan adalah studi literatur dan penerapan kasus, dengan pengumpulan bahan melalui buku-buku referensi dan karya ilmiah yang meliputi hasil-hasil penelitian dan jurnal. Adapun langkah penelitian sebagai berikut. 1. Menurunkan rumus Bayesian Information Criterion (BIC) sehingga diperoleh bentuk umum BIC. 2. Menentukan rumus BIC berdasarkan bentuk umum yang diperoleh pada langkah nomor 1 untuk memilih model regresi terbaik. 3. Menentukan data yang digunakan kemudian uji residu data dengan uji asumsi klasik regresi linear 4. Pilih model regresi terbaik dengan metode BIC, dimana nilai BIC dihitung dengan cara a. Hitung nilai dari masing-masing kombinasi model b. Hitung nilai ln dari masing-masing kombinasi model c. Hitung nilai ln2 d. Hitung nilai BIC dari masing-masing kombinasi model yang diperoleh dari =ln2 +ln + ln +1 e. Pilih model dengan nilai BIC terkecil sebagai model terbaik 13

25 BAB IV PEMBAHASAN BIC merupakan metode pemilihan model terbaik dari beberapa kandidat model. Konsep BIC pertama kali diperkenalkan oleh Schwarz (1978), BIC yang dikembangkan oleh Schwarz ini menggunakan beberapa teorema Bayesian, sehingga BIC dikenal juga dengan Schwarz s Bayesian Information Criterion (SBIC) dan ada juga yang menyebutnya dengan Schwarz Bayesian Criterion (SBC). Metode pemilihan model dengan menggunakan BIC didasarkan pada metode MLE dan teorema Bayesian. Dalam memilih model terbaik dengan metode BIC dipilih model dengan nilai BIC terkecil. Semakin kecil nilai BIC semakin baik modelnya. Hal ini dikarenakan dengan meningkatnya akan meningkatkan nilai BIC. Oleh karena itu, dipilih nilai BIC terkecil (Fathurahman, 2009). 4.1 Bayesian Information Criterion (BIC) BIC adalah metode pemilihan model dari beberapa kandidat model. Bentuk umum BIC dicari untuk n data sampel =,,,, berdasarkan data sampel tersebut akan dipilih suatu model terbaik dari l model yang mungkin yaitu,,,, dimana,,, dan 1,2,,. Model digambarkan dengan probabilitas, dimana Θ adalah vektor parameter dari dan merupakan fungsi likelihoodnya dengan adalah estimasi maksimum likelihood dari parameter. Misalkan adalah prior diskrit pada model,,, dan adalah prior untuk parameter dari model. Dengan menerapkan teorema Bayes, joint posterior dari dan dapat ditulis menjadi :, = 14

26 15 dimana merupakan distribusi marginal dari. Berdasarkan data sampel, probabilitas posterior model dapat ditulis = (4.1). Dalam pemilihan model dengan aturan Bayes, akan memilih model yang memberikan probabilitas posterior terbesar. Meminimumkan nilai 2ln sebagai lawan memaksimumkan. Sehingga diperoleh 2ln =2ln 2ln 2ln g. Karena nilai suatu konstanta tetap untuk model, maka untuk tujuan model seleksi bentuk 2 dapat disederhanakan, sehingga diperoleh 2ln ) 2ln( ) 2ln g = (4.2). Pada bentuk L g, dengan mengambil ekspansi deret taylor orde ke-2 dari log Likelihood di sekitar, bentuk ln dapat ditulis ln ln + ln ln =ln [ Ι, ] (4.3) dengan Ι, =. Ι, merupakan rata-rata pengamatan matriks informasi Fisher. Dengan mengubah bentuk persamaan (4.3) ke dalam bentuk anti ln menjadi L exp [ Ι, ] (4.4) Dari persamaan (4.4) maka bentuk g (4.2) dapat ditulis menjadi dalam persamaan ( ) 0 g( ) = 0 ( ) exp { 1 ( 2 ) [ Ι (, )] ( )}g( ) (4.5).

27 16 Karena g =1 maka persamaan (4.5) dapat ditulis menjadi g θ k = exp Ι, g = exp 1 2 Ι, = 2π nι θ sehingga = 2π n [Ι, ] = 2ln 2ln g = 2ln 2ln{ 2π n [Ι, ]} = 2ln 2ln +p ln ln2π+lnι, (4.6). Karena bentuk 2ln, ln2π dan ln Ι, suatu konstanta tetap untuk model, persamaan (4.6) dapat disederhanakan menjadi dengan, : fungsi maksimum likelihood : jumlah parameter model : banyaknya data. 2ln + ln = 2ln + ln (4.7) Model yang dipilih dengan persamaan (4.7) adalah model yang memberikan nilai BIC minimum (Cavanaugh, J.2005).

28 BIC dalam Regresi Metode BIC didasarkan pada metode MLE. Metode MLE ini digunakan untuk mencari fungsi maksimum likelihood dari model. Sebelum melakukan pemilihan model dalam kasus regresi linear dengan metode BIC, residu data harus memenuhi asumsi klasik regresi linear. Untuk mendapatkan model terbaik perlu dilihat semua kombinasi yang mungkin dari variabel independen yang berpengaruh terhadap model dan variabel dependennya. Dari kombinasi yang diperoleh tersebut dipilih model terbaik. Kombinasi yang paling baik untuk dijadikan model regresi terbaik dapat dilihat dari nilai BIC yang diperoleh. Nilai BIC yang dipilih adalah nilai BIC terkecil diantara beberapa kombinasi tersebut. Nilai BIC terkecil yang dimiliki model berarti variansinya juga terkecil diantara model yang lain. Ini berarti bahwa residu model yang dipilih kecil sehingga model cukup akurat. Untuk menentukan nilai BIC dalam model regresi linear perlu diketahui rumus yang digunakan. Penurunan rumus tersebut dapat diketahui berdasarkan penjelasan di bawah ini. Bentuk dalam persamaan (4.7) disubtitusikan dengan fungsi maksimum likelihood untuk regresi linear yaitu,, sehingga diperoleh = 2ln,, + ln (4.8) dengan,,, : fungsi maksimum likelihood : banyaknya parameter : banyaknya data. Karena residu data mengikuti distribusi normal maka dapat dituliskan bentuk umum fungsi likelihoodnya, sebagai berikut,, = (4.9)

29 18 Selanjutnya persamaan (4.7) diubah ke dalam bentuk ln sehingga ln,, = 2 ln 2 2 ln 1 2 ln,, = ln 1 2 ln,, = ln 2 ln 2 + (4.10) dimana Y adalah vektor 1 dan adalah matriks. Kemudian untuk memperoleh, dicari turunan pertama dari bentuk ln,, terhadap sama dengan nol, maka diperoleh = =0 = 1 2 [ 2 +2 ]=0 1 [ ]=0 = Kemudian mengalikan kedua ruas dengan diperoleh =. Sehingga diperoleh persamaan untuk sebagai berikut =. Kemudian untuk memperoleh, dicari turunan pertama dari bentuk ln,, terhadap sama dengan nol, maka diperoleh ln = [ ]=0 1 2 [ ]= 2 [ ]= (4.11) Sehingga diperoleh persamaan untuk sebagai berikut = [ ].

30 19 Persamaan (4.10) disubtitusikan ke dalam persamaan (4.8), maka diperoleh = 2 2 ln 2 2 ln ln = ln2 + ln + [ 2 + ]+ ln (4.12) Dengan mensubtitusikan persamaan (4.11) ke dalam persamaan (4.12), maka diperoleh = ln 2 + ln + + ln = ln2 + ln + ln + = ln2 +ln + ln +1 (4.13) Karena konstan maka untuk pemilihan model persamaan (4.13) dapat disederhanakan menjadi =ln2 +ln + ln +1 (4.14) Model yang baik adalah model yang memiliki nilai variansi yang kecil. Sehingga dalam menentukan model terbaik dengan BIC dipilih model yang memiliki nilai BIC yang terkecil sesuai persamaan (4.14). 4.3 Contoh Aplikasi Pemilihan Model Regresi Terbaik dengan BIC Metode BIC dapat diterapkan dalam regresi linear. Sebagai penerapan dari metode BIC digunakan data dari Badan Pusat Statistik tahun 2009 dengan produksi padi sebagai, jumlah benih sebagai, luas panen sebagai, dan produktivitas padi sebagai, yang dapat dilihat pada lampiran 1. Data diuji apakah ada pelanggaran asumsi klasik yaitu normalitas, tidak terdapat multikolinearitas, tidak terdapat heteroskedastisitas dan tidak terdapat autokorelasi. Data diregresikan dengan regresi linear biasa, diperoleh persamaan = (lampiran5). Kemudian residu dari persamaan regresi linear tersebut diuji memenuhi asumsi normalitas, multikolinearitas heteroskedastisitas dan autokorelasi.

31 20 1. Asumsi Normalitas Pengujian kenormalan digunakan untuk mengetahui apakah residu berdistribusi normal atau tidak. Plot kenormalan untuk residu dari model produksi padi disajikan pada gambar 4.1. Probability Plot of RESI1 Normal Percent Mean E-11 StDev N 33 KS P-Value RESI Gambar 4.1 Plot probabilitas dari residu Gambar 4.1 terlihat bahwa pola penyebaran residu mengikuti garis lurus, ini berarti asumsi kenormalan pada residu dipenuhi. Untuk menguji kenormalan dapat juga digunakan uji Kolmogorov-Smirnov sebagai berikut a. residu berdistribusi normal residu tidak berdistribusi normal b. Tingkat signifikasi = 0.05 c. Daerah kritis, ditolak jika p-value < = 0.05 d. Statistik uji Dari Gambar 4.1 terlihat bahwa p-value = e. Kesimpulan Karena nilai p-value = 0.095> 0.05 maka tidak ditolak yang berarti residu berdistribusi normal.

32 21 2. Uji Multikolinearitas Uji multikolinieritas bertujuan untuk mengetahui apakah terdapat korelasi antara variabel independen dalam model regresi. Berdasarkan perhitungan nilai VIF sesuai lampiran 2 didapatkan, Tabel.4.1 Hasil Uji Multikolinearitas No Variabel VIF Kesimpulan Tidak terdapat multikolinearitas Tidak terdapat multikolinearitas Tidak terdapat multikolinearitas Berdasarkan tabel 4.1 diperoleh nilai VIF semua variabel independen kurang dari 10 sehingga asumsi tidak terdapat multikolinearitas terpenuhi. 3. Uji Heteroskedastisitas Versus Fits (response is y) Residual Fitted Value Gambar 4.2. Plot residu dengan Berdasarkan gambar 4.2 menunjukkan plot tidak membentuk pola tertentu sehingga asumsi tidak terdapat heteroskedastisitas terpenuhi. 4. Uji Autokorelasi Autokorelasi diartikan sebagai korelasi antara anggota serangkaian observasi yang diurutkan menurut waktu. Uji non autokorelasi dapat dideteksi dengan uji Durbin Watson (d).

33 22 a. =0, artinya tidak ada autokorelasi 0, artinya ada autokorelasi b. Tingkat signifikasi = 0.05 c. Daerah kritis: Pada =3 dan =33 serta = 0.05 diperoleh nilai = 1.26 dan = 1.65 sesuai lampiran 4, sehingga 4 =2.74 dan 4 =2.35 d. Statistik Uji Berdasarkan uji Durbin Watson (d) didapatkan nilai =1.724 sesuai lampiran 3. e. Kesimpulan Karena = < =1.724<4 =2.3455, maka dapat disimpulkan asumsi tidak terdapat autokorelasi terpenuhi. Selanjutnya dilakukan pengujian parameter yaitu uji simultan dan uji parsial. Uji simultan untuk model dengan tiga variabel independen yaitu,, dan adalah a. =0, =1,2,3 (variabel independen, dan secara simultan tidak berpengaruh terhadap variabel dependen Y) b. 0, =1,2,3.(variabel independen, dan secara simultan berpengaruh terhadap variabel dependen Y) c. Tingkat signifikasi = 0.05 d. Daerah Kritis, ditolak jika >,, e. Statistik Uji Dari tabel 4.2 terlihat bahwa = f. Kesimpulan Karena nilai =901.71>.,, =3.93 maka ditolak yang berarti bahwa variabel independen, dan secara simultan berpengaruh terhadap variabel dependen Y.

34 23 Tabel 4.2 Hasil Uji F Sumber variasi Derajat bebas Jumlah kuadrat Rata-rata kuadrat P-value Regresi E E Sisa E E+11 Total E+14 Kemudian dilakukan uji parsial untuk mengetahui ada atau tidaknya pengaruh,, dan terhadap Y. Uji parsial untuk model dengan tiga variabel independen yaitu,, dan adalah a. : =0, untuk =1,2,3 (tidak ada pengaruh yang signifikan antara variabel independen ke-j terhadap variabel dependen) 0, untuk =1,2,3 (ada pengaruh yang signifikan antara variabel indenpenden ke-j terhadap variabel dependen) b. Tingkat signifikasi =0.05 c. Daerah kritis, ditolak jika > /, atau < /, atau p-value < =0.05 d. Statistik uji Dari tabel 4.3 terlihat bahwa a. Nilai h variabel sebesar 1.45 b. Nilai h variabel sebesar c. Nilai h variabel sebesar 2.26 e. Kesimpulan : a. Karena =1.45>., =2.045 maka tidak ditolak yang berarti bahwa tidak ada pengaruh yang signifikan dari variabel independen terhadap variabel dependen. b. Karena =40.98>., =2.045 maka ditolak yang berarti bahwa ada pengaruh yang signifikan dari variabel independen terhadap variabel dependen. c. Karena =2.26>., =2.045 maka ditolak yang berarti bahwa ada pengaruh yang signifikan dari variabel independen terhadap variabel dependen.

35 24 Tabel 4.3 Hasil Uji t Variabel Koefisien p-value Konstanta X X X Karena tidak mempunyai pengaruh yang signifikan terhadap maka variabel tidak dimasukkan dalam kombinasi model, hanya kombinasi model dari variabel dan yang akan dimasukkan dalam kombinasi model dan dipilih sebagai model terbaik menurut metode BIC. Sehingga ada 2 =4 kombinasi model dan ada 3 kombinasi model yang akan dipilih. Nilai BIC dalam tabel 4.4 menurut rumus pada persamaan (4.14) dapat dihitung dengan: a. Hitung nilai dari masing-masing kombinasi model b. Hitung nilai ln dari masing-masing kombinasi model c. Hitung nilai ln2 d. Hitung nilai BIC dari masing-masing kombinasi model yang diperoleh dari ln2 +ln + ln +1 e. Pilih model dengan nilai BIC terkecil. No Variabel independen Tabel 4.4 Nilai BIC dari Model ln ln = ln2 +ln + ln +1 1 X X X,X

36 25 Model terbaik menurut metode BIC adalah model dengan nilai BIC terkecil. Berdasarkan tabel 4.4 model yang memiliki nilai BIC terkecil adalah model yang dipengaruhi oleh variabel independen dan yaitu variabel independen luas panen dan produktivitas padi. Model tersebut mempunyai BIC sebesar Sehingga berdasarkan output minitab pada lampiran 5 diperoleh persamaan = Hal ini berarti, untuk setiap kenaikan satu hektar luas panen menaikkan nilai produksi padi sebesar 5.56 ton dan untuk setiap kenaikan satu kuintal/hektar produktivitas padi menaikkan nilai produksi padi sebesar ton. Jika dan bernilai nol maka produksi padi sebesar ton. Berarti, jika dan bernilai nol maka produksi padi akan mengalami kerugian sebesar ton.

37 BAB V PENUTUP 5.1 Kesimpulan Berdasarkan hasil dari pembahasan pada bab 4 dapat ditarik suatu kesimpulan sebagai berikut : 1. Bentuk umum BIC yang dirumuskan dengan menerapkan teorema Bayes dalam mencari probabilitas posterior model, dapat ditulis = 2ln + ln. 2. Model regresi terbaik dengan metode BIC diperoleh dengan memilih model yang memiliki nilai BIC terkecil. Nilai BIC dalam regresi dihitung dengan =ln2 +ln + ln Saran BIC merupakan salah satu metode pemilihan model yang memiliki hasil cukup akurat. Bagi pembaca yang tertarik pada pemilihan model terbaik dengan BIC dapat mengembangkan penggunaan BIC dalam analisis runtun waktu. 26

38 27 DAFTAR PUSTAKA Bain, L.J, and Engelhardt, M. (1992). Introduction to Probability and Mathematical Statistic, Second ed.,duxbury Press, Inc, California. Cavanaugh, J. (2005) Model Selection, The Schwarz Information criterion (SIC). Department Biostatistics. The University of Lowa. google search:bayesian Information Criterion+BIC. Fathurahman, M. (2009) Pemilihan Model Regresi Terbaik Menggunakan Metode Akaike s Information Criterion dan Schwarz Information Criterion. Jurnal Informatika Mulawarman. Vol Gujarati, D. (1995). Basic Econometrics. McGraw Hill Inc., Singapore. Kass, R. E. and Raftery, A. E. (1995) Bayes Factor. Journal of The American Statistical Associations. Vol Larson, H. J. (1974). Introduction to Probability Theory and Statistical Inference. John Wiley & Sons, Inc, New York. Montgomery, D.C, and Peck, E.A. (1992). Introduction to Linear Regression Analysis second edition. John Wiley & Sons, Inc, New York. Neter, J and Wasserman,W. (1996). Applied Linear Regression Models. The McGraw-Hill Companies. Schwarz, G. (1978). Estimating the Dimension of Model. Annals of Statistic 6. Sembiring, R.K. (1995). Analisis Regresi. Penerbit ITB. Bandung. Supranto, J. (1995). Ekonometrika Buku I. LPFE-UI1. Jakarta. Walpole, R. E. dan Myers, R. H.(1995). Ilmu Peluang dan Statistika untuk Insinyur dan Ilmuwan. Terjemahan R. K. Sembiring. Edisi Kedua. ITB. Bandung.