MULTIPLE REGRESI. Dwi Martani. 1/26/2010 Statistik untuk Bisnis 8 1

Transkripsi

1 MULTIPLE REGRESI Dwi Martani 1/26/2010 Statistik untuk Bisnis 8 1

2 Masalah dalam multiple regresi Multicollinearity Analysis Auto-Correlations Heteroskedastisitas Dummy Variable Outlier Test Analysis MLR 1/26/2010 Statistik untuk Bisnis 8 2

3 Multikolinearitas 1/26/2010 Statistik untuk Bisnis 8 3

4 Multicollinearity Dikenalkan oleh Frisch Terdapat hubungan linear di antara variabelvariabel bebas dalam model regresi Perfect multicollinearity / hubungannya sempurna. Multicollinearity tidak sempurna/ Ada hubungan tetapi tidak sempurna Variabel-variabel dikatakan orthogonal jika variabel-variabel tersebut tidak berkorelasi 1/26/2010 Statistik untuk Bisnis 8 4

5 Hakekat Multicollinearity Multikollinearitas pada hakekatnya adalah fenomena sampel. Sampel tidak memenuhi asumsi dasar mengenai ketidaktergantungan di antara variabel bebas yang masuk dalam model Multikolinearitas adalah persoalan derajat (degree) dan bukan persoalan jenis (kind). Bukan mempersoalkan apakah korelasi variabel bebas positif atau negatif tetapi merupakan persoalan korelasi di antara variabel bebas. Mutikolinearitas adalah masalah yang timbul berkaitan dengan adanya hubungan linear di antara variabel bebas. Semakin tinggi hubungannya semakin terlihat moltikolinearitas. 1/26/2010 Statistik untuk Bisnis 8 5

6 Penyebab Multikolinearitas Sifat dari variabel berubah bersama-sama sepanjang waktu. Penghasilan, tabungan, investasi, konsumsi, kesempatan kerja cenderung meningkat pada masa makmur dan menurun pada masa depresi. Penggunaan nilai lag dari variabel bebas tertentu dalam model regresi Multikolinearitas hampir terjadi di semua model ekonomi 1/26/2010 Statistik untuk Bisnis 8 6

7 Akibat Multikolinearitas Penaksir-penaksir dengan menggunakan OLS tidak bisa ditentukan terutama jika moltikolinearitasnya sempurna Hasil estimasi tetap tidak bias Varian dan kovarian (standard error) dari penaksir-penaksir menjadi besar hingga tak terhingga (molt. Sempurna). Standard error akan menjadi besar sehingga potensi kesalahan tipe II (tidak menolak hipotesis yang salah) akan meningkat. R2 tinggi namun tidak satu pun (sangat sedikit) koefisien regresi yang signifikan secara statistik. Nilai R2 dan F yang tidak berkolinearitas tidak berpengaruh oleh munculnya kolinearitas Taksiran parameter OLS dan standard error akan sensitif terhadap perubahan dalam data / sampel. 1/26/2010 Statistik untuk Bisnis 8 7

8 Ilustrasi Y = a + b1x1 + b2x2 + e Y = -367,83 + 0,5113 X1 + 0,0427 X2 se (1,0307) (0,0942) t 0,496 0,453 R2 = 0,835 Y = a + b1x1 + e Y = -471,43 + 0,9714X1 se (1,157) t 6,187 R2 = 0,861 1/26/2010 Statistik untuk Bisnis 8 8

9 Pengujian untuk mendeteksi Multikolinearitas Koefisien korelasi antar variabel tinggi Beberapa peneliti secara arbitrer menentukan 0,8 dan tinggi kolinearitasnya jika nilainya lebih tinggi dari 0,8. High Variance Inflation Factors (VIF) VIF adalah estimasi seberapa besar multikolinearitas meningkatkan varian pada suatu koefisien estimasi sebuah variabel Multikolinearitas dikatakan berat jika nilai VIF melebihi 10 1/26/2010 Statistik untuk Bisnis 8 9

10 Perbaikan Multikolinearitas Membiarkan saja Multikolienaritas tidak akan selalu mengurangi nilai t. Perbaikan multikolinearitas perlu dipertimbangkan hanya apabila konsekuensinya menyebabkan nilai t tidak signifikan atau estimasi regresi menjadi tidak reliabel. Menghapuskan variabel dapat membahayakan karena muncul bias spesifikasi 1/26/2010 Statistik untuk Bisnis 8 10

11 Perbaikan Multikolinearitas Menghapus variabel yang berlebihan Cara menghapus dengan melihat R2 dan t, variabel yang dihapus adalah yang dapat meningkatkan R2 dan t-nya variabel lain yang masih ada. Dukungan teori, mana variabel yang paling mempengaruhi 1/26/2010 Statistik untuk Bisnis 8 11

12 Perbaikan Multikolinearitas - contoh Menghapus variabel yang berlebihan Cara menghapus dengan melihat R2 dan t, variabel yang dihapus adalah yang dapat meningkatkan R2 dan t-nya variabel lain yang masih ada. Dukungan teori, mana variabel yang paling mempengaruhi 1/26/2010 Statistik untuk Bisnis 8 12

13 Perbaikan Multikolinearitas contoh Y = a + b1x1 + b2x2 + e Y = -367,83 + 0,5113 X1 + 0,0427 X2 se (1,0307) (0,0942) t 0,496 0,453 R2 = 0,835 Y = a + b1x1 + e Y = -471,43 + 0,9714X1 se (1,157) t 6,187 R2 = 0,861 Y = a + b2x2 + e Y = -199,44 + 0,08876X2 se (0,01443) t 6,153 R2 = 0,860 1/26/2010 Statistik untuk Bisnis 8 13

14 Perbaikan Multikolinearitas Transformasi variabel motikolinearitas Membentuk sebuah kombinasi dari variabelvariabel moltikolinearitas. Contoh dibentuk X3 = X1 + x2 Melakukan transformasi persamaan menjadi persamaan beda pertama (first difference equation) Dibentuk ΔXt = Xt Xt-1 1/26/2010 Statistik untuk Bisnis 8 14

15 Perbaikan Multikolinearitas Memperbesar ukuran sampel Data yang lebih besar akan memungkinkan hasil estimasi yang lebih akurat daripada data uanelih sedikit, karena ukuran data yang lebih besar secara normal akan mengurangi varian koefisien estimasi yang akibatnya akan menurunkan moltikolinearitas. Misal dengan melakukan pool data mengumpulkan kombinasi data cross section dengan data times series 1/26/2010 Statistik untuk Bisnis 8 15

16 Perbaikan Multikolinearitas Memperbesar ukuran sampel Data yang lebih besar akan memungkinkan hasil estimasi yang lebih akurat daripada data uanelih sedikit, karena ukuran data yang lebih besar secara normal akan mengurangi varian koefisien estimasi yang akibatnya akan menurunkan moltikolinearitas. Misal dengan melakukan pool data mengumpulkan kombinasi data cross section dengan data times series 1/26/2010 Statistik untuk Bisnis 8 16

17 Otokorelasi 1/26/2010 Statistik untuk Bisnis 8 17

18 Otokorelasi Otokorelasi merupakan pelanggaran asumsi klasik pengamatan-pengamatan yang berbeda tidak terdapat korelasi antara error term Otokorelasi terjadi pada kebanyakan pada serangkaian data times series Error term pada pada satu periode waktu secara sistematis tergantung pada error term pada periode waktu yang lain 1/26/2010 Statistik untuk Bisnis 8 18

19 Otokorelasi murni Otokorelasi murni asumsi klasik yang menyatakan bahwa tidak ada korelasi antar error term pada periode pengamatan yang berbeda dilanggar dalam sebuah persamaan yang telah terspesifikasi dengan benar Otokorelasi urutan pertama (first order autocorrelation) pengamatan error term saat ini merupakan suatu fungsi pengamatan error term sebelumnya. Et = pet-1 + e Besarnya p menggambarkan kekuatan otokorelasi -1 < p < 1 Otokorelasi urutan kedua (second order autocorrelation) Et = p1et-1 + p2et-2+ e 1/26/2010 Statistik untuk Bisnis 8 19

20 Otokorelasi positf dan negatif Otokorelasi positif p>0 Error term cenderung memiliki arah yang sama dari satu periode waktu ke periode waktu berikutnya Otokorelasi negatif Error term memiliki kecenderungan berubah tanda dari negatif ke positif dan seterusnya saling berganti tanda pada pengamatanpengamatan. 1/26/2010 Statistik untuk Bisnis 8 20

21 Otokorelasi tidak murni Otokorelasi tidak murni otokorelasi yang disebabkan oleh kesalahan spesifikasi seperti menghilangkan variabel yang penting atau bentuk fungsi yang salah Error term pada persamaan yang tidak terspesifikasi dengan benar didalamnya termasuk efek variabel penting yang dihilangkan. Memperbaiki otokorelasi tidak murni dengan mencoba untuk menemukan variabel yang dihilangkan sehingga bentuk fungsi menjadi benar. Y = b0 + b1x1 + b2x2 + Et Y = b0 + b1x1 + Et* dimana Et* = b2x2 + Et 1/26/2010 Statistik untuk Bisnis 8 21

22 Konsekuensi Otokorelasi Otokorelasi murni tidak menyebabkan bias koefisien-koefisen estimasi Sifat OLS adalah minimum varian bagi estimator-estimator tidak bias linear Otokorelasi meningkatkan varian padda distribusi koefisien estimasi Otokorelasi menyebabkan OLS menaksir terlalu rendah atas Standard error koefisien 1/26/2010 Statistik untuk Bisnis 8 22

23 Pengujian Otokorelasi Uji Durbin Watson secara umum digunakan untuk menguji otokorelasi Statistik d Durbin Watson digunakan untuk menentukan otokorelasi urutan pertama pada error term. Asumsi Durbin Watson: Model regresi melibatkan intersep Otokorelasi adalah otokorelasi urutan pertama Model regresi tidak lagi memasukkan variabel dependen sebagai variabel independen 1/26/2010 Statistik untuk Bisnis 8 23

24 Statistik durbin Watson Formula d ( E 2 = t Otokorelasi memiliki nilai ekstrim positif d=0 Et = Et-1 maka Et Et-1 = 0, d=0 t 1 t ( E Otokorelasi memiliki nilai ekstrim negatif d=4 Et = - Et-1 maka Et Et-1 = 2, substitusikan dalam persamaan diperoleh d 4 E t ) t 1 Tidak ada otokorelasi d = 2 2 ) 2 1/26/2010 Statistik untuk Bisnis 8 24

25 Pengujian Statistik Durbin Watson Pengujian Durbin Watson tidak biasa digunakan dalam dua hal : Tidak pernah menguji hipotesis dari sisi negatif karena Otokorelasi negatif dari nilai residual sulit diterangkan secara teoritas baik dalam analisis ekonomi dan bisnis. Keberadaannya sering merupakan otokorelasi tidak murni yang disebabkan oleh kesalahan spesifikasi. Uji Durbin Watson tidak tersimpulkan, selain ada area diterima dan tidak diterima ada area tidak tersimpulkan 1/26/2010 Statistik untuk Bisnis 8 25

26 Pengujian Statistik Durbin Watson Tahap pengujian : Cari nilai residu dengan OLS dan hitung statistik d Menentukan ukuran sampel dan jumlah variabel independen kemudian lihat dalam tabel statistik Durbin Watson untuk mendapatkan nilai kritis d yaitu dupper dan dlower Hipotesis H0: p <= 0 ; H1 : p > 0 d > dl tolak ho d < du tidak tolak ho dl< d < du tidak dapat disimpulkan 1/26/2010 Statistik untuk Bisnis 8 26

27 Durbin Watson Durbin Watson tidak membedakan otokorelasi murni dan tidak murni Otokorelasi negatif memandakan suatu isyarat bahwa otokorelasi adalah tidak murni Jika korelasinya murni maka GLS digunakan untuk memperbaiki 1/26/2010 Statistik untuk Bisnis 8 27

28 Heteroskedastisitas 1/26/2010 Statistik untuk Bisnis 8 28

29 Heteroskedastisitas Asumsi OLS adalah varian residual bersifat homoskedastis atau bersifat konstan. Varian resisul tidak konstan heteroskedastisitas. Heteroskedastisitas sering terjadi pada data cross section. Error term terdistribusi normal dengan variab tidak konstan meliputi semua pengamatan. Varian error berkorelasi dengan variabel independen 1/26/2010 Statistik untuk Bisnis 8 29

30 Penyebab Heteroskedastisitas Data dari satu atau lebih variabel mengandung nilai dengan jarak (range) yang lebar antara data paling kecil dengan data yang paling besar. Perbedaan laju pertumbuhan antara variabel dependen dan independen signifikan pada periode pengamatan untuk data times series. Dalam data sendiri terdapat heteroskedastisitas 1/26/2010 Statistik untuk Bisnis 8 30

31 Konsekuensi Heteroskedastisitas Koefisien tetap tidak bias namun nilai koefisien berfluktuasi tajam jika model diperbaharui dengan menambah data atau sampel yang berbeda. Estimasi menjadi tidak akurat 1/26/2010 Statistik untuk Bisnis 8 31

32 Mendeteksi Heteroskedastisitas Banyak cara untuk mendeteksi Heteroskedastisitas diantaranya ; Gambar grafik nilai residu Jika dalam plot grafik nilai residu membentuk pola yang makin meningkat (menjauhi nol) dengan semakin meningkatnya variabel independen Uji godlfeld Quant Uji Park 1/26/2010 Statistik untuk Bisnis 8 32

33 Cara mengatasi Heteroskedastisitas Mentransformasi data dengan suatu faktor yang tepat GLS Mentransformasi data dalam bentuk translog Membagi variabel dengan nilai tertentu Melogaritmakan variabel tersebut (logvar) 1/26/2010 Statistik untuk Bisnis 8 33

34 Dummy Variabel 1/26/2010 Statistik untuk Bisnis 8 34

35 Variabel Dummy Variabel dummy digunakan untuk menjelaskan variabel kualitatif terutama variabel dummy yang bersifat ada atau tidak ada. Misal pria dan wanita; kulit hitam dan putih; Variabel dummy sering disebut variabel indikator, variabel kategorik, variabel kualitatif atau variabel dikotomi Variabel dummy hanya memiliki dua nilai 0 dan 1 1/26/2010 Statistik untuk Bisnis 8 35

36 Variabel Dummy Variabel dummy akan mempengaruhi nilai konstanta untuk observasi yang nilai dummy 1. Variabel dummy dapat digunakan untuk mengukur perubahan suatu fungsi sepanjang waktu yaitu dengan memasukkan tahun sebagai dummy variabel. Variabel dummy dapat digunakan dalam analisis musiman dengan memasukkan variabel dummy kuartal 1/26/2010 Statistik untuk Bisnis 8 36

37 Variabel Dummy - Interaksi Variabel dapat digunakan untuk mengukur perubahan slope jika variabel dummy tersebut diinteraksikan dengan variabel independen. Contoh untuk D=0 untuk D=1 Y = a + b1x1 + b2d1 Y = a + b1x1 + b2(x1*d1) Y = a + b1x1 Y = a + (b1+b2)x1 Pencantuman variabel dummy harus dapat dipastikan bahwa pengaruhnya akan mempengaruhi konstanta atau slope 1/26/2010 Statistik untuk Bisnis 8 37

38 Dummy sebagai dependen Variabel Jika variabel terikat memiliki sifat kualitatif maka variabel dummy dapat mewakilinya sebagai variabel terikat : Faktor yang menentukan penugasan audit diterima atau tidak Faktor yang mempengaruhi seorang direksi diperpanjang masa tugasnya Kelemahan dari fungsi ini Variabel error tidak terdistribusi secara normal Asumsi homoskedastisitas tidak valid Predicted value dari variabel terikat dapat keluar dari interval 0 sampai dengan 1 cara mengatasinya dengan model logit 1/26/2010 Statistik untuk Bisnis 8 38

39 OUTLIER Outlier adalah data yang sangat ekstrem: sangat besar atau sangat kecil. Data dikatakan sangat ekstrem biasanya digunakan ukuran 3 standard deviasi. Jika terdapat outlier maka langkah yang dilakukan adalah membuang data tersebut Dengan sistem dapat ditentukan batas outlier yang dikehendaki oleh peneliti, sehingga data yang dimasukkan dalam regresi hanyalah data yang tidak mengandung outlier. Penghapusan data harus dilakukan dengan hati-hati karena justru dapat menghilangkan karakteristik dari sampel 1/26/2010 Statistik untuk Bisnis 8 39

40 1/26/2010 Statistik untuk Bisnis 8 40