Analisis Regresi 2. Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda

Transkripsi

1 Analisis Regresi Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda Tuuan Instruksional Khusus : Mahasiswa dapat menelaskan regresi linier sederhana dan berganda dan asumsi-asumsi yang mendasarinya

2 Regresi Linier Sederhana Model Regresi Linier Sederhana ( peubah penelas) Model Regresi Linier Berganda ( k peubah penelas ) Dengan notasi matriks dapat dituliskan : ε x β β Y banyaknyap penelas k, n k k n n y X ε x β... x β x β β Y k k

3 Ringkasan Regresi Linier Berganda Model Regresi Linier Berganda dengan peubah penelas : Y β β x β x ε Model umum Regresi Berganda dengan k peubah penelas dalam notasi matriks : y n nxk k n

4 Ringkasan Regresi Linier Berganda lanutan Nilai dugaan yˆ X b y X( X' X) X' Matriks dugaan ragam peragam bagi b : Vˆ( b ) cov( b, b )... cov( b, b ) k ˆ cov( b, b ) Vˆ( b )... cov( b, bk ) V ( b) cov( bk, b ) cov( bk, b )... Vˆ( bk ) X' X s dengan : s = KT sisaan

5 Ringkasan Regresi Linier Berganda lanutan KOEFISIEN DETERMINASI R b' X ' Y Y' Y R ad b' X ' Y ny Y' Y ny Dugaan simpangan baku s b c ( )( ) s dengan : s = KT sisaan c ()( ) unsur ke diagonal matriks ( X' X)

6 Pendugaan model regresi linier berganda dengan notasi matriks Notasi Matriks pada Model Regresi Linier Berganda dengan k = Penduga parameter regresi berganda dg notasi matriks : X y n y n y y.. x x x x x x.. n n ) (k ) ( ) ( ) ( ' ) ' ( y b n n k k k X X X

7 Contoh: model regresi linier berganda dalam notasi matriks Data : Model Regresi dalam notasi Matriks : y X y x x y X

8 Contoh : Menduga parameter regresi linier berganda dg matriks Dugaan bagi parameter regresi : ( k) b ( k) ( X' X) ( k) (k ) X' n y n Dari data contoh tsb. didapat : X X = x x 3

9 b = Contoh : Menduga parameter regresi linier berganda dg matriks Dengan perhitungan cara matriks didapat : X X ( X' X) Dugaan persamaan garis regresinya : yˆ (X X) - X.4.898x. 7x y lanutan

10 Pemeriksaan Model Regresi Berganda : ui-t Ui-t dimaksudkan untuk mengui pengaruh setiap peubah penelas secara satu per satu terhadap peubah responnya Model Regresi Berganda dg peubah penelas : Y β βx βx ε : : atau atau Peubah penelas X tidak berhubungan linier dg Y Peubah penelas X berhubungan linier dg Y Peubah penelas X berhubungan linier positif dg Y Peubah penelas X berhubungan linier negatif dg Y

11 Pemeriksaan Model untuk Regresi Berganda : ui-t lanutan ipotesis :. atau atau : : Statistik ui-nya : b t hit, sb c ( )( ) s b Deraat bebasnya = n k - s. : : atau atau Unsur ke (+) diagonal (X X) - k = banyaknya peubah penelas Akar dari KT sisaan

12 Contoh : ui-t dengan notasi matriks Dengan menggunakan data contoh pada slide sebelumnya ingin diui apakah X dan atau X berpengaruh linier thdp Y Didapatkan bahwa Dugaan garis regresi-nya: ipotesisnya : : : ( X' X) yˆ x. 7x Peubah penelas X tidak berhubungan linier dg Y Peubah penelas X berhubungan linier dg Y

13 Contoh : ui-t dengan notasi matriks Statistik ui-nya : b t hit, sb c ( )( ) s S = b untuk, s untuk, s b b.76 x.9 s.53 t.5 x.9.5 t hit hit lanutan

14 Contoh : ui-t dengan notasi matriks (lanutan) d.b. = 7-3 = 4 t 4,.5 =.776 a/=.5 a/=.5 Untuk = t hit = 3.55 tolak Untuk = t hit =.89 terima -t n-3,α/ Tolak Terima t n-3,α/ Tolak KESIMPULAN :. Cukup bukti untuk mengatakan bahwa ada hub linier antara x dan Y. Tidak cukup bukti untuk mengatakan bahwa ada hub linier antara x dan Y

15 Contoh : ui-t dengan Minitab lanutan Regression Analysis: Y versus X, X The regression equation is Y = X +.75 X Predictor Coef SE Coef T P Constant X X S =.98 R-Sq = 83.3% R-Sq(ad) = 74.9% >.5 Terima

16 Pemeriksaan Model Regresi Berganda : ui-f Dengan ui F ini kita dapat mengetahui : peubah-peubah penelas yang ada dalam model berpengaruh secara serempak terhadap respon atau tidak. (model regresi layak atau tidak) Penambahan satu peubah penelas ke dalam model setelah peubah penelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon Penambahan sekelompok peubah penelas ke dalam model setelah peubah penelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon

17 Ui Parameter Regresi Linier Berganda : ui-f untuk model keseluruhan :... : min ada satu k,,,...,k : peubah respon tidak memp hub linier dg peubah penelas ke- s.d ke-k Sumber Keragaman Deraat Bebas (db) Jumlah Kuadrat (JK) b, b,..,b k b k b X Y Y Y/n Sisaan n k- Y Y b X Y Total (terkoreksi) n - KRITERIA PENOLAKAN : Y Y Y Y/n Tolak ika Kuadrat Tengah (KT) JK Regresi k JK sisaan n k - F : peubah respon memp hub linier dg min peubah penelas ke- s.d ke-k F hit F k,n k,α KT KT regresi sisaan

18 Ui Parameter Regresi Linier Berganda : ui-f untuk model keseluruhan lanutan OUT PUT MINITAB : DATA TEKANAN DARA The regression equation is Tekanan Darah = 5,5 +,8 Ukuran Tubuh +,848 Umur + 9, Merokok S = 7,88677 R-Sq = 7,6% R-Sq(ad) = 69,6% Analysis of Variance Source DF SS MS F P Regression 3 46,3 536,8 4,7, Residual Error 8 74,6 6, Total 3 635, :... : min ada,,,..,k KEPUTUSAN: a tolak. = 5% KESIMPULAN: Tekanan darah memiliki hubungan linier dg min satu peubah penelas k F tabel : F (3,8), 5% =,95

19 Ui Parameter Regresi Linier Berganda : ui-f untuk model keseluruhan lanutan : : min ada satu 3,,,3 Statistik ui-nya: KTregresi Fhit 4,7 KT sisaan F tabel : F (3,8), 5% =,95 Keputusan: Tolak Terima a =.5 F.5 =,95 Tolak F Kesimpulan: Cukup bukti untuk mengatakan bahwa minimum ada satu peubah penelas yg berhubungan linier dg Y

20 Ui-F Parsial dan ui-f Sekuensial PADA ANALISIS REGRESI LINIER BERGANDA : Terhadap semua peubah penelas yang tersedia : Diui peubah penelas apa yg berpengaruh nyata thd respon. Dari yang ada dalam model, usahakan yang dipakai hanya peubah penelas yang keberadaannya dalam model menyumbangkan keragaman kepada garis regresi cukup besar Jika suatu peubah penelas keberadaannya dalam model sudah dapat diwakili oleh yg lainnya, maka peubah penelas tsb tidak perlu lagi digunakan dlm model Lebih disenangi model yang memiliki banyaknya peubah penelas yang lebih sedikit.

21 Apakah penambahan X ke dalam model berpengaruh terhadap Y : : dalam model Pemeriksaan Model Regresi Berganda : ui-f Y x Y β βx x ε Sumber Keragaman Deraat Bebas (db) Jumlah Kuadrat (JK) Kuadrat Tengah (KT) b, b b b X Y Y Y/n JK JK b b, b b,b b b b Sisaan n 3 Y Y b X Y JKb b,b JK JK sisaan sisaan n -3 hit KT b KT b,b F sisaan Total (terkoreksi) n - Y Y Y Y/n

22 Pemeriksaan Model Regresi Berganda : KOEFISIEN DETERMINASI BERGANDA KOEFISIEN DETERMINASI BERGANDA Proporsi keragaman pada Y dielaskan oleh semua peubah X secara bersama-sama R Keragaman ygdielaskan SS yy SSE Total Keragaman SS yy SSE SS yy

23 Pemeriksaan Model Regresi Berganda : Adusted R R besarnya tidak pernah turun ketika peubah X ditambahkan ke dalam model anya nilai Y yang menentukan besarnya SS yy Tidak ada gunanya kalau membandingkan model yg satu dg yg sdh ditambah peubah penelasnya. Solusi: Adusted R Setiap penambahan peubah penelas akan menurunkan nilai adusted R. R a n SSE SSE R n k SS SSyy yy

24 Validitas Model PRESS = Prediction Sum of Squares, adalah prosedur yang merupakan kombinasi dari: semua kemungkinan regresi, analisis sisaan, dan teknik validasi. Digunakan untuk mengukur validitas model. PRESS y i yˆ i, i e i,-i y i yˆ i, i : nilai respon pada x=x i (data lengkap) : nilai ramalan y pd x=x i yg diramal melalui dugaan persamaan regresi dari data tanpa amatan ke-i Model valid ika memiliki PRESS yg kecil = n i ei h ii PRESS R PRED y y i R pred adalah statistik lainnya yg berhub dg PRESS. Model valid ika R pred besar.

25 PROSEDUR PRESS Mis. k adalah banyaknya peubah dalam suatu persamaan regresi, n adalah banyaknya amatan Langkah-langkahnya: y yˆ k y yˆ, 3 3k,..., yn yˆ nk n i (lanutan). Sisihkan amatan ke-, amatan ke- tidak digunakan, data tinggal n-.. Dugalah semua kemungkinan model regresi thdp n- data tersebut. (ika k= banyaknya kemungkinan model hanya ) 3. Ramal y dengan model yang didapat pd no.. (lakukan untuk semua kemungkinan model hanya ika k=) 4. itung perbedaan y yg disisihkan tadi dengan hasil no Ulangi langkah -4 dengan menyisihkan amatan ke-, ke-3,..., ke-n. Didapat 6. Untuk setiap model regresi yang mungkin hitung : Validitas Model PRESS y yˆ k ˆ y i y ik 7. Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan peubah penelas sedikit.

26 Validitas Model (lanutan) Y X Contoh Proses PRESS, untuk n= dan k= Dugaan Garis Regresi dg Data tanpa amatan ke-i ramalan Yi tnp amatan ke-i e i,-i e i,-i kuadrat 7,46 Y tnp = 3, +,55 X tnp 8,6 -,6,36 6,77 8 Y tnp = 3,5 +,497 X tnp 7,6 -,56,6553,74 3 Y tnp 3 = 4, +,345 X tnp 3 8,495 4,45 8,3 7, 9 Y tnp 4 = 3,4 +,5 X tnp 4 7,54 -,43,849 7,8 Y tnp 5 =,95 +,54 X tnp 5 8,64 -,794,6343 8,84 4 Y tnp 6 =,46 +,577 X tnp 6,538 -,698,883 6,8 6 Y tnp 7 =,97 +,5 X tnp 7 5,98,98,96 5,39 4 Y tnp 8 =,7 +,56 X tnp 8 4,84,566,335 8,5 Y tnp 9 =,84 +,58 X tnp 9 9,76 -,6,567 6,4 7 Y tnp = 3,3 +,498 X tnp 6,56 -,96,9 5,73 5 Y tnp =,88 +,5 X tnp 5,435,95,873 Total = PRESS = 3,69

27 Validitas Model (lanutan) Output Minitab untuk data contoh tsb The regression equation is Y = 3, +,5 X Predictor Coef SE Coef T P Constant 3,,4,67,6 X,4997,79 4,4, S =,363 R-Sq = 66,6% R-Sq(ad) = 6,9% PRESS = 3,6 R-Sq(pred) = 4,7% Analysis of Variance Source DF SS MS F P Regression 7,47 7,47 7,97, Residual Error 9 3,756,58 Total 4,6 asil PRESS melalui proses = hasil Minitab Untuk k= hanya ada model Amatan ke-3 memberikan simpangan ramalan terbesar Amatan ke-3 dapat dipandang sebagai amatan berpengaruh Dugaan parameter regresi tanpa amatan ke-3 sangat berbeda dg lainnya dugaan yg ini relatif yg benar/baik Keluarkan amatan ke-3 dari analisis. Cek nilai PRESS-nya. Cek nilai R nya

28 Validitas Model (lanutan) Output Minitab data lengkap The regression equation is Y = 3, +,5 X Predictor Coef SE Coef T P Constant 3,,4,67,6 X,4997,79 4,4, S =,363 R-Sq = 66,6% PRESS = 3,6 R-Sq(pred) = 4,7% Analysis of Variance Source DF SS MS F P Regression 7,47 7,47 7,97, Residual Error 9 3,756,58 Total 4,6 Output Minitab data tanpa amatan ke-3 The regression equation is Y tnp 3 = 4, +,345 X tnp 3 Predictor Coef SE Coef T P Constant 4,69, 8,78, X tnp 3,345334,37 454,74, S =,38655 R-Sq =, PRESS =,74853 R-Sq(pred) =,% Analysis of Variance Source DF SS MS F P Regression,6,6 664,34, Residual Error 5,, Total 6,6 Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS Dari sisi model, persamaan tanpa amatan ke-3 yg terbaik. R-Sq(pred)=,% model sangat valid PELUANG salah memprediksi =

29 Validitas Model (lanutan) Dugaan garis regresi dg data lengkap PRESS = 3,6 R-Sq(pred) = 4,7% Dugaan garis regresi tanpa amatan ke-3 PRESS =,74853 R-Sq(pred) =,% Fitted Line Plot Y = 3, +,4997 X Fitted Line Plot Y tnp 3 = 4,6 +,3453 X tnp Y 9 8 Y tnp , 7,5 X,,5 5, 5 5, 7,5, X tnp 3,5 5, Semakin kecil nilai PRESS-nya model semakin valid semakin baik untuk memprediksi. Setiap model regresi thdp set data memiliki nilai PRESS

30 ASUMSI ASUMSI YANG ARUS DIPENUI DALAM ANALISIS REGRESI BERGANDA :. Kondisi Gauss-Marcov.. 3. E[ ] nilai - harapan/rataan sisaan nol i E[ i ] var [ ], ragam sisaan homogen untuk setiap nilai ( homoscedasticity ) E[ ], i sisaan saling bebas/tdk ada autokorelasi i x. Galat menyebar Normal 3. Galat bebas terhadap peubah bebas, cov(x i, ), i cov(x 4. Tidak ada multikolinieritas pd peubah bebas, i,x ), i