Analisis Regresi 1. Pokok Bahasan Pengujian pada Regresi Ganda

Transkripsi

1 Analisis Regresi Pokok Bahasan Pengujian pada Regresi Ganda

2 Model Regresi Linier Berganda Model Regresi Linier Berganda, dengan k peubah penjelas : Y β β X β X β X k k Parameter regresi sebanyak k+ diduga melalui data. Untuk regresi berganda, perhitungannya menjadi lebih mudah jika dilakukan dengan matriks dan dibantu dengan menggunakan komputer

3 Model Regresi Linier Berganda Dugaan Persamaan Regresi Linier Berganda, dengan k peubah penjelas : yˆ i b b x i b x i b k x ki ASUMSI : ubungan setiap peubah penjelas dengan peubah responnya LINIER (pangkat X sampai X k adalah satu)

4 Ringkasan Regresi Linier Berganda Model Regresi Berganda dengan k peubah penjelas : Y β Model umum Regresi Berganda dengan k peubah penjelas dan n amatan dalam notasi matriks : y n nxk k n Dugaan bagi parameter Regresi Berganda: ( k) b β X β X β ( k) ( X' X) ( k) (k ) X' n y n X k k

5 Ringkasan Regresi Linier Berganda Nilai ramalan yˆ X b y X( X' X) X' Matriks dugaan ragam peragam bagi b : Vˆ( b ) cov( b, b )... cov( b, b ) k ˆ cov( b, b ) Vˆ( b )... cov( b, bk ) V ( b) cov( bk, b ) cov( bk, b )... Vˆ( bk ) X' X s dengan : s = KT sisaan

6 Ringkasan Regresi Linier Berganda KOEFISIEN DETERMINASI R b' X ' Y Y' Y R adj b' X ' Y ny Y' Y ny Dugaan simpangan baku s b j c ( j)( j) s dengan : s = KT sisaan c (j)(j ) unsur ke jdiagonal matriks ( X' X)

7 Ringkasan Regresi Linier Berganda ASUMSI ASUMSI YANG ARUS DIPENUI DALAM ANALISIS REGRESI BERGANDA :. Kondisi Gauss-Marcov.. 3. E[ ] i E[ i ] E[ ] i j, i j nilai - harapan/rataan sisaan nol ( homoscedasticity ) sisaan saling bebas/tdk ada var [ ], ragam sisaan homogen untuk setiap nilai 3. Galat bebas terhadap peubah bebas,. Galat menyebar Normal cov(x i, j ) autokorelasi 4. Tidak ada multikolinieritas pd peubah bebas, cov(x,x ), i j, i i j x

8 PENGUJIAN MODEL Uji t Uji F

9 Uji Parameter Regresi Linier Berganda : uji-t Uji-t dimaksudkan untuk menguji pengaruh setiap peubah penjelas secara satu per satu terhadap peubah responnya Model Regresi Berganda dg k peubah penjelas : Y β β X β X β X k k : : atau atau j j j j Peubah penjelas X j tidak berhubungan linier dg Y Peubah penjelas Xj berhubungan linier dg Y Peubah penjelas Xj berhubungan linier positif dg Y Peubah penjelas Xj berhubungan linier negatif dg Y

10 Uji Parameter Regresi Linier Berganda : uji-t atau atau : : s c s s b j j b b j j j j, t ) )( ( hit ipotesis :. Statistik uji-nya : Derajat bebasnya = n k - Unsur ke (j+) diagonal (X X) - Akar dari KT sisaan k = banyaknya peubah penjelas Model Regresi-nya: k. atau atau : : k k k k.... X β X β β X β Y k k

11 Uji Parameter Regresi Linier Berganda : uji-t Kaidah Keputusan : untuk i =,,., k : : < i i : : > i i : = : i i a a a/ a/ -t a t a -t a/ t a/ tolak jika t < -t n-, a Tolak jika t > t n-, a Tolak jika t < -t n-, a/ atau t > t n-, a/

12 Uji Parameter Regresi Linier Berganda : uji-t Interpretasi hasil keputusan : i =,,., k : : < i i : : > i i : = : i i TOLAK : Peubah penjelas X i berpengaruh nyata thdp peubah respon Y secara linier dan hubungannya negatif Peubah penjelas X i berpengaruh nyata thdp peubah respon Y secara linier dan hubungannya positif Peubah penjelas X i berpengaruh nyata thdp peubah respon Y secara linier TERIMA : Peubah penjelas X i tidak berpengaruh negatif thdp peubah respon Y secara linier Peubah penjelas X i tidak berpengaruh positif thdp peubah respon Y secara linier Peubah penjelas X i tidak berpengaruh nyata thdp peubah respon Y secara linier berpengaruh = memiliki hubungan

13 Uji Parameter Regresi Linier Berganda : uji-t CONTO : DATA TEKANAN DARA Orang ke Tekanan Darah Ukuran Tubuh Umur Mero kok Orang ke Tekanan Darah Ukuran Tubuh Mero Umur kok 35, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , 65 Data di samping adalah data yg diambil secara acak dari 3 orang usia di atas 4 tahun di Bogor. Ukuran tubuh adalah besaran quatelet index = (bobot badan / tinggi badan ). Merokok adalah p boneka. Ingin diketahui peubah apa saja dari peubah-peubah tsb yg mempengaruhi tekanan darah secara linier

14 Uji Parameter Regresi Linier Berganda : uji-t PLOT MASING-MASING PEUBA PENJELAS VS TEKANAN DARA Tekanan Darah Matrix Plot of Tekanan Darah vs Ukuran Tubuh; Umur; Merokok ,4 3, 4,,,5 Ukuran Tubuh Umur Merokok, Plot di samping menunjukkan bahwa :. Ukuran tubuh memiliki hub linier positif dg tek darah. Umur memiliki hub linier pos dg tekanan darah 3. Stat merokok memiliki hub lin positif dg tek darah

15 Uji Parameter Regresi Linier Berganda : uji-t OUT PUT MINITAB : DATA TEKANAN DARA Regression Analysis: Tekanan Darah versus Ukuran Tubuh; Umur; Merokok The regression equation is Tekanan Darah = 5,5 +,8 Ukuran Tubuh +,848 Umur + 9, Merokok Predictor Coef SE Coef T P Constant 5,54,9 4,5, Ukuran Tubuh,84 4,56 3,,5 Umur,848,98,9,7 Merokok 9,3,85 3,5,3 t tabel : t 8;,5 =,683 KEPUTUSAN: Ke-3 p.penjelas nyata tolak. = 5% a KESIMPULAN: Ukuran tubuh, umur, dan status merokok : Memiliki hub linier dengan tek. darah

16 Uji Parameter Regresi Linier Berganda : uji-t () Untuk j= t hit = 3. tolak Untuk j= t hit =.9 tolak a/=.5 a/=.5 Untuk j=3 t hit = 3.5 tolak -t n-4,α/ t n-4,α/ Tolak Terima Tolak -,683,683 d.b. = 3 3- = 8 t 8,.5 =,683 KESIMPULAN :. Cukup bukti untuk mengatakan bahwa ada hub linier antara ukuran tubuh dan tekanan darah. Cukup bukti untuk mengatakan bahwa ada hub linier antara umur dan tekanan darah 3. Cukup bukti untuk mengatakan bahwa ada hub linier antara status merokok dan tekanan darah

17 Uji Parameter Regresi Linier Berganda : uji-f Dengan uji F ini kita dapat mengetahui : peubah-peubah penjelas yang ada dalam model berpengaruh secara serempak terhadap respon atau tidak. Penambahan satu peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon Penambahan sekelompok peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon

18 Uji Parameter Regresi Linier Berganda : uji-f untuk model keseluruhan :... : min ada satu j k, j,,...,k : peubah respon tidak memp hub linier dg peubah penjelas ke- s.d ke-k Sumber Keragaman Derajat Bebas (db) Jumlah Kuadrat (JK) b, b,..,b k b k b X Y Y Y Sisaan n k- Y Y b X Y Total (terkoreksi) n - KRITERIA PENOLAKAN : Y Y Y Y Tolak jika Kuadrat Tengah (KT) JK Regresi k JK sisaan n k - F : peubah respon memp hub linier dg min peubah penjelas ke- s.d ke-k F hit F k,n k,α KT KT regresi sisaan

19 Uji Parameter Regresi Linier Berganda : uji-f untuk model keseluruhan OUT PUT MINITAB : DATA TEKANAN DARA The regression equation is Tekanan Darah = 5,5 +,8 Ukuran Tubuh +,848 Umur + 9, Merokok S = 7,88677 R-Sq = 7,6% R-Sq(adj) = 69,6% Analysis of Variance Source DF SS MS F P Regression 3 46,3 536,8 4,7, Residual Error 8 74,6 6, Total 3 635, :... : min ada, j,,..,k KEPUTUSAN: a tolak. = 5% KESIMPULAN: Tekanan darah memiliki hubungan linier dg min satu peubah penjelas j k F tabel : F (3,8), 5% =,95

20 Uji Parameter Regresi Linier Berganda : uji-f untuk model keseluruhan : : min ada satu 3 j, j,,3 Statistik uji-nya: KTregresi Fhit 4,7 KT sisaan F tabel : F (3,8), 5% =,95 Keputusan: Tolak Terima a =.5 F.5 =,95 Tolak F Kesimpulan: Cukup bukti untuk mengatakan bahwa minimum ada satu peubah penjelas yg berhubungan linier dg Y

21 Uji-F Parsial dan uji-f Sekuensial PADA ANALISIS REGRESI LINIER BERGANDA : Terhadap semua peubah penjelas yang tersedia : Diuji peubah penjelas apa yg berpengaruh nyata thd respon. Dari yang ada dalam model, usahakan yang dipakai hanya peubah penjelas yang keberadaannya dalam model menyumbangkan keragaman kepada garis regresi cukup besar Jika suatu peubah penjelas keberadaannya dalam model sudah dapat diwakili oleh yg lainnya, maka peubah penjelas tsb tidak perlu lagi digunakan dlm model Lebih disenangi model yang memiliki banyaknya peubah penjelas yang lebih sedikit.

22 Uji-F Parsial dan uji-f Sekuensial Uji-F Parsial dapat dilakukan terhadap semua koefisien regresi, dengan menganggap semua peubah penjelas masuk dalam model kecuali peubah yang ingin diuji pengaruhnya. Bila peubah dimasukkan satu per satu secara bertahap ke dalam suatu persamaan regresi, maka dapat dikatakan sebagai Uji-F sekuensial.

23 Uji-F Parsial dan uji-f Sekuensial MODEL LENGKAP dengan k+r PEUBA PENJELAS Model terdiri dari k peubah penjelas X dan r peubah penjelas Z Y β β x β x α z α z k k r r Untuk melihat pengaruh r peubah penjelas tambahan tsb dpt dilakukan sebagai berikut :. Model lengkap dengan k+r peubah penjelas, dikeluarkan r peubah penjelas, dicek perubahan pengaruhnya. Model belum lengkap (baru k peubah penjelas), ditambah r peubah penjelas lainnya, dicek perubahannya.

24 Uji-F Parsial dan uji-f Sekuensial CARA PEUBA BERADA DALAM MODEL Y β βx βx β3x3 Y β βx β3x3 Y β βx β3x3 Y β βx βx Y β Y β βx Y β βx az Y β βx βx az Uji-F PARSIAL Model dibangun dengan mengeluarkan satu peubah penjelas yg akan diuji pengaruhnya dari model lengkap. Diuji pengaruhnya. Uji-F SEKUENSIAL Model dibangun dengan menambahkan satu persatu peubah penjelas baru ke dalam model. Diuji pengaruhnya

25 Model lengkap : k+r peubah penjelas Uji-F Parsial Y β β x β x α z α z k k r r Model tidak lengkap : k peubah penjelas TUJUAN: membandingkan JK sisa model lengkap dengan JK sisa model tidak lengkap : α : minimal Tolak α α ada satu α r j ( JKs (j,...,r) - JKs) / r (r) jika F F r,nkr,α, se KTsisa se

26 Uji-F Parsial LANGKA-LANGKA UJI-F PARSIAL Lakukan analisis regresi thdp model lengkap dan hitung JK sisa nya (JKs) Lakukan analisis regresi thdp model tidak lengkap (data tanpa peubah z, dengan banyaknya peubah yg dikeluarkan sebanyak r), kemudian hitung JK sisa-nya (JKs (r) ) itung nilai statistik F nya dan tentukan keputusannya berdasarkan a. F ( JKs (r) - JKs) / s e r

27 Uji-F Parsial BANYAKNYA PEUBA PENJELAS YG DIKELUARKAN = MODEL LENGKAP MODEL TDK LENGKAP YG KELUAR β βx βx β3x β βx βx X 3 Y β βx β3x3 X Y 3 k=, r= Y Y 3 β βx β3x X JK sisa (JKs) JK sisa (JKs (r) ) KT sisa (s e ) F 3 ( JKs (r) - JKs) / r s e F r, n-k-r-; a F3 untuk menguji pengaruh peubah penjelas X3 thdp Y

28 Uji-F Sekuensial Penambahan satu peubah baru (r=) ke model secara bertahap Model Lengkap Y β β x β x α z, k k j j j,,... k=, r= k=, r= k=3, r= Y β βx Y β βx az Y β βx βx az Y β βx βx β3x3 a3z3 Tolak KT( a b,b : α :α,..,b k jika F F,nk,-α KTsisa (b,b,..,bk, a) ) : α :α : α :α 3 3

29 F hitung dan KAIDA KEPUTUSAN Uji-F Sekuensial F KT( a KT (b sisa F tabel F b), a ) (,n3),-α : α :α k=, r= Y β βx Y β βx az F JK regresi EKSTRA/db KT( a b,b) KT (b,b, a ) sisa F tabel F (,n4),-α : α :α k=, r= Y β βx βx Y β βx βx az Tolak jika F hit > F tabel

30 Uji-F Sekuensial MENGITUNG JK regresi EKSTRA MODEL AWAL MODEL SETELA PENAMBAAN Y β βx Y β βx az JK ( b ) JK ( b,a ) JK( a b ) JK( b, a) JK( b ) KT( a b ) JK( a b ) / KT sisa (b,a ) F KT( a KT (b sisa F tabel F b), a ) (,n3),-α

31 Contoh : Uji-F Sekuensial Karena lebih besar daripada F(,,.95)=4.75, berarti penambahan advertising ada manfaatnya Uji F ini, biasanya disebut uji-f sekuensial

32 Contoh : Uji-F Sekuensial Jika kita memasukkan peubah advertising lebih dulu, berapakah sumbangannya terhadap model? Jika advertising sudah ada dalam persamaan, berapa sumbangan peubah price jika kemudian peubah ini dimasukkan ke dalam persamaan regresi?

33 Contoh : Uji-F Sekuensial

34 Contoh lain: uji-f sekuensial Suhu plat pembungkus dan jarak plat pembungkus dalam mesin pembungkus sabun mempengaruhi persentase sabun terbungkus yang lolos inspeksi.

35 ipotesis Linier Umum ipotesis linier biasanya muncul dari pengetahuan peneliti dan dugaannya tentang model-model yang mungkin Model regresi yg ingin digunakan Peneliti curiga modelnya : Y β βx βx Y β β(x - X) Y β βx βx β β β :β β :β β IPOTESIS LINIER :β β

36 ipotesis Linier Umum Model: E[Y] = β + β X + β X + + β k X k Bentuk Umum ipotesis Linier : c β + c β + c β + + c k β k =, c β + c β + c β + + c k β k =, c m β + c m β + c m β + + c mk β k =. Dalam Notasi Matriks : : C C Dalam hipotesis ini ada m fungsi linier yang tersusun atas β, β, β,,β k yang belum tentu semuanya bebas

37 Pengujian ipotesis Linier Umum Misalkan C adalah matriks berukuran mp, dan rank(c) = r Full model: Y = Xβ + JK sisa ( FM ) Y' Y ˆ' X ' Y, (db n - p) Reduced model: y = Z +, Z adalah matriks n(p-r) dan adalah vektor berukuran (p-r) ˆ ( Z' Z) Z' y JK sisa ( RM ) Y' Y ˆ' Z' Y, (db n - p r )

38 Pengujian ipotesis Linier Umum JK = JK Res (RM) JK Res (FM) dengan d.b sebesar r. JK adalah jumlah kuadrat yang berasal dari hipotesis : Cβ = Statistik Uji : JK / r ˆ F ~ F ' C'[ C( X ' X ) C'] C ˆ / r, n p atau F JK Res( FM ) /( n p) JK ( FM ) /( n p) sisa r : Cβ = d v.s. : Cβ d maka F ( C ˆ d)'[ C( X ' X ) C'] ( C ˆ d) / JK ( FM ) /( n p) sisa r ~ F r, n p

39 Regresi pada kasus terjadi multikolinier MULTIKOLINIERITAS Masalah multikolinieritas terjadi pada regresi berganda jika peubah-peubah X saling berkorelasi. Adanya hubungan linier yg kuat antara peubah-peubah bebas X. al ini akan mempengaruhi ragam dari dugaan koefisien regresi Peubah X yang dianggap penting kemungkinan akan tidak nyata walaupun nilai R nya tinggi. Pendugaan dari koefisien regresi menjadi tidak benar, misalnya koefisien memiliki tanda negatif padahal dalam hubungan X dan Y sebenarnya adalah positif

40 Bagaimana cara mendeteksi multikolinieritas? Periksa korelasi antar peubah penjelas X itunglah nilai Variance Inflation Factor (VIF) dimana : VIF = (-R j ) -. Regresi pada kasus terjadi multikolinier R j adalah R-kuadrat dari regresi dimana X j merupakan peubah respon dan peubah X lainnya menjadi predictor. Jika VIF lebih besar dari biasanya ada masalah multikolinieritas.

41 Regresi pada kasus terjadi multikolinier Bagaimana cara mengatasi multikolinieritas? Jika kita ingin memilih variabel X dimana hanya X yang nyata yang akan memasuki model Gunakan prosedur penyeleksian variabel, seperti forward, backward, stepwise Jika kita ingin mempertahankan konfigurasi variabel X yang akan memasuki model Gunakan metode estimasi di luar metode kuadrat terkecil, seperti Ridge Regression, Principal Component Regression, Partial Least Square

42 Tahapan Pembentukan Model Penentuan Model Menduga parameter Verifikasi Model Inferensia dan Interpretasi * Mengerti masalah yang diteliti Memilih peubah tetap dan tidak tetap-nya Mengidentifikasi model regresinya Menentukan data-data yang diperlukan untuk membangun model

43 Tahapan Pembentukan Model () Penentuan Model Menduga parameter Verifikasi Model Inferensia dan Interpretasi * Menduga parameter regresi dengan menggunakan data yg ada Mendapatkan selang kepercayaan bagi parameter regresi Untuk peramalan, yang diinginkan adalah sisaan s e terkecil Jika menduga parameter secara individual, pastikan tidak ada multikolinieritas dan bias

44 Tahapan Pembentukan Model () Penentuan Model Menduga parameter Verifikasi Model Inferensia dan Interpretasi * Evaluasi model yg didapat dg seksama (Mis. Apakah tanda parameter benar?) Apakah ada parameter yg bias atau yg tidak masuk akal? Cek asumsi regresi (Mis. Apakah eror ~ N (,? Apabila ada masalah, perhatikan kembali modelnya dan cari model lainnya yg kirakira sesuai

45 Tahapan Pembentukan Model () Penentuan Model Menduga parameter Verifikasi Model Inferensia dan Interpretasi * Interpretasikan hasil analisis regresi, sesuaikan dg masalah yg diteliti Bentuk selang kepercayaan atau lakukan uji hipotesis bagi parameter regresi Gunakan model untuk peramalan dan prediksi