Regresi Linear Sederhana dan Korelasi 1. Model Regresi Linear 2. Penaksir Kuadrat Terkecil 3. Prediksi Nilai Respons 4. Inferensi Untuk Parameter-parameter Regresi 5. Kecocokan Model Regresi 6. Korelasi Utriweni Mukhaiyar Utriweni Mukhaiyar MA 2081 Statistika Dasar 23 April 2012
Tujuan 1. Menentukan/menaksir parameter-parameter yang terlibat dalam suatu model matematik yang linear terhadap parameter-parameter tersebut. 2. Melakukan prediksi terhadap nilai suatu variabel, misalkan Y, berdasarkan nilai variabel yang lain, misalkan X, dengan menggunakan model regresi linier (interpolasi). 2
ILUSTRASI f(x) Suhu (X) Gula yang Dihasilkan (Y) X menentukan Y prediktor respons 3 bukan peubah acak peubah acak Memiliki distribusi
Observasi 1 2 3 n X X 1 X 2 X 3 X n Y Y 1 Y 2 Y 3 Y n Mana yang merupakan prediktor?? 1 3 Variabel yang nilainya mempengaruhi variabel yang lainnya. 2 Variabel yang kejadiannya lebih dahulu terjadi. Variabel yang variansinya terkecil 4
MODEL REGRESI LINEAR SEDERHANA Y X e i 0 1 i i - 1 dan 0 merupakan parameter-parameter model yang akan ditaksir - e i adalah galat pada observasi ke-i (acak) 5
Sumber Galat 1. Ketidakmampuan model regresi dalam memodelkan hubungan uuga prediktor pe dan respons s dengan tepat 2. Ketidakmampuan peneliti dalam melakukan pengukuran dengan tepat 3. Ketidakmampuan model untuk melibatkan semua variabel prediktor 6
Penaksir Kuadrat Terkecil - 1 dan 0 ditaksir dengan metode kuadrat terkecil (least square) - Asumsi-asumsi : 7 1. Ada pengaruh X terhadap Y 2. Y i 0 1 X i e i untuk i 1,2,..., n 3. Nilai harapan dari e i adalah 0, atau E[ e i ] = 0 4. Variansi i dari e i, sama untuk semua i = 1, 2,, n 5. e i berdistribusi normal untuk semua i = 1, 2,, n 6. e 1,e 2,...,e n saling bebas (independen)
Misalkan b 1 adalah taksiran bagi 1 dan b 0 adalah taksiran bagi 0. Maka taksiran bagi model regresi adalah Y b b X i 0 1 Kriteria penaksiran kuadrat terkecil adalah meminimumkan n 2 ei i1 i e Y Y Y b b X terhadap b 0 dan b 1, dengan 0 1 i i i i i 8
Diperoleh b 1 JK JK XY XX X XY Y n i i i1 1 n i1 X i X 2 b Y b X 0 1 Sedangkan taksiran untuk variansi igalat acak adalah JK y yˆ 2 JK bjk ˆ s n 2 n2 n2 2 2 G i i YY 1 XY 9
Suhu (X) 1 1.11 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2 Gula yg dihasilkan (Y) 8.1 7.8 8.5 9.8 9.5 8.9 8.6 10.2 9.3 9.2 10.5 Sumber: Walpole and Myers, 1989 e i 10
n = 11 X 11 11 1 n Xi 1, 5 Y Yi i1 n i 1 1 9,13 11 i i i1 11 X XY Y b1 1,8091 11 2 X X i1 i b0 Y b1x 6, 4136 Y i 6, 4136 1,8091 X Model persamaan regresi i 11
Prediksi Nilai Respons 12 e y y Suhu (x i ) Gula yg dihasilkan (y i ) Prediksi model ˆ y ˆi i i i 1 8.1 8.22-0.12 1.1 7.8 8.40-0.60 1.2 8.5 8.58-0.08 1.3 9.8 8.77 1.03 1.4 9.5 8.95 0.55 1.5 8.9 9.13-0.23 1.6 8.6 9.31-0.71 1.7 10.2 9.49 0.71 1.8 9.3 9.67-0.37 1.9 9.2 9.85-0.65 2 10.5 10.03 0.47 Taksiran variansi galat acak s 2 y yˆ 2 JK G yi yi 0, 4 n 2 9
Prediksi Nilai Respons Misalkan suhu proses(x) adalah 1.55 satuan suhu. Maka prediksi banyaknya gula yang dihasilkan pada suhu tersebut t adalah Y 6, 4136 1,8091 X 6, 4136 1,8091 1,55 9,2177 13
ASUMSI KENORMALAN 1 Asumsi e i berdistribusi normal untuk semua i = 1, 2,, n Y i beristribusi normal untuk i 1 2 2 semua i = 1, 2,, n 3 b 0 dan b 1 berdistribusi normal 14
INFERENSI UNTUK PARAMETER 0 T 0 b 0 0 n 2 s xi njkxx i1 berdistribusi t dengan derajat kebebasan n-2. Selang kepercayaan (1-α) untuk 0 : n n 2 2 0 0 0 i XX i XX, n2, n2 2 i1 2 i1 b t s x njk b t s x njk 15 t /2;n-2 adalah nilai distribusi t dengan derajat kebebasan n-2
INFERENSI UNTUK PARAMETER 1 T 1 s b 1 1 JK XX berdistribusi t dengan derajat kebebasan n-2. Selang kepercayaan (1-α) untuk 1 : b t 2; n2 s t 2; n2 s b JK JK 1 1 1 XX XX 16 t /2 ; n-2 adalah nilai distribusi t dengan derajat kebebasan n-2
PENGUJIAN PARAMETER REGRESI Tujuan : menentukan apakah parameter-parameter tersebut t dapat diabaikan ik atau tidak. Rumusan Hipotesis H 0 : β 0 = 0 H 0 : β 1 = 0 H 1 : β 0 0 H 1 : β 1 0 b0 t 0 b 1 n 2 xi t1 ˆ ˆ i1 njk XX JK XX 17
SELANG PREDIKSI Misalkan nilai respons Y untuk X = X 0 adalah Y 0 0, dan misalkan adalah prediksi model regresi bagi Y 0. Maka Ŷ-Y 0 0 T ˆ 1+(1/n)+[(x 2 0 x) / JK XX ] berdistribusi t dengan derajat kebebasan n-2. Selang prediksi (1 α) bagi y 0 adalah 1 (x x) 1 (x x) yˆ t ˆ 1+ + y yˆ t ˆ 1+ + 2 2 0 0 0 /2 0 0 /2 n JK XX n JK XX 18
CONTOH 1 SELANG KEPERCAYAAN 1- TINJAU CONTOH SEBELUMNYA (2.26)(0.4) (2.26)(0.4) 1.8091 1 1.8091 1.1 1.1 Selang kepercayaan 95% untuk β 1 : b 1 =1,8091 b 0 =6,4136 Selang kepercayaan 95% untuk β 0 : 19 25.85 25.85 6.4136 (2.26)(0.4) 0 6.4136 (2.26)(0.4) (11)(1.1) (11)(1.1)
CONTOH 2 UJI HIPOTESIS H 0 : β 0 = 0 H 1 : β 0 0 derajat kebebasan n 2 = 9, nilai kritis t 0.025 = 2.2626 t 0 > t 0.025 & t 1 > t 0.025 maka masing- masing H 0 ditolak H 0 : β 1 = 0 H 1 : β 1 0 Kesimpulan β 0 dan β 1 tidak dapat diabaikan 20
Kecocokan Model Regresi Salah satu alat ukur untuk melihat apakah model regresi yang diperoleh sudah memadai adalah koefisien determinasi yaitu R yˆ y 2 2 n i i JK R i 1 n JK 2 T yi yi 2 R i1, dengan 0 1 Besaran R 2 menunjukkan proporsi variasi total dalam respons Y yang diterangkan oleh model regresi yang diperoleh 21
UJI KEBAIKAN MODEL H 0 : Model regresi yang diperoleh tidak memadai H 1 : Model memadai Statistik uji f JK s R yˆ y 2 n i i i1 Tolak H 0 pada tingkat keberartian α jika f > f,(1,n-2), dimana f,(1,n-2) adalah nilai distribusi F dengan derajat kebebasan 1 dan n 2. s 22
CONTOH 3 Untuk contoh sebelumnya diperoleh R 2 = 0,499. Artinya proporsi p variasi total dalam respons Y yang diterangkan oleh model regresi yang diperoleh adalah 49.9% 23 Uji kebaikan model f 11 yˆ i y JK R s s i i11 8,99 Untuk α = 5%, titik kritis f 005(19) 0.05,(1,9) = 5,12 f > f 0.05,(1,9), model memadai. 2
Korelasi Mengukur hubungan linear dua peubah acak Misalkan X dany adalah dua peubah acak, maka korelasi antara X dany dinyatakan dengan XY E X X Y Y Cov XY, 2 2 E X X Y X E Y Y 24
Jika nilai korelasi mendekati 1 maka hubungan kedua peubah sangat erat dan searah sedangkan jika nilai korelasi mendekati 1 maka hubungan kedua peubah sangat erat dan berlawanan arah. Jika nilai korelasi sama dengan nol berarti tidak terdapat hubungan linear antara kedua peubah acak. 25
Gambar 1 Korelasi positif Gambar 2 Korelasi negatif 26 Gambar 3 Korelasi nol Gambar 4 Korelasi nol
KORELASI SAMPEL Korelasi dapat ditaksir dengan koefisien korelasi sampel, yaitu r JK JK XY JK XX YY n i i i1 X XY Y n n 2 2 Xi X Yi Y i1 i1 27
CONTOH 4 Data berikut menggambarkan nilai kimia 12 mahasiswa tingkat pertama yang diambil secara acak di suatu universitas bersama nilai intelegensi yang dikur sewaktu mereka di SMA. Mahasiswa Nilai Intelegensi (x) Nilai Kimia (y) 1 65 85 2 50 74 3 55 76 4 65 90 5 55 85 6 70 87 7 65 94 8 70 98 9 55 81 10 70 91 11 50 76 12 55 74 28 Rata-rata nilai intelegensi = 60,42, Rata-rata nilai kimia = 84,25
110 100 90 Nilai Kimia 80 70 60 50 40 40 45 50 55 60 65 70 75 Nilai Intelegensi r JK 12 X XY Y i i XY i1 12 12 JK XX JKYY 2 2 X X Y Y i i i1 i1 0,863 29
Referensi Pasaribu, U.S., 2007, Catatan Kuliah Biostatistika. Walpole, Ronald E. Dan Myers, Raymond H., Ilmu Peluang dan Statistika untuk Insinyur dan Ilmuwan, Edisi 4, Bandung: Penerbit ITB, 1995. Walpole, Ronald E., et.al, Statistic for Scientist and Engineering, 8th Ed., 2007. 30