STK 511 Analisis statistika. Materi 7 Analisis Korelasi dan Regresi

Transkripsi

1 STK 511 Analisis statistika Materi 7 Analisis Korelasi dan Regresi 1

2 Pendahuluan Kita umumnya ingin mengetahui hubungan antar peubah Analisis Korelasi digunakan untuk melihat keeratan hubungan linier antar dua peubah Analisis Regresi digunakan untuk melihat hubungan sebab akibat antar peubah

3 Analisis Korelasi

4 Analisis Korelasi Mengukur keeratan/kekuatan hubungan antar 2 peubah Dinyatakan dalam suatu ukuran nilai Koefisien korelasi (rxy atau disingkat r) 1 ) ( dan 1 ) ( 1 ) )( ( 2 2 n y y S n x x S n y y x x S S S S r i y i x i i xy y x xy xy

5 Koefisien Korelasi Bernilai antara 1 s/d +1 Tanda koefisien menunjukkan arah hubungan kedua peubah Besarnya koefisien menunjukkan keeratan hubungan kedua peubah

6 Koefisien Korelasi (+) r = 0.70 r = 0.58 r = 0.95

7 Koefisien Korelasi (-) r = r = r = -0.90

8 Beberapa Kemungkinan Hubungan Antar 2 Peubah

9 3 Penyalahgunaan Koefisien Korelasi

10 Analisis Regresi Linear Sederhana

11 Pengantar Terdapat 2 peubah numerik : peubah yang satu mempengaruhi peubah yang lain Peubah yang mempengaruhi X, peubah bebas, peubah penjelas Peubah yang dipengaruhi Y, peubah tak bebas, peubah respon

12 Pengantar Misalnya ingin melihat hubungan antara pengeluaran untuk iklan (ads expenditures, X) dengan penerimaan melalui penjualan (sales revenue, Y) Waktu X Y

13 Pengantar 65 sales revenue (millions of dollars) ads expenditures (millions of dollars)

14 Pengantar sales revenue (millions of dollars) e Ŷ Y ads expenditures (millions of dollars) Ingin dibuat model Y = α+ βx Model memuat error, selisih nilai sebenarnya dengan dugaan berdasar model e Y - Ŷ

15 Bagaimana mendapatkan α dan β? Metode yang digunakan : OLS (ordinary least squares/kuadrat terkecil), mencari α dan β sehingga jumlah kuadrat error paling kecil Cari penduga α dan β sehingga n minimum 2 e i Yi - - Xi n i1 i1 2

16 Bagaimana mendapatkan α dan β? b n X i X Yi Y i1 n X i X i1 2 a Y bˆx Rata-rata Y Rata-rata X

17 X Y X-rata Y-rata (X-rata)(Y-rata) (X-rata) 2 Ilustrasi Perhitungan X 12 Y 50 X X Y Y106 2 X X 30 b = 106 / 30 = a = (12) = 7.60

18 sales revenue (millions of dollars) y = x ads expenditures (millions of dollars)

19 Interpretasi a dan b a = besarnya nilaiy ketika X sebesar 0 pada bbrp kasus nilai a adalah penyesuaian b = besarnya perubahan nilaiy ketika X berubah satu satuan. Tanda koefisien b menunjukkan arah hubungan X dany Pada kasus ilustrasi a = 7.6 besarnya sales revenue jika tidak ada belanja iklan adalah 7.6 mlo b = jika belanja iklan dinaikkan 1 juta dolar maka sales revenue naik juta dolar

20 Uji Signifikasi Koefisien β H 0 : β = 0 (artinya X tidak mempengaruhi Y) H 1 : β 0 (artinya X mempengaruhi Y) stat uji t b - 0 s b s b ( n n i1 k) Y n i X i X i1 Yˆ i 2 2 Tolak H 0 jika nilai t melebihi nilai t pada tabel dengan derajat bebas (n-2) dengan tingkat kesalahan /2

21 Uji signifikansi koefisien β Nilai s b = 0.52 Nilai t = 6.79 Nilai t pada tabel (db = 8, = 5%) = Kesimpulan : Tolak H 0, data mendukung kesimpulan adanya pengaruh ads expenditure terhadap sales revenue.

22 Ukuran Kebaikan Model Menggunakan koefisien determinasi (R 2, R-squared) R-squared bernilai antara 0 s/d 1 R-squared adalah persentase keragaman data yang mampu diterangkan oleh model R-squared tinggi adalah indikasi model yang baik

23 Ukuran Kebaikan Model R 2 Ŷi Y Y i Y 2 2 Model dalam ilustrasi bisa ditunjukkan memiliki R-squared 0.85 atau 85%

24 ANALISIS REGRESI LINIER BERGANDA

25 Pengantar Pada sesi sebelumnya kita hanya menggunakan satu buah X, dengan model Y = α+ βx Dalam banyak hal, yang mempengaruhi X bisa lebih dari satu. Model umum regresi linear berganda adalah Y = β 0 + β 1 X 1 + β 2 X β p X p

26 Ilustrasi Misalnya dalam satu perusahaan ingin melihat hubungan antara pengeluaran untuk iklan (ads expenditures, X 1 ) dengan penerimaan melalui penjualan (sales revenue, Y) Waktu X Y

27 Dengan Regresi Linier Sederhana sales revenue (millions of dollars) y = x R 2 =85% ads expenditures (millions of dollars)

28 Ilustrasi Kemudian terdapat informasi lain mengenai pengeluaran untuk quality control (X 2 ). Waktu X X Y

29 Ilustrasi Proses mencari penduga bagi koefisien β 0, β 1, dan β 2 memiliki konsep yang sama dengan model regresi sederhana, namun lebih kompleks. Karena alasan tersebut digunakan bantuan komputer. Output standar komputer: ANOVA pengujian simultan Pengujian Parsial Nilai dugaan koefisien Ukuran kebaikan model

30 Ilustrasi Output SAS System Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model <.0001 Error Corrected Total Root MSE R-Square Dependent Mean Adj R-Sq Coeff Var Parameter Estimates Parameter Standard Variable DF Estimate Error t Value Pr > t Intercept X X

31 ANOVA Digunakan untuk menguji secara simultan pengaruh seluruh X H 0 : semua β i = 0 (tidak ada X yang berpengaruh terhadap Y) H 1 : ada β i 0 (ada X yang berpengaruh terhadapy) Konsep dasar : ANOVA membandingkan besarnya keragaman yang terkandung dalam model dengan keragaman yang tersisa pada error model. Jika rasio keduanya besar, maka X mempengaruhiy. Rasio itu dilambangkan dengan nilai F. Semakin besar nilai F, semakin kecil nilai-p, cenderung menolak H 0.

32 ANOVA: ilustrasi Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model <.0001 Error Corrected Total Seandainya kita gunakan = 5%, maka nilai-p ini lebih kecil daripada 5%, sehingga kita putuskan TOLAK H 0, artinya ada X yang mempengaruhi sales revenue

33 Ilustrasi Parameter Standard Variable DF Estimate Error t Value Pr > t Intercept X X Modelnya Y = X X2 Uji parsial. Menguji masing-masing X. Karena p-value X1 dan X2 kecil, maka disimpulkan bahwa pengaruh keduanya terhadap sales revenue signifikan secara statistik

34 Ilustrasi Root MSE R-Square Dependent Mean Adj R-Sq Coeff Var Ukuran kebaikan model : R 2. Penambahan X lain dalam model akan selalu meningkatkan nilai R 2, namun menurunkan derajat bebas error. Agar evaluasi terhadap kebaikan model tidak terganggu, nilai R 2 dikoreksi menjadi Adjusted R 2.

35 Beberapa Permasalahan Multikolinearitas, korelasi antar X menyebabkan variasi dugaan koefisien meningkat Heteroskedastisitas, ketidakhomogenan variasi dugaan Y di setiap nilai X Autokorelasi, error masih berpola

36 Multikolinearitas Dalam analisis regresi berganda, antar X tidak boleh saling berkorelasi. Korelasi antar X menyebabkan dugaan koefisien tidak stabil (memiliki variasi yang besar). Hal ini menyebabkan kesimpulan cenderung menyatakan terima H 0 atau pengaruh X tidak signifikan meskipun nilai R 2 sangat tinggi.

37 Multikolinearitas Dideteksi dengan melihat korelasi antar X. Dideteksi dengan nilaivif (variance inflation factor). Nilai VIF yang lebih dari 10 merupakan INDIKASI multikolinearitas mempengaruhi pendugaan.

38 Multikolinearitas : Penanganan Tambah banyaknya data Buat restriksi terhadap koefisien, berdasarkan informasi terdahulu Buang salah satu variabel yang saling berkorelasi Gunakan metode regresi lain (ridge regression, principal component regression, partial least squares, etc)

39 Heteroskedastisitas sales revenue (millions of dollars) Error disini lebih besar Error disini kecil ads expenditures (millions of dollars)

40 Autokorelasi Autokorelasi: korelasi antar error Model yang baik menghasilkan error yang acak, tidak lagi berpola Diukur menggunakan statistik D-W (Durbin-Watson)

41 Autokorelasi: Penanganan Masukkan ke dalam model, lag dari variabel Y. Jadi yang mempengaruhi Y selain X adalah Y waktu sebelumnya. Misalkan, harga saat ini ada hubungannya dengan harga kemarin, atau dua hari yang lalu, dst. lag distributed model

42 Hal-Hal Lain Lakukan terlebih dahulu eksplorasi melalui plot XY: Mungkin ada data pencilan Mungkin perlu transformasi data (misal: model kuadratik) Mungkin perlu pemisahan model (misal: model untuk perusahaan swasta dalam negeri dan swasta asing tidak sama)

43 Hal-Hal Lain Pada kasus regresi berganda, terdapat teknik penyeleksian variabel bebas dalam model: Forward method Backward method Stepwise

44 All models are wrong, but some are useful (G. E. P. Box)

45 Selesai 45