Pemeriksaan Sebaran Data Bagus Sartono

Transkripsi

1 STK335 Analisis Eksplorasi Data Pertemuan 04 Pemeriksaan Sebaran Data Bagus Sartono

2 Outline Quantile-Quantile Plot Apa itu kuantil? Plot kuantil QQplot QQplot Normal QQplot selain normal Goodness of Fit Test Chi-Square Test Kolmogorov-Smirnov Test

3 Persentil dan Kuantil Persentile ke-k dari sebuah dataset adalah sebuah nilai yang membagi sedemikian rupa sehingga terdapat k% amatan yang kurang dari nilai tersebut dan (100-k)% amatan bernilai lebih besar dari nilai persentil tersebut Persentil ke-25 disebut juga sebagai lower quartile atau Q1 Persentil ke-50 disebut juga sebagai median Persentil ke-75 disebut juga sebagai upper quartile atau Q3 Dalam analisis statistik, istilah kuantil lebih umum digunakan dibandingkan persentil, meskipun maknanya sama. Hanya saja sering digunakan indeks yang berbeda. P25 Q(0.25) P50 Q(0.5) P75 Q(0.75)

4 Kuantil Misalkan ada dataset berikut Pertama urutkan datanya Padankan setiap nilai yang terurut dengan bilangan fraksi antara 0 dan 1 dengan jarak yang sama

5 Kuantil Kuantil yang lain diperoleh menggunakan interpolasi linear

6 Kuantil Andaikan terdapat suatu gugus data x 1, x 2,..., x n. Kuantil dengan fraksi tertentu diperoleh dengan cara sebagai berikut: Urutkan datanya x (1) x (2) x (n). Setiap data yang terurut merupakan kuantil yang bersesuaian dengan fraksi i 1 p i n 1 untuk i = 1,..., n Kuantil untuk fraksi lain diperoleh dengan melakukan interpolasi linear

7 Plot Kuantil Merupakan plot antar nilai kuantil dan fraksinya Serupa dengan plot dari fungsi sebaran kumulatif empirik (menukar sumbu)

8 ,2 0,4 0,6 0,8 1

9 Plot QQ Plot Kuantil-Kuantil Theoretical QQ Plot Scatter plot antara quantil data dengan quantil berdasarkan sebaran hipotetik tertentu Digunakan untuk mengidentifikasi apakah sebaran data mengikuti sebaran hipotetik yang digambarkan Pola garis lurus mengindikasikan hal tersebut

10 Plot QQ Tahapan pembuatan Urutkan data x (1) x (2) x (n). Hitung pi = (i 0.5)/n Untuk sebaran hipotetik tertentu, hitung Q i = F -1 (p i ) dengan F adalah fungsi sebaran kumulatif, dengan kata lain Qi adalah sebuah nilai sehingga P(Y Q i ) = p i Plot x (i) vs Q i

11 Plot QQ Normal Tahapan pembuatan Urutkan data x (1) x (2) x (n). Hitung pi = (i 0.5)/n Tentukan skor normal Z, untuk setiap p i Plot x (i) vs Z i Digunakan untuk melihat apakah distribusi data mengikuti sebaran normal

12 E ,5-2 -1,5-1 -0,5 0 0,5 1 1,5 2 2,5

13 QQPlot Normal untuk Data yang Mengikuti Sebaran Normal proc univariate data=data; var x; histogram x; qqplot x / normal; run;

14 QQPlot Normal untuk Data yang Sebarannya Menjulur ke Kanan

15 QQPlot Normal untuk Data yang Sebarannya Menjulur ke Kiri

16 data kanan; do i = 1 to 1000; x = rand('chisquare', 5); output; end; proc univariate data=kanan; var x; histogram x / midpoints=0 to 18 by 1 ; qqplot x / gamma(alpha=2.5); qqplot x / normal; run;

17 QQ Plot di SAS

18 Goodness of Fit Test Uji formal untuk apakah suatu gugus data mengikuti sebaran hipotetik tertentu H0: data mengikuti sebaran hipotetik H1: data tidak mengikuti sebaran hipotetik Chi-Square test, didasarkan pada perbandingan frekuensi amatan antara data empirik dengan kondisi jika sebarannya mengikuti fungsi kepekatan/massa peluang tertentu Kolmogorov-Smirnov test, didasarkan pada perbandingan antara fungsi sebaran kumulatif empirik dan fungsi sebaran kumulatif hipotetik

19 Chi-Square Test Membandingkan frekuensi amatan (observed, O) dengan frekuensi harapan (expected, E) berdasarkan sebaran tertentu Statistika Uji p 2 2 ( Oi Ei ) hitung i 1 Ei 2 hitung mengikuti sebaran 2 dengan derajat bebas (k 1) Ingat! Ada beberapa batasan kevalidan uji ini (pelajari di berbagai sumber bacaan terkait hal ini)

20 Chi-Square Test Ilustrasi: Apakah data berikut mengikuti sebaran seragam? n = 40 H0 : P(A) = P(B) = P(C) = P(D) = P(F) = 0.2 H1: selainnya

21 Chi-Square Test H0 : P(A) = P(B) = P(C) = P(D) = P(F) = 0.2 H1: selainnya Nilai Observed Expected A 5 8 B 11 8 C 16 8 D 6 8 F hitung p ( O i 1 i E E i i ) 2 Terima H0 atau Tolak H0?

22

23 Chi-Square Test Ilustrasi: Apakah data berikut mengikuti sebaran Normal? H0 : data menyebar normal H1: data tidak menyebar normal H0 : data menyebar Normal(?,?) H1: data tidak menyebar Normal(?,?) H0 : data menyebar Normal(mu=20.2, sigma=0.972) H1: data tidak menyebar Normal(mu=20.2, sigma=0.972)

24 Chi-Square Test H0 : data menyebar Normal(mu=20.2, sigma=0.972) H1: data tidak menyebar Normal(mu=20.2, sigma=0.972) Peluang Normal Selang Nilai Frekuensi sesuai H0 Ekspektasi 2 hitung hitung 6.33 p ( O i 1 i E E i i ) 2

25 Kolmogorov-Smirnov Test Introduction A test for goodness of fit usually involves examining a random sample from some unknown distribution in order to test the null hypothesis that the unknown distribution function is in fact a known, specified function. A random sample X1,X2,..., Xn is drawn from some population and is compared with F (x) in some way to see if it is reasonable to say that F (x) is the true distribution function of the random sample. One logical way of comparing the random sample with F (x) is by means of the empirical distribution function S(x)

26 Kolmogorov-Smirnov Test Definition Let X1,X2,..., Xn be a random sample. The empirical distribution function S(x) is a function of x, which equals the fraction of Xis that are less than or equal to x for each x, <x<, i.e

27 Kolmogorov-Smirnov Test The data consist of a random sample X1,X2,..., Xn of size n associated with some unknown distribution function,denoted by F(x) The sample is a random sample Let S(x) be the empirical distribution function based on the random sample X1,X2,..., Xn. Let F (x) be a completely specified hypothesized distribution function Let the test statistic T be the greatest (denoted by sup for supremum) vertical distance between S(x) and F (x). In symbols we say

28

29 Kolmogorov-Smirnov Test Ilustrasi: Apakah data berikut mengikuti sebaran Normal(mu=20.2, sigma=0.972)? H0 : data menyebar Normal(mu=20.2, sigma=0.972) H1: data tidak menyebar Normal(mu=20.2, sigma=0.972)

30 Kolmogorov-Smirnov Test Ilustrasi: Apakah data berikut mengikuti sebaran Normal(mu=20.2, sigma=0.972)? H0 : data menyebar Normal(mu=20.2, sigma=0.972) H1: data tidak menyebar Normal(mu=20.2, sigma=0.972)

31 i x S(x) F(x) abs(s-f) Dst. T = T kritis = Terima H0