STK643 PEMODELAN NON-PARAMETRIK. Pendugaan Fungsi Kepekatan

Transkripsi

1 STK643 PEMODELAN NON-PARAMETRIK Pendugaan Fungsi Kepekatan

2 MATERI 1. Pendahuluan Mengapa pemodelan nonparametrik Penerapan pemodelan nonparametrik (Eksplorasi data dan Inferensia) 2. Pendugaan fungsi kepekatan peubah tunggal Metode Histogram (Naive Histogram) Metode Kernel 3. Pendugaan fungsi kepekatan peubah ganda 4. Penerapan pendugaan fungsi kepekatan 5. Pemodelan nonparametrik Pemulusan plot tebaran Metode pemulus Kernel 6. Pemodelan nonparametrik peubah ganda 7. Regresi Spline 8. Model aditif

3 METODE HISTOGRAM Deskripsi tentang penyebaran, kemiringan atau kemenjuluran, dan kemungkinan adanya modus ganda Histogram Gambaran perilaku data sebagai komponen penting dalam analisis data Pola data ideal yang simetrik tidak selalu tergambarkan secara baik Metode Pendugaan Nonparametrik Pemulusan

4 METODE HISTOGRAM Data contoh acak x 1, x 2,..., x n Fungsi teoritik bersifat kontinu dan memiliki turunan sedangkan fungsi empirik bersifat diskrit (terputus-putus)

5 HISTOGRAM Fungsi kepekatan menjelaskan sebaran suatu peubah X dan peluang P(a<X<b) dapat dituliskan sebagai berikut: P a < X < b = f u du Penduga nonparametrik fungsi kepekatan berdasarkan definisi berikut: f(x) d F x + h F(x) F(x) lim dx h 0 h a b F x = #(x i x) n

6 HISTOGRAM Penduga histogram dari fungsi kepekatan f x = #{x i b j+1 } #{x i b j } /n h, x (b j, b j+1 ] f x = n j nh n j = banyaknya pengamatan dalam bin ke-j h = b j+1 + b j

7 HISTOGRAM Histogram merupakan penduga fungsi kepekatan nonparametrik Proses penyusunan histogram: Penentuan jumlah kelas (segmen) nilai Penentuan lebar kelas Penentuan lokasi nilai tengah masing-masing kelas Pengalokasian pengamatan ke dalam salah satu kelas Pembuatan kotak (persegipanjang) pada setiap kelas dengan tinggi kotak masing-masing merupakan frekuensi

8 HISTOGRAM Sturges (1926) : banyaknya kelas atau segmen (L) n = 2 L-1 atau L = [1 + log 2 n] h = R/L Scott (1979) : lebar kelas (h) h = 3.49 s n -(1/3)

9 HISTOGRAM

10 HISTOGRAM Data pengamatan data x 1, x 2,..., x n Selang nilai data [a,b] dibagi menjadi m segmen dengan lebar h Titik batas a+ih untuk 0 i m a j = a + jh n j = banyaknya data amatan xi dalam kelas atau selang [a j-1, a j ]

11 PENDUGA NAIVE HISTOGRAM Berdasarkan definisi kepekatan peluang, jika peubah acak X mempunyai kepekatan f, maka 1 f x = lim P x h < X < x + h h 0 2h Untuk h tertentu, penduga P(x-h<X<x+h) adalah proporsi contoh dalam selang (x-h<x<x+h) Penduga naive adalah f x = 1 2hn [banyaknya x i di dalam (x h,x+h)

12 PENDUGA NAIVE HISTOGRAM Penduga naive dapat dituliskan fungsi pembobot w f x = 1 n w x = n i=1 1 w h x x i h 1 jika x < selainnya

13 PENDUGA NAIVE HISTOGRAM Penduga naive

14 library(sm) y <- log(aircraft$span[aircraft$period==3]) par(mfrow=c(1,2)) hist(y, xlab="log Span", ylab="frequency") sm.density(y, xlab="log Span") par(mfrow=c(1,1))

15 y <- log(aircraft$span[aircraft$period==3]) par(mfrow=c(1, 2)) sm.density(y, hmult = 1/3, xlab="log span") sm.density(y, hmult = 2, xlab="log span") par(mfrow=c(1,1))

16 y1 <- log(aircraft$span[aircraft$period==1]) y2 <- log(aircraft$span[aircraft$period==2]) y3 <- log(aircraft$span[aircraft$period==3]) sm.density(y3, xlab="log span") sm.density(y2, add=t, lty=2) sm.density(y1, add=t, lty=3) legend(3.5, 1, c("period 1", "Period 2", "Period 3"), lty=1:3)

17 pc3<cbind(airpc$comp.1[airpc$period==3],airpc$comp.2[airpc$period==3]) par(mfrow=c(2,2)) par(cex=0.6) plot(pc3) sm.density(pc3, zlim=c(0,0.08)) sm.density(pc3, hmult=0.5, zlim=c(0,0.15)) sm.density(pc3, hmult=2, zlim=c(0,0.04)) par(cex=1) par(mfrow=c(1,1))

18 sm.density(pc3, display="image") sm.density(pc3, display="slice")

19 pc <- cbind(airpc$comp.1, airpc$comp.2) pc1<-cbind(airpc$comp.1[airpc$period==1],airpc$comp.2[airpc$period==1]) pc2<-cbind(airpc$comp.1[airpc$period==2],airpc$comp.2[airpc$period==2]) pc3<-cbind(airpc$comp.1[airpc$period==3],airpc$comp.2[airpc$period==3]) plot(pc, pch=20) sm.density(pc1, display="slice",add=t,col="red") sm.density(pc2, display="slice",add=t,col="green") sm.density(pc3, display="slice",add=t,col="blue")

20 METODE KERNEL Pembobot w disubstitusi dengan fungsi kernel K sehingga diperoleh penduga kernel Penduga kernel Fungsi kernel K memenuhi f x f x = 1 n = 1 n +~ n i=1 n i=1 1 w h 1 K h K u du = 1 x x i h x x i h ~ Fungsi K biasanya berupa fungsi kepekatan peluang simetri seperti kepekatan normal h disebut window width atau parameter pemulus (smoothing) atau band width.

21 METODE KERNEL window width 0.2 window width 0.4 window width 0.8

22 METODE KERNEL window width 0.1 window width 0.3 window width 0.6

23 METODE KERNEL bimodal sebenarnya penduga kernel (h=0.25)

24 METODE KERNEL PENENTUAN LEBAR JENDELA f x merupakan penduga bagi f berdasarkan nilai h tertentu Nilai h yang kecil menunjukkan ketergantungan pada data yang berdekatan dengan x, sebaliknya nilai h yang besar menunjukkan data yang agak berjauhan akan mempunyai sumbangan yang hampir sama dengan data yang berdekatan dengan x Beberapa kriteria penduga kepekatan yang baik: MSE (mean square error) ISE (integrated squared error) MISE (mean integrated squared error) AMISE (asymptotic mean integrated squared error)

25 METODE KERNEL PENENTUAN LEBAR JENDELA MSE (mean square error) MSE f(x) = E f x f(x) 2 =var f(x) +(bias{f(x)}) 2 bias{f(x) = E{f(x)} f(x) MSE tergantung pada parameter

26 METODE KERNEL PENENTUAN LEBAR JENDELA ISE (integrated squared error) ISE(h) = f x f(x) 2 ISE(h) adalah fungsi dari nilai pengamatan x melalui f(x) ISE(h) tergantung pada nilai f(x), penduga fungsi, dan ukuran contoh MISE (mean integrated squared error) MISE(h) = E{ISE(h)} MISE(h) dan ISE(h) sebagai ukuran kualitas penduga fungsi, f x AMISE (asymptotic mean integrated squared error)

27 METODE KERNEL PENENTUAN LEBAR JENDELA AMISE (asymptotic mean integrated squared error) AMISE(h) = (R(k) nh + h4 4 σ kr(f " ) 4 Nilai h meminimum AMISE(h): h = R(K)/nσ k 4 R(f " ) 1/5 R(g) = ukuran kekasaran fungsi g = g 2 (z)dz Jika g ~N(µ,σ 2 ) maka R(g ) = 1 4 πσ 3 dan R(g ) = 3 8 πσ 5

28 METODE KERNEL PENENTUAN LEBAR JENDELA Validasi Silang Penduga fungsi f x di suatu titik ke-i diduga berdasarkan seluruh pengamatan tanpa pengamatan ke-i f x = 1 h(n 1) j i K (x i x j h Besarnya h diperoleh dengan memaksimumkan pseudo-likelihood berikut: n PL h = f i (x i ) i

29 METODE KERNEL PENENTUAN LEBAR JENDELA Validasi Silang Penentuan h dengan ISE(h) R(f) adalah suatu konstanta 2E{f(x)} diduga dengan 2 n ISE h = R f 2E f x + R(f) i f i (x i ) Nilai h diperoleh dengan meminimumkan fungsi UCV h = R f 2 n i f i (x i ) Metode ini disebut validasi silang tak bias di mana E{UCV(h)} = MISE(h)

30 METODE KERNEL PENENTUAN LEBAR JENDELA Validasi Silang Penentuan h berdasarkan validasi silang berbias, BCV(h), dengan meminimumkan AMISE(h) Metode validasi silang memerlukan komputasi intensif Beberapa rumus h (secara plug-in): 1. h = 1.06σn 1 5 (Silverman 1986) 2. h = 1.59σn 1 3 (Sheather dan Jones 1991) 3. h = 1.44σn 1 5 (Terrell 1990)

31 METODE KERNEL PEMILIHAN FUNGSI KERNEL Beberapa fungsi kernel Normal 1 2π e 1 2 t2, < t < + Uniform (kotak) 1 untuk t < selainnya

32 METODE KERNEL PEMILIHAN FUNGSI KERNEL Beberapa fungsi kernel Epanechnikov Triangle (segitiga) t2 5 untuk t < 5 0 selainnya 1 t untuk t < 1 0 selainnya

33 METODE KERNEL PEMILIHAN FUNGSI KERNEL Beberapa fungsi kernel Biweight (penimbang ganda) t2 untuk t < 1 0 selainnya

34 rec <- function(x) (abs(x) < 1) * 0.5 tri <- function(x) (abs(x) < 1) * (1 - abs(x)) gauss <- function(x) 1/sqrt(2*pi) * exp(-(x^2)/2) x <- seq(from = -3, to = 3, by = 0.001) plot(x, rec(x), type = "l", ylim = c(0,1), lty = 1, ylab = expression(k(x))) rectangular (uniform)

35 rec <- function(x) (abs(x) < 1) * 0.5 tri <- function(x) (abs(x) < 1) * (1 - abs(x)) gauss <- function(x) 1/sqrt(2*pi) * exp(-(x^2)/2) x <- seq(from = -3, to = 3, by = 0.001) plot(x, rec(x), type = "l", ylim = c(0,1), lty = 1, ylab = expression(k(x))) lines(x, tri(x), lty = 2) rectangular (uniform) triangular

36 rec <- function(x) (abs(x) < 1) * 0.5 tri <- function(x) (abs(x) < 1) * (1 - abs(x)) gauss <- function(x) 1/sqrt(2*pi) * exp(-(x^2)/2) x <- seq(from = -3, to = 3, by = 0.001) plot(x, rec(x), type = "l", ylim = c(0,1), lty = 1, ylab = expression(k(x))) lines(x, tri(x), lty = 2) lines(x, gauss(x), lty = 3) rectangular (uniform) triangular normal

37 CONTOH x <- c(0, 1, 1.1, 1.5, 1.9, 2.8, 2.9, 3.5) n <- length(x) xgrid <- seq(from = min(x) - 1, to = max(x) + 1, by = 0.01) h <- 0.4 gauss <- function(x) 1/sqrt(2*pi) * exp(-(x^2)/2) bumps <- sapply(x, function(a) gauss((xgrid - a)/h)/(n * h)) plot(xgrid, rowsums(bumps), ylab = expression(hat(f)(x)),type = "l", xlab = "x", lwd = 2) rug(x, lwd = 2) out <- apply(bumps, 2, function(b) lines(xgrid, b))

38 gauss <- function(x) 1/sqrt(2*pi) * exp(-(x^2)/2) bumps <- sapply(x, function(a) gauss((xgrid - a)/h)/(n * h))

39 gauss <- function(x) 1/sqrt(2*pi) * exp(-(x^2)/2) bumps <- sapply(x, function(a) gauss((xgrid - a)/h)/(n * h)) rug(x, lwd = 2)

40 gauss <- function(x) 1/sqrt(2*pi) * exp(-(x^2)/2) bumps <- sapply(x, function(a) gauss((xgrid - a)/h)/(n * h)) rug(x, lwd = 2) out <- apply(bumps, 2, function(b) lines(xgrid, b))

41 data("faithful", package = "datasets") x <- faithful$waiting layout(matrix(1:3, ncol = 3)) hist(x, xlab = "Waiting times (in min.)", ylab = "Frequency",probability = TRUE, main = "Gaussian kernel", border = "gray") lines(density(x, width = 12), lwd = 2) rug(x) hist(x, xlab = "Waiting times (in min.)", ylab = "Frequency", probability = TRUE, main = "Rectangular kernel", border = "gray") lines(density(x, width = 12, window = "rectangular"), lwd = 2) rug(x) hist(x, xlab = "Waiting times (in min.)", ylab = "Frequency", probability = TRUE, main = "Triangular kernel", border = "gray") lines(density(x, width = 12, window = "triangular"), lwd = 2) rug(x)

42 KEPUSTAKAAN 1) Bowman AW, Azzalini A Applied Smoothing Techniques for Data Analysis: the Kernel Approach With S-Plus Illustrations. Oxford University Press. London. 2) Silverman BW Density Estimation for Statistics and Data Analysis. Vol. 26 of Monographs on Statistics and Applied Probability. Chapman & Hall/CRC. London. 3) Simonoff JS Smoothing Methods in Statistics. Springer. New York.