MA3081 STATISTIKA MATEMATIKA We love Statistics

Transkripsi

1 Catatan Kuliah MA3081 STATISTIKA MATEMATIKA We love Statistics disusun oleh Khreshna I.A. Syuhada, MSc. PhD. Kelompok Keilmuan STATISTIKA - FMIPA Institut Teknologi Bandung 2013

2 Daftar Isi 1 Peubah Acak dan Fungsi Distribusi Fungsi Distribusi Unsur Peluang Ekspektasi Distribusi Bivariat Distribusi Bersyarat Fungsi Pembangkit Momen Distribusi Sampel Pengantar Sampel Acak Likelihood Distribusi Sampel Statistik Terurut Statistic Cukup Teorema Limit Pusat Penaksiran Pengantar Penaksir Likelihood Maksimum Penaksir MM Sifat Penaksir dan Kesalahan Penaksiran Sifat penaksir Kesalahan Penaksiran Sifat Konsisten dan CRLB Sifat Konsisten CRLB Penaksiran Selang i

3 BAB 1 Peubah Acak dan Fungsi Distribusi 1.1 Fungsi Distribusi Definisi: Misalkan X peubah acak. Fungsi distribusi (kumulatif) dari X adalah F X (x) = P (X x) Contoh: 1. Misalkan X Bin(3, 0.5), maka fungsi distribusi F (x) adalah Misalkan X peubah acak dengan support S = [a, b], b > 0. Misalkan peluang X akan berada di selang S proporsional terhadap panjang selang. Dengan kata lain, P (x 1 X x 2 ) = λ (x 2 x 1 ), untuk a x 1 x 2 b. Untuk menentukan λ, misalkan x 1 = a dan x 2 = b. Maka, P (a X b) = 1 = λ (b a) λ = 1/(b a) Fungsi distribusinya adalah... Peubah acak X dikatakan berdistribusi Uniform, X U(a, b). Sifat-sifat fungsi distribusi: F ( ) = 0 dan F ( ) = 1 1

4 F merupakan fungsi tidak turun; F (a) F (b) untuk a b F adalah fungsi kontinu kanan; lim ϵ 0 + F (x + ϵ) = F (x) Misalkan X peubah acak dengan fungsi distribusi F (x). Jika b a, maka P (a < X b) = F (b) F (a) Untuk setiap x, P (X = x) = lim ϵ 0 + P (x ϵ < X ) = F (x) F (x ) (Perhatikan notasi F (x ) dan kasus apabila fungsi distribusi kontinu kiri) Definisi: Distribusi dari peubah acak X dikatakan KONTINU jika fungsi distribusi disetiap x kontinu dan fungsi distribusi tersebut dapat diturunkan. Misalkan X peubah acak kontinu dengan fungsi distribusi F X (x). Misalkan g(x) fungsi naik satu-satu kontinu. Untuk y yang berada di daerah hasil dari g, fungsi invers x = g 1 (y) ada. Misalkan Y = g(x). Fungsi distribusi dari Y adalah... Misalkan g(x) fungsi turun satu-satu kontinu. Untuk y yang berada di daerah hasil dari g, fungsi invers x = g 1 (y) ada. Misalkan Y = g(x). Fungsi distribusi dari Y adalah... Misalkan X U(0, 1) dan Y = g(x) = hx + k, h < 0. Maka X = g 1 (Y ) = F X (x) = F Y (y) = Y Latihan: 1. Misalkan X peubah acak kontinu yang memiliki fungsi distribusi F X (x) yang naik murni. Misalkan Y = F X (X). Tentukan distribusi dari Y. 2. Misalkan U peubah acak berdistribusi U(0, 1). Misalkan F X (x) fungsi distribusi yang naik murni dari X. Tentukan fungsi distribusi dari peubah acak F 1 X (U). 3. Misalkan U 1, U 2,..., U n sampel acak dari U(0, 1). Bangkitkan sampel acak dari F X (x) (ambil contoh misalnya untuk F X (x) = 1 e λ x, x > 0) MA3081 Stat.Mat. 2 K. Syuhada, PhD.

5 Misalkan X peubah acak kontinu dengan fungsi distribusi F X (x). Misalkan Y = g(x) fungsi kontinu tidak monoton. Kita ketahui bahwa pada fungsi yang monoton, F Y (y) = P (Y y) = P (g(x) y) dimana dalam hal ini setiap solusi inverse x = g 1 (y) digunakan untuk menentukan F Y (y) dengan menggunakan F X (g 1 (y)). Untuk X U( 1, 2) dan g(x) = Y = X 2, kita dapatkan fungsi distribusi dari Y : F Y (y) = 1.2 Unsur Peluang Misalkan X peubah acak kontinu, x bilangan positif kecil. Definisikan h(a, b) = def P (a X a + b) = F X (a + b) F X (a) Untuk h(x, x) = P (x X x + x), maka deret Taylor-nya disekitar x = 0 adalah dimana h(x, x) = F (x + x) F (x) = h(x, 0) + d d x h(x, x) x=0 x + o( x) lim x 0 = = o( x) x = 0 Fungsi df (x) = [ ] d dx F (x) x disebut DIFERENSIAL. Dalam statistika, diferensial dari fungsi distribusi adalah UNSUR PELUANG (yang merupakan pendekatan terhadap h(x, x)). Unsur peluang adalah fungsi linier dari d dx F (x). Contoh: Misalkan F (x) = 1 e 3x untuk x 0. Apakah F (x) suatu fungsi distribusi? MA3081 Stat.Mat. 3 K. Syuhada, PhD.

6 Hitung unsur peluang di x = 2. Cari pendekatan untuk P (2 X 2.01). Densitas rata-rata pada selang (x, x + x) didefinisikan: def P (x X x + x) Density rata-rata = x Sedangkan fungsi densitas peluang atau fungsi peluang (f.p) di x adalah limit densitas rata-rata saat x 0: f.p = f(x) = def = = lim x 0 = d dx F (x) P (x X x + x) x Catatan: Unsur peluang dituliskan sebagai df (x) = f(x) x. Sifat-sifat fungsi peluang: f(x) 0 untuk semua x f(x) = 1 Hubungan antara fungsi peluang dan fungsi distribusi: f(x) = d dx F (x) F (x) = x f(u)du P (a < X < b) =... =... =... = F (b) F (a) = b a f(x)dx Latihan: 1. Misalkan λ bilangan riil positif. Jika F (x) = 1 e λx, maka f(x) = 2. Jika X U(a, b) maka F (x) = dan f(x) = 3. *Misalkan f(x) = c/(1 + x 2 ) untuk < x < dan c konstanta. Fungsi f(x) tak negatif dan (1 + x2 ) 1 dx = π. Berapa nilai c agar f(x) menjadi fungsi peluang? Tentukan fungsi distribusinya. MA3081 Stat.Mat. 4 K. Syuhada, PhD.

7 Misalkan X peubah acak kontinu dengan fungsi peluang f(x) dan Y = g(x) fungsi yang terdiferensial bernilai tunggal. Maka fungsi peluang dari Y : f Y (y) = f X (g 1 (y)) d dy g 1 (y) untuk support Y = g(x). Komponen J(y) = d dy g 1 (y) adalah transformasi Jacobian. Misalkan g(x) memiliki lebih dari satu fungsi invers maka unsur peluang yang terpisah harus dihitung untuk setiap fungsi invers. Contoh, misalkan X U( 1, 2) dan Y = g(x) = X 2. Maka untuk y [0, 1], terdapat 2 fungsi invers yaitu, dan satu fungsi invers untuk y (1, 4] yaitu. Fungsi peluang dari Y adalah f(y) = 1.3 Ekspektasi Misalkan X peubah acak dengan fungsi peluang f(x). ekspektasi dari X, jika ada, adalah Nilai harapan atau E(X) = µ X = f(x)dx Catatan: nilai ekspektasi dikatakan ada jika nilai integral adalah hingga. Misalkan X p.a. dengan f.p. f(x). Maka nilai harapan/ekspektasi dari g(x), jika ada, adalah. E[g(X)] = g(x)f(x)dx Operator integral bersifat linier. Jika g 1 (X) dan g 2 (X) fungsi-fungsi yang memiliki ekspektasi dan a, b, c konstanta, maka E[ag 1 (X) + bg 2 (X) + c] = ae[g 1 (X)] + be[g 2 (X)] + c MA3081 Stat.Mat. 5 K. Syuhada, PhD.

8 Contoh/Latihan: 1. Jika distribusi X simetrik di sekitar c dan nilai harapannya ada maka E(X) = c. 2. Misalkan X U(a, b). Tunjukkan bahwa distribusi tersebut simetrik disekitar (a + b)/2. 3. Misalkan X berdistribusi Cauchy dengan fungsi peluang f(x) = 1 [ ], σπ 1 + (x µ)2 σ 2 dengan µ, σ konstanta yang memenuhi µ < dan σ (0, σ). Tunjukkan bahwa fungsi peluang simetrik di sekitar µ namun ekspektasinya bukanlah µ. 4. Misalkan X Exp(λ). Nilai harapan/ekspektasi dari X adalah Distribusi Bivariat Suatu fungsi f X,Y (x, y) dikatakan fungsi peluang bivariat jika f X,Y (x, y) 0, untuk semua x, y f X,Y (x, y) dx dy = 1 Jika f X,Y (x, y) fungsi peluang bivariat maka F X,Y (x, y) = P (X x, Y y) = x y f X,Y (u, v) dvdu Sifat-sifat fungsi distribusi bivariat: 1. F X,Y (x, ) = F X (x) 2. F X,Y (, y) = F Y (y) 3. F X,Y (, ) = 1 4. F X,Y (, y) = F X,Y (x, ) = F X,Y (, ) = 0 5. f X,Y (x, y) = 2 x y F X,Y (x, y) MA3081 Stat.Mat. 6 K. Syuhada, PhD.

9 f X,Y (x, y) x y adalah unsur peluang bersama, P (x X x + x, y Y y + y) = f X,Y (x, y) x y + o( x y) Contoh/Latihan: 1. Jika (X, Y ) U(a, b, c, d) maka f X,Y (x, y) = 2. Untuk soal no 1 di atas, misalkan a = c = 0, b = 4, d = 6 maka P (2.5 X 3.5, 1 Y 4) = P (X 2 + Y 2 > 16) = 3. Jika f X,Y (x, y) = 6/5(x + y 2 ) untuk x (0, 1) dan y (0, 1). Tentukan P (X + Y < 1). Untuk menentukan fungsi peluang marginal, integralkan peubah yang tidak diinginkan : f X (x) = f X,Y (x, y) dy f Y (y) = f X,Y (x, y) = f X,Y (x, y) dx f W,X,Y,Z (w, x, y, z) dwdz Pada fungsi peluang f X,Y (x, y) = 6/5(x + y 2 ) diperoleh f X (x) = f Y (y) = dan ekspektasi E(g(X, Y )) = E(X) = g(x, y) f X,Y (x, y) dx dy = 1.5 Distribusi Bersyarat Misalkan f X,Y (x, y) adalah fungsi peluang bersama, maka fungsi peluang Y, diberikan X = x, adalah f Y X (y x) = def f X,Y (x, y), f X (x) MA3081 Stat.Mat. 7 K. Syuhada, PhD.

10 asalkan f X (x) > 0. Contoh: Misalkan X dan Y memiliki distribusi bersama maka f X,Y (x, y) = 8xy, 0 < x < y < 1, f X (x) = E(X r ) = f Y (y) = E(Y r ) = f X Y (x y) = f Y X (y x) = E(X r Y = y) = E(Y r X = x) = Misalkan (X, Y ) adalah peubah acak berpasangan dengan fungsi peluang bersama f X,Y (x, y). Pandang persoalan memprediksi Y setelah X = x terobservasi. Prediktor dinotasikan sebagai ŷ(x). Prediktor terbaik didefinisikan sebagai fungsi Ŷ (X) yang meminimumkan ] 2 E [Y Ŷ (X) = Prediktor terbaik adalah ŷ(x) = E(Y X = x). Contoh/Latihan: (y ŷ(x)) 2 f X,Y (x, y) dydx 1. Misalkan X dan Y memiliki distribusi bersama maka f X,Y (x, y) = 8xy, 0 < x < y < 1, f Y X (y x) = ŷ(x) = 2. Misalkan (Y, X) berdistribusi normal bivariat dengan E(Y ) = µ Y, E(X) = µ X, V ar(y ) = σ 2 Y, V ar(x) = σ2 X, Cov(X, Y ) = ρ X,Y σ X σ Y. Distribusi MA3081 Stat.Mat. 8 K. Syuhada, PhD.

11 bersyarat Y, diberikan X, adalah (Y X = x) 3. Tunjukkan bahwa ] E X [f Y X (y X) = f Y (y) 4. Buktikan E X {E [ ]} [ ] h(y ) X = E h(y ) 5. Buktikan ] V ar(y ) = E X [V ar(y X) [ ] + V ar E(Y X) 6. Misalkan X dan Y memiliki distribusi bersama Maka f X,Y (x, y) = 3y2 x 3, 0 < y < x < 1 f Y (y) = E(Y r ) =, E(Y ) =, V ar(y ) = f X (x) = f Y X (y x) = E(Y r X = x) =, E(Y X = x) =, V ar(y X = x) = V ar(e(y X)) = E(V ar(y X)) = 1.6 Fungsi Pembangkit Momen Misalkan X peubah acak kontinu, fungsi pembangkit momen dari X adalah M X (t) = E(e tx ) = e tx f(x)dx, asalkan ekspektasi ada untuk t disekitar 0. Jika semua momen dari X tidak ada, maka fungsi pembangkit momen juga tidak ada. Fungsi pembangkit MA3081 Stat.Mat. 9 K. Syuhada, PhD.

12 momen berkaitan dengan fungsi pembangkit peluang M X (t) = G X (e t ) asalkan G X (t) ada untuk t disekitar 1. Jika M X (t) adalah fungsi pembangkit peluang maka M X (0) = 1. Contoh/Latihan: 1. Jika f X (x) = λe λx I 0, (x), maka M X (t) = 2. Jika M X (t) ada maka M a+bx (t) = 3. Jika X i, i = 1,..., n saling bebas, M Xi (t) ada untuk setiap i, dan S = Xi, maka M S (t) = 4. Fungsi pembangkit momen bersifat unik. Setiap distribusi memiliki fungsi pembangkit momen yang unik, dan setiap fungsi pembangkit momen berkorespondensi dengan tepat satu distribusi. Akibatnya, jika fungsi pembangkit momen ada maka fungsi pembangkit momen tersebut secara unik menentukan distribusinya. Beri contoh. 5. Pandang turunan dari M X (t) yang kemudian dievaluasi di t = 0. Apa yang dapat anda katakan? Dapatkah kita mendapatkan momen orde tinggi? 6. Dapatkah hasil diatas digunakan untuk distribusi diskrit? Ambil contoh distribusi Geometrik dengan parameter p. 7. Misalkan Y U(a, b). Gunakan fungsi pembangkit momen untuk mendapatkan momen pusat (( E((Y µ Y ) 2 ) = E Y a + b ) r ) 2 MA3081 Stat.Mat. 10 K. Syuhada, PhD.

13 BAB 2 Distribusi Sampel 2.1 Pengantar Parameter adalah suatu karakteristik dari populasi Statistik adalah suatu karakteristik dari sampel Statistik adalah fungsi dari sampel; T = g(x 1, X 2,..., X n ). Fungsi T adalah peubah acak; contoh T = X atau T = S 2 X. Distribusi sampel adalah distribusi dari statistik; distribusi sampel dari X adalah distribusi dari X. 2.2 Sampel Acak Misalkan X 1, X 2,..., X n sampel acak berukuran n (random sample of size n). Fungsi peluang n-variat nya adalah f X1,X 2,,X n (x 1, x 2,..., x n ) = n f Xi (x i ) i=1 Contoh/Latihan: 1. Misalkan X 1, X 2,..., X n sampel acak dari distribusi Eksponensial dengan parameter θ. Fungsi peluang n-variatnya adalah Misalkan X 1, X 2,..., X n sampel acak dari distribusi Uniform pada selang (a, b). Fungsi peluang n-variatnya adalah... 1

14 2.3 Likelihood Misalkan fungsi peluang n-variat bergantung pada parameter yang tidak diketahui θ. Fungsi peluang tersebut ditulis sebagai atau f X1,X 2,...,X n (x 1,..., x n θ 1,..., θ k ) f X (x θ) Contoh/Latihan: 1. Misalkan X 1, X 2,..., X n sampel acak dari distribusi N(µ, σ 2 ). Fungsi peluang n-variat yang bergantung pada parameternya ditulis sebagai... Definisi Fungsi likelihood adalah ukuran yang menyatakan sebarapa sering nilai θ, diberikan bahwa x telah terobservasi. Fungsi likelihood BUKAN suatu peluang. Fungsi likelihood diperoleh dengan (i) menukar peran θ dan x dalam fungsi peluang n-variat, dan (ii) membuang suku yang tidak bergantung pada θ. Notasi: L(θ) = L(θ x) f X (x θ) Contoh/Latihan: 1. Misalkan X 1, X 2,..., X n sampel acak dari distribusi Eksponensial dengan parameter θ. Fungsi likelihoodnya adalah... function likefunction; % this function calculates the likelihood function of distribution % % created by K Syuhada, 25/2/2013 clear clc n = input( n = ); % size of random sample MA3081 Stat.Mat. 2 K. Syuhada, PhD.

15 % data x = exprnd(0.5,n,1); sumx = sum(x); % parameter of exponential distribution lambda = 0.5:0.05:5; for i = 1:length(lambda) L(i) = (lambda(i)^n)*exp(-lambda(i)*sumx); end plot(lambda,l) 2. Misalkan X 1, X 2,..., X n sampel acak dari distribusi Uniform pada selang (π, b). Fungsi likelihoodnya adalah... Prinsip Likelihood Jika dua percobaan, yang melibatkan model dengan parameter θ, memberikan likelihood yang sama, maka inferensi terhadap θ haruslah sama. Ilustrasi Pandang percobaan 1 dimana sebuah koin dilantunkan sebanyak n kali secara bebas. Misalkan p adalah peluang muncul MUKA dan X peubah acak yang menyatakan banyaknya MUKA yang muncul. Fungsi peluang dari X adalah... Untuk n = 20, X = 6, fungsi likelihoodnya adalah... Pandang percobaan 2 dimana sebuah koin dilantunkan hingga diperoleh MUKA sebanyak 6 kali secara bebas. Misalkan Y peubah acak yang menyatakan banyaknya lantunan yang dibutuhkan agar diperoleh enam MUKA. Fungsi peluang dari y adalah... Misalkan sukses ke-6 terjadi pada lantunan ke-20. Fungsi likelihoodnya adalah... Dari 2 percobaan diatas, misalkan kita ingin melakukan uji hipotesis: H 0 : p = 0.5 versus H 0 : p < 0.5 Nilai signfikansinya atau p-value adalah Distribusi Sampel Misalkan X 1, X 2 sampel acak berukuran 2 dari distribusi Bernoulli dengan parameter sukses p. Misalkan Y = X 1 + X 2. Kita akan menentukan distribusi MA3081 Stat.Mat. 3 K. Syuhada, PhD.

16 peluang Y (gunakan konsep peluang total), P (Y = y) = P (X 1 + X 2 = y) y = P (X 1 + X 2 = y X 2 = y x 1 )P (X 2 = y x 1 ) = = = x 1 =0 y x 1 =0 y x 1 =0 y x 1 =0 P (X 1 = x 1 X 2 = y x 1 )P (X 2 = y x 1 ) P (X 1 = x 1 )P (X 2 = y x 1 ) p x 1 (1 p) 1 x 1 p y x 1 (1 p) 1 (y x 1), y = 0, 1, 2, dengan pangkat dari p dan/atau (1 p) bernilai positif. Perhatikan bahwa jika kita mempunyai peubah acak, sebut Y, berdistribusi Binomial dengan parameter (2, p) maka fungsi peluangnya adalah P (Y = y) = C 2 y p y (1 p) 2 y, y = 0, 1, 2 yang memberikan distribusi peluang sama dengan sebelumnya. Misalkan X 1 B(1, p). Fungsi pembangkit momen untuk X 1 adalah M X1 (t) = E(e tx 1 ) = pe t + (1 p). Misalkan X 2 berdistribusi identik dan saling bebas dengan X 1. Misalkan Y = X 1 + X 2, M Y (t) = M X1 +X 2 (t) = E(e tx 1 )E(e tx 2 ) ( ) 2 = pe t + (1 p) yang merupakan f.p.m untuk distribusi Binomial dengan parameter (2, p). Diskusi: Selidiki sifat distribusi jumlah n peubah acak saling bebas dan berdistribusi Poisson dengan parameter λ. Misalkan X 1, X 2,..., X n sampel acak berukuran n dari distribusi Poisson dengan parameter λ. Peubah acak X i, i = 1,..., n saling bebas dan berdistribusi MA3081 Stat.Mat. 4 K. Syuhada, PhD.

17 identik dengan fungsi peluang n-variat: P (X = x) = n i=1 e λ λ x i x i! = e nλ λ y n i=1 x i!, dengan y = x i. Dapat ditunjukkan juga Y = X i cukup. Distribusi sampel dari Y adalah f Y (y θ) = e nλ (nλ) y. y! Diskusi: Bagaimana distribusi peluang untuk Y = X 1 + X 2 jika X i saling bebas dan berdistribusi (identik) kontinu? Misalkan X i, i = 1, 2 p.a kontinu yang saling bebas dan berdistribusi identik dengan fungsi distribusi F. Misalkan Y = X 1 + X 2, F Y (y) = P (Y y) = P (X 1 + X 2 y) = P (X 1 y X 2 ) = = = y x2 y x2 f X1,X 2 (x 1, x 2 ) dx 1 dx 2 f X1 (x 1 ) dx 1 f X2 (x 2 ) dx 2 F X1 (y x 2 ) f X2 (x 2 ) dx 2 Fungsi peluangnya adalah f Y (y) = f X1 +X 2 (y) = d F X1 (y x 2 ) f X2 (x 2 ) dx 2 dy d = dy F X 1 (y x 2 ) f X2 (x 2 ) dx 2 = f X1 (y x 2 ) f X2 (x 2 ) dx 2 Misalkan X i U(0, θ). Peubah acak-peubah acak X i tersebut saling bebas dan berdistribusi identik, dengan fungsi peluang: f X (x θ) = MA3081 Stat.Mat. 5 K. Syuhada, PhD.

18 Statistik T = X (n) cukup dan memiliki fungsi distribusi: P (X (n) x) = dan fungsi peluang: f(x) = 2.5 Statistik Terurut Misalkan X 1,..., X n sampel acak berukuran n dari suatu populasi yang berdistribusi tertentu, dengan fungsi peluang f X dan fungsi distribusi F X. Pandang X (k), statistik terurut ke-k. Untuk menentukan f X(k) (x), pertama partisikan I 1 = (, x]; I 2 = (x, x + dx]; I 3 = (x + dx, ). Fungsi peluang f X(k) (x) adalah peluang mengamati sejumlah k 1 dari X di I 1, tepat sebuah X di I 2, dan sejumlah n k dari X di I 3 : ( ) n (FX f X(k) (x) (x) ) k 1 ( fx (x)dx ) 1 ( 1 FX (x) ) n k k 1, 1, n k yang dengan metode diferensial maka kita peroleh ( ) n (FX f X(k) (x) = (x) ) k 1 ( 1 FX (x) ) n k fx (x) k 1, 1, n k Contoh/Latihan: 1. Fungsi peluang dari statistik terurut terkecil/terbesar adalah Statistik terurut ke-k pada distribusi U(0, 1) memiliki fungsi peluang Statistic Cukup Diskusi: Ruang sampel adalah himpunan semua hasil yang mungkin dari percobaan Ruang sampel adalah himpunan semua nilai yang mungkin dari X MA3081 Stat.Mat. 6 K. Syuhada, PhD.

19 Sebuah statistik membagi atau membuat partisi untuk ruang sampel. Setiap partisi berkorespondensi dengan sebuah nilai yang berbeda dari statistik tersebut. Jika statistik CUKUP, maka karakteristik data yang kita perhatikan hanyalah partisi tempat sampel berada Definisi -1 Suatu statistik T = t(x) adalah CUKUP atau sufficient untuk suatu keluarga distribusi f X (x θ) JIKA dan HANYA JIKA fungsi likelihoodnya bergantung terhadap X hanya melalui T: L(θ) = h(t(x), θ) Definisi -2 Suatu statistik T = t(x) adalah CUKUP untuk suatu keluarga distribusi f X (x θ) JIKA dan HANYA JIKA distribusi bersyarat dari X TIDAK BERGAN- TUNG pada θ: f X T (x t, θ) = h(x) Definisi -3 Suatu statistik T = t(x) adalah CUKUP untuk suatu keluarga distribusi f X (x θ) JIKA dan HANYA JIKA fungsi peluangnya dapat difaktorkan sebagai: f X (x θ) = g(t(x) θ) h(x) Contoh/Latihan: 1. Misalkan X i untuk i = 1,..., n saling bebas dan berdistribusi identik Bernoulli(p). Tunjukkan bahwa Y = n i=1 X i adalah statistik cukup. 2. Misalkan X 1,..., X n sampel acak berdistribusi Poisson dengan parameter λ. Tunjukkan bahwa T = n i=1 X i adalah statistik cukup. 3. Misalkan X i untuk i = 1,..., n saling bebas dan berdistribusi identik N(µ, 1). Tunjukkan bahwa Y = X adalah statistik cukup. 4. Misalkan X 1,..., X n sampel acak berdistribusi Gamma dengan parameter (α, λ). Tunjukkan bahwa T = n i=1 ln(x i) adalah statistik cukup. 5. Pandang sampel acak berukuran n dari U(a, b), dengan a diketahui. Tunjukkan bahwa T = X (n) adalah statistik cukup. MA3081 Stat.Mat. 7 K. Syuhada, PhD.

20 6. Pandang sampel acak berukuran n dari N(µ, σ 2 ), dengan µ, σ 2 tidak diketahui. Tunjukkan bahwa statistik T berikut adalah cukup: ( ) S 2 T = X X 2.7 Teorema Limit Pusat Teorema Misalkan X 1,..., X n sampel acak berukuran n dari populasi dengan mean µ X dan variansi σx 2. Distribusi dari Z n = X µ X σ X / n konvergen ke N(0, 1) untuk n. Catatan: Hal penting dari Teorema Limit Pusat (Central Limit Theorem) adalah bahwa kekonvergenan dari Z n ke distribusi normal akan terjadi apapun bentuk distribusi dari X. Kita dapat memanipulasi sedemikian hingga X N(µ X, σ 2 X/n), asalkan n besar. Ekspresi lain dari TLP adalah ( ) n ( lim P X µx ) c = Φ(c) n σ X Pandang: X X n, ( n ) E X i = n µ X, i=1 ( n ) V ar X i = n σx, 2 lim P n i=1 ( n i=1 X i n µ X n σx ) c = Φ(c) MA3081 Stat.Mat. 8 K. Syuhada, PhD.

21 Seberapa besar n harus kita pilih agar X berdistribusi normal? n = 1? Bergantung pada distribusi dari data (parent distribution)! Misalkan X Exp(θ). Distribusi ini memiliki kemencengan (skewness) dan kelancipan (kurtosis): κ 3 = E(X µ X) 3 σ 3 X = 2, dan κ 4 = E(X µ X) 4 σ 4 X 3 = 6, dengan µ X = 1/θ dan σ 2 X = 1/θ2. Mean sampel X berdistribusi Ga(n, nθ). Kemencengan (skewness) dan kelancipan (kurtosis) dari X adalah κ 3 = E( X µ X) 3 σ 3 X = 2 n, dan κ 4 = E( X µ X) 4 σ 4 X 3 = 6/n, Misalkan X B(n, p) (ingat bahwa distribusi X tersebut sama dengan distribudi dari sejumlah n peubah acak Bernoulli(p)). Untuk n besar, ( ) p(1 p) ˆp N p, n ( n(c ) p) P (ˆp c) Φ p(1 p) X N(np, np(1 p)) P (X = x) = P Φ ( x 1 2 X x ( ) ( ) x np x 0.5 np Φ, np(1 p) np(1 p) ), x = 0, 1,..., n dimana menambah dan mengurangi dengan 0.5 disebut continuity correction. Koreksi kekontinuan untuk pendekatan normal terhadap fungsi distribusi dari MA3081 Stat.Mat. 9 K. Syuhada, PhD.

22 X dan ˆp adalah P (X c) = P Φ ( ) x np np(1 p) ( X x + 1 ), x = 0, 1,..., n 2 dan ( P (ˆp c) = P ˆp c + 1 ), c = 0/n, 1/n,..., n/n 2n ( n(c ) + 0.5/n p) Φ p(1 p) MA3081 Stat.Mat. 10 K. Syuhada, PhD.

23 BAB 3 Penaksiran 3.1 Pengantar Misalkan X 1, X 2 sampel acak berukuran 2 dari distribusi Bernoulli dengan parameter sukses p. Misalkan Y = X 1 + X 2. Kita akan menentukan distribusi peluang Y dan Y 2. Misalkan X 1 B(1, p). Fungsi pembangkit momen untuk X 1 adalah M X1 (t) = E(e tx 1 ) = pe t + (1 p). Misalkan X 2 berdistribusi identik dan saling bebas dengan X 1. Misalkan Y = X 1 + X 2, M Y (t) = M X1 +X 2 (t) = E(e tx 1 )E(e tx 2 ) ( ) 2 = pe t + (1 p) yang merupakan f.p.m untuk distribusi Binomial dengan parameter (2, p). Jadi, Y B(2, p). Bagaimana dengan distribusi Y? Misalkan Z = Y ; nilai yang mungkin untuk 2 2 Z adalah 0, 1, 1. Distribusi peluang untuk Z adalah 2 P (Z = 0) = P (Y = 0) = (1 p) 2 P (Z = 1 ) = P (Y = 1) = 2p(1 p) 2 P (Z = 1) = P (Y = 2) = p 2. Catatan: Z tidak berdistribusi binomial. 1

24 Perhatikan bahwa mean dan variansi dari Z adalah E(Z) = (0)(1 p) 2 + ( 1 2 )(2p(1 p)) + (1)(p2 ) = p Var(Z) = E(Z 2 ) (E(Z)) 2 = Bagaimana dengan distribusi X 1 + X X n n untuk n yang cukup besar? (lihat Teorema Limit Pusat) p(1 p) Penaksir Likelihood Maksimum Misalkan kita punyai sampel acak berdistribusi Bernoulli dengan parameter p. Bagaimana kita dapat menentukan nilai p? Misalkan L(θ) adalah fungsi likelihood (fungsi dari parameter θ). Kita dapat menentukan nilai θ yang memaksimumkan L(θ). Penaksir untuk θ, yaitu ˆθ disebut Penaksir Likelihood Maksimum (maximum likelihood estimator, MLE). Penaksir suatu parameter adalah fungsi dari peubah acak. Untuk sampel acak berdistribusi Bernoulli (p), fungsi likelihood-nya adalah: L(p) = p x i (1 p) n x i, 0 < p < 1. Untuk menentukan nilai p yang memaksimumkan L(p), transformasikan L(p) menjadi log L(p): l(p) = log L(p) = x i log(p) + ( n x i ) log(1 p), kemudian hitung turunan pertama l(p) terhadap p: dl(p) dp = xi p n x i 1 p. Normalisasi dari turunan pertama tersebut memberikan nilai p = xi n, MA3081 Stat.Mat. 2 K. Syuhada, PhD.

25 yang mana sebagai penaksir ditulis sebagai berikut: ˆp = Xi n = X. (PR: Tunjukkan bahwa p ini memaksimumkan L(p) dengan menghitung turunan kedua). Contoh/Latihan: Misalkan X 1,..., X n sampel acak berdistribusi U(0, θ). Tentukan θ yang memaksimumkan L(θ). Dengan kata lain, tentukan penaksir ˆθ untuk θ. 3.3 Penaksir MM Adakah cara lain untuk menaksir parameter distribusi? Perhatikan kembali sampel acak berdistribusi Bernoulli dengan parameter p. Kita tahu bahwa E(X) = p dan momen sampel pertamanya m 1 = X 1 + X X n. n Dengan demikian, penaksir untuk p adalah ˆp = X 1 + X X n n = X. Misalkan sampel acak berdistribusi Gamma dengan parameter (α, β). Momen pertama dan kedua dari X (momen populasi) adalah, berturut-turut, dan E(X) = αβ E(X 2 ) = α(α + 1)β 2. Sementara itu, momen sampel pertama dan kedua adalah m 1 = X 1 + X X n. n MA3081 Stat.Mat. 3 K. Syuhada, PhD.

26 dan m 2 = X2 1 + X Xn 2. n Dengan menyamakan momen populasi dan momen sampel, kita peroleh penaksir ˆα = m 2 1 m 2 m 2 1 dan ˆβ = m 2 m 2 1 m Sifat Penaksir dan Kesalahan Penaksiran Sifat penaksir Setelah kita mendapatkan penaksir ˆθ, kita dapat menentukan sifat baik penaksir. Salah satunya adalah sifat TAK BIAS. Penaksir ˆθ dikatakan tak bias apabila E(ˆθ) = θ. Untuk contoh sampel acak Bernoulli, ( ) X1 + + X n E(ˆp) = E n = 1 n E(X X n ) = 1 ( ) E(X 1 ) + + E(X n ) n = 1 (p + + p) n = p Jadi, penaksir ˆp = X adalah penaksir tak bias untuk p. Catatan: Jika suatu penaksir ˆθ bersifat bias maka selisih nilai ekspektasi dan nilai θ tidak nol, atau E(ˆθ θ) 0. MA3081 Stat.Mat. 4 K. Syuhada, PhD.

27 3.4.2 Kesalahan Penaksiran Pada penaksiran parameter θ, misalnya, penaksir ˆθ adalah fungsi peubah acak. Nilai taksirannya TIDAK akan pernah sama dengan nilai parameternya. Misalkan T = T (X) adalah penaksir untuk θ. Didefinisikan: dan b T = E(T θ) = E(T ) θ, V ar(t ) = σ 2 T = E(T µ T ) 2 = E(T ) θ; µ T = E(T ), adalah bias dan variansi dari penaksir T. Selain itu, didefinisikan pula, MSE atau Mean Square Error, MSE T (θ) = E(T θ) 2 = V ar(t ) + b 2 T, Misalkan X 1,..., X n sampel acak dari N(µ, σ 2 ). Penaksir untuk σ 2 adalah S 2 = 1 n 1 n (X i X) 2, i=1 dan/atau V = 1 n n (X i X) 2, i=1 Bias and MSE dari kedua penaksir adalah b S 2 =, b V = dan MSE S 2 =, MSE V = Perhatikan bahwa MSE S 2 > MSE V meskipun S 2 tak bias. Catatan: Penaksir dari deviasi standar dari suatu penaksir disebut standard error atau SE. (Latihan: hitung SE dari penaksir ˆp pada sampel acak Bernoulli) MA3081 Stat.Mat. 5 K. Syuhada, PhD.

28 3.5 Sifat Konsisten dan CRLB Sifat Konsisten Salah satu sifat dari penaksir yang baik adalah sifat tak bias. Kita akan mempelajari sifat baik yang lain yaitu konsisten. Namun sebelumnya, perhatikan Ketaksamaan Chebyshev berikut: Misalkan X peubah acak dengan fungsi peluang f X (x). Misalkan h(x) fungsi non-negatif dari X dan ekpektasinya ada; k adalah konstanta positif. Maka P (h(x) k) E(h(X)). k Bukti: Misalkan R = {x; x S X ; h(x) k}. Maka E(h(X)) = h(x) f X (x) dx S X h(x) f X (x) dx R k f X (x) dx Jadi, R = k P (h(x) k). E(h(X)) k P (h(x) k). Aplikasi 1 Ketaksamaan Chebyshev. Misalkan E(X) = µ X dan V ar(x) = <. Maka σ 2 X [ X µx 2 P σ 2 X k 2 ] 1 k 2. Bukti: Pilih h(x) = (X µ X) 2. σx 2 MA3081 Stat.Mat. 6 K. Syuhada, PhD.

29 Dapat kita tunjukkan bahwa E(h(X)) = 1. Juga, ( ) X µx P k σ X = P ( X µ X k σ X ) ( ) X µx 2 = P k 2 1 k, 2 σ 2 X dengan Ketaksamaan Chebyshev. Jadi, P ( X µ X < k σ X ) 1 1 k. 2 Aplikasi 2 Ketaksamaan Chebyshev. Misalkan T peubah acak (penaksir dari parameter θ) dengan E(T ) = µ T dan V ar(t ) = σt 2 <. Maka Bukti: Pilih P [ X θ < ϵ] 1 MSE X(θ) ϵ 2. h(x) = (X θ) 2. Maka E(h(T )) = MSE T (θ), dan Jadi, P ( T θ ε) = P ( T θ 2 ε 2 ) MSE T (θ), dengan Ketaksamaan Chebyshev = σ2 T ε 2 + (E(T ) θ)2 ε 2 P ( T θ < ε) 1 MSE T (θ) ε 2. Konsisten Barisan dari penaksir-penaksir, {T n }, disebut KONSISTEN untuk θ jika lim P ( T n θ < ϵ) = 1, n untuk setiap ϵ > 0. MA3081 Stat.Mat. 7 K. Syuhada, PhD.

30 Konvergen dalam Peluang Definisi: Barisan dari penaksir-penaksir, {T n }, KONVERGEN dalam PELU- ANG untuk θ jika barisan tersebut konsisten untuk θ. Notasi: T n prob θ. Contoh/Latihan: (Hukum Bilangan Besar) Jika X adalah mean sampel dari suatu s.a berukuran n dengan mean µ X, maka X prob µ X. Bukti: Mean sampel dari s.a berukuran n dari populasi dengan mean dan variansi hingga memiliki mean µ X dan variansi σx 2 /n. Akibatnya, dan MSE X(µ X ) = σ 2 X + b 2 X = σ 2 X/n + 0, lim MSE X(µ X ) = 0, n yang menunjukkan bahwa X adalah MSC. Jadi, X prob µ X. Konsisten MS Sebuah penaksir untuk θ dikatakan Mean Square Consistent jika lim MSE T n (θ) = 0. n Buktikan bahwa jika sebuah penaksir memiliki sifat MSC maka penaksir tersebut konsisten. Bukti: Misalkan T n penaksir untuk θ. Asumsikan bahwa T n memiliki mean dan variansi hingga. Menurut Ketaksamaan Chebyshev, P ( T n θ < ε) 1 MSE T n (θ) ε 2, dimana ε adalah sebarang konstanta positif. Diketahui T n adalah MSC, yaitu lim n MSE Tn (θ) ε 2 = 0, MA3081 Stat.Mat. 8 K. Syuhada, PhD.

31 Jadi, lim P ( T n θ < ε) 1. n CRLB Ketaksamaan Cramer-Rao Misalkan peluang bersama X 1,..., X n adalah f X (x θ), dimana θ bersifat skalar dan support dari X tidak bergantung pada θ. Misalkan statistik T (X) adalah penaksir tak bias untuk fungsi (yang terdiferensial) dari θ; E(T ) = g(θ). Maka, dengan V ar(t ) ( g(θ)/ θ)2 I θ, ( ) 2 ln fx (X θ) I θ = E. θ Kuantitas I θ disebut informasi Fisher dan merupakan indeks yang menyatakan banyaknya informasi yang dimiliki oleh X tentang θ. Suku ( g(θ)/ θ) 2 I θ disebut Batas Bawah Cramer-Rao atau Cramer-Rao Lower Bound. Contoh/Latihan: Misalkan sampel acak berukuran n dari P oi(λ). Apakah penaksir MLE untuk λ memuat/memenuhi/mencapai CRLB? Solusi: Fungsi informasi Fisher adalah I θ = n/λ. Penaksir MLE dari λ adalah X dan penaksir ini tak bias. Peubah acak Poisson dengan parameter λ memiliki variansi λ. Jadi, V ar X = λ/n. Dengan demikian, CRLB untuk penaksiran λ adalah CRLB = ( λ λ)2 n/λ = λ/n. Jadi, penaksir MLE untuk λ memuat CRLB. Contoh/Latihan: 1. Pandang sampel acak eksponensial dengan mean 1/θ. Apakah penaksirnya mencapai CRLB? MA3081 Stat.Mat. 9 K. Syuhada, PhD.

32 2. Misalkan sampel acak berukuran n dari Geo(θ). Apakah penaksir MLE untuk θ memuat/memenuhi/mencapai CRLB? Efisiensi Efisiensi dari penaksir tak bias dari g(θ) adalah rasio dari CRLB terhadap variansi dari penaksir. Misalkan T penaksir tak bias untuk g(θ), maka efisiensi dari T adalah Efisiensi = CRLB V ar(t ), Jika rasio sama dengan satu, maka penaksir dikatakan efisien. Contoh/Latihan: Misalkan sampel acak berukuran n dari Geo(p). Tentukan efisiensi dari penaksir untuk p. 3.6 Penaksiran Selang Sejauh ini, penaksiran beserta sifat baiknya yang kita bahas adalah penaksiran titik. Apakah yang anda ketahui tentang penaksiran selang? MA3081 Stat.Mat. 10 K. Syuhada, PhD.