STATISTIKA MATEMATIKA

Transkripsi

1 Diktat Kuliah STATISTIKA MATEMATIKA Adi Setiawan Universitas Kristen Satya Wacana Salatiga 2006 i

2 Contents Pendahuluan. Sifat Kecukupan Sifat Kelengkapan Sifat Ketakbiasan Keluarga Eksponensial Estimasi Titik 9 2. Metode yang digunakan bila tersedia statistik cukup yang lengkap Metode yang digunakan bila tidak tersedia statistik cukup lengkap Kriteria Pemilihan Estimator : Prinsip MLE Estimator Momen Kriteria Pemilihan Estimator : Pendekatan Teori Keputusan Sifat-sifat Optimal secara Asimptotik dari Estimator Pengujian Hipotesis Konsep Umum dari Pengujian Hipotesis Neyman-Pearson Pengujian Hipotesis Sederhana Melawan Alternatif Sederhana Uji UMP untuk Pengujian Hipotesis Komposit Uji UMPU untuk Pengujian Hipotesis Komposit Pengujian Parameter dari Distribusi Normal Uji Tentang Variansi Uji Tentang mean Perbandingan Parameter Dua Distribusi Normal Perbandingan Variansi Dua Densitas Normal Perbandingan Mean Dua Densitas Normal Uji Likelihood Ratio Daerah Kepercayaan 9 4. Interval Kepercayaan Interval Kepercayaan Bila Muncul Parameter Nuisans Interval Kepercayaan dan Interval Kepercayaan Pendekatan Hubungan antara Uji Hipotesis dan Interval Kepercayaan ii

3 Chapter Pendahuluan Dalam bab ini terlebih dahulu akan dibahas tentang ruang parameter (parameter space, statistik cukup (sufficient statistics, sifat kelengkapan (completeness, sifat ketakbiasan (unbiasedness dan keluarga eksponensial (exponential family.. Sifat Kecukupan Misalkan X suatu variable random dengan fungsi kepadatan probabilitas f(x, θ diketahui tetapi tergantung pada suatu vektor konstan berdimensi r yaitu θ = (θ, θ 2,..., θ r t yang dinamakan parameter. Ruang parameter Ω adalah himpunan semua nilai yang mungkin dari θ. Dalam hal ini Ω R r dengan r. Misalkan X, X 2,..., X n sampel random ukuran n dari f(x; θ yaitu n variabel random yang saling bebas dan masing-masing mempunyai fungsi kepadatan probabilitas f(x; θ. Masalah mendasar dalam statistika adalah membuat inferensi tentang parameter θ seperti melakukan estimasi θ, menguji hipotesis tentang θ dan lain lain. Dalam melakukan hal di atas, konsep tentang kecukupan memainkan peranan penting dalam membimbing kita untuk meringkas data tetapi tanpa kehilangan informasi yang dibawa dalam data tentang parameter θ. Di samping sifat kecukupan juga akan dibahas tentang konsep kelengkapan (completeness, sifat ketakbiasan (unbiasedness dan sifat ketakbiasan variansi minimum (minimum variance unbiasedness. Misalkan T j : R n R untuk j =, 2,..., m dan T j tidak tergantung pada θ atau sebarang kuantitas yang tidak diketahui. Vektor T = (T,..., T m

4 dinamakan statistik dimensi m, dengan T = T (X, X 2,..., X n, T 2 = T 2 (X, X 2,..., X n, dan T m = T m (X, X 2,..., X n. Sebelum didefinisikan sifat kecukupan, terlebih dahulu diberikan contoh-contoh berikut ini. Contoh. Misalkan variabel random X berdistribusi seragam pada (α, β. Bila diambil θ = α, θ 2 = β maka diperoleh θ = (θ, θ 2 t sehingga ruang parameternya adalah Ω = {(θ, θ 2 t θ, θ 2 R 2, θ θ 2 } dan fungsi kepadatan probabilitas dari variabel random X adalah f(x; θ = θ 2 θ (.. untuk θ < x < θ 2. Jika α diketahui dan β = θ maka ruang parameternya adalah Ω = (α, dan fungsi kepadatan probabilitas daria variable random X adalah f(x; θ = (..2 θ α untuk θ < x < θ 2 atau f(x; θ = θ α I A(x (..3 dengan A = (α, θ dan I A (x = untuk x A and I A (x = 0 untuk x A merupakan fungsi indikator. Jika β diketahui dan α = θ maka ruang parameternya Ω = (, β dan fungsi kepadatan probabilitas dari variable random X adalah untuk θ < x < β atau dengan A = (θ, β. Contoh.2 f(x; θ = β θ (..4 f(x; θ = β θ I A(x (..5 Misalkan variabel random X berdistribusi N(µ, σ 2. Bila dipilih θ = µ, θ 2 = σ 2 maka θ = (θ, θ 2 t sehingga Ω = {θ, θ 2 t R 2 θ R, θ 2 > 0} 2

5 dan fungsi kepadatan probabilitas dari variabel random X adalah f(x; θ = [ exp (x θ 2 ] 2πθ2 2θ 2 (..6 Jika diketahui dan dipilih µ = θ maka Ω = R dan fungsi kepadatan probabilitas dari variabel random X adalah [ f(x; θ = exp (x ] θ2 (..7 2πσ 2 2σ 2 sedangkan jika µ diketahui dan dipilih σ 2 = θ maka Ω = {θ R θ > 0} dan fungsi kepadatan probabilitas dari variabel random X adalah f(x; θ = [ exp 2πθ (x ] µ2. (..8 2θ Contoh.3 Misalkan X,..., X n variabel random saling bebas dan berdistribusi identik (independent and identically distribution yaitu Binom(, θ. Hal itu berarti fungsi probabilitas dari X i adalah f(x i ; θ = θ x i ( θ x i I A (x i (..9 untuk i =, 2,..., n, A = {0, } dan θ Ω = (0,. Misalkan T = n X i. Karena X i berdistribusi Binom(, θ maka T berdistribusi Binom(n, θ sehingga fungsi probabilitas dari T adalah f T (t; θ = ( n t θ t ( θ t I B (t (..0 dengan B = {0,,..., n}. Misalkan dianggap bahwa percobaan Binomial telah dilakukan dan nilai pengamatan dari X i adalah x i untuk i =, 2,..., n. Masalah yang dihadapi adalah bagaimana membuat inferensi tentang θ berdasarkan pada x i untuk i =, 2,..., n. Apabila kita memberi tanda untuk sukses maka akan muncul pertanyaan tentang : dapatkah dilakukan inferensi tentang θ bila diketahui banyaknya sukses yang terjadi. Bila banyaknya sukses yang terjadi adalah t atau T = t untuk t = 0,, 2,...,( n maka akan ditentukan berapa n probabilitas setiap satu kemungkinan dari cara yang berbeda untuk t 3

6 terjadinya t sukses. Hal ini berarti P (X = x,..., X n = x n T = t = P (X = x,..., X n = x n P (T = t { P (X =x,...,x n=x n jika x = P (T =t + x x n = t 0 jika yang lain. P (X = x,..., X n = x n T = t = θx ( θ x... θ xn ( θ ( xn n θ t t ( θ t x i ( θ n P n x i ( n θ t t ( θ t ( n t = θpn = jika x + x x n = t dan bernilai 0 untuk yang lain, sehingga untuk semua x, x 2,..., x n dengan x i = 0 atau untuk i =, 2,..., n dan untuk n x i = t berlaku sifat P (X = x,..., X n = x n T = t = ( n t tidak bergantung pada θ. Oleh karena itu total banyaknya sukses t menyediakan semua informasi tentang θ. Contoh.3 memotivasi definisi statistik cukup berikut ini. Definisi. Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x, θ dan θ = (θ, θ 2,..., θ r t Ω R r. Misalkan T = (T, T 2,..., T m t dengan T j = T j (X, X 2,..., X n 4

7 untuk j =, 2,..., m statistik. Statistik T dinamakan statistik cukup dimensi-m untuk keluarga F = {f(x; θ θ Ω} atau untuk parameter θ jika distribusi bersyarat (X, X 2,..., X n t diberikan T = t tidak bergantung pada θ untuk semua nilai t. Dengan menggunakan teorema berikut ini, identifikasi statistik cukup dengan mudah dapat dilakukan. Teorema. (Teorema Faktorisasi Fisher-Neyman Misalkan variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dan θ = (θ, θ 2,..., θ r t Ω R r. Statistik dimensi-m T = (T (X, X 2,..., X n, T 2 (X, X 2,..., X n,..., T m (X, X 2,..., X n t merupakan statistik cukup untuk θ jika dan hanya jika fungsi kepadatan probabilitas bersama dari dapat difaktorkan sebagai f(x, x 2,..., x n = g[x, x 2,..., x n ; θ]h(x, x 2,..., x n dengan g tergantung pada θ hanya melalui T dan h tidak tergantung pada θ. Akibat. Misalkan φ : R m R m fungsi terukur dan tidak tergantung pada θ serta fungsi korespondensi satu-satu sehingga φ ada. Jika statistik cukup untuk θ maka φ(t juga merupakan statistik cukup untuk θ dan juga merupakan statistik cukup untuk ψ(θ dengan φ : R r R r merupakan fungsi terukur dan korespondensi satu-satu. Contoh.4 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dari U(θ, θ 2. Fungsi kepadatan probabilitas dari X i adalah f(x i ; θ = θ 2 θ untuk θ < x < θ 2. Bila x = (x, x 2,..., x n t dan θ = (θ, θ 2 t maka fungsi 5

8 kepadatan probabilitas bersamanya adalah f(x, x 2,..., x n ; θ = f(x, x 2,..., x n ; θ = f(x, x 2,..., x n ; θ = f(x, x 2,..., x n ; θ = n θ 2 θ I (θ,θ 2 (x i, θ (θ 2 θ n < X ( < X (n < θ 2, (θ 2 θ I n [θ, (X ( I (,θ2 (X (n, (θ 2 θ g (X n (, θg 2 (X (n, θ, dengan g (X (, θ = I [θ, (X ( dan g 2 (X (n, θ = I [θ, (X ( I (,θ2 (X (n. Akibatnya dengan menggunakan Teorema Faktorisasi Fisher-Neyman diperoleh (X (, X (n merupakan statistik cukup untuk θ. Khususnya jika θ = α diketahui dan θ 2 = θ maka X ( merupakan statistik cukup untuk θ. Dengan cara yang sama jika θ 2 = β diketahui dan maka X (n merupakan statistik cukup untuk θ. Contoh.5 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dari N(µ, σ 2. Bila x = (x, x 2,..., x n t, µ = θ, σ 2 = θ 2 dan θ = (θ, θ 2 t maka fungsi kepadatan probabilitas dari X i adalah f(x i ; θ = [ exp (x i θ 2 ] 2πθ2 2θ 2 sehingga fungsi kepadatan probabilitas bersamanya adalah f(x i ; θ = [ ( 2πθ 2 exp n 2θ 2 (x i θ ]. 2 Tetapi, karena (x i θ 2 = [ (x i x + ( x θ ] 2 = (x i x 2 + n( x θ 2 maka fungsi kepadatan probabilitasnya menjadi f(x i ; θ = [ ( 2πθ 2 exp n 2θ 2 6 (x i x 2 n 2θ 2 ( x θ 2 ]

9 sehingga ( X, n (X i X 2 t merupakan statistik cukup untuk θ. Pada sisi lain fungsi kepadatan probabilitasnya dapat dinyatakan sebagai f(x i ; θ = ( ( ( 2πθ 2 exp nθ2 θ exp n 2θ 2 θ 2 x i 2θ 2 Hal itu berarti, jika θ 2 = σ 2 diketahui dan θ = θ maka n X i merupakan statistik cukup untuk θ. Di samping itu, jika θ = µ diketahui dan θ 2 = θ maka n X2 i merupakan statistik cukup untuk θ. Demikian juga, dengan menggunakan Akibat Teorema Faktorisasi Fisher-Neyman ( X, S 2 t merupakan statistik cukup untuk θ. Jika θ = µ diketahui maka n n (x i µ 2 merupakan statistik cukup untuk θ 2 = θ. Pada contoh-contoh di atas, dimensi dari statistik cukup sama dengan dimensi parameternya. Jika X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dari distribusi Cauchy dengan parameter θ = (µ, σ 2 dan fungsi kepadatan probabilitas f(x; µ, σ 2 = π σ σ 2 + (x µ 2 untuk < x < maka tidak ada statistik cukup yang dimensinya lebih kecil dari statistik cukup (X, X 2,..., X n t. Jika m adalah bilangan bulat terkecil sehingga T = (T, T 2,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m merupakan statistik cukup untuk θ = θ,..., θ r t maka T dinamakan statistik cukup minimal untuk θ..2 Sifat Kelengkapan Misalkan X vektor random berdimensi k dengan fungsi kepadatan probabilitas f(x; θ dan θ Ω R r. Misalkan g : R k R fungsi terukur sehingga g(x merupakan variabel random. Dianggap bahwa E θ [g(x] ada untuk semua θ Ω dan F = {f(x; θ θ Ω}. Definisi.2 Keluarga F dikatakan lengkap (complete jika untuk setiap g, E θ [g(x] = 0 untuk semua θ Ω menyebabkan bahwa g(x = 0 kecuali mungkin pada N sehingga P θ [X N] = 0 untuk semua θ Ω. 7 x 2 i.

10 Contoh.6 Misalkan F = {f(x; θ f(x; θ = ( n x A = {0,, 2,..., n}. Karena E[g(X] = g(xθ x ( θ n x = ( θ n dengan ρ = dengan θ θ θ x ( θ n x I A (x, θ (0, } dengan x=0 ( n g(x x ρ x maka E[g(X] = 0 untuk semua θ (0, akan ekuivalen x=0 ( n g(x x ρ x = 0 untuk setiap ρ (0,. Akibatnya untuk lebih dari n nilai-nilai dari ρ berlaku untuk x = 0,, 2,..., n yang ekuivalen dengan ( n g(x = 0 x untuk x = 0,, 2,..., n. Hal itu berarti bahwa keluarga distribusi binomial F merupakan keluarga yang lengkap. Contoh.7 Misalkan F = {f(x; θ f(x; θ = e θ x θ I A (x, θ (0, } x! dengan A = {0,, 2, 3,...}. Karena E[g(X] = g(x e θ = e θ g(x θ x = 0 x! x! x=0 dengan θ (0, θ maka g(x = 0 untuk. hal ini ekuivalen dengan g(x = 0 untuk x = 0,, 2,..., n. Akibatnya keluarga distribusi Poisson F merupakan keluarga yang lengkap. Contoh.8 x=0 Misalkan F = {f(x; θ f(x; θ = θ α I [α,θ](x, θ (0, }. 8

11 Karena E[g(X] = 0 untuk semua θ = (α, maka θ g(xdx = 0 untuk a semua θ > α sehingga g(x = 0 kecuali mungkin untuk himpunan N sehingga P [X N] untuk semua θ Ω dengan X adalah variabel random yang mempunyai fungsi kepadatan probabilitas f(x; θ. Hal yang sama juga benar jika f(x; θ adalah U(θ, β. Contoh.9 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2. Jika σ diketahui dan µ = θ maka keluarga distribusi normal F = {f(x; θ f(x; θ = [ exp (x ] θ2, θ R} 2πσ 2 2σ 2 merupakan keluarga yang lengkap. Sedangkan jika µ diketahui dan σ 2 = θ maka keluarga distribusi normal F = {f(x; θ f(x; θ = [ exp 2πθ tidak lengkap. Karena g(x = x µ maka E[g(X] = E[X µ] = 0 (x ] µ2, θ (0, } 2θ untuk semua θ (0, sedangkan g(x = 0 berlaku hanya untuk x = µ. Akhirnya, jika µ dan σ 2 tidak diketahui maka dapat ditunjukkan bahwa keluarga distribusi normal F = {f(x; µ, σ 2 f(x; µ, σ 2 = [ exp (x ] µ2, µ R, σ (0, } 2πσ 2 2σ 2 lengkap atau statistik cukup juga merupakan statistik cukup untuk (µ, σ 2 yang lengkap. Teorema.2 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R r dan T = (T, T 2,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ. Misalkan V = (V, V 2,..., V m t dengan V j = V j (X, X 2,..., X n 9

12 untuk j =, 2,..., m sebarang statistik lain yang tidak tergantung pada T. Misalkan g(x; θ fungsi kepadatan probabilitas dari T dan dianggap bahwa himpunan S sehingga g(x; θ positif adalah sama untuk semua θ Ω. Distribusi dari V tidak tergantung pada θ. Teorema.3 (Teorema Basu Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R r dan T = (T, T 2,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ. Misalkan g(x; θ fungsi kepadatan probabilitas dari T dan G = {g(x; θ θ Ω} lengkap. Misalkan V = (V, V 2,..., V m t dengan V j = V j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik lain. Jika distribusi dari tidak tergantung pada θ maka V dan T saling bebas. Contoh.0 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan σ 2 diketahui. Statistik X merupakan statistik cukup untuk µ dan S 2 P n = (X i X 2 suatu statistik. Perhatikan bahwa n (X i X 2 = (X i X 2 = (X i X 2 = (X i X 2 = (X i X 2 = (X i X 2 = (X i X 2 = [(X i µ + (µ X 2 [(X i µ 2 + (µ X 2 + 2(µ X(X i µ] (X i µ 2 + n(µ X 2 + 2(µ X (X i µ (X i µ 2 + n(µ X 2 + 2(µ Xn( X µ (X i µ 2 + n(µ X 2 2n(µ Xn(µ X (X i µ 2 n(µ X 2 (X i µ 2 n( X µ 2. 0

13 Karena X i µ N(0, σ 2 untuk j =, 2,..., n dan X N(µ, σ2 n sehingga berakibat maka distribusi dari S 2 tidak bergantung pada µ. Dengan menggunakan Teorema Basu diperoleh bahwa X dan S 2 saling bebas..3 Sifat Ketakbiasan Definisi.3 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R dan T = (T,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ. Statistik U adalah statistik tak bias untuk θ jika E θ [U] = θ untuk setiap θ Ω. Teorema.4 (Teorema Rao-Blackwell Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R dan T = (T,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ. Misalkan U(X, X 2,..., X n statistik tak bias untuk θ yang bukan fungsi dari T saja. Jika φ(t = E θ [U T = t] maka. variabel random φ(t merupakan fungsi statistik cukup T. 2. φ(t merupakan statistik tak bias untuk θ. 3. Var θ (φ(t < Var θ (U dengan θ Ω asalkan E θ [U 2 ] <. Teorema berikut ini menyatakan sifat ketunggalan dari statistik cukup. Teorema.5 (Teorema Ketunggalan Lehman-Scheffe Misalkan X, X 2,..., X n variabel random dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R dan F = {f(x; θ θ Ω}. Misalkan T = (T,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ dan g(x; θ adalah fungsi kepadatan probabilitasnya. Misalkan G = {g(x; θ θ Ω} lengkap. Jika U = U(T statistik

14 cukup tak bias untuk θ dan E θ [U 2 ] < untuk semua θ Ω maka U adalah statistik tak bias untuk θ dengan variansi terkecil dalam kelas yang mengandung semua statistik tak bias untuk θ. Definisi.4 Statistik tak bias untuk θ yang mempunyai variansi minimum dalam kelas semua statistik tak bias dari θ dinamakan UMVU (uniformly minimum variance unbiased. Terminologi uniformly diperoleh dari fakta bahwa variansi minimum untuk semua θ Ω. Contoh. Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan distribusi Binom(, θ dengan θ (0,. Statistik T = n X i merupakan statistik cukup untuk θ dan juga lengkap. Karena X = T merupakan statistik tak bias untuk θ maka statistik X merupakan statistik tak n bias dengan variansi minimum untuk θ. Contoh.2 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan distribusi N(µ, σ 2. Jika σ diketahui dan µ = θ maka T = statistik cukup untuk θ demikian juga T merupakan statistik yang lengkap. Akibatnya X = T/n merupakan statistik tak bias untuk θ dengan variansi minimum untuk θ karena X merupakan statistik tak bias untuk θ. Jika µ = 0 dan σ 2 = θ maka T = n X2 i statistik cukup untuk θ. Karena T juga merupakan statistik yang lengkap dan S 2 = T/n merupakan statistik tak bias untuk θ dan S 2 merupakan statistik tak bias dengan variansi minimum untuk θ. Contoh.3 Misalkan X, X 2, X 3 variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas [ ] f(x; λ = λ exp λx 2 X i

15 untuk x > 0. Misalkan θ = /λ sehingga fungsi kepadatan probabilitas dari X menjadi f(x; λ = [ θ exp ]. θ x Diperoleh E[X i ] = θ dan Var(X i = θ 2 untuk i =, 2, 3. Hal itu berarti bahwa X merupakan statistik tak bias untuk θ dengan variansi θ 2. Demikian juga T = X + X 2 + X 3 merupakan statistik cukup untuk θ dan juga merupakan statistik yang lengkap. Karena X bukan merupakan fungsi dari T maka X bukan statistik tak bias dengan variansi minimum untuk θ. Oleh karen itu dipilih statistik yang merupakan fungsi dari T dan juga merupakan statistik tak bias untuk θ yaitu T/3 dengan sifat E[T/3] = θ. Dalam hal ini Var(T/3 = θ 2 /3 lebih kecil dari θ 2 dengan θ (0,..4 Keluarga Eksponensial Keluarga fungsi kepadatan probabilitas yang tergantung pada paremeter θ dan berbentuk f(x; θ = C(θ exp[q(θt (x]h(x dengan x R, θ Ω( R dan C(θ > 0 serta h(x > 0 untuk x S dinamakan keluarga eksponensial. Jika variabel random saling bebas dan berdistribusi identik dengan f(x; θ dengan θ Ω R maka fungsi kepadatan probabilitas dari X sebagai f(x; θ = C(θ exp[q(θt (x]h(x. Contoh.4 ( n Misalkan f(x; θ = x Fungsi probabilitas tersebut dapat dinyatakan sebagai ( n x θ x ( θ n x I A (x dengan A = {0,, 2,..., n}. f(x; θ = ( θ n θ exp[log( θ ] I A (x sehingga distribusi Binomial merupakan anggota keluarga ( eksponensial dengan c(θ = ( θ n, Q(θ = log( θ, T (x = x, h(x = I n θ x A (x. 3

16 Contoh.5 Misalkan variabel random X berdistribusi N(µ, σ 2. Jika σ diketahui dan µ = θ maka fungsi kepadatan probabilitas dari X adalah f(x; θ = 2πσ exp [ ] [ θ2 θ ] [ exp σ σ x exp ] 2 2σ 2 x2 dengan θ R sehingga distribusi tersebut merupakan anggota keluarga eksponesial dengan c(θ = ] exp [ θ2 2πσ σ x, Q(θ = θ [ ] 2 σ, T (x = x, h(x = exp x2. 2 2σ 2 Jika µ diketahui dan σ 2 = θ maka fungsi kepadatan probabilitas dari X adalah f(x; θ = [ exp ] 2πθ 2θ (x µ2 dengan θ (0, sehingga distribusi tersebut merupakan anggota keluarga eksponensial dengan c(θ = 2πθ, Q(θ = 2θ, T (x = (x µ2, h(x =. Jika ruang parameter dari keluarga fungsi kepadatan eksponensial parameter mengandung interval non degenerate maka keluarga tersebut lengkap. Teorema.6 Misalkan X variabel random dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R seperti tersebut di atas. Keluarga G = {g(x; θ θ Ω} dengan adalah fungsi kepadatan probabilitas dari T (X maka G lengkap asalkan Ω mengandung interval non degenerate. Teorema.7 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas merupakan anggota keluarga eksponensial parameter.. Statistik T = n T (X i merupakan statistik cukup untuk θ. 4

17 2. Fungsi kepadatan probabilitas dari T selalu berbentuk [ ] g(t; θ = [c(θ] n exp Q(θt h (t dengan h(t tidak bergantung terhadap θ asalkan T variabel random diskrit. 3. Jika variabel random kontinu maka fungsi kepadatan probabilitasnya dapat dinyatakan sebagai [ ] g(t; θ = [c(θ] n exp Q(θt h (t. Teorema berikut ini menyatakan sifat kelengkapan dari suatu keluarga distribusi. Teorema.8 Keluarga G = {g(x; θ θ Ω} lengkap asalkan Ω mengandung interval non degenerate. Dalam hal ini G = {g(x; θ θ Ω} dengan g(x; θ adalah keluarga fungsi kepadatan probabilitas dari statistik cukup T. Teorema.9 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas merupakan anggota keluarga eksponensial dan T seperti didefinisikan pada Teorema.7.. Jika V sebarang statistik yang lain, V saling bebas jika dan hanya jika distribusi dari V dan T tidak tergantung pada θ. Contoh.6 Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan N(µ, σ 2 yang merupakan anggota keluarga eksponensial dalam θ = µ. Statistik X = X i n merupakan statistik cukup untuk θ sedangkan S 2 = n (X i X 2 n 5

18 merupakan statistik lain yang tidak tergantung pada θ maka dengan menggunakan Teorema.9 diperoleh bahwa x dan S 2 saling bebas. Generalisasi dari Keluarga Eksponensial Misalkan X, X 2,..., X n variabel random saling bebas dan X = (X,..., X n t. Fungsi kepadatan probabilitas bersama dari merupakan anggota keluarga eksponensial r parameter jika mempunyai bentuk [ f(x; θ = c(θ exp ] Q i (θt i (x h(x dengan x = (x, x 2,..., x n t untuk j =, 2,..., k dan k, θ = (θ, θ 2,..., θ r t Ω R r, C(θ > 0, θ Ω dan h(x > 0 untuk x S himpunan nilai positif dari f(x; θ yang saling bebas terhadap θ. Contoh.7 Misalkan variabel random X berdistribusi N(θ, θ 2. Fungsi kepadatan probabilitas dari X dapat dinyatakan sebagai f(x; θ, θ 2 = [ ] [ exp θ2 x exp θ x ] x 2. 2πθ2 2θ 2 θ 2 2θ 2 Hal ini berarti keluarga distribusi normal merupakan anggota keluarga distribusi eksponensial dengan dan c(θ = [ ] exp θ2, Q (θ = θ, Q 2 (θ =, 2πθ2 2θ 2 θ 2 2θ 2 Dalam hal ini θ = (θ, θ 2. T (x = x, T 2 (x = x, h(x =. 6

19 Brief History of Fisher R. A. Fisher ( Statistician and geneticist. MacTutor References. SC, LP. Fisher was the most influential statistician of the C20. Like Pearson, Fisher, studied mathematics at Cambridge University. He first made an impact when he derived the exact distribution of the correlation coefficient (see Fishers z-transformation. Although the correlation coefficient was a cornerstone of Pearsonian biometry, Fisher worked to synthesise biometry and Mendelian genetics; for Fishers many disagreements with Pearson, see Pearson in A Guide to R. A. Fisher. In 99 Fisher joined Rothamsted Experimental Station and made it the world centre for statistical research. His subsequent more prestigious appointments in genetics at UCL and Cambridge proved less satisfying. The estimation theory Fisher developed from 920 emphasised maximum likelihood and was founded on likelihood and information. He rejected Bayesian methods as based on the unacceptable principle of indifference. I n the 930s Fisher developed a conditional inference approach to estimation based on the concept of ancillarity. His most widely read work Statistical Methods for Research Workers (925 + later editions was largely concerned with tests of significance: see Student s t distribution, chi square, z and z-distribution and p-value. The book also publicised the analysis of variance and redefined regression. The Design of Experiments (935 + later editions put that subject at the heart of statistics (see randomization, replication blocking. The fiducial argument, which Fisher produced in 930, generated much controversy and did not survive the death of its creator. Fisher created many terms in everyday use, e.g. statistic and sampling distribution and so there are many references to his work on the Words pages. See Symbols in Statistics for his contributions to notation. Fisher influenced statisticians mainly through his writingsee the experience of Bose and Youden. Among those who worked with him at Rothamsted were Irwin Wishart, Yates (colleagues and Hotelling (voluntary worker MGP. In London and Cambridge Fisher was not in a Statistics department and Rao was his only PhD student in Statistics. For more information see A Guide to R. A. Fisher. See Hald (998, ch. 28 Fishers Theory of Estimation and his Immediate Precursors. 7

20 Brief History of Kolmogorov Andrei Nikolaevich Kolmogorov ( Mathematician. MacTutor References. MGP. LP. Kolmogorov was one of the most important of C20 mathematicians and although he wrote a lot of probability it was only a small part of his total output. Like Khinchin, he was a student of Luzin at Moscow State University. In 924 Kolmogorov started working with Khinchin and they produced results on the law of the iterated logarithm and the strong law of large numbers. Kolmogorovs most famous contribution to probability was the Grundbegriffe der Wahrscheinlichkeitsrechnung (933, (English translation which presented an axiomatic foundation. This made possible a rigorous treatment of stochastic processes. His 93 paper Analytical methods in probability theory laid the foundations for the theory of markov processes; this paper contains the Chapman-Kolmogorov equations. In 94 Kolmogorov developed a theory of prediction for random processes, parallel to that developed by Wiener. In the 60s Kolmogorov returned to von Misess theory of probability and developed it in the direction of a theory of algorithmic complexity; this work was continued by the Swedish mathematician P. Martin-Lf. In statistics he contributed the Kolmogorov-Smirnov test. From 938 Kolmogorov was associated with the Steklov Mathematical Institute. He had many students, among them Gnedenko and Dynkin. See also Symbols in Probability Life & Work. See von Plato (ch. 7 Kolmogorovs measure theoretic probabilities. See also Vovk & Shafer Kolmogorovs Contributions to the Foundations of Probability and The Origins and Legacy of Kolmogorovs Grundbegriffethe published version of the latter (Statistical Science (2006 Number, is different again. 8

21 Chapter 2 Estimasi Titik Misalkan X variabel random dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R r. Jika θ diketahui maka semua probabilitas yang diinginkan dapat dihitung. Akan tetapi biasanya θ tidak diketahui sehingga memunculkan masalah bagaimana mengestimasi parameter θ atau suatu fungsi dari θ yaitu g(θ dengan g fungsi real dan terukur. Definisi 2. Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ. Sebarang statistik U = U(X, X 2,..., X n yang digunakan untuk menaksir kuantitas yang tidak diketahui dinamakan estimator dari g(θ. Nilai dari U(x, x 2,..., x n untuk nilai-nilai pengamatan x, x 2,..., x n dinamakan estimasi dari g(θ. Definisi 2.2 Misalkan g fungsi real dan terukur. Estimator U = U(X, X 2,..., X n dinamakan estimator tak bias (unbiased estimator dari g(θ jika E[U = U(X, X 2,..., X n ] = g(θ untuk semua θ Ω. Fungsi g dikatakan tertaksir (estimable jika g(θ mempunyai estimator tak bias. Definisi tentang ketakbiasan mengelompokkan statistik-statistik ke dalam suatu kelas estimator tak bias. Jika U = U(X, X 2,..., X n estimator tak bias untuk g(θ maka harga harapan dari U sama dengan g(θ. Meskipun 9

22 kriteria ketakbiasan sudah mengkhususkan diri pada kelas estimator yang memenuhi sifat tertentu tetapi kelas ini masih terlalu besar. Untuk itu perlu dipilih dari dua estimator tak bias yaitu yang mempunyai variansi yang lebih kecil. Dasar pemikiran yang digunakan adalah bahwa variansi atau simpangan baku memberikan ukuran konsentrasi di sekitar mean. Jika U = U(X,..., X n estimator tak bias untuk g(θ maka dengan menggunakan pertidaksamaan Chebisev diperoleh P θ [ U g(θ ε] Var(U. ε Oleh karena itu, Var(U yang kecil akan memperbesar batas bawah probabilitas konsentrasi U di sekitar g(θ. Definisi 2.3 Misalkan g tertaksir. Suatu estimator U = U(X, X 2,..., X n dikatakan estimator UMV U untuk g(θ jika U tak bias dan mempunyai variansi minimum diantara kelas semua estimator tak bias dari g(θ dengan θ Ω. Jika U = U(X, X 2,..., X n adalah sebarang estimator tak bias dari g(θ maka Var θ (U Var θ (U untuk semua θ Ω. Dalam banyak kasus, estimator UMVU ada. Untuk memperolehnya terdapat 2 metode yaitu metode pertama yang digunakan bila tersedia statistik cukup yang lengkap dan metode kedua yang digunakan bila tidak tersedia statistik cukup yang lengkap. Pada metode kedua, terlebih dahulu ditentukan batas bawah semua estimator dan kemudian memilih suatu estimator yang mempunyai variansi sama dengan batas bawah tersebut. 20

23 2. Metode yang digunakan bila tersedia statistik cukup yang lengkap Misalkan T = (T, T 2,..., T r t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., r adalah statistik cukup untuk θ dan U = U(X, X 2,..., X n estimator tak bias dari g(θ dengan g fungsi real. Misalkan φ(t = E[U T]. Estimator merupakan estimator tak bias dari g(θ dan Var(φ Var(U untuk semua θ Ω dengan kesamaan dipenuhi bila U merupakan fungsi dari T. Jika tersedia statistik cukup maka Teorema Rao-Blackwell mengatakan bahwa pencarian estimator UMVU untuk g(θ cukup dibatasi pada kelas estimator tak bias yang hanya tergantung pada T. Jika T lengkap maka dengan menggunakan Teorema Lehman-Scheffe, estimator tak bias φ(t adalah estimator unik yang mempunyai variansi minimum seragam dalam kelas semua estimator tak bias. Metode ini tidak hanya menjamin keberadaan estimator tetapi juga menghasilkannya. Teorema 2. Misalkan g fungsi terukur dan real. Misalkan terdapat estimator tak bias U = U(X, X 2,..., X n dari g(θ dengan variansi berhingga. Jika T = (T, T 2,..., T r t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., r adalah statistik cukup untuk θ, lengkap dan φ(t = E[U T] maka estimator UMVU untuk g(θ dan tunggal. Contoh 2. Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi Binom(, θ dan akan ditentukan estimator UMVU dari variansi X. Karena X berdistribusi maka variansi dari X adalah Var(X = g(θ = θ( θ. Jika n U = (X i X 2 n maka E θ [U] = g(θ. Hal itu berarti U merupakan estimator tak bias untuk g(θ. Lebih jauh, (X i X 2 = Xi 2 n X. 2

24 Karena X i = 0 atau maka Xi 2 = X i sehingga Xi 2 n X = Jika T = n X i maka diperoleh Xi 2 n X = sehingga U = n ( T T 2 n ( X i n n ( X i n n 2. X i X i 2 = T T 2 n,. Karena T merupakan statistik lengkap dan juga merupakan statistik cukup untuk θ maka dengan mengingat Teorema 2., U merupakan estimator UMVU untuk g(θ = θ( θ. Contoh 2.2 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Akan ditentukan estimator UMVU untuk µ dan σ 2. Misalkan θ = (µ, σ 2 t, g (θ = µ dan g (θ = σ 2. Jika X = n X i dan n X2 i merupakan statistik yang lengkap. Jika U = X dan S 2 = n (X i X 2 maka ( X, S 2 merupakan statistik yang lengkap. Jika U = X dan U 2 = ns 2 maka E[U ] = µ dan E[nS 2 /σ 2 ] = n sehingga E[nS 2 /(n ]σ 2. Hal itu berarti U estimator tak bias untuk µ dan U 2 merupakan estimator tak bias untuk σ 2. Karena U dan U 2 hanya tergantung pada statistik cukup yang lengkap maka ( X, S 2 t merupakan estimator UMVU untuk (µ, σ Metode yang digunakan bila tidak tersedia statistik cukup lengkap Misalkan Ω R, g fungsi real dan terdeferensialkan untuk semua θ ω. Untuk menggunakan metode ini diperlukan syarat-syarat berikut ini :. f(x; θ positif pada himpunan S yang tidak bergantung pada θ Ω. 2. Ω interval terbuka dalam R. 3. f(x; θ/ θ ada untuk semua θ Ω dan semua x S. 22

25 4. S... S f(x ; θ... f(x n ; θdx... dx n atau... S S f(x ; θ... f(x n ; θ dapat dideferensialkan di bawah tanda integral atau tanda sigma. 5. I(θ = E[ f(x; θ/ θ] 2 positif untuk semua θ Ω. 6. S... S u(x,..., x n f(x ; θ... f(x n ; θdx... dx n atau... S S u(x,..., x n f(x ; θ... f(x n ; θ dapat dideferensialkan di bawah tanda integral atau tanda sigma dengan sebarang statistik tak bias untuk θ. Teorema berikut ini memberikan sifat tentang batas bawah dari variansi suatu statistik. Teorema 2.2 (Cramer-Rao Inequality Misalkan X,..., X n variabel random saling-bebas dan berdistribusi identik dengan fungsi kepadatan serta dianggap syarat-syarat tersebut dipenuhi. Untuk sebarang estimator tak bias U = U(X,..., X n dari g(θ berlaku dengan θ Ω dan g (θ = dg(θ/dθ. Definisi 2.4 Var(U [g (θ] 2 ni(θ I(θ = E[ f(x; θ/ θ] 2 dinamakan informasi Fisher sedangkan ni(θ adalah informasi yang terkandung dalam sampel X,..., X n. Contoh 2.3 Misalkan X,..., X n variabel random saling bebas dan berdistribusi Binom(, θ dengan θ (0,. Fungsi probabilitas dari variabel random X yang berdistribusi Binom(, θ adalah f(x; θ = θ x ( θ x 23

26 atau ln f(x; θ = x ln θ + ( x ln θ sehingga Akibatnya ln f(x; θ θ = θ x θ. ( ln f(x; θ θ 2 = θ 2 x2 + ( θ 2 ( x2 2 x( x. θ( θ Karena E[X 2 ] = θ dan E[( X 2 ] = θ serta E[X( X] = 0 maka informasi Fisher I(θ adalah ( ln f(x; θ 2 E = θ θ 2 E[X2 ] + = θ θ + ( θ 2 ( θ 2 = θ + θ = θ( θ. ( θ 2 E[( X2 ] Hal itu berarti batas bawah Cramer-Rao untuk g(θ adalah CRLB = [g (θ] 2 ni(θ = n θ( θ θ( θ =. n Karena X merupakan estimator tak bias θ dan variasinya adalah V ( X = θ( θ n 2 E[X( X] θ( θ yaitu sama dengan batas bawah Cramer Rao maka X merupakan estimator UMVU untuk θ. Contoh 2.4 Misalkan X,..., X n variabel random saling bebas dan berdistribusi Poisson(θ 24

27 dengan θ > 0. Fungsi probabilitas dari variabel random X yang berdistribusi adalah f(x; θ = e θ θ x x! atau ln f(x; θ = θ + x ln θ ln(x! sehingga ln f(x; θ = + x θ θ dan ( ln f(x; θ 2 = + θ θ 2 x2 2 θ x. Karena E[X] = θ dan E[X 2 ] = θ( + θ maka [( ln f(x; θ 2 ] E = E[] + θ θ 2 E[X2 ] 2 θ E[X] = + θ 2 θ( + θ 2 θ θ = + ( + θ 2 θ = + θ + = θ. Hal itu berarti batas bawah Cramer-Rao untuk θ sama dengan CRLB = [g (θ] 2 ni(θ = n θ = θ n. Karena X merupakan estimator tak bias untuk θ dan variansinya adalah Var( X = θ yaitu sama dengan batas bawah CRLB maka X merupakan n estimator UMVU untuk θ. Contoh 2.5 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan µ R dan σ 2 > 0. Kasus Misalkan bahwa σ 2 diketahui dan µ = θ. Fungsi kepadatan probabilitas X yang berdistribusi N(θ, σ 2 adalah [ f(x; θ = exp (x ] θ2 2πσ 2 2σ 2 25

28 atau Akibatnya atau ( ln f(x; θ = ln 2πσ 2 ln f(x; θ θ ( ln f(x; θ θ = σ (x θ σ (x θ2 2σ 2. 2 = σ 2 (x θ 2 σ 2. Karena X berdistribusi N(θ, σ 2 maka (X θ berdistribusi N(0, sehingga σ berdistribusi chi-kuadrat dengan derajat bebas. Akibatnya E[ (X θ2 ] =. σ 2 Hal itu berarti ( ln f(x; θ 2 ( (X θ 2 E = θ σ E = 2 σ 2 σ 2 sehingga batas bawah Cramer-Rao untuk g(θ adalah CRLB = g (θ ni(θ = n σ 2 = σ2 n. Karena X merupakan estimator tak bias untuk g(θ = θ dan variansinya adalah Var( X = σ2 yaitu sama dengan batas bawah Cramer-Rao maka X n merupakan estimator UMVU untuk θ. Kasus 2 Misalkan bahwa µ diketahui dan σ 2 = θ. Fungsi kepadatan probabilitas X yang berdistribusi N(µ, θ adalah f(x; θ = [ exp 2πθ sehingga ln f(x; θ = 2 ln(2π 2 (x ] µ2 2θ (x µ2 ln θ. Akibatnya 2θ dan ( ln f(x; θ θ ln f(x; θ θ = 2θ + (x µ2 2θ 2 2 = 4θ + (x µ 2 + ( x µ θ 2 θ 4θ 2 θ 26

29 Karena variabel random X berdistribusi N(µ, σ 2 maka X µ θ berdistribusi N(0, sehingga berdistribusi chi-kuadrat dengan derajat bebas. Akibatnya E [ (X µ ] [ 2 θ = dan Var (X µ 2 ] θ = 2 sehingga [( x µ 4 ] [( (X µ 2 2 ] E = E θ Oleh karena itu [( ln f(x; θ 2 ] E θ sehingga θ [ (X µ 2 ] = Var + θ = 2 + = 3. ( E [ (X µ 2 ] 2 = 4θ E[] + [ (x µ 2 ] 2 2θ E + [( x µ 4 ] 2 θ 4θ E 2 θ [( ln f(x; θ 2 ] E θ θ = 4θ 2 2θ θ 2 = 2θ 2. Karena batas bawah Cramer-Rao untuk g(θ adalah CRLB = [g (θ] 2 ni(θ = n 2θ 2 = 2θ2 n. Karena variabel random X i berdistribusi N(µ, θ untuk i =, 2,..., n maka X i µ berdistribusi N(0, sehingga berdistribusi chi-kuadrat dengan derajat θ bebas. Dengan mengingat X i µ saling bebas untuk i =, 2,..., n maka n (X i µ 2 θ θ berdistribusi chi-kuadrat dengan derajat bebas n. Akibatnya [ E (X i µ 2 ] θ [ = n, Var (X i µ 2 ] = 2n θ sehingga n (X i µ 2 estimator tak bias untuk θ dan variansinya 2θ2 θ n dengan CRLB. Hal itu berarti merupakan estimator UMVU untuk θ. Kasus 3 sama Bila µ dan σ 2 tidak diketahui maka µ = θ dan σ 2 = θ 2 sehingga estimator UMVU untuk θ adalah X dan estimator UMVU untuk θ 2 adalah ˆθ 2 = (X i n X 2. 27

30 Karena n ( Xi X θ2 berdistribusi chi-kuadrat dengan derajat bebas n maka variansi dari ˆθ 2 adalah 2θ 2 /(n. Hal itu berarti estimator UMVU untuk θ 2 mempunyai variansi lebih besar dari batas bawah Cramer-Rao. Estimator UMVU untuk g(θ dinamakan estimator efisien untuk g(θ. Jika u estimator UMVU untuk θ dan U sebarang estimator tak bias untuk g(θ maka kuantitas mengukur efisiensi relatif U terhadap u. Jelas bahwa efisiensi relatif mempunyai nilai dalam interval (0, ]. 2.3 Kriteria Pemilihan Estimator : Prinsip MLE Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R r dan anggap bahwa fungsi kepadatan probabilitas bersamanya dinyatakan dengan f(x ; θf(x 2 ; θ... f(x n ; θ. Bila fungsi kepadatan probabilitas bersama ini, variabel x dipandang sebagai konstanta dan merupakan fungsi dari θ maka dinamakan fungsi likelihood (likelihood function dan dinotasikan dengan L(θ x, x 2,..., x n. Definisi 2.5 Estimasi θ = θ(x, x 2,..., x n dinamakan MLE (maximum likelihood estimator dari θ jika L(θ x, x 2,..., x n = max{l(θ x, x 2,..., x n } dan θ = θ(x, x 2,..., x n dinamakan MLE untuk θ. Karena fungsi y = ln x, x > 0 merupakan fungsi naik tajam maka untuk memaksimumkan L(θ x, x 2,..., x n terhadap θ cukup dengan memaksimumkan ln L(θ x, x 2,..., x n. Contoh 2.6 Misalkan X,..., X n variabel random saling-bebas dan berdistribusi Poisson(θ. Fungsi probabilitas dari X i adalah f(x i ; θ = e θ θ x i x i! 28

31 sehingga fungsi likelihoodnya adalah L(θ x, x 2,..., x n = exp[ nθ]θ P x i n x i!. Logaritma naturalis dari fungsi likelihoodnya adalah ( n l(θ = ln L(θ x, x 2,..., x n = ln x i! nθ + ( x i ln θ. Oleh karena itu l = n + n X = 0 dan diperoleh ˆθ = X. Sedangkan θ θ 2 l = n x < 0 untuk semua θ > 0 sehingga berlaku juga untuk θ = ˆθ. θ θ 2 Contoh 2.7 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan parameter θ = (µ, σ 2 t. Fungsi likelihoodnya adalah sehingga Akibatnya dan ( ( L(θ x, x 2,..., x n = exp 2πσ 2 2σ 2 (x i µ 2 L(θ x, x 2,..., x n = n ln(2π n ln( σ 2 2σ 2 ln L µ = 2 2σ 2 ln L σ 2 (X i µ = n σ ( X µ 2 = n 2σ 2 + 2σ 4 (X i µ 2 = 0 (x i µ 2. sehingga diperoleh ˆµ = X dan σ 2 = n n (X i X 2. Jika σ 2 diketahui dan µ = θ maka ˆµ = x adalah MLE untuk µ sedangkan jika µ diketahui dan σ 2 = θ maka ˆσ = n n (X i X 2 adalah MLE untuk σ 2. Contoh 2.8 Misalkan X,..., X n variabel random saling bebas dan berdistribusi U(α, β. Fungsi kepadatan probabilitas dari U(α, β adalah f(x; θ = β α 29

32 untuk α < x < β dengan θ = (α, β t Ω. Fungsi likelihoodnya adalah L(θ x, x 2,..., x n = = = n f(x i ; θ n β α untukα < x i < β (β α n I [α, (X ( I (,β] (X (. Fungsi likelihoodnya akan mencapai maksimum jika β α minimum yaitu jika ˆα = X ( dan ˆβ = X (n. Jadi MLE untuk α dan β masing-masing adalah ˆα = X ( dan ˆβ = X (n. Khususnya, jika α = θ c dan β = θ + c dengan c positif dan c diketahui maka fungsi likelihoodnya adalah L(θ x, x 2,..., x n = (2c n I [θ c, (X ( I (,θ+c] (X (. Fungsi likelihood dimaksimumkan dan nilai maksimumnya adalah untuk (2c n sebarang θ sehingga θ c X ( dan θ + c X (n yaitu ekuivalen dengan X (n c θ X ( + c. Hal itu berarti bahwa sebarang statistik yang terletak antara X (n c dan X ( + c merupakan MLE untuk θ. Sebagai contoh 2 [X ( + X (n ] merupakan MLE untuk θ. Jika β diketahui dan α = θ maka ˆθ = X ( merupakan MLE untuk θ sedangkan jika α diketahui dan β = θ maka ˆθ = X (n merupakan MLE untuk θ. Teorema 2.3 Misalkan X,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ dan T = (T,..., T r t dengan T j = T j (X,..., X n untuk j =, 2,..., r merupakan statistik cukup untuk θ = (θ,..., θ r t. Jika ˆθ = ( ˆθ,..., ˆθ r adalah MLE yang tunggal untuk θ dan ˆθ merupakan fungsi dari T. Teorema 2.4 Misalkan X,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ dan θ Ω R r. Jika φ didefinisikan pada Ω ke Ω R m yang merupakan fungsi korespondensi satu-satu dan ˆθ adalah MLE untuk θ 30

33 maka φ(θ merupakan MLE untuk φ(θ. Hal itu berarti MLE invariant di bawah transformasi satu-satu. Contoh 2.9 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan parameter θ = (µ, σ 2 t. Berdasarkan Contoh 2.7, merupakan MLE untuk σ 2. Misalkan didefinisikan φ : Ω Ω dengan φ(θ = θ dan Ω = Ω = {R R σ 0} yang merupakan fungsi korespondensi satu-satu. Dengan menggunakan Teorema 2. 4, diperoleh bahwa (X i n X 2 merupakan MLE untuk σ. 2.4 Estimator Momen Misalkan X,..., X n variabel random saling bebas dan berdistribusi identik dengan f(x; θ dan untuk bilangan positif r dianggap bahwa E[X r ] = m r berhingga. Dengan menggunakan metode ini m r akan diestimasi dengan momen sampel yaitu P n xr i n n. Bila sistem persamaan x k i = m k(θ, θ 2,..., θ r dengan k =, 2,..., r dapat diselesaikan maka akan menghasilkan estimator untuk θ j dengan j =, 2,..., r. Contoh 2.0 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Dengan menggunakan metode momen diperoleh sistem persamaan n X i = E[X] = µ, n n X2 i n = E[X 2 ] = Var(X + (E[X] 2 = σ 2 + µ 2, sehingga menghasilkan estimator momen ˆµ = X dan σ 2 = n n (X i X 2. 3

34 Contoh 2. Misalkan X,..., X n variabel random saling bebas dan berdistribusi U(α, β dengan α dan β tidak diketahui. Dengan metode momen diperoleh sistem persamaan n X i n n X2 i n sehingga diperoleh = X = E[X] = α + β, 2 = X 2 = E[X 2 ] = Var(X + (E[X] 2 = (α β2 2 + (α + β2, 4 α + β = 2 X ( 2 (α X 2 β2 X = 2 = ( β α 2 2 atau α + β = 2 X α + β = S 2. Akibatnya estimator momen untuk α dan β berturut-turut adalah ˆα = X S, ˆβ = X + 2 S. Terlihat bahwa estimator momen dari α dan β bukan merupakan fungsi dari statistik cukup dari α dan β. Hal ini merupakan salah satu kekurangan dari metode momen. Kekurangan lain dari metode ini adalah bahwa metode ini tidak dapat digunakan bila momennya tidak ada seperti pada distribusi Cauchy. 32

35 2.5 Kriteria Pemilihan Estimator : Pendekatan Teori Keputusan Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R dan diinginkan untuk mengestimasi θ. Definisi 2.6 Fungsi keputusan δ adalah fungsi terukur yang didefinisikan dari R n ke R. Nilai δ(x, x 2,..., x n dari δ pada dinamakan keputusan (decision. Definisi 2.7 Untuk mengestimasi θ berdasarkan X, X 2,..., x n dan menggunakan keputusan δ. Fungsi kerugian (loss function adalah fungsi non negatif dari θ dan δ(x, x 2,..., x n yang menyatakan kerugian yang diakibatkan bila mengestimasi θ dengan δ(x, x 2,..., x n. Fungsi kerugian yang biasa digunakan adalah atau secara umum L[θ; δ(x, x 2,..., x n ] = θ δ(x, x 2,..., x n L[θ; δ(x, x 2,..., x n ] = θ δ(x, x 2,..., x n k untuk k > 0 atau L[θ; δ(x, x 2,..., x n ] fungsi konveks dari θ. Bentuk fungsi kerugian yang biasa digunakan adalah Definisi 2.8 L[θ; δ(x, x 2,..., x n ] = (θ δ(x, x 2,..., x n 2. Fungsi resiko (risk function yang bersesuaian dengan L[θ; δ] dan dinotasikan dengan R[θ; δ] didefinisikan sebagai R[θ; δ] = E[L(θ; δ(x, x 2,..., x n ]. Hal itu berarti bahwa resiko dari fungsi keputusan yang diberikan adalah rata-rata atau harapan jika fungsi keputusan tersebut digunakan. Dua keputusan δ dan δ dikatakan ekuivalen bila R[θ; δ] = E[L(θ; δ(x, x 2,..., x n ] = E[L(θ; δ (x, x 2,..., x n ] = R[θ; δ ]. 33

36 Dalam konteks estimasi titik, keputusan δ(x, x 2,..., x n dinamakan estimasi dari θ dan kebaikannya ditentukan berdasarkan resiko R[θ, δ]. Definisi 2.9 Estimator δ dari θ dikatakan admisible jika tidak ada estimator lain δ dari δ sehingga untuk semua R[θ; δ ] R[θ; δ] untuk semua θ Ω. Definisi 2.0 Kelas dari estimator D dikatakan essentially complete jika untuk sebarang estimator δ dari θ tidak dalam D sehingga R[θ; δ] R[θ; δ ] untuk semua θ Ω. Hal itu berarti bahwa pencarian estimator dengan sifat-sifat optimal membatasi perhatian kita pada kelas yang essentially complete dari estimatorestimator admisible. Apabila hal ini dikerjakan, maka muncul pertanyaan : yang manakah dari kelas ini yang dapat dipilih sebagai suatu estimator dari θ. Untuk itu dipilih estimator δ sehingga untuk sebarang estimator lain δ dalam kelas dari semua θ Ω. Sayangnya estimator yang demikian tidak ada kecuali untuk kasus-kasus yang sederhana. Akan tetapi, jika kita membatasi hanya pada kelas estimator tak bias dengan variansi berhingga dan mengambil fungsi kerugian kuadrat maka R[θ; δ] menjadi variansi dari δ (x, x 2,..., x n. Kriteria pemilihan di atas bersesuaian dengan pencarian estimator UMVU. Estimator yang meminimumkan hal-hal buruk yang terjadi pada kita yaitu meminimumkan resiko maksimum atas θ. Jika estimator yang mempunyai sifat tersebut ada maka dinamakan estimator minimaks (minimax estimator. Untuk mencari estimator minimaks ini masih dibatasi pada kelas estimator yang essentially complete. Definisi 2. Dalam kelas D yaitu semua estimator yang mempunyai sifat R[θ; δ] berhingga untuk semua θ Ω, estimator δ dikatakan minimaks (minimax jika untuk sebarang estimator δ yang lain berlaku sifat sup{r[θ; δ]; θ Ω} sup{r[θ; δ ]; θ Ω}. Misalkan Ω R dan θ adalah variabel random dengan fungsi kepadatan 34

37 probabilitas yaitu fungsi kepadatan probabilitas prior R(δ = E[R(θ; δ] = R[θ; δ]λ(θdθ atau Ω Ω R[θ; δ]λ(θ. Hal itu berarti bahwa R(δ adalah resiko rata-rata dari seluruh ruang parameter Ω bila digunakan estimator δ. Misalkan D 2 adalah kelas semua estimator sehingga R(δ berhingga untuk suatu prior λ pada Ω yang diketahui. Definisi 2.2 Dalam kelas D 2, estimator δ dikatakan estimator Bayes (dalam teori keputusan dan berkaitan dengan fungsi kepadatan probabilitas prior λ pada Ω jika R(δ R(δ untuk semua estimator δ yang lain. Penentuan Estimator Bayes Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x, θ, θ Ω R. Dalam hal ini digunakan fungsi kerugian kuadrat. Misalkan θ variabel random dengan fungsi kepadatan prior λ. Akan ditentukan δ sehingga menjadi estimator Bayes dari θ dalam arti teori keputusan. Teorema 2.5 Estimasi Bayes dari θ yang bersesuaian dengan fungsi kepadatan probabilitas λ pada Ω sehingga θf(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ dan Ω Ω f(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ berhingga untuk setiap (x x 2,..., x n t diberikan oleh Ω δ(x x 2,..., x n = θf(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ f(x Ω ; θf(x 2 ; θλ(θf(x n ; θ... dθ asalkan λ kontinu. Jika nilai pengamatan dari X i adalah x i untuk i =, 2,..., n maka akan ditentukan fungsi kepadatan probabilitas bersyarat dari θ bila diberikan 35

38 X = x, X 2 = x 2,..., X n = x n merupakan fungsi kepadatan posterior dari θ. Fungsi kepadatan posterior dari θ adalah h(θ x = f(x ; θf(x 2 ; θ... f(x n ; θ h(x = f(x; θλ(θ h(x = f(x ; θf(x 2 ; θ... f(x n ; θλ(θ h(x dengan h(x = Ω f(x; θλ(θdθ = Ω f(x ; θf(x 2 ; θ... f(x n ; θλ(θdθ untuk λ kontinu. Estimator Bayes untuk θ yaitu δ(x x 2,..., x n adalah harapan dari θ berkaitan dengan fungsi kepadatan probabilitas posteriornya. estimator Bayes yang lain dari θ adalah median dari h(θ x atau modus dari h(θ x jika ada. Contoh 2.2 Misalkan variabel random saling bebas dari distribusi Binom(, θ dengan θ Ω = (0,. Fungsi kepadatan probabilitas priornya dipilih berdistribusi Beta(α, β dengan parameter α dan β yaitu λ(θ = Γ(α + β Γ(αΓ(β θα ( θ β untuk θ (0,. Akibatnya I = f(x ; θf(x 2 ; θ... f(x n ; θλdθ = = = Ω Γ(α + β Γ(αΓ(β Γ(α + β Γ(αΓ(β Γ(α + β Γ(αΓ(β 0 0 θ P x i ( θ n P x i θ α ( θ β dθ θ P x i +α ( θ β+n P x i dθ Γ(α + n x iγ(β + n n x i Γ(α + β + n 36

39 dan I = = = = Ω θf(x ; θf(x 2 ; θ... f(x n ; θλdθ Γ(α + β Γ(αΓ(β Γ(α + β Γ(αΓ(β Γ(α + β Γ(αΓ(β 0 0 θθ P x i ( θ n P x i θ α ( θ β dθ θ P x i +α+ ( θ β+n P x i dθ Γ(α + n x i + Γ(β + n n Γ(α + β + n + x i. Diperoleh estimator Bayes adalah Ω δ(x x 2,..., x n = θf(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ f(x Ω ; θf(x 2 ; θλ(θf(x n ; θ... dθ = Γ(α + β + nγ(α + n x i + Γ(α + β + nγ(α + n x i ( Γ(α + β + n α + n x i Γ(α + n x i = (α + β + nγ(α + β + nγ(α + n x i = α + n x i α + β + n. Bila α = β = maka distribusi priornya merupakan distribusi seragam pada (0, sehingga diperoleh estimator Bayes δ(x x 2,..., x n = + n 2 + n x i. Penentuan estimator Minimaks Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R dan λ fungsi kepadatan probabilitas prior pada Ω. Fungsi kepadatan probabilitas posterior dari θ diberikan X = (X, X 2,..., X n t = (x, x 2,..., x n t dinyatakan dengan h(θ x = f(x ; θf(x 2 ; θ... f(x n ; θ. h(x Telah diperoleh bahwa estimator Bayes dari θ dalam arti teori keputusan diberikan dengan δ(x, x 2,..., x n = θh(θ xdθ 37 Ω

40 asalkan λ kontinu. Teorema 2.6 Misalkan terdapat fungsi kepadatan probabilitas λ pada Ω sehingga untuk estimasi Bayes δ yang didefinisikan dengan Ω δ(x x 2,..., x n = θf(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ f(x Ω ; θf(x 2 ; θλ(θf(x n ; θ... dθ dan resiko R[θ; δ] tidak tergantung pada θ. Estimator δ(x x 2,..., x n merupakan estimator minimaks. Contoh 2.2 Misalkan X,..., X n variabel random saling bebas dari distribusi Binom(, θ dengan θ Ω = (0,. Fungsi kepadatan probabilitas priornya dipilih berdistribusi Beta(α, β. Jika X = n X i maka X berdistribusi Binom(n, θ sehingga E[X] = nθ dan Var(X = nθ( θ serta Bila E[X 2 ] = Var(X + (E[X] 2 = nθ( θ + (nθ 2 = nθ( θ + nθ. δ(x x 2,..., x n = α + n X i α + β + n = α + X α + β + n digunakan untuk mengestimasi θ maka akan mempunyai resiko [ R[θ, δ] = E θ X + α ] n + α + β [ (n + α + βθ (X + α = E n + α + β = (n + α + β2 θ 2 2(n + α + βθe[x + α] + E[X + α] 2 (n + α + β 2 ] 2 = (n2 + 2nα + 2nβ + (α + β 2 θ 2 2(n + α + βθ(nθ + α + E[X 2 ] + 2αE[X] + α 2 (n + α + β 2 = (α + β2 θ 2 nθ 2 2θα 2 2θαβ + nθ nθ 2 + n 2 θ 2 + α 2 (n + α + β 2 = (α + β2 θ 2 nθ 2 2θα 2 2θαβ + nθ + α 2 (n + α + β 2 = [(α + β2 n]θ 2 [2α 2 + 2αβ n]θ + α 2 (n + α + β 2. Bila α = β = 2 n dan misalkan δ hasil estimasi dari θ maka (α+β 2 n = 0 38