STATISTIKA MATEMATIKA

Transkripsi

1 Diktat Kuliah STATISTIKA MATEMATIKA Adi Setiawan Universitas Kristen Satya Wacana Salatiga 2006 i

2 Contents Pendahuluan. Sifat Kecukupan Sifat Kelengkapan Sifat Ketakbiasan Keluarga Eksponensial Estimasi Titik 9 2. Metode yang digunakan bila tersedia statistik cukup yang lengkap Metode yang digunakan bila tidak tersedia statistik cukup lengkap Kriteria Pemilihan Estimator : Prinsip MLE Estimator Momen Kriteria Pemilihan Estimator : Pendekatan Teori Keputusan Sifat-sifat Optimal secara Asimptotik dari Estimator Pengujian Hipotesis Konsep Umum dari Pengujian Hipotesis Neyman-Pearson Pengujian Hipotesis Sederhana Melawan Alternatif Sederhana Uji UMP untuk Pengujian Hipotesis Komposit Uji UMPU untuk Pengujian Hipotesis Komposit Pengujian Parameter dari Distribusi Normal Uji Tentang Variansi Uji Tentang mean Perbandingan Parameter Dua Distribusi Normal Perbandingan Variansi Dua Densitas Normal Perbandingan Mean Dua Densitas Normal Uji Likelihood Ratio Daerah Kepercayaan 9 4. Interval Kepercayaan Interval Kepercayaan Bila Muncul Parameter Nuisans Interval Kepercayaan dan Interval Kepercayaan Pendekatan Hubungan antara Uji Hipotesis dan Interval Kepercayaan ii

3 Chapter Pendahuluan Dalam bab ini terlebih dahulu akan dibahas tentang ruang parameter (parameter space, statistik cukup (sufficient statistics, sifat kelengkapan (completeness, sifat ketakbiasan (unbiasedness dan keluarga eksponensial (exponential family.. Sifat Kecukupan Misalkan X suatu variable random dengan fungsi kepadatan probabilitas f(x, θ diketahui tetapi tergantung pada suatu vektor konstan berdimensi r yaitu θ = (θ, θ 2,..., θ r t yang dinamakan parameter. Ruang parameter Ω adalah himpunan semua nilai yang mungkin dari θ. Dalam hal ini Ω R r dengan r. Misalkan X, X 2,..., X n sampel random ukuran n dari f(x; θ yaitu n variabel random yang saling bebas dan masing-masing mempunyai fungsi kepadatan probabilitas f(x; θ. Masalah mendasar dalam statistika adalah membuat inferensi tentang parameter θ seperti melakukan estimasi θ, menguji hipotesis tentang θ dan lain lain. Dalam melakukan hal di atas, konsep tentang kecukupan memainkan peranan penting dalam membimbing kita untuk meringkas data tetapi tanpa kehilangan informasi yang dibawa dalam data tentang parameter θ. Di samping sifat kecukupan juga akan dibahas tentang konsep kelengkapan (completeness, sifat ketakbiasan (unbiasedness dan sifat ketakbiasan variansi minimum (minimum variance unbiasedness. Misalkan T j : R n R untuk j =, 2,..., m dan T j tidak tergantung pada θ atau sebarang kuantitas yang tidak diketahui. Vektor T = (T,..., T m

4 dinamakan statistik dimensi m, dengan T = T (X, X 2,..., X n, T 2 = T 2 (X, X 2,..., X n, dan T m = T m (X, X 2,..., X n. Sebelum didefinisikan sifat kecukupan, terlebih dahulu diberikan contoh-contoh berikut ini. Contoh. Misalkan variabel random X berdistribusi seragam pada (α, β. Bila diambil θ = α, θ 2 = β maka diperoleh θ = (θ, θ 2 t sehingga ruang parameternya adalah Ω = {(θ, θ 2 t θ, θ 2 R 2, θ θ 2 } dan fungsi kepadatan probabilitas dari variabel random X adalah f(x; θ = θ 2 θ (.. untuk θ < x < θ 2. Jika α diketahui dan β = θ maka ruang parameternya adalah Ω = (α, dan fungsi kepadatan probabilitas daria variable random X adalah f(x; θ = (..2 θ α untuk θ < x < θ 2 atau f(x; θ = θ α I A(x (..3 dengan A = (α, θ dan I A (x = untuk x A and I A (x = 0 untuk x A merupakan fungsi indikator. Jika β diketahui dan α = θ maka ruang parameternya Ω = (, β dan fungsi kepadatan probabilitas dari variable random X adalah untuk θ < x < β atau dengan A = (θ, β. Contoh.2 f(x; θ = β θ (..4 f(x; θ = β θ I A(x (..5 Misalkan variabel random X berdistribusi N(µ, σ 2. Bila dipilih θ = µ, θ 2 = σ 2 maka θ = (θ, θ 2 t sehingga Ω = {θ, θ 2 t R 2 θ R, θ 2 > 0} 2

5 dan fungsi kepadatan probabilitas dari variabel random X adalah f(x; θ = [ exp (x θ 2 ] 2πθ2 2θ 2 (..6 Jika diketahui dan dipilih µ = θ maka Ω = R dan fungsi kepadatan probabilitas dari variabel random X adalah [ f(x; θ = exp (x ] θ2 (..7 2πσ 2 2σ 2 sedangkan jika µ diketahui dan dipilih σ 2 = θ maka Ω = {θ R θ > 0} dan fungsi kepadatan probabilitas dari variabel random X adalah f(x; θ = [ exp 2πθ (x ] µ2. (..8 2θ Contoh.3 Misalkan X,..., X n variabel random saling bebas dan berdistribusi identik (independent and identically distribution yaitu Binom(, θ. Hal itu berarti fungsi probabilitas dari X i adalah f(x i ; θ = θ x i ( θ x i I A (x i (..9 untuk i =, 2,..., n, A = {0, } dan θ Ω = (0,. Misalkan T = n X i. Karena X i berdistribusi Binom(, θ maka T berdistribusi Binom(n, θ sehingga fungsi probabilitas dari T adalah f T (t; θ = ( n t θ t ( θ t I B (t (..0 dengan B = {0,,..., n}. Misalkan dianggap bahwa percobaan Binomial telah dilakukan dan nilai pengamatan dari X i adalah x i untuk i =, 2,..., n. Masalah yang dihadapi adalah bagaimana membuat inferensi tentang θ berdasarkan pada x i untuk i =, 2,..., n. Apabila kita memberi tanda untuk sukses maka akan muncul pertanyaan tentang : dapatkah dilakukan inferensi tentang θ bila diketahui banyaknya sukses yang terjadi. Bila banyaknya sukses yang terjadi adalah t atau T = t untuk t = 0,, 2,...,( n maka akan ditentukan berapa n probabilitas setiap satu kemungkinan dari cara yang berbeda untuk t 3

6 terjadinya t sukses. Hal ini berarti P (X = x,..., X n = x n T = t = P (X = x,..., X n = x n P (T = t { P (X =x,...,x n=x n jika x = P (T =t + x x n = t 0 jika yang lain. P (X = x,..., X n = x n T = t = θx ( θ x... θ xn ( θ ( xn n θ t t ( θ t x i ( θ n P n x i ( n θ t t ( θ t ( n t = θpn = jika x + x x n = t dan bernilai 0 untuk yang lain, sehingga untuk semua x, x 2,..., x n dengan x i = 0 atau untuk i =, 2,..., n dan untuk n x i = t berlaku sifat P (X = x,..., X n = x n T = t = ( n t tidak bergantung pada θ. Oleh karena itu total banyaknya sukses t menyediakan semua informasi tentang θ. Contoh.3 memotivasi definisi statistik cukup berikut ini. Definisi. Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x, θ dan θ = (θ, θ 2,..., θ r t Ω R r. Misalkan T = (T, T 2,..., T m t dengan T j = T j (X, X 2,..., X n 4

7 untuk j =, 2,..., m statistik. Statistik T dinamakan statistik cukup dimensi-m untuk keluarga F = {f(x; θ θ Ω} atau untuk parameter θ jika distribusi bersyarat (X, X 2,..., X n t diberikan T = t tidak bergantung pada θ untuk semua nilai t. Dengan menggunakan teorema berikut ini, identifikasi statistik cukup dengan mudah dapat dilakukan. Teorema. (Teorema Faktorisasi Fisher-Neyman Misalkan variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dan θ = (θ, θ 2,..., θ r t Ω R r. Statistik dimensi-m T = (T (X, X 2,..., X n, T 2 (X, X 2,..., X n,..., T m (X, X 2,..., X n t merupakan statistik cukup untuk θ jika dan hanya jika fungsi kepadatan probabilitas bersama dari dapat difaktorkan sebagai f(x, x 2,..., x n = g[x, x 2,..., x n ; θ]h(x, x 2,..., x n dengan g tergantung pada θ hanya melalui T dan h tidak tergantung pada θ. Akibat. Misalkan φ : R m R m fungsi terukur dan tidak tergantung pada θ serta fungsi korespondensi satu-satu sehingga φ ada. Jika statistik cukup untuk θ maka φ(t juga merupakan statistik cukup untuk θ dan juga merupakan statistik cukup untuk ψ(θ dengan φ : R r R r merupakan fungsi terukur dan korespondensi satu-satu. Contoh.4 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dari U(θ, θ 2. Fungsi kepadatan probabilitas dari X i adalah f(x i ; θ = θ 2 θ untuk θ < x < θ 2. Bila x = (x, x 2,..., x n t dan θ = (θ, θ 2 t maka fungsi 5

8 kepadatan probabilitas bersamanya adalah f(x, x 2,..., x n ; θ = f(x, x 2,..., x n ; θ = f(x, x 2,..., x n ; θ = f(x, x 2,..., x n ; θ = n θ 2 θ I (θ,θ 2 (x i, θ (θ 2 θ n < X ( < X (n < θ 2, (θ 2 θ I n [θ, (X ( I (,θ2 (X (n, (θ 2 θ g (X n (, θg 2 (X (n, θ, dengan g (X (, θ = I [θ, (X ( dan g 2 (X (n, θ = I [θ, (X ( I (,θ2 (X (n. Akibatnya dengan menggunakan Teorema Faktorisasi Fisher-Neyman diperoleh (X (, X (n merupakan statistik cukup untuk θ. Khususnya jika θ = α diketahui dan θ 2 = θ maka X ( merupakan statistik cukup untuk θ. Dengan cara yang sama jika θ 2 = β diketahui dan maka X (n merupakan statistik cukup untuk θ. Contoh.5 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dari N(µ, σ 2. Bila x = (x, x 2,..., x n t, µ = θ, σ 2 = θ 2 dan θ = (θ, θ 2 t maka fungsi kepadatan probabilitas dari X i adalah f(x i ; θ = [ exp (x i θ 2 ] 2πθ2 2θ 2 sehingga fungsi kepadatan probabilitas bersamanya adalah f(x i ; θ = [ ( 2πθ 2 exp n 2θ 2 (x i θ ]. 2 Tetapi, karena (x i θ 2 = [ (x i x + ( x θ ] 2 = (x i x 2 + n( x θ 2 maka fungsi kepadatan probabilitasnya menjadi f(x i ; θ = [ ( 2πθ 2 exp n 2θ 2 6 (x i x 2 n 2θ 2 ( x θ 2 ]

9 sehingga ( X, n (X i X 2 t merupakan statistik cukup untuk θ. Pada sisi lain fungsi kepadatan probabilitasnya dapat dinyatakan sebagai f(x i ; θ = ( ( ( 2πθ 2 exp nθ2 θ exp n 2θ 2 θ 2 x i 2θ 2 Hal itu berarti, jika θ 2 = σ 2 diketahui dan θ = θ maka n X i merupakan statistik cukup untuk θ. Di samping itu, jika θ = µ diketahui dan θ 2 = θ maka n X2 i merupakan statistik cukup untuk θ. Demikian juga, dengan menggunakan Akibat Teorema Faktorisasi Fisher-Neyman ( X, S 2 t merupakan statistik cukup untuk θ. Jika θ = µ diketahui maka n n (x i µ 2 merupakan statistik cukup untuk θ 2 = θ. Pada contoh-contoh di atas, dimensi dari statistik cukup sama dengan dimensi parameternya. Jika X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dari distribusi Cauchy dengan parameter θ = (µ, σ 2 dan fungsi kepadatan probabilitas f(x; µ, σ 2 = π σ σ 2 + (x µ 2 untuk < x < maka tidak ada statistik cukup yang dimensinya lebih kecil dari statistik cukup (X, X 2,..., X n t. Jika m adalah bilangan bulat terkecil sehingga T = (T, T 2,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m merupakan statistik cukup untuk θ = θ,..., θ r t maka T dinamakan statistik cukup minimal untuk θ..2 Sifat Kelengkapan Misalkan X vektor random berdimensi k dengan fungsi kepadatan probabilitas f(x; θ dan θ Ω R r. Misalkan g : R k R fungsi terukur sehingga g(x merupakan variabel random. Dianggap bahwa E θ [g(x] ada untuk semua θ Ω dan F = {f(x; θ θ Ω}. Definisi.2 Keluarga F dikatakan lengkap (complete jika untuk setiap g, E θ [g(x] = 0 untuk semua θ Ω menyebabkan bahwa g(x = 0 kecuali mungkin pada N sehingga P θ [X N] = 0 untuk semua θ Ω. 7 x 2 i.

10 Contoh.6 Misalkan F = {f(x; θ f(x; θ = ( n x A = {0,, 2,..., n}. Karena E[g(X] = g(xθ x ( θ n x = ( θ n dengan ρ = dengan θ θ θ x ( θ n x I A (x, θ (0, } dengan x=0 ( n g(x x ρ x maka E[g(X] = 0 untuk semua θ (0, akan ekuivalen x=0 ( n g(x x ρ x = 0 untuk setiap ρ (0,. Akibatnya untuk lebih dari n nilai-nilai dari ρ berlaku untuk x = 0,, 2,..., n yang ekuivalen dengan ( n g(x = 0 x untuk x = 0,, 2,..., n. Hal itu berarti bahwa keluarga distribusi binomial F merupakan keluarga yang lengkap. Contoh.7 Misalkan F = {f(x; θ f(x; θ = e θ x θ I A (x, θ (0, } x! dengan A = {0,, 2, 3,...}. Karena E[g(X] = g(x e θ = e θ g(x θ x = 0 x! x! x=0 dengan θ (0, θ maka g(x = 0 untuk. hal ini ekuivalen dengan g(x = 0 untuk x = 0,, 2,..., n. Akibatnya keluarga distribusi Poisson F merupakan keluarga yang lengkap. Contoh.8 x=0 Misalkan F = {f(x; θ f(x; θ = θ α I [α,θ](x, θ (0, }. 8

11 Karena E[g(X] = 0 untuk semua θ = (α, maka θ g(xdx = 0 untuk a semua θ > α sehingga g(x = 0 kecuali mungkin untuk himpunan N sehingga P [X N] untuk semua θ Ω dengan X adalah variabel random yang mempunyai fungsi kepadatan probabilitas f(x; θ. Hal yang sama juga benar jika f(x; θ adalah U(θ, β. Contoh.9 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2. Jika σ diketahui dan µ = θ maka keluarga distribusi normal F = {f(x; θ f(x; θ = [ exp (x ] θ2, θ R} 2πσ 2 2σ 2 merupakan keluarga yang lengkap. Sedangkan jika µ diketahui dan σ 2 = θ maka keluarga distribusi normal F = {f(x; θ f(x; θ = [ exp 2πθ tidak lengkap. Karena g(x = x µ maka E[g(X] = E[X µ] = 0 (x ] µ2, θ (0, } 2θ untuk semua θ (0, sedangkan g(x = 0 berlaku hanya untuk x = µ. Akhirnya, jika µ dan σ 2 tidak diketahui maka dapat ditunjukkan bahwa keluarga distribusi normal F = {f(x; µ, σ 2 f(x; µ, σ 2 = [ exp (x ] µ2, µ R, σ (0, } 2πσ 2 2σ 2 lengkap atau statistik cukup juga merupakan statistik cukup untuk (µ, σ 2 yang lengkap. Teorema.2 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R r dan T = (T, T 2,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ. Misalkan V = (V, V 2,..., V m t dengan V j = V j (X, X 2,..., X n 9

12 untuk j =, 2,..., m sebarang statistik lain yang tidak tergantung pada T. Misalkan g(x; θ fungsi kepadatan probabilitas dari T dan dianggap bahwa himpunan S sehingga g(x; θ positif adalah sama untuk semua θ Ω. Distribusi dari V tidak tergantung pada θ. Teorema.3 (Teorema Basu Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R r dan T = (T, T 2,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ. Misalkan g(x; θ fungsi kepadatan probabilitas dari T dan G = {g(x; θ θ Ω} lengkap. Misalkan V = (V, V 2,..., V m t dengan V j = V j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik lain. Jika distribusi dari tidak tergantung pada θ maka V dan T saling bebas. Contoh.0 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan σ 2 diketahui. Statistik X merupakan statistik cukup untuk µ dan S 2 P n = (X i X 2 suatu statistik. Perhatikan bahwa n (X i X 2 = (X i X 2 = (X i X 2 = (X i X 2 = (X i X 2 = (X i X 2 = (X i X 2 = [(X i µ + (µ X 2 [(X i µ 2 + (µ X 2 + 2(µ X(X i µ] (X i µ 2 + n(µ X 2 + 2(µ X (X i µ (X i µ 2 + n(µ X 2 + 2(µ Xn( X µ (X i µ 2 + n(µ X 2 2n(µ Xn(µ X (X i µ 2 n(µ X 2 (X i µ 2 n( X µ 2. 0

13 Karena X i µ N(0, σ 2 untuk j =, 2,..., n dan X N(µ, σ2 n sehingga berakibat maka distribusi dari S 2 tidak bergantung pada µ. Dengan menggunakan Teorema Basu diperoleh bahwa X dan S 2 saling bebas..3 Sifat Ketakbiasan Definisi.3 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R dan T = (T,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ. Statistik U adalah statistik tak bias untuk θ jika E θ [U] = θ untuk setiap θ Ω. Teorema.4 (Teorema Rao-Blackwell Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R dan T = (T,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ. Misalkan U(X, X 2,..., X n statistik tak bias untuk θ yang bukan fungsi dari T saja. Jika φ(t = E θ [U T = t] maka. variabel random φ(t merupakan fungsi statistik cukup T. 2. φ(t merupakan statistik tak bias untuk θ. 3. Var θ (φ(t < Var θ (U dengan θ Ω asalkan E θ [U 2 ] <. Teorema berikut ini menyatakan sifat ketunggalan dari statistik cukup. Teorema.5 (Teorema Ketunggalan Lehman-Scheffe Misalkan X, X 2,..., X n variabel random dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R dan F = {f(x; θ θ Ω}. Misalkan T = (T,..., T m t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., m adalah statistik cukup untuk θ dan g(x; θ adalah fungsi kepadatan probabilitasnya. Misalkan G = {g(x; θ θ Ω} lengkap. Jika U = U(T statistik

14 cukup tak bias untuk θ dan E θ [U 2 ] < untuk semua θ Ω maka U adalah statistik tak bias untuk θ dengan variansi terkecil dalam kelas yang mengandung semua statistik tak bias untuk θ. Definisi.4 Statistik tak bias untuk θ yang mempunyai variansi minimum dalam kelas semua statistik tak bias dari θ dinamakan UMVU (uniformly minimum variance unbiased. Terminologi uniformly diperoleh dari fakta bahwa variansi minimum untuk semua θ Ω. Contoh. Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan distribusi Binom(, θ dengan θ (0,. Statistik T = n X i merupakan statistik cukup untuk θ dan juga lengkap. Karena X = T merupakan statistik tak bias untuk θ maka statistik X merupakan statistik tak n bias dengan variansi minimum untuk θ. Contoh.2 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan distribusi N(µ, σ 2. Jika σ diketahui dan µ = θ maka T = statistik cukup untuk θ demikian juga T merupakan statistik yang lengkap. Akibatnya X = T/n merupakan statistik tak bias untuk θ dengan variansi minimum untuk θ karena X merupakan statistik tak bias untuk θ. Jika µ = 0 dan σ 2 = θ maka T = n X2 i statistik cukup untuk θ. Karena T juga merupakan statistik yang lengkap dan S 2 = T/n merupakan statistik tak bias untuk θ dan S 2 merupakan statistik tak bias dengan variansi minimum untuk θ. Contoh.3 Misalkan X, X 2, X 3 variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas [ ] f(x; λ = λ exp λx 2 X i

15 untuk x > 0. Misalkan θ = /λ sehingga fungsi kepadatan probabilitas dari X menjadi f(x; λ = [ θ exp ]. θ x Diperoleh E[X i ] = θ dan Var(X i = θ 2 untuk i =, 2, 3. Hal itu berarti bahwa X merupakan statistik tak bias untuk θ dengan variansi θ 2. Demikian juga T = X + X 2 + X 3 merupakan statistik cukup untuk θ dan juga merupakan statistik yang lengkap. Karena X bukan merupakan fungsi dari T maka X bukan statistik tak bias dengan variansi minimum untuk θ. Oleh karen itu dipilih statistik yang merupakan fungsi dari T dan juga merupakan statistik tak bias untuk θ yaitu T/3 dengan sifat E[T/3] = θ. Dalam hal ini Var(T/3 = θ 2 /3 lebih kecil dari θ 2 dengan θ (0,..4 Keluarga Eksponensial Keluarga fungsi kepadatan probabilitas yang tergantung pada paremeter θ dan berbentuk f(x; θ = C(θ exp[q(θt (x]h(x dengan x R, θ Ω( R dan C(θ > 0 serta h(x > 0 untuk x S dinamakan keluarga eksponensial. Jika variabel random saling bebas dan berdistribusi identik dengan f(x; θ dengan θ Ω R maka fungsi kepadatan probabilitas dari X sebagai f(x; θ = C(θ exp[q(θt (x]h(x. Contoh.4 ( n Misalkan f(x; θ = x Fungsi probabilitas tersebut dapat dinyatakan sebagai ( n x θ x ( θ n x I A (x dengan A = {0,, 2,..., n}. f(x; θ = ( θ n θ exp[log( θ ] I A (x sehingga distribusi Binomial merupakan anggota keluarga ( eksponensial dengan c(θ = ( θ n, Q(θ = log( θ, T (x = x, h(x = I n θ x A (x. 3

16 Contoh.5 Misalkan variabel random X berdistribusi N(µ, σ 2. Jika σ diketahui dan µ = θ maka fungsi kepadatan probabilitas dari X adalah f(x; θ = 2πσ exp [ ] [ θ2 θ ] [ exp σ σ x exp ] 2 2σ 2 x2 dengan θ R sehingga distribusi tersebut merupakan anggota keluarga eksponesial dengan c(θ = ] exp [ θ2 2πσ σ x, Q(θ = θ [ ] 2 σ, T (x = x, h(x = exp x2. 2 2σ 2 Jika µ diketahui dan σ 2 = θ maka fungsi kepadatan probabilitas dari X adalah f(x; θ = [ exp ] 2πθ 2θ (x µ2 dengan θ (0, sehingga distribusi tersebut merupakan anggota keluarga eksponensial dengan c(θ = 2πθ, Q(θ = 2θ, T (x = (x µ2, h(x =. Jika ruang parameter dari keluarga fungsi kepadatan eksponensial parameter mengandung interval non degenerate maka keluarga tersebut lengkap. Teorema.6 Misalkan X variabel random dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R seperti tersebut di atas. Keluarga G = {g(x; θ θ Ω} dengan adalah fungsi kepadatan probabilitas dari T (X maka G lengkap asalkan Ω mengandung interval non degenerate. Teorema.7 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas merupakan anggota keluarga eksponensial parameter.. Statistik T = n T (X i merupakan statistik cukup untuk θ. 4

17 2. Fungsi kepadatan probabilitas dari T selalu berbentuk [ ] g(t; θ = [c(θ] n exp Q(θt h (t dengan h(t tidak bergantung terhadap θ asalkan T variabel random diskrit. 3. Jika variabel random kontinu maka fungsi kepadatan probabilitasnya dapat dinyatakan sebagai [ ] g(t; θ = [c(θ] n exp Q(θt h (t. Teorema berikut ini menyatakan sifat kelengkapan dari suatu keluarga distribusi. Teorema.8 Keluarga G = {g(x; θ θ Ω} lengkap asalkan Ω mengandung interval non degenerate. Dalam hal ini G = {g(x; θ θ Ω} dengan g(x; θ adalah keluarga fungsi kepadatan probabilitas dari statistik cukup T. Teorema.9 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas merupakan anggota keluarga eksponensial dan T seperti didefinisikan pada Teorema.7.. Jika V sebarang statistik yang lain, V saling bebas jika dan hanya jika distribusi dari V dan T tidak tergantung pada θ. Contoh.6 Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan N(µ, σ 2 yang merupakan anggota keluarga eksponensial dalam θ = µ. Statistik X = X i n merupakan statistik cukup untuk θ sedangkan S 2 = n (X i X 2 n 5

18 merupakan statistik lain yang tidak tergantung pada θ maka dengan menggunakan Teorema.9 diperoleh bahwa x dan S 2 saling bebas. Generalisasi dari Keluarga Eksponensial Misalkan X, X 2,..., X n variabel random saling bebas dan X = (X,..., X n t. Fungsi kepadatan probabilitas bersama dari merupakan anggota keluarga eksponensial r parameter jika mempunyai bentuk [ f(x; θ = c(θ exp ] Q i (θt i (x h(x dengan x = (x, x 2,..., x n t untuk j =, 2,..., k dan k, θ = (θ, θ 2,..., θ r t Ω R r, C(θ > 0, θ Ω dan h(x > 0 untuk x S himpunan nilai positif dari f(x; θ yang saling bebas terhadap θ. Contoh.7 Misalkan variabel random X berdistribusi N(θ, θ 2. Fungsi kepadatan probabilitas dari X dapat dinyatakan sebagai f(x; θ, θ 2 = [ ] [ exp θ2 x exp θ x ] x 2. 2πθ2 2θ 2 θ 2 2θ 2 Hal ini berarti keluarga distribusi normal merupakan anggota keluarga distribusi eksponensial dengan dan c(θ = [ ] exp θ2, Q (θ = θ, Q 2 (θ =, 2πθ2 2θ 2 θ 2 2θ 2 Dalam hal ini θ = (θ, θ 2. T (x = x, T 2 (x = x, h(x =. 6

19 Brief History of Fisher R. A. Fisher ( Statistician and geneticist. MacTutor References. SC, LP. Fisher was the most influential statistician of the C20. Like Pearson, Fisher, studied mathematics at Cambridge University. He first made an impact when he derived the exact distribution of the correlation coefficient (see Fishers z-transformation. Although the correlation coefficient was a cornerstone of Pearsonian biometry, Fisher worked to synthesise biometry and Mendelian genetics; for Fishers many disagreements with Pearson, see Pearson in A Guide to R. A. Fisher. In 99 Fisher joined Rothamsted Experimental Station and made it the world centre for statistical research. His subsequent more prestigious appointments in genetics at UCL and Cambridge proved less satisfying. The estimation theory Fisher developed from 920 emphasised maximum likelihood and was founded on likelihood and information. He rejected Bayesian methods as based on the unacceptable principle of indifference. I n the 930s Fisher developed a conditional inference approach to estimation based on the concept of ancillarity. His most widely read work Statistical Methods for Research Workers (925 + later editions was largely concerned with tests of significance: see Student s t distribution, chi square, z and z-distribution and p-value. The book also publicised the analysis of variance and redefined regression. The Design of Experiments (935 + later editions put that subject at the heart of statistics (see randomization, replication blocking. The fiducial argument, which Fisher produced in 930, generated much controversy and did not survive the death of its creator. Fisher created many terms in everyday use, e.g. statistic and sampling distribution and so there are many references to his work on the Words pages. See Symbols in Statistics for his contributions to notation. Fisher influenced statisticians mainly through his writingsee the experience of Bose and Youden. Among those who worked with him at Rothamsted were Irwin Wishart, Yates (colleagues and Hotelling (voluntary worker MGP. In London and Cambridge Fisher was not in a Statistics department and Rao was his only PhD student in Statistics. For more information see A Guide to R. A. Fisher. See Hald (998, ch. 28 Fishers Theory of Estimation and his Immediate Precursors. 7

20 Brief History of Kolmogorov Andrei Nikolaevich Kolmogorov ( Mathematician. MacTutor References. MGP. LP. Kolmogorov was one of the most important of C20 mathematicians and although he wrote a lot of probability it was only a small part of his total output. Like Khinchin, he was a student of Luzin at Moscow State University. In 924 Kolmogorov started working with Khinchin and they produced results on the law of the iterated logarithm and the strong law of large numbers. Kolmogorovs most famous contribution to probability was the Grundbegriffe der Wahrscheinlichkeitsrechnung (933, (English translation which presented an axiomatic foundation. This made possible a rigorous treatment of stochastic processes. His 93 paper Analytical methods in probability theory laid the foundations for the theory of markov processes; this paper contains the Chapman-Kolmogorov equations. In 94 Kolmogorov developed a theory of prediction for random processes, parallel to that developed by Wiener. In the 60s Kolmogorov returned to von Misess theory of probability and developed it in the direction of a theory of algorithmic complexity; this work was continued by the Swedish mathematician P. Martin-Lf. In statistics he contributed the Kolmogorov-Smirnov test. From 938 Kolmogorov was associated with the Steklov Mathematical Institute. He had many students, among them Gnedenko and Dynkin. See also Symbols in Probability Life & Work. See von Plato (ch. 7 Kolmogorovs measure theoretic probabilities. See also Vovk & Shafer Kolmogorovs Contributions to the Foundations of Probability and The Origins and Legacy of Kolmogorovs Grundbegriffethe published version of the latter (Statistical Science (2006 Number, is different again. 8

21 Chapter 2 Estimasi Titik Misalkan X variabel random dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R r. Jika θ diketahui maka semua probabilitas yang diinginkan dapat dihitung. Akan tetapi biasanya θ tidak diketahui sehingga memunculkan masalah bagaimana mengestimasi parameter θ atau suatu fungsi dari θ yaitu g(θ dengan g fungsi real dan terukur. Definisi 2. Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ. Sebarang statistik U = U(X, X 2,..., X n yang digunakan untuk menaksir kuantitas yang tidak diketahui dinamakan estimator dari g(θ. Nilai dari U(x, x 2,..., x n untuk nilai-nilai pengamatan x, x 2,..., x n dinamakan estimasi dari g(θ. Definisi 2.2 Misalkan g fungsi real dan terukur. Estimator U = U(X, X 2,..., X n dinamakan estimator tak bias (unbiased estimator dari g(θ jika E[U = U(X, X 2,..., X n ] = g(θ untuk semua θ Ω. Fungsi g dikatakan tertaksir (estimable jika g(θ mempunyai estimator tak bias. Definisi tentang ketakbiasan mengelompokkan statistik-statistik ke dalam suatu kelas estimator tak bias. Jika U = U(X, X 2,..., X n estimator tak bias untuk g(θ maka harga harapan dari U sama dengan g(θ. Meskipun 9

22 kriteria ketakbiasan sudah mengkhususkan diri pada kelas estimator yang memenuhi sifat tertentu tetapi kelas ini masih terlalu besar. Untuk itu perlu dipilih dari dua estimator tak bias yaitu yang mempunyai variansi yang lebih kecil. Dasar pemikiran yang digunakan adalah bahwa variansi atau simpangan baku memberikan ukuran konsentrasi di sekitar mean. Jika U = U(X,..., X n estimator tak bias untuk g(θ maka dengan menggunakan pertidaksamaan Chebisev diperoleh P θ [ U g(θ ε] Var(U. ε Oleh karena itu, Var(U yang kecil akan memperbesar batas bawah probabilitas konsentrasi U di sekitar g(θ. Definisi 2.3 Misalkan g tertaksir. Suatu estimator U = U(X, X 2,..., X n dikatakan estimator UMV U untuk g(θ jika U tak bias dan mempunyai variansi minimum diantara kelas semua estimator tak bias dari g(θ dengan θ Ω. Jika U = U(X, X 2,..., X n adalah sebarang estimator tak bias dari g(θ maka Var θ (U Var θ (U untuk semua θ Ω. Dalam banyak kasus, estimator UMVU ada. Untuk memperolehnya terdapat 2 metode yaitu metode pertama yang digunakan bila tersedia statistik cukup yang lengkap dan metode kedua yang digunakan bila tidak tersedia statistik cukup yang lengkap. Pada metode kedua, terlebih dahulu ditentukan batas bawah semua estimator dan kemudian memilih suatu estimator yang mempunyai variansi sama dengan batas bawah tersebut. 20

23 2. Metode yang digunakan bila tersedia statistik cukup yang lengkap Misalkan T = (T, T 2,..., T r t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., r adalah statistik cukup untuk θ dan U = U(X, X 2,..., X n estimator tak bias dari g(θ dengan g fungsi real. Misalkan φ(t = E[U T]. Estimator merupakan estimator tak bias dari g(θ dan Var(φ Var(U untuk semua θ Ω dengan kesamaan dipenuhi bila U merupakan fungsi dari T. Jika tersedia statistik cukup maka Teorema Rao-Blackwell mengatakan bahwa pencarian estimator UMVU untuk g(θ cukup dibatasi pada kelas estimator tak bias yang hanya tergantung pada T. Jika T lengkap maka dengan menggunakan Teorema Lehman-Scheffe, estimator tak bias φ(t adalah estimator unik yang mempunyai variansi minimum seragam dalam kelas semua estimator tak bias. Metode ini tidak hanya menjamin keberadaan estimator tetapi juga menghasilkannya. Teorema 2. Misalkan g fungsi terukur dan real. Misalkan terdapat estimator tak bias U = U(X, X 2,..., X n dari g(θ dengan variansi berhingga. Jika T = (T, T 2,..., T r t dengan T j = T j (X, X 2,..., X n untuk j =, 2,..., r adalah statistik cukup untuk θ, lengkap dan φ(t = E[U T] maka estimator UMVU untuk g(θ dan tunggal. Contoh 2. Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi Binom(, θ dan akan ditentukan estimator UMVU dari variansi X. Karena X berdistribusi maka variansi dari X adalah Var(X = g(θ = θ( θ. Jika n U = (X i X 2 n maka E θ [U] = g(θ. Hal itu berarti U merupakan estimator tak bias untuk g(θ. Lebih jauh, (X i X 2 = Xi 2 n X. 2

24 Karena X i = 0 atau maka Xi 2 = X i sehingga Xi 2 n X = Jika T = n X i maka diperoleh Xi 2 n X = sehingga U = n ( T T 2 n ( X i n n ( X i n n 2. X i X i 2 = T T 2 n,. Karena T merupakan statistik lengkap dan juga merupakan statistik cukup untuk θ maka dengan mengingat Teorema 2., U merupakan estimator UMVU untuk g(θ = θ( θ. Contoh 2.2 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Akan ditentukan estimator UMVU untuk µ dan σ 2. Misalkan θ = (µ, σ 2 t, g (θ = µ dan g (θ = σ 2. Jika X = n X i dan n X2 i merupakan statistik yang lengkap. Jika U = X dan S 2 = n (X i X 2 maka ( X, S 2 merupakan statistik yang lengkap. Jika U = X dan U 2 = ns 2 maka E[U ] = µ dan E[nS 2 /σ 2 ] = n sehingga E[nS 2 /(n ]σ 2. Hal itu berarti U estimator tak bias untuk µ dan U 2 merupakan estimator tak bias untuk σ 2. Karena U dan U 2 hanya tergantung pada statistik cukup yang lengkap maka ( X, S 2 t merupakan estimator UMVU untuk (µ, σ Metode yang digunakan bila tidak tersedia statistik cukup lengkap Misalkan Ω R, g fungsi real dan terdeferensialkan untuk semua θ ω. Untuk menggunakan metode ini diperlukan syarat-syarat berikut ini :. f(x; θ positif pada himpunan S yang tidak bergantung pada θ Ω. 2. Ω interval terbuka dalam R. 3. f(x; θ/ θ ada untuk semua θ Ω dan semua x S. 22

25 4. S... S f(x ; θ... f(x n ; θdx... dx n atau... S S f(x ; θ... f(x n ; θ dapat dideferensialkan di bawah tanda integral atau tanda sigma. 5. I(θ = E[ f(x; θ/ θ] 2 positif untuk semua θ Ω. 6. S... S u(x,..., x n f(x ; θ... f(x n ; θdx... dx n atau... S S u(x,..., x n f(x ; θ... f(x n ; θ dapat dideferensialkan di bawah tanda integral atau tanda sigma dengan sebarang statistik tak bias untuk θ. Teorema berikut ini memberikan sifat tentang batas bawah dari variansi suatu statistik. Teorema 2.2 (Cramer-Rao Inequality Misalkan X,..., X n variabel random saling-bebas dan berdistribusi identik dengan fungsi kepadatan serta dianggap syarat-syarat tersebut dipenuhi. Untuk sebarang estimator tak bias U = U(X,..., X n dari g(θ berlaku dengan θ Ω dan g (θ = dg(θ/dθ. Definisi 2.4 Var(U [g (θ] 2 ni(θ I(θ = E[ f(x; θ/ θ] 2 dinamakan informasi Fisher sedangkan ni(θ adalah informasi yang terkandung dalam sampel X,..., X n. Contoh 2.3 Misalkan X,..., X n variabel random saling bebas dan berdistribusi Binom(, θ dengan θ (0,. Fungsi probabilitas dari variabel random X yang berdistribusi Binom(, θ adalah f(x; θ = θ x ( θ x 23

26 atau ln f(x; θ = x ln θ + ( x ln θ sehingga Akibatnya ln f(x; θ θ = θ x θ. ( ln f(x; θ θ 2 = θ 2 x2 + ( θ 2 ( x2 2 x( x. θ( θ Karena E[X 2 ] = θ dan E[( X 2 ] = θ serta E[X( X] = 0 maka informasi Fisher I(θ adalah ( ln f(x; θ 2 E = θ θ 2 E[X2 ] + = θ θ + ( θ 2 ( θ 2 = θ + θ = θ( θ. ( θ 2 E[( X2 ] Hal itu berarti batas bawah Cramer-Rao untuk g(θ adalah CRLB = [g (θ] 2 ni(θ = n θ( θ θ( θ =. n Karena X merupakan estimator tak bias θ dan variasinya adalah V ( X = θ( θ n 2 E[X( X] θ( θ yaitu sama dengan batas bawah Cramer Rao maka X merupakan estimator UMVU untuk θ. Contoh 2.4 Misalkan X,..., X n variabel random saling bebas dan berdistribusi Poisson(θ 24

27 dengan θ > 0. Fungsi probabilitas dari variabel random X yang berdistribusi adalah f(x; θ = e θ θ x x! atau ln f(x; θ = θ + x ln θ ln(x! sehingga ln f(x; θ = + x θ θ dan ( ln f(x; θ 2 = + θ θ 2 x2 2 θ x. Karena E[X] = θ dan E[X 2 ] = θ( + θ maka [( ln f(x; θ 2 ] E = E[] + θ θ 2 E[X2 ] 2 θ E[X] = + θ 2 θ( + θ 2 θ θ = + ( + θ 2 θ = + θ + = θ. Hal itu berarti batas bawah Cramer-Rao untuk θ sama dengan CRLB = [g (θ] 2 ni(θ = n θ = θ n. Karena X merupakan estimator tak bias untuk θ dan variansinya adalah Var( X = θ yaitu sama dengan batas bawah CRLB maka X merupakan n estimator UMVU untuk θ. Contoh 2.5 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan µ R dan σ 2 > 0. Kasus Misalkan bahwa σ 2 diketahui dan µ = θ. Fungsi kepadatan probabilitas X yang berdistribusi N(θ, σ 2 adalah [ f(x; θ = exp (x ] θ2 2πσ 2 2σ 2 25

28 atau Akibatnya atau ( ln f(x; θ = ln 2πσ 2 ln f(x; θ θ ( ln f(x; θ θ = σ (x θ σ (x θ2 2σ 2. 2 = σ 2 (x θ 2 σ 2. Karena X berdistribusi N(θ, σ 2 maka (X θ berdistribusi N(0, sehingga σ berdistribusi chi-kuadrat dengan derajat bebas. Akibatnya E[ (X θ2 ] =. σ 2 Hal itu berarti ( ln f(x; θ 2 ( (X θ 2 E = θ σ E = 2 σ 2 σ 2 sehingga batas bawah Cramer-Rao untuk g(θ adalah CRLB = g (θ ni(θ = n σ 2 = σ2 n. Karena X merupakan estimator tak bias untuk g(θ = θ dan variansinya adalah Var( X = σ2 yaitu sama dengan batas bawah Cramer-Rao maka X n merupakan estimator UMVU untuk θ. Kasus 2 Misalkan bahwa µ diketahui dan σ 2 = θ. Fungsi kepadatan probabilitas X yang berdistribusi N(µ, θ adalah f(x; θ = [ exp 2πθ sehingga ln f(x; θ = 2 ln(2π 2 (x ] µ2 2θ (x µ2 ln θ. Akibatnya 2θ dan ( ln f(x; θ θ ln f(x; θ θ = 2θ + (x µ2 2θ 2 2 = 4θ + (x µ 2 + ( x µ θ 2 θ 4θ 2 θ 26

29 Karena variabel random X berdistribusi N(µ, σ 2 maka X µ θ berdistribusi N(0, sehingga berdistribusi chi-kuadrat dengan derajat bebas. Akibatnya E [ (X µ ] [ 2 θ = dan Var (X µ 2 ] θ = 2 sehingga [( x µ 4 ] [( (X µ 2 2 ] E = E θ Oleh karena itu [( ln f(x; θ 2 ] E θ sehingga θ [ (X µ 2 ] = Var + θ = 2 + = 3. ( E [ (X µ 2 ] 2 = 4θ E[] + [ (x µ 2 ] 2 2θ E + [( x µ 4 ] 2 θ 4θ E 2 θ [( ln f(x; θ 2 ] E θ θ = 4θ 2 2θ θ 2 = 2θ 2. Karena batas bawah Cramer-Rao untuk g(θ adalah CRLB = [g (θ] 2 ni(θ = n 2θ 2 = 2θ2 n. Karena variabel random X i berdistribusi N(µ, θ untuk i =, 2,..., n maka X i µ berdistribusi N(0, sehingga berdistribusi chi-kuadrat dengan derajat θ bebas. Dengan mengingat X i µ saling bebas untuk i =, 2,..., n maka n (X i µ 2 θ θ berdistribusi chi-kuadrat dengan derajat bebas n. Akibatnya [ E (X i µ 2 ] θ [ = n, Var (X i µ 2 ] = 2n θ sehingga n (X i µ 2 estimator tak bias untuk θ dan variansinya 2θ2 θ n dengan CRLB. Hal itu berarti merupakan estimator UMVU untuk θ. Kasus 3 sama Bila µ dan σ 2 tidak diketahui maka µ = θ dan σ 2 = θ 2 sehingga estimator UMVU untuk θ adalah X dan estimator UMVU untuk θ 2 adalah ˆθ 2 = (X i n X 2. 27

30 Karena n ( Xi X θ2 berdistribusi chi-kuadrat dengan derajat bebas n maka variansi dari ˆθ 2 adalah 2θ 2 /(n. Hal itu berarti estimator UMVU untuk θ 2 mempunyai variansi lebih besar dari batas bawah Cramer-Rao. Estimator UMVU untuk g(θ dinamakan estimator efisien untuk g(θ. Jika u estimator UMVU untuk θ dan U sebarang estimator tak bias untuk g(θ maka kuantitas mengukur efisiensi relatif U terhadap u. Jelas bahwa efisiensi relatif mempunyai nilai dalam interval (0, ]. 2.3 Kriteria Pemilihan Estimator : Prinsip MLE Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R r dan anggap bahwa fungsi kepadatan probabilitas bersamanya dinyatakan dengan f(x ; θf(x 2 ; θ... f(x n ; θ. Bila fungsi kepadatan probabilitas bersama ini, variabel x dipandang sebagai konstanta dan merupakan fungsi dari θ maka dinamakan fungsi likelihood (likelihood function dan dinotasikan dengan L(θ x, x 2,..., x n. Definisi 2.5 Estimasi θ = θ(x, x 2,..., x n dinamakan MLE (maximum likelihood estimator dari θ jika L(θ x, x 2,..., x n = max{l(θ x, x 2,..., x n } dan θ = θ(x, x 2,..., x n dinamakan MLE untuk θ. Karena fungsi y = ln x, x > 0 merupakan fungsi naik tajam maka untuk memaksimumkan L(θ x, x 2,..., x n terhadap θ cukup dengan memaksimumkan ln L(θ x, x 2,..., x n. Contoh 2.6 Misalkan X,..., X n variabel random saling-bebas dan berdistribusi Poisson(θ. Fungsi probabilitas dari X i adalah f(x i ; θ = e θ θ x i x i! 28

31 sehingga fungsi likelihoodnya adalah L(θ x, x 2,..., x n = exp[ nθ]θ P x i n x i!. Logaritma naturalis dari fungsi likelihoodnya adalah ( n l(θ = ln L(θ x, x 2,..., x n = ln x i! nθ + ( x i ln θ. Oleh karena itu l = n + n X = 0 dan diperoleh ˆθ = X. Sedangkan θ θ 2 l = n x < 0 untuk semua θ > 0 sehingga berlaku juga untuk θ = ˆθ. θ θ 2 Contoh 2.7 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan parameter θ = (µ, σ 2 t. Fungsi likelihoodnya adalah sehingga Akibatnya dan ( ( L(θ x, x 2,..., x n = exp 2πσ 2 2σ 2 (x i µ 2 L(θ x, x 2,..., x n = n ln(2π n ln( σ 2 2σ 2 ln L µ = 2 2σ 2 ln L σ 2 (X i µ = n σ ( X µ 2 = n 2σ 2 + 2σ 4 (X i µ 2 = 0 (x i µ 2. sehingga diperoleh ˆµ = X dan σ 2 = n n (X i X 2. Jika σ 2 diketahui dan µ = θ maka ˆµ = x adalah MLE untuk µ sedangkan jika µ diketahui dan σ 2 = θ maka ˆσ = n n (X i X 2 adalah MLE untuk σ 2. Contoh 2.8 Misalkan X,..., X n variabel random saling bebas dan berdistribusi U(α, β. Fungsi kepadatan probabilitas dari U(α, β adalah f(x; θ = β α 29

32 untuk α < x < β dengan θ = (α, β t Ω. Fungsi likelihoodnya adalah L(θ x, x 2,..., x n = = = n f(x i ; θ n β α untukα < x i < β (β α n I [α, (X ( I (,β] (X (. Fungsi likelihoodnya akan mencapai maksimum jika β α minimum yaitu jika ˆα = X ( dan ˆβ = X (n. Jadi MLE untuk α dan β masing-masing adalah ˆα = X ( dan ˆβ = X (n. Khususnya, jika α = θ c dan β = θ + c dengan c positif dan c diketahui maka fungsi likelihoodnya adalah L(θ x, x 2,..., x n = (2c n I [θ c, (X ( I (,θ+c] (X (. Fungsi likelihood dimaksimumkan dan nilai maksimumnya adalah untuk (2c n sebarang θ sehingga θ c X ( dan θ + c X (n yaitu ekuivalen dengan X (n c θ X ( + c. Hal itu berarti bahwa sebarang statistik yang terletak antara X (n c dan X ( + c merupakan MLE untuk θ. Sebagai contoh 2 [X ( + X (n ] merupakan MLE untuk θ. Jika β diketahui dan α = θ maka ˆθ = X ( merupakan MLE untuk θ sedangkan jika α diketahui dan β = θ maka ˆθ = X (n merupakan MLE untuk θ. Teorema 2.3 Misalkan X,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ dan T = (T,..., T r t dengan T j = T j (X,..., X n untuk j =, 2,..., r merupakan statistik cukup untuk θ = (θ,..., θ r t. Jika ˆθ = ( ˆθ,..., ˆθ r adalah MLE yang tunggal untuk θ dan ˆθ merupakan fungsi dari T. Teorema 2.4 Misalkan X,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ dan θ Ω R r. Jika φ didefinisikan pada Ω ke Ω R m yang merupakan fungsi korespondensi satu-satu dan ˆθ adalah MLE untuk θ 30

33 maka φ(θ merupakan MLE untuk φ(θ. Hal itu berarti MLE invariant di bawah transformasi satu-satu. Contoh 2.9 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan parameter θ = (µ, σ 2 t. Berdasarkan Contoh 2.7, merupakan MLE untuk σ 2. Misalkan didefinisikan φ : Ω Ω dengan φ(θ = θ dan Ω = Ω = {R R σ 0} yang merupakan fungsi korespondensi satu-satu. Dengan menggunakan Teorema 2. 4, diperoleh bahwa (X i n X 2 merupakan MLE untuk σ. 2.4 Estimator Momen Misalkan X,..., X n variabel random saling bebas dan berdistribusi identik dengan f(x; θ dan untuk bilangan positif r dianggap bahwa E[X r ] = m r berhingga. Dengan menggunakan metode ini m r akan diestimasi dengan momen sampel yaitu P n xr i n n. Bila sistem persamaan x k i = m k(θ, θ 2,..., θ r dengan k =, 2,..., r dapat diselesaikan maka akan menghasilkan estimator untuk θ j dengan j =, 2,..., r. Contoh 2.0 Misalkan X,..., X n variabel random saling bebas dan berdistribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Dengan menggunakan metode momen diperoleh sistem persamaan n X i = E[X] = µ, n n X2 i n = E[X 2 ] = Var(X + (E[X] 2 = σ 2 + µ 2, sehingga menghasilkan estimator momen ˆµ = X dan σ 2 = n n (X i X 2. 3

34 Contoh 2. Misalkan X,..., X n variabel random saling bebas dan berdistribusi U(α, β dengan α dan β tidak diketahui. Dengan metode momen diperoleh sistem persamaan n X i n n X2 i n sehingga diperoleh = X = E[X] = α + β, 2 = X 2 = E[X 2 ] = Var(X + (E[X] 2 = (α β2 2 + (α + β2, 4 α + β = 2 X ( 2 (α X 2 β2 X = 2 = ( β α 2 2 atau α + β = 2 X α + β = S 2. Akibatnya estimator momen untuk α dan β berturut-turut adalah ˆα = X S, ˆβ = X + 2 S. Terlihat bahwa estimator momen dari α dan β bukan merupakan fungsi dari statistik cukup dari α dan β. Hal ini merupakan salah satu kekurangan dari metode momen. Kekurangan lain dari metode ini adalah bahwa metode ini tidak dapat digunakan bila momennya tidak ada seperti pada distribusi Cauchy. 32

35 2.5 Kriteria Pemilihan Estimator : Pendekatan Teori Keputusan Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R dan diinginkan untuk mengestimasi θ. Definisi 2.6 Fungsi keputusan δ adalah fungsi terukur yang didefinisikan dari R n ke R. Nilai δ(x, x 2,..., x n dari δ pada dinamakan keputusan (decision. Definisi 2.7 Untuk mengestimasi θ berdasarkan X, X 2,..., x n dan menggunakan keputusan δ. Fungsi kerugian (loss function adalah fungsi non negatif dari θ dan δ(x, x 2,..., x n yang menyatakan kerugian yang diakibatkan bila mengestimasi θ dengan δ(x, x 2,..., x n. Fungsi kerugian yang biasa digunakan adalah atau secara umum L[θ; δ(x, x 2,..., x n ] = θ δ(x, x 2,..., x n L[θ; δ(x, x 2,..., x n ] = θ δ(x, x 2,..., x n k untuk k > 0 atau L[θ; δ(x, x 2,..., x n ] fungsi konveks dari θ. Bentuk fungsi kerugian yang biasa digunakan adalah Definisi 2.8 L[θ; δ(x, x 2,..., x n ] = (θ δ(x, x 2,..., x n 2. Fungsi resiko (risk function yang bersesuaian dengan L[θ; δ] dan dinotasikan dengan R[θ; δ] didefinisikan sebagai R[θ; δ] = E[L(θ; δ(x, x 2,..., x n ]. Hal itu berarti bahwa resiko dari fungsi keputusan yang diberikan adalah rata-rata atau harapan jika fungsi keputusan tersebut digunakan. Dua keputusan δ dan δ dikatakan ekuivalen bila R[θ; δ] = E[L(θ; δ(x, x 2,..., x n ] = E[L(θ; δ (x, x 2,..., x n ] = R[θ; δ ]. 33

36 Dalam konteks estimasi titik, keputusan δ(x, x 2,..., x n dinamakan estimasi dari θ dan kebaikannya ditentukan berdasarkan resiko R[θ, δ]. Definisi 2.9 Estimator δ dari θ dikatakan admisible jika tidak ada estimator lain δ dari δ sehingga untuk semua R[θ; δ ] R[θ; δ] untuk semua θ Ω. Definisi 2.0 Kelas dari estimator D dikatakan essentially complete jika untuk sebarang estimator δ dari θ tidak dalam D sehingga R[θ; δ] R[θ; δ ] untuk semua θ Ω. Hal itu berarti bahwa pencarian estimator dengan sifat-sifat optimal membatasi perhatian kita pada kelas yang essentially complete dari estimatorestimator admisible. Apabila hal ini dikerjakan, maka muncul pertanyaan : yang manakah dari kelas ini yang dapat dipilih sebagai suatu estimator dari θ. Untuk itu dipilih estimator δ sehingga untuk sebarang estimator lain δ dalam kelas dari semua θ Ω. Sayangnya estimator yang demikian tidak ada kecuali untuk kasus-kasus yang sederhana. Akan tetapi, jika kita membatasi hanya pada kelas estimator tak bias dengan variansi berhingga dan mengambil fungsi kerugian kuadrat maka R[θ; δ] menjadi variansi dari δ (x, x 2,..., x n. Kriteria pemilihan di atas bersesuaian dengan pencarian estimator UMVU. Estimator yang meminimumkan hal-hal buruk yang terjadi pada kita yaitu meminimumkan resiko maksimum atas θ. Jika estimator yang mempunyai sifat tersebut ada maka dinamakan estimator minimaks (minimax estimator. Untuk mencari estimator minimaks ini masih dibatasi pada kelas estimator yang essentially complete. Definisi 2. Dalam kelas D yaitu semua estimator yang mempunyai sifat R[θ; δ] berhingga untuk semua θ Ω, estimator δ dikatakan minimaks (minimax jika untuk sebarang estimator δ yang lain berlaku sifat sup{r[θ; δ]; θ Ω} sup{r[θ; δ ]; θ Ω}. Misalkan Ω R dan θ adalah variabel random dengan fungsi kepadatan 34

37 probabilitas yaitu fungsi kepadatan probabilitas prior R(δ = E[R(θ; δ] = R[θ; δ]λ(θdθ atau Ω Ω R[θ; δ]λ(θ. Hal itu berarti bahwa R(δ adalah resiko rata-rata dari seluruh ruang parameter Ω bila digunakan estimator δ. Misalkan D 2 adalah kelas semua estimator sehingga R(δ berhingga untuk suatu prior λ pada Ω yang diketahui. Definisi 2.2 Dalam kelas D 2, estimator δ dikatakan estimator Bayes (dalam teori keputusan dan berkaitan dengan fungsi kepadatan probabilitas prior λ pada Ω jika R(δ R(δ untuk semua estimator δ yang lain. Penentuan Estimator Bayes Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x, θ, θ Ω R. Dalam hal ini digunakan fungsi kerugian kuadrat. Misalkan θ variabel random dengan fungsi kepadatan prior λ. Akan ditentukan δ sehingga menjadi estimator Bayes dari θ dalam arti teori keputusan. Teorema 2.5 Estimasi Bayes dari θ yang bersesuaian dengan fungsi kepadatan probabilitas λ pada Ω sehingga θf(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ dan Ω Ω f(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ berhingga untuk setiap (x x 2,..., x n t diberikan oleh Ω δ(x x 2,..., x n = θf(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ f(x Ω ; θf(x 2 ; θλ(θf(x n ; θ... dθ asalkan λ kontinu. Jika nilai pengamatan dari X i adalah x i untuk i =, 2,..., n maka akan ditentukan fungsi kepadatan probabilitas bersyarat dari θ bila diberikan 35

38 X = x, X 2 = x 2,..., X n = x n merupakan fungsi kepadatan posterior dari θ. Fungsi kepadatan posterior dari θ adalah h(θ x = f(x ; θf(x 2 ; θ... f(x n ; θ h(x = f(x; θλ(θ h(x = f(x ; θf(x 2 ; θ... f(x n ; θλ(θ h(x dengan h(x = Ω f(x; θλ(θdθ = Ω f(x ; θf(x 2 ; θ... f(x n ; θλ(θdθ untuk λ kontinu. Estimator Bayes untuk θ yaitu δ(x x 2,..., x n adalah harapan dari θ berkaitan dengan fungsi kepadatan probabilitas posteriornya. estimator Bayes yang lain dari θ adalah median dari h(θ x atau modus dari h(θ x jika ada. Contoh 2.2 Misalkan variabel random saling bebas dari distribusi Binom(, θ dengan θ Ω = (0,. Fungsi kepadatan probabilitas priornya dipilih berdistribusi Beta(α, β dengan parameter α dan β yaitu λ(θ = Γ(α + β Γ(αΓ(β θα ( θ β untuk θ (0,. Akibatnya I = f(x ; θf(x 2 ; θ... f(x n ; θλdθ = = = Ω Γ(α + β Γ(αΓ(β Γ(α + β Γ(αΓ(β Γ(α + β Γ(αΓ(β 0 0 θ P x i ( θ n P x i θ α ( θ β dθ θ P x i +α ( θ β+n P x i dθ Γ(α + n x iγ(β + n n x i Γ(α + β + n 36

39 dan I = = = = Ω θf(x ; θf(x 2 ; θ... f(x n ; θλdθ Γ(α + β Γ(αΓ(β Γ(α + β Γ(αΓ(β Γ(α + β Γ(αΓ(β 0 0 θθ P x i ( θ n P x i θ α ( θ β dθ θ P x i +α+ ( θ β+n P x i dθ Γ(α + n x i + Γ(β + n n Γ(α + β + n + x i. Diperoleh estimator Bayes adalah Ω δ(x x 2,..., x n = θf(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ f(x Ω ; θf(x 2 ; θλ(θf(x n ; θ... dθ = Γ(α + β + nγ(α + n x i + Γ(α + β + nγ(α + n x i ( Γ(α + β + n α + n x i Γ(α + n x i = (α + β + nγ(α + β + nγ(α + n x i = α + n x i α + β + n. Bila α = β = maka distribusi priornya merupakan distribusi seragam pada (0, sehingga diperoleh estimator Bayes δ(x x 2,..., x n = + n 2 + n x i. Penentuan estimator Minimaks Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R dan λ fungsi kepadatan probabilitas prior pada Ω. Fungsi kepadatan probabilitas posterior dari θ diberikan X = (X, X 2,..., X n t = (x, x 2,..., x n t dinyatakan dengan h(θ x = f(x ; θf(x 2 ; θ... f(x n ; θ. h(x Telah diperoleh bahwa estimator Bayes dari θ dalam arti teori keputusan diberikan dengan δ(x, x 2,..., x n = θh(θ xdθ 37 Ω

40 asalkan λ kontinu. Teorema 2.6 Misalkan terdapat fungsi kepadatan probabilitas λ pada Ω sehingga untuk estimasi Bayes δ yang didefinisikan dengan Ω δ(x x 2,..., x n = θf(x ; θf(x 2 ; θλ(θf(x n ; θ... dθ f(x Ω ; θf(x 2 ; θλ(θf(x n ; θ... dθ dan resiko R[θ; δ] tidak tergantung pada θ. Estimator δ(x x 2,..., x n merupakan estimator minimaks. Contoh 2.2 Misalkan X,..., X n variabel random saling bebas dari distribusi Binom(, θ dengan θ Ω = (0,. Fungsi kepadatan probabilitas priornya dipilih berdistribusi Beta(α, β. Jika X = n X i maka X berdistribusi Binom(n, θ sehingga E[X] = nθ dan Var(X = nθ( θ serta Bila E[X 2 ] = Var(X + (E[X] 2 = nθ( θ + (nθ 2 = nθ( θ + nθ. δ(x x 2,..., x n = α + n X i α + β + n = α + X α + β + n digunakan untuk mengestimasi θ maka akan mempunyai resiko [ R[θ, δ] = E θ X + α ] n + α + β [ (n + α + βθ (X + α = E n + α + β = (n + α + β2 θ 2 2(n + α + βθe[x + α] + E[X + α] 2 (n + α + β 2 ] 2 = (n2 + 2nα + 2nβ + (α + β 2 θ 2 2(n + α + βθ(nθ + α + E[X 2 ] + 2αE[X] + α 2 (n + α + β 2 = (α + β2 θ 2 nθ 2 2θα 2 2θαβ + nθ nθ 2 + n 2 θ 2 + α 2 (n + α + β 2 = (α + β2 θ 2 nθ 2 2θα 2 2θαβ + nθ + α 2 (n + α + β 2 = [(α + β2 n]θ 2 [2α 2 + 2αβ n]θ + α 2 (n + α + β 2. Bila α = β = 2 n dan misalkan δ hasil estimasi dari θ maka (α+β 2 n = 0 38

41 dan 2α 2 + 2αβ n = 0 sehingga R(θ, δ = α 2 (n + α + β 2 = (/4n (n + n 2 = 4( + n 2. Karena R(θ, δ tidak tergantung pada θ maka δ (x x 2,..., x n = merupakan estimator minimaks. Contoh n + n x i n + n = 2 n X + 2( n + Misalkan X, X 2,..., X n variabel random saling bebas dari distribusi N(µ, σ 2 dengan σ 2 diketahui dan µ = θ. Estimator x merupakan estimator UMVU untuk θ tetapi juga merupakan estimator minimaks dan estimator yang admisible. Contoh 2.4 Misalkan X, X 2,..., X n variabel random saling bebas dari distribusi N(0, σ 2 dengan σ 2 tidak diketahui. Misalkan σ 2 = θ. Estimator UMVU untuk θ adalah U = Xi 2 n dan variansinya adalah 2θ2 2θ2 yaitu R(θ; U =. n n Misalkan estimatornya adalah δ = αu. Resiko yang terjadi jika digunakan δ untuk mengestimasi θ adalah R(θ; δ = E[αU θ] 2 = E[α(U θ + (α θ] 2 = α 2 E[U θ] 2 + 2α(α θe(u θ + E[(α 2 θ 2 ]. Karena U estimator tak bias untuk θ maka E[U] = θ sehingga E(U θ = 0 dan akibatnya E[U θ] 2 = E[U E(U] 2 = Var(U = 2θ2. Hal itu berarti n R(θ, δ = 2α 2 θ n (α 2 θ 2 = θ2 n (2α2 + nα 2 2αn + n = θ2 n [(n + 2α2 2nα + n]. 39

42 Nilai α = n n+2 2θ2 akan meminimumkan resiko dan resikonya sama dengan n+2 untuk semua θ. Akibatnya U tidak admisible yaitu yang lebih kecil dari 2θ2 n resikonya bukan yang terkecil. 2.6 Sifat-sifat Optimal secara Asimptotik dari Estimator Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R. Definisi 2.2 Barisan estimator dari θ, {V n } = {V n (X, X 2,..., X m } dikatakan konsisten dalam probabilitas (konsisten lemah jika V n θ untuk n dan untuk semua θ Ω. Demikian juga barisan estimator dari θ, dikatakan konsiten hampir pasti (konsisten kuat jika V n θ untuk n dan untuk semua θ Ω. Teorema 2.7 Jika E[V n ] dan Var(V n untuk n maka V n θ. Definisi 2.3 Barisan estimator dari θ, yang sudah dinormalkan dikatakan normal secara asimptotik ke N(0, σ 2 (θ jika n(vn θ d X untuk n dan untuk semua θ Ω dengan X berdistribusi normal N(0, σ 2 (θ (di bawah P θ. Sifat Jika n(v n θ N(0, σ 2 (θ untuk n maka V n θ untuk n. 40

43 Definisi 2.4 Barisan estimator θ, dikatakan BAN (best asimptotically normal jika. estimator tersebut normal secara asimptotik. 2. variansi σ 2 (θ dari distribusi normal limitnya terkecil untuk semua θ Ω dalam kelas semua barisan estimator yang memenuhi (. Barisan estimator BAN juga dinamakan efisien secara asimptotik. Teorema 2.8 Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R. Jika syarat-syarat sampai 6 pada pasal 2.2 dipenuhi, maka persamaan likelihood θ ln L(θ x, x 2,..., x n = 0 mempunyai akar θn = θ (X, X 2,..., X n untuk setiap n, sehingga barisan {θn } dari estimator adalah BAN dan variansi dari distribusi normal limitnya sama dengan invers informasi Fishernya yaitu [ ln f(x; θ ] 2 I(θ = E θ θ dengan X mempunyai distribusi di atas. Contoh 2.5 Misalkan X,..., X n variabel random saling bebas berdistribusi Binom(, θ. MLE dari θ adalah X = n n X i dan dinotasikan dengan X n. Dengan menggunakan Hukum Bilangan Besar Kuat (Strong Law of Large Number - SLLN dan Hukum Bilangan Besar Lemah (Weak Law of Large Number - WLLN diperoleh n( Xn θ N(0, I (θ dengan I(θ =. Akibatnya dengan menggunakan Teorema Limit Pusat θ( θ (Central Limit Theorema diperoleh bahwa n( Xn θ θ( θ 4

44 berdistribusi N(0, secara asimptotik. Contoh 2.6 Misalkan X,..., X n variabel random saling bebas berdistribusi Poisson(θ. MLE dari θ adalah X = n n X i dan dinotasikan dengan X n. Dengan menggunakan Hukum Bilangan Besar Kuat dan Hukum Bilangan Besar Lemah, X mempunyai sifat konsisten kuat dan konsisten lemah serta dengan Teorema Limit Pusat, n( X n θ berdistribusi normal secara asimptotik dengan variansi sama dengan I (θ = θ. Contoh 2.7 Misalkan X,..., X n variabel random saling bebas dengan distribusi N(µ, σ 2 dengan µ tidak diketahui sedangkan σ 2 diketahui. MLE untuk µ adalah X n. Jika σ 2 tidak diketahui dan µ diketahui maka MLE untuk σ 2 adalah n n (X i µ 2. Variansi dari n( X n µ yang berdistribusi normal adalah I (µ = σ 2. Limit variansi dari [ ] n (X i µ 2 σ 2 n yang berdistribusi normal adalah I (σ 2 = 2σ 2. Definisi 2.5 Misalkan X,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ dengan θ Ω R. Dua barisan estimator {U n } = {U(X,..., X n } dan {U n } = {U(X,..., X n } dikatakan ekuivalen secara asimptotik jika untuk setiap θ Ω berlaku sifat n(un V n 0. Contoh 2.8 Misalkan X,..., X n variabel random saling bebas berdistribusi Binom(, θ. Estimator UMVU untuk θ adalah U n = X n = X = X i. n 42 =

45 Estimator ini juga merupakan MLE. Akan tetapi estimator Bayes untuk θ dengan fungsi kepadatan probabilitas prior Beta(α, β adalah dan estimator minimaksnya adalah α + n X i n + α + β W n = n + n 2 n + n X i. Dengan menggunakan Teorema Limit Pusat n(un θ Z dengan Z N(0, θ( θ. Dapat juga ditunjukkan bahwa n(un V n 0. 43

46 Brief History of Rao C. R. Rao (b. 920 Statistician. ASA MGP. Rao is the most distinguished member of the Indian statistical school founded by P. C. Mahalanobis and centred on the Indian Statistical Institute and the journal Sankhya. Raos first statistics teacher at the University of Calcutta was R. C. Bose. In 94 Rao went to the ISI on a one-year training programme, beginning an association that would last for over 30 years. (Other ISI notables were S. N. Roy in the generation before Rao and D. Basu one of Raos students. Mahalanobis was a friend of Fisher and much of the early research at ISI was closely related to Fishers work. Rao was sent to Cambridge to work as PhD student with Fisher, although his main task seems to have been to look after Fishers laboratory animals! In a remarkable paper written before he went to Cambridge, Information and the accuracy attainable in the estimation of statistical parameters, Bull. Calcutta Math. Soc. (945 37, 8-9 Rao published the results now known as the Cramr-Rao inequality and the Rao-Blackwell theorem. A very influential contribution from his Cambridge period was the score test (or Lagrange multiplier test, which he proposed in 948. Rao was influenced by Fisher but he was perhaps as influenced as much by others, including Neyman. Rao has been a prolific contributor to many branches of statistics as well as to the branches of mathematics associated with statistics. He has written 4 books and around 350 papers. Rao has been a very international statistician. He worked with the Soviet mathematicians A. M. Kagan and Yu. V. Linnik (LP and since 979 he has worked in the United States, first at the University of Pittsburgh and then at Pennsylvania State University. He was elected to the UK Royal Society in 967 and he received the US National Medal of Science in See ET Interview: C. R. Rao and ISI interview. For a general account of Statistics in India, see B. L. S. Prakasha Raos About Statistics as a Discipline in India. 44

47 Brief History of Neyman Jerzy Neyman ( Statistician. MacTutor References. NAS ASA MGP. SC, LP. Neyman was educated in the tradition of Russian probability theory and had a strong interest in pure mathematics. His probability teacher at Kharkov University was S. N. Bernstein. Like many, Neyman went into statistics to get a job, finding one at the National Institute for Agriculture in Warsaw. He appeared on the British statistical scene in 925 when he went on a fellowship to Pearsons laboratory. He began to collaborate with Pearsons son Egon Pearson and they developed an approach to hypothesis testing, which became the standard classical approach. Their first work was on the likelihood ratio test (928 but from 933 they presented a general theory of testing, featuring such characteristic concepts as size, power, Type I error, critical region and, of course, the Neyman-Pearson lemma. More of a solo project was estimation, in particular, the theory of confidence intervals. In Poland Neyman worked on agricultural experiments and he also contributed to sample survey theory (see stratified sampling and Neyman allocation. At first Neyman had good relations with Fisher but their relations began to deteriorate in 935; see Neyman in A Guide to R. A. Fisher. From the late 930s Neyman emphasised his commitment to the classical approach to statistical inference. Neyman had moved from Poland to Egon Pearsons department at UCL in 934 but in 938 he moved to the University of California, Berkeley. There he built a very strong group which included such notable figures as David Blackwell, J. L. Hodges, Erich Lehmann, Lucien Le Cam (memorial and Henry Scheff. 45

48 Chapter 3 Pengujian Hipotesis Dalam seluruh bab ini X, X 2,..., X n adalah variabel random saling bebas dan berdistribusi identik yang didefinisikan pada ruang probabilitas (S, F, P, θ Ω R r dan mempunyai fungsi kepadatan probabilitas f(x; θ. 3. Konsep Umum dari Pengujian Hipotesis Neyman-Pearson Berikut ini diberikan definisi tentang hipotesis yang mendasari bab ini. Definisi 3. Suatu pernyataan berkenaan dengan parameter θ seperti θ ω Ω dinamakan hipotesis (statistik tentang θ dan biasanya dinotasikan dengan H atau H 0. Demikian juga pernyataan bahwa θ ω c dengan ω c = Ω ω adalah hipotesis (statistik tentang θ yang dinamakan alternatif dari H atau ditulis dengan A atau H a. Hal itu berarti H(H 0 : θ ω c. Seringkali hipotesis berasal dari klaim bahwa produk baru, teknik baru dan sebagainya lebih effisien dari yang telah ada. dalam konteks ini H atau H 0 adalah suatu pernyataan yang meniadakan klaim ini dan dinamakan hipotesis nul (null hypothesis. Jika ω mengandung hanya satu titik yaitu ω = {θ 0 } maka H dinamakan hipotesis sederhana (simple hypothesis dan jika mengandung lebih dari satu titik maka dinamakan hipotesis komposit (composite hypothesis. Hal yang sama juga berlaku untuk alternatif. Bila hipotesis dibuat maka akan muncul masalah bagaimana menguji hipotesis berdasarkan pada nilai-nilai pengamatan. 46

49 Definisi 3.2 Uji random atau statistik (fungsi uji atau test function untuk pengujian hipotesis H melawan alternatif A adalah fungsi terukur φ yang didefinisikan pada R n ke [0, ] dan mempunyai interpretasi berikut ini. Jika (x, x 2,..., x n t adalah nilai pengamatan dari (X, X 2,..., X n t dan φ(x, x 2,..., x n = y maka hal ini dapat digambarkan sebagai suatu koin, yang mempunyai probabilitas untuk mendapatkan muka sebesar y, dilempar satu kali dan bila memperoleh muka maka H akan ditolak dan bila memperoleh belakang maka H akan diterima. Dalam kasus khusus, y dapat bernilai 0 atau untuk semua (x, x 2,..., x n t sehingga uji dinamakan uji yang tidak random (non randomized test. Hal itu berarti uji non random berbentuk { jika (x, x φ(x, x 2,..., x n = 2,..., x n t B 0 jika (x, x 2,..., x n t B c Dalam hal ini, himpunan Borel B R n dinamakan daerah kritik (daerah penolakan - rejection region dan B c dinamakan daerah penerimaan (acceptance region. Dalam pengujian hipotesis, kita dapat menghilangkan salah satu dari 2 jenis kesalahan berikut yaitu kesalahan yang terjadi karena H ditolak padahal H benar yaitu parameter yang tidak diketahui θ terletak dalam ω atau kesalahan yang terjadi karena menerima H padahal H salah. Definisi 3.3 Misalkan β(θ = P θ [MenolakH] sehingga β(θ = P θ [MenerimaH] dengan θ Ω. Hal itu berarti bahwa β(θ dengan θ ω adalah probabilitas untuk menolak H di bawah anggapan H benar. Untuk θ ω, β(θ adalah probabilitas kesalahan tipe I. Besaran β(θ dengan θ ω c adalah probabilitas menerima H yang dihitung di bawah anggapan H salah. Jadi untuk θ ω c, β(θ menyatakan probabilitas kesalahan tipe II. Jelas bahwa, α merupakan batas atas terkecil dari probabilitas kesalahan tipe I. Diinginkan untuk membuat α sekecil mungkin (lebih disukai 0 dan 47

50 pada saat yang sama membuat kuasanya sebesar mungkin (lebih disukai. Tentu saja, memaksimumkan kuasa ekuivalen dengan memaksimumkan probabilitas kesalahan tipe II. sayangnya, dengan ukuran sampel yang tetap, hal ini tidak dapat dilakukan. hal yang dapat dilakukan adalah memilih ukuran tertentu untuk tingkat keberartian yang diperlukan (biasanya diambil 0,005; 0,00; 0,05 atau 0, dan mencari uji yang memaksimumkan kuasa. Dengan anggapan bahwa kerugian potensial berkenaan dengan keputusan yang salah, pembuat keputusan merupaka seorang yang konservatif yang menyokong hipotesis nol sebagai kebenaran dan jika tidak demikian maka haruslah ada fakta-fakta dari data bahwa hal tersebut salah. Dalam hal ini, dia percaya bahwa akibat kesalahan penolakan hipotesis nol akan jauh lebih buruk dari pada kesalahan yang diakibatkan oleh menerimanya. Sebagai contoh, perusahaan obat menganggap bahwa pasar obat produk baru untuk menyembuhkan penyakit dibandingkan obat yang telah ada mempunyai tingkat penyembuhan sebesar 60%. Berdasarkan pada percobaan terbatas, divisi penelitian mengklaim bahwa obat baru lebih efektif. Jika obat tersebut gagal lebih efektif atau mempunyai efek samping yang membahayakan, maka akan kehilangan pelanggan yang disebabkan oleh kekunoan produk akan lebih kecil pengaruhnya dibandingkan dengan kegagalan yang diakibatkan oleh ketidak-efektifan obat yang baru. Untuk itu, jika keputusan dibuat berdasarkan pada sejumlah percobaan klinis maka hipotesis nol seharusnya adalah bahwa tingkat penyembuhan tidak lebih dari 60% melawan alternatif bahwa tingkat penyembuhannya lebih dari 60%. Perlu dicatat bahwa dalam uji non random dengan daerah kritik B diperoleh β(θ = P θ [(x, x 2,..., x n t B] =.P θ [(x, x 2,..., x n t B] + 0.P θ [(x, x 2,..., x n t B c ] = E θ [φ(x, x 2,..., x n ]. Hal yang sama juga dapat dikerjakan untuk uji non random. Jadi β φ (θ = β(θ = E θ [φ(x, x 2,..., x n ], θ Ω. Definisi 3.4 Uji tingkat α yang memaksimumkan kuasa uji diantara semua uji tingkat α dikatakan uji paling kuasa seragam (uniformly most powerful - UMP. Jadi φ adalah uji UMP tingkat α jika 48

51 . sup[β φ (θ θ ω] = α. 2. β φ (θ β φ (θ, θ ω c untuk sebarang uji yang memenuhi (. Jika ω c hanya terdiri dari satu titik maka UMP hanya dinamakan uji paling kuasa (most powerful - MP. 3.2 Pengujian Hipotesis Sederhana Melawan Alternatif Sederhana Dalam kasus ini, ruang parameter hanya terdiri dari 2 titik yang dapat dituliskan sebagai θ 0 dan θ yaitu Ω = {θ 0, θ }. Misalkan f θ0 dan f θ fungsi kepadatan probabilitas yang diketahui. Misalkan dituliskan f 0 = f(x; θ 0, dan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω. Akan dilakukan pengujian hipotesis H : θ ω = {θ 0 } melawan alternatif A : θ ω = {θ } pada level α. Dengan kata lain akan diuji hipotesis bahwa populasi berdistribusi f 0 melawan f. Teorema 3. Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω = {θ 0, θ }. Akan diuji hipotesis H : θ θ 0 melawan alternatif A : θ = θ pada level α(0 < α <. Misalkan R(z; θ 0, θ = f(x ; θ f(x 2 ; θ... f(x 2 ; θ f(x ; θ 0 f(x 2 ; θ 0... f(x 2 ; θ 0 dan φ uji yang didefinisikan sehingga jika R(z; θ 0, θ > c φ(x, x 2,..., x n = γ jika R(z; θ 0, θ = c 0 jika R(z; θ 0, θ < c (3.2. dengan γ konstan (0 γ dan c ditentukan sehingga E θ0 [φ(x, x 2,..., x n ]α. (3.2.2 Untuk menguji hipotesis H melawan A pada tingkat α digunakan uji seperti (3.2. dan (3.2.2 merupakan uji UMP. 49

52 Akibat 3. Jika φ didefinisikan seperti (3.2. dan (3.2.2 maka β φ (θ α. Dalam contoh-contoh berikut, Ω = {θ 0, θ } dan akan diuji hipotesis sederhana melawan alternatif sederhana dengan tingkat keberartian α. Contoh 3. Misalkan X, X 2,..., X n sampel random dari populasi yang berdistribusi Binom(, θ. Berdasarkan sampel tersebut akan diuji hipotesis H : θ = θ 0 melawan alternatif A : θ = θ pada level α dengan anggapan θ 0 < θ. Diperoleh R(z; θ 0, θ = f(x ; θ f(x 2 ; θ... f(x 2 ; θ f(x ; θ 0 f(x 2 ; θ 0... f(x 2 ; θ 0 = θx ( θ x θ x 2 ( θ x 2... θ xn ( θ xn θ x 0 ( θ 0 x θ x 2 0 ( θ 0 x 2... θ x n 0 ( θ 0 xn ( θ Pn = x ( i θ P n n x i θ 0 θ 0 sehingga ln R(z; θ 0, θ = ( θ ( X i ln + n θ 0 ( θ X i ln. θ 0 50

53 Karena θ 0 < θ maka R(z; θ 0, θ > c ekuivalen dengan dengan ( θ ( X i ln + n θ 0 X i [ ln ln R(z; θ 0, θ > ln c ( θ X i ln > ln c θ 0 ( θ ( θ ] ln θ 0 θ 0 X i [ ln c 0 = ( θ ( θ 0 ] θ 0 ( θ ln c n ln ln X i > X i > c 0 ( θ θ 0 ( θ ( θ 0 θ 0 ( θ. Hal itu berarti uji MP dinyatakan sebagai jika n X i > c 0 φ(z = γ jika n X i = c 0 0 jika n X i < c 0 dengan c 0 dan γ ditentukan sehingga ( θ > ln c n ln θ 0 ( θ > ln c n ln θ 0 ln c n ln [ ln ( θ ( θ 0 θ 0 ( θ [ ] [ ] E θ0 [φ(z] = P θ0 X i > c 0 + γp θ0 X i = c 0 = α ( θ θ 0 dan n X i Binom(n, θ i untuk i = 0,. Sebagai gambaran, misalkan akan diuji hipotesis H : θ = 0, 5 melawan A : θ = 0, 75 dengan α = 0, 05 dan n = 25. Dalam hal ini, c 0 dan γ ditentukan sehingga P θ0 ( X i > c 0 + γp θ0 ( X i = c 0 = 0, 05 P θ0 ( X i c 0 + γp θ0 ( X i = c 0 = 0, 05 5 ]

54 0, 05 = P θ0 ( X i c 0 + γp θ0 ( X i = c 0 0, 95 = P θ0 ( X i c 0 + γp θ0 ( X i = c 0. Karena γ 0 dan P θ0 ( n X i = c 0 0 maka γp θ0 ( n X i = c 0 0 sehingga haruslah P θ0 ( X i c 0 0, 95. Untuk itu dipilih c 0 sehingga P θ0 ( n X i c 0 0, 95 tetapi paling dekat dengan 0, 95. Berdasarkan Tabel kumulatif distribusi Binom(25, 0, 5 diperoleh bahwa c 0 = 7 sehingga P θ0 ( n X i c 0 dan berlaku Akibatnya P θ0 ( X i = c 0 = P θ0 ( X i 7 P θ0 ( X i 6 = 0, , 946 = 0, , 95 = P θ0 ( X i 7 γp θ0 ( X i = 7 = 0, 9784 γ0, 0323 diperoleh γ = 0, Oleh karena itu uji UMP menjadi jika n X i > 7 φ(z = 0, 8792 jika n X i = 7 0 jika n X i < 7. Kuasa dari uji tersebut adalah P θ=0,75 ( X i 7 + γp θ=0,75 ( X i 7 dengan n X i Binom(25, 0, 75. Contoh 3.2 Misalkan X,..., X n sampel random dari populasi yang berdistribusi Poisson(θ. 52

55 Berdasarkan sampel tersebut akan diuji hipotesis H : θ = θ 0 melawan alternatif A : θ = θ pada level α dengan anggapan θ 0 < θ. Diperoleh sehingga R(z; θ 0, θ = f(x ; θ f(x 2 ; θ... f(x 2 ; θ f(x ; θ 0 f(x 2 ; θ 0... f(x 2 ; θ 0 = = ln R(z; θ, θ 0 = θ x e θ x! θ x 0 e θ 0 x! ( θ0 θ Pn θ x 2 e θ x 2! θ x 2 0 e θ 0 x 2!... θxn e θ x n!... θxn 0 e θ 0 x n! x i exp n(θ θ 0 ( θ0 ln n(θ θ 0. θ Karena R(z; θ, θ 0 > c maka ln R(z; θ, θ 0 > ln c sehingga ( θ0 x i ln n(θ θ 0 θ > ln c ( θ0 x i ln n(θ θ 0 θ > ln c + n(θ θ 0 ( θ0 x i ln θ Karena θ 0 < θ maka < θ θ 0 sehingga ln θ θ 0 > ln[c exp(n(θ θ 0 ]. > 0. Akibatnya x i > ln[c exp(n(θ θ 0 ] ( θ ln 0 atau n x i > c 0 dengan c 0 = ln[c exp(n(θ ( θ 0 ]. Uji UMP didefinisikan sebagai ln jika φ(z = γ jika 0 jika dengan c 0 dan γ ditentukan sehingga E θ0 (φ(z = P θ0 ( θ 0 θ θ n X i > c 0 n X i = c 0 n X i < c 0. ( x i > c 0 + γp θ0 x i = c 0 = α 53

56 dan n X i Poisson(nθ i untuk i = 0,. Sebagai gambaran, misalkan akan diuji hipotesis H : θ = 0, 3 melawan A : θ = 0, 4 dengan α = 0, 05 dan n = 20. Diperoleh sehingga E θ0 (φ(z = P θ0 ( x i > c 0 + γp θ0 ( x i = c 0 = 0, 05 P θ0 ( x i c 0 + γp θ0 ( x i = c 0 = 0, 05 0, 05 = P θ0 ( x i c 0 γp θ0 ( x i = c 0 0, 95 = P θ0 ( x i c 0 γp θ0 ( x i = c 0. Karena γ 0 dan P θ0 ( n x i = c 0 0 maka P θ0 ( n x i = c 0 0. Untuk itu dipilih c 0 sehingga P θ0 ( x i = c 0 0, 95 tetapi paling dekat dengan 0, 95. Berdasarkan Tabel Kumulatif distribusi Poisson dengan mean 20(0, 3 = 6 diperoleh c 0 = 0 sehingga P ( x i 0 dan P ( x i = 0 = P ( x i 0 P ( x i 9 = 0, , 96 = 0, 043. Oleh karena itu γ ditentukan sehingga 0, , 043 atau γ = 0, 79. Uji UMP menjadi jika n X i > 0 φ(z = 0, 79 jika n X i = 0 0 jika n X i < 0. 54

57 Kuasa ujinya adalah P θ=0,4 ( x i > 0 + 0, 79P θ=0,4 ( x i = 0 = 0, 203. Contoh 3.3 Misalkan X,..., X n sampel random dari populasi yang berdistribusi N(θ,. Berdasarkan sampel tersebut akan diuji hipotesis H : θ = θ 0 melawan alternatif A : θ = θ pada level α dengan anggapan θ 0 < θ. Diperoleh R(z; θ 0, θ = f(x ; θ f(x 2 ; θ... f(x 2 ; θ f(x ; θ 0 f(x 2 ; θ 0... f(x 2 ; θ 0 = = ( 2π exp (x2 θ 2 2 ( 2π exp (x2 θ ( exp ( exp ( = exp ( 2π exp (x2 θ 2 2 ( 2π exp (x2 θ n (x i θ 2 n (x i θ 0 2 [(x i θ 0 2 (x i θ 2 ] π exp sehingga ln R(z; θ, θ 0 = 2 n [(x i θ 0 2 (x i θ 2 ] atau ln(r(z; θ, θ 0 = 2 = 2 ( 2π exp (xn θ 2 2 ( (xn θ 0 2 [x 2 i 2θ 0 x i + θ0 2 (x 2 i 2θ x i + θ] 2 [ 2(θ 0 θ x i + θ0 2 θ2 ] = (θ θ 0 x i + 2 n(θ2 0 θ2. Hal itu berarti R(z; θ, θ 0 > c akan ekuivalen dengan ln R(z; θ, θ 0 > ln c 2 55

58 yaitu (θ θ 0 x i + 2 n(θ2 0 θ 2 > ln c (θ θ 0 (θ θ 0 Berarti X > c0 dengan c 0 = n x i > ln c + 2 n(θ2 0 θ2 x i > ln c + 2 n(θ θ 0 (θ + θ 0 x i > ( φ(z = dengan c 0 ditentukan sehingga x > n ln c θ θ 0 + n(θ +θ 0 2 ln c + θ θ 0 2 n(θ θ 0 (θ + θ 0 ( ln c + n(θ + θ 0. θ θ 0 2 { jika X > c0 0 yang lain E θ0 [φ(z] = P θ0 ( X > c 0 = α. Uji UMP adalah dan X N(θ i, untuk i = 0,. n Sebagai gambaran, akan diuji hipotesis θ = melawan A : θ = dengan α = 0, 00 dan n = 9. Diperoleh P θ= ( X > c 0 = P θ= [3( X ( > 3(c 0 ( ] = P θ= [3( X ( > 3(c 0 ( ] = P θ= [3( X + > 3(c 0 + ] = P θ= [N(0, > 3(c 0 + ] sehingga c 0 = 0, 03. Oleh karena itu uji UMP adalah { jika X > 0, 03 φ(z = 0 yang lain Kuasa ujinya adalah P θ= ( X > 0, 03 = P θ= (3( X > 3(0, 03 = P θ= (N(0, > 2, 9 = 0,

59 Contoh 3.4 Misalkan X,..., X n sampel random dari populasi yang berdistribusi N(0, θ. Berdasarkan sampel tersebut akan diuji hipotesis H : θ = θ 0 melawan alternatif A : θ = θ pada level α dengan anggapan θ 0 < θ. Diperoleh R(z; θ 0, θ = f(x ; θ f(x 2 ; θ... f(x 2 ; θ f(x ; θ 0 f(x 2 ; θ 0... f(x 2 ; θ 0 Akibatnya = = = = 2πθ exp[ x2 2θ ] 2πθ exp[ x2 2 2θ ]... 2πθ exp[ x2 n 2θ ] 2πθ0 exp[ x2 ( ( θ0 n/2 exp ( θ exp 2πθ0 exp[ x2 2 2θ 0 ]... 2πθ0 exp[ x2 n 2θ 0 ] ( θ0 θ n/2 exp [ n 2θ x2 i 2θ 0 n x2 i ( 2θ ( θ0 n/2 [( θ0 θ exp θ 2θ θ 0 ln R(z; θ, θ 0 = θ θ 0 2θ 0 θ 2θ 0 x 2 i ]. x 2 i ] x 2 i + 2 ln ( θ0 θ sehingga R(z; θ, θ 0 > c dan mengakibatkan ln R(z; θ, θ 0 > ln c yaitu θ θ 0 2θ 0 θ x 2 i + 2 ln ( θ0 θ θ θ 0 2θ 0 θ θ θ 0 2θ 0 θ θ θ 0 2θ 0 θ > ln c x 2 i > ln c 2 ln ( θ0 θ x 2 i > ln c + ( 2 ln θ θ 0 x 2 i > ( θ ln c θ 0 x 2 i > 2θ ( 0θ ln c θ θ 0 57 θ θ 0. 2θ 0 ]

60 Berarti ( n x2 i > c 0 dengan c 0 = 2θ 0θ θ θ θ 0 ln c θ 0. Uji UMP menjadi dengan c 0 ditentukan sehingga { jika n φ(z = x2 i > c 0 0 yang lain ( E θ0 [φ(z] = P θ0 x 2 i > c 0 = α dan n θ X2 i χ 2 n untuk i = 0,. Sebagai gambaran, akan diuji hipotesis H : θ = 4 melawan A : θ = 6 dengan α = 0, 0 dan n = 20. Akan ditentukan c 0 sehingga yaitu ( P θ0 x 2 i > c 0 = 0, 0 ( ( P θ0 x 2 i > c 0 = P θ0 4 x 2 i > 4 c 0 = 0, 0. Berdasarkan Tabel distribusi chi-kuadrat dengan derajat bebas 20 diperoleh c 0 /4 = 37, 566 atau c 0 = 50, 264. Akibatnya, uji UMP menjadi { jika n φ(z = x2 i 0 yang lain > 50, 264 dan kuasa ujinya adalah P θ=6 [ ] x 2 i > 50, 264 = P θ=6 [ 6 = 0, 977. x 2 i > 50, 264 ] Uji UMP untuk Pengujian Hipotesis Komposit Sebagian besar masalah praktis, paling sedikit salah satu merupakan hipotesis komposit. Misalkan variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R, g(z; θ = f(x ; θf(x 2 ; θ... f(x n ; θ 58

61 dengan z = (x, x 2,..., x n t dan Z = (X, X 2,..., X n t. Definisi 3.5 Keluarga {g(x; θ θ Ω} dikatakan mempunyai sifat MLR (monoton likelihood ratio dalam V jika himpunan z sehingga g(z; θ > 0 tidak tergantung pada θ dan terdapat fungsi terukur V yang didefinisikan dari R n ke R, sehingga bila θ, θ Ω dengan θ < θ maka berlaku sifat :. g(x; θ dan g(x; θ berbeda. 2. g(x; θ /g(x; θ fungsi naik dari V (z. Keluarga terpenting dari fungsi kepadatan probabilitas yang mempunyai sifat MLR adalah keluarga eksponensial parameter. Proposisi 3. Misalkan keluarga eksponensial f(x; θ = C(θ exp[q(θt (x]h(x dengan C(θ > 0 untuk semua θ Ω R dan himpunan positif dari h tidak tergantung pada θ. Jika Q fungsi naik maka keluarga {g(x; θ θ Ω} mempunyai sifat MLR dalam V dengan V (z = n T (X i dan g(x; θ dinyatakan dengan g(z; θ = f(x ; θf(x 2 ; θ... f(x n ; θ. Jika Q fungsi turun maka keluarga {g(x; θ θ Ω} mempunyai sifat MLR dalam V = V. Teorema 3.2 Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω mempunyai sifat MLR dalam V dengan g(x; θ didefinisikan sebagai g(z; θ = f(x ; θf(x 2 ; θ... f(x n ; θ. Misalkan θ 0 Ω dan ω = {θ Ω θ θ 0 }. Untuk pengujian hipotesis komposit H : θ ω melawan alternatif pada tingkat keberartian α maka 59

62 terdapat uji yang merupakan uji UMP dalam kelas semua uji yang mempunyai tingkat keberartian lebih kecil atau sama dengan α. Dalam kasus LR (likelihood ratio dalam V (z, uji yang digunakan adalah φ(z = dengan c dan γ ditentukan sehingga jika V (z > c γ jika V (z = c 0 jika V (z < c E θ0 [φ(z] = P θ0 (V (z > c + γp θ0 (V (z = c = α. Jika LR turun dalam V (z maka ujinya digunakan jika V (z < c φ(z = γ jika V (z = c 0 jika V (z > c dengan c dan γ ditentukan sehingga E θ0 [φ(z] = P θ0 (V (z < c + γp θ0 (V (z = c = α. Akibat 3.2 Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas dapat dinyatakan sebagai f(x; θ = C(θ exp[q(θt (x]h(x dengan Q fungsi naik/turun tajam. Untuk pengujian hipotesis H : θ ω = {θ Ω θ θ 0 } melawan alternatif A : θ ω c. Dengan tingkat keberartian α maka uji UMP dalam kelas semua uji tingkat lebih kecil atau sama dengan α. Jika Q naik maka digunakan uji φ(z = dengan c dan γ ditentukan sehingga jika V (z > c γ jika V (z = c 0 jika V (z < c E θ0 [φ(z] = P θ0 (V (z > c + γp θ0 (V (z = c = α. 60

63 Sebaliknya, jika Q turun maka digunakan uji jika V (z < c φ(z = γ jika V (z = c 0 jika V (z > c dengan c dan γ ditentukan sehingga E θ0 [φ(z] = P θ0 (V (z < c + γp θ0 (V (z = c = α. Demikian juga, untuk menguji hipotesis H : θ ω = {θ Ω θ θ 0 } melawan alternatif A : θ ω c pada tingkat keberartian α, terdapat uji yang bersifat UMP di dalam kelas semua uji dari tingkat α. Jika Q turun maka digunakan uji φ(z = dengan c dan γ ditentukan sehingga jika V (z > c γ jika V (z = c 0 jika V (z < c E θ0 [φ(z] = P θ0 (V (z > c + γp θ0 (V (z = c = α. Sebaliknya, jika Q naik digunakan uji jika V (z < c φ(z = γ jika V (z = c 0 jika V (z > c dengan c dan γ ditentukan sehingga E θ0 [φ(z] = P θ0 (V (z < c + γp θ0 (V (z = c = α. Masalah penting lain adalah menguji H : θ ω = {θ Ω θ θ atau θ θ 2 } melawan A : θ ω c dengan θ, θ 2 Ω dan θ < θ 2. Pendeknya, θ dapat menyatakan dosis obat dan θ, θ 2 adalah batas θ yang diperbolehkan. Jika θ θ dosis yang diberikan tidak membahayakan namun tidak bermanfaat sedangkan jika θ θ 2 dosis yang membahayakan. Jadi hipotesis tersebut menyatakan bahwa obat dapat membahayakan atau tidak bermanfaat dan diinginkan untuk menguji hipotesis tersebut. Jika distribusi anggapan dengan ukuran yang sesuai dianggap berbentuk eksponensial maka uji UMP ada. 6

64 Teorema 3.3 Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ dapat dinyatakan sebagai f(x; θ = C(θ exp[q(θt (x]h(x dengan Q fungsi monoton tajam dan θ Ω R. Misalkan ω = {θ Ω θ θ atau θ θ 2 } dengan θ, θ 2 Ω dan θ < θ 2. Uji hipotesis H : θ ω melawan alternatif A : θ ω c adalah uji UMP φ. Jika Q fungsi naik maka φ dinyatakan dengan jika c < V (z < c 2 φ(z = γ i jika V (z = c i (i =, 2danc < c 2 0 yang lain dengan c, c 2 dan γ, γ 2 ditentukan sehingga E θ [φ(z] = P θ (c < V (z < c 2 + γ P θ (V (z = c + γ 2 P θ (V (z = c 2 = α dan E θ2 [φ(z] = P θ2 (c < V (z < c 2 + γ P θ2 (V (z = c + γ 2 P θ2 (V (z = c 2 = α dengan V (z = n T (X i. Sebaliknya, jika Q fungsi naik maka φ dinyatakan dengan φ(z = jika V (z < c atauv (z > c 2 γ i jika V (z = c i (i =, 2danc < c 2 0 yang lain dengan c, c 2 dan γ, γ 2 ditentukan sehingga E θ [φ(z] = P θ (V (z < c atauv (z > c 2 + γ P θ (V (z = c + γ 2 P θ (V (z = c 2 = α dan E θ2 [φ(z] = P θ2 (V (z < c atauv (z > c 2 + γ P θ2 (V (z = c + γ 2 P θ2 (V (z = c 2 = α dengan V (z = n T (X i. Dapat ditunjukkan bahwa fungsi β(θ = E[φ(z] dengan θ Ω merupakan fungsi naik untuk θ θ 0 dan turun untuk θ θ 0 dengan θ < θ 0 < θ 2 62

65 Contoh 3.5 Misalkan X,..., X n sampel random saling bebas dari distribusi Binom(, θ dengan θ Ω = (0,. Fungsi probabilitas dari X yang berdistribusi Binom(n, θ adalah f(x; θ = θ n ( θ n x I A (x dengan A = {0,, 2,..., n}. Fungsi probabilitas tersebut dapat dinyatakan sebagai [ ( θ ] f(x; θ = ( θ n x exp ln I A (x θ sehingga distribusi Binomial merupakan anggota keluarga eksponensial dengan ( θ Q(θ = ln, T (x = x, h(x = I A (x. c(θ = ( θ n, θ ( θ Karena Q(θ = ln θ uji UMP untuk hipotesis H : θ θ 0 melawan A : θ > θ 0 adalah jika n X i > c φ(z = γ jika n X i = c 0 jika n X i < c dengan c dan γ ditentukan sehingga merupakan fungsi naik dan V (z = n X i maka E θ0 [φ(z] = P θ0 ( X i > c + γp θ0 ( X i = c = α dan n X i Binom(n, θ. Sebagai gambaran, akan diuji hipotesis H : θ 0.5 melawan A : θ > 0.5 dengan α = 0, 0 dan n = 25. Dalam hal ini c dan γ ditentukan sehingga ( ( P θ=0,5 X i > c + γp θ=0,5 X i = c = 0, 05. Berdasarkan Tabel distribusi Binomial diperoleh c = 8 dan γ = 27/43. Kuasa uji pada θ = 0, 75 adalah ( ( β φ (0, 75 = P θ=0,75 X i > c + γp θ=0,75 X i = c = 0,

66 Untuk pengujian hipotesis H : θ θ atau θ θ 2 melawan alternatif A : θ < θ < θ 2 digunakan uji UMP φ yang dinyatakan dengan jika c < n X i < c 2 φ(z = γ i jika n X i = c i (i =, 2 dan c < c 2 0 yang lain dengan c, c 2 dan γ, γ 2 ditentukan sehingga dan E θ [φ(z] = P θ (c < V (z < c 2 + γ P θ (V (z = c + γ 2 P θ (V (z = c 2 = α E θ2 [φ(z] = P θ2 (c < V (z < c 2 + γ P θ2 (V (z = c + γ 2 P θ2 (V (z = c 2 = α dengan V (z = n T (X i. Sebagai gambaran, akan diuji hipotesis H : 0, 25 θ atau θ 0, 75 melawan A : 0, 25 < θ < 0, 75 dengan α = 0, 05 dan n = 25. Untuk c = 0 dan c 2 = 5 diperoleh 46γ + 2γ 2 = 205, 2γ + 46γ 2 = 205 atau γ = γ 2 = 42435/86426 = 0, 490. Uji UMP menjadi jika 0 < n X i < 5 φ(z = γ i jika n X i = 0 atau n X i = 5 0 yang lain Kuasa dari uji pada θ = 0, 5 adalah β φ (0, 5 = P θ=0,5 (0 < ( x i < 5 + 0, 490P θ=0,5 + 0, 490P θ=0,5 ( = 0, 67. x i = 5 x i = 0 Contoh 3.6 Misalkan X,..., X n sampel random saling bebas dari distribusi Poisson(θ dengan θ Ω = (0,. Fungsi probabilitas dari X yang berdistribusi Poisson(θ adalah f(x; θ = θx e θ x! 64

67 untuk x = 0,, 2,.... Fungsi probabilititas tersebut dapat dinyatakan sebagai f(x; θ = ex ln θ e θ x! = e θ e x ln θ x! sehingga Q(θ = ln θ dan V (z = n X i. Karena Q(θ merupakan fungsi naik maka uji UMP untuk hipotesis H θ 0 melawan A : θ > θ 0 adalah jika n X i > c φ(z = γ jika n X i = c 0 jika n X i < c dengan c dan γ ditentukan sehingga E θ0 [φ(z] = P θ0 ( X i > c + γp θ0 ( X i = c = α dan n X i Poisson(nθ. Sebagai gambaran, akan diuji hipotesis H : θ 0, 5 melawan A : θ > 0, 5 dengan n = 0 dan α = 0, 05. Berdasarkan Tabel distribusi Poisson dengan mean nθ 0 = 0(0, 5 = 5 diperoleh c = 9 dan γ = 82/363 = 0, 504. Kuasa dari uji pada saat θ = adalah ( ( β( = P θ= X i > 9 + 0, 504P θ= = P θ= ( X i 9 X i > 9 ( ( ] + 0, 504 [P θ= X i 9 P θ= X i 8 = 0, Contoh 3.7 Misalkan X,..., X n sampel random saling bebas dari distribusi N(θ, σ 2 dengan θ Ω = R. Fungsi probabilitas dari X yang berdistribusi N(θ, σ 2 adalah [ (x θ 2 ] f(x; θ = exp 2πσ 2 2σ 2 65

68 untuk x R. Fungsi probabilitas tersebut dapat dinyatakan sebagai atau f(x; θ = ( f(x; θ = exp θ2 exp 2σ 2 [ x 2 exp 2θx + θ 2 2 ] 2πσ 2 2σ 2 ( θ σ x ( exp 2 2πσ 2 x2 2σ 2 sehingga Q(θ = θ/σ 2 dan V (z = n X i. Karena Q(θ = θ/σ 2 fungsi naik maka untuk menguji hipotesis H : θ θ 0 melawan A : θ > θ 0 adalah { jika X > c φ(z = 0 jika X < c dengan c ditentukan sehingga E θ0 [φ(z] = P θ0 ( X > c = α dan X N(θ, σ 2 /n. Kuasa ujinya adalah β φ (θ = P ( X > c = P θ ( X c [ X θ = P σ/ n c θ ] σ/ n [ n(c θ ] = Φ. σ Sebagai gambaran, berdasarkan sampel X, X 2,..., X 25 dari distribusi N(θ, 4 akan diuji hipotesis H : θ 20 melawan A : θ > 20 adalah { jika X > c φ(z = 0 jika X < c dengan c ditentukan sehingga E θ0 [φ(z] = P ( X > c = P θ=20 ( X c [ X 20 = P σ/ n c 20 ] σ/ n ( c 20 = Φ = 0, 05 2/5 dan X N(20, 4/25 di bawah anggapan H benar. Kuasa uji untuk θ = 2 adalah ( 20, 66 2 β φ (2 = Φ = Φ( 0, 85 = 0, 977 = 0, /5 66

69 Untuk menguji hipotesis H : θ θ atau θ θ 2 melawan A : θ < θ < θ 2 digunakan uji UMP φ yang dinyatakan dengan { jika c < φ(z = X < c 2 0 yang lain dengan c dan c 2 ditentukan sehingga dan Kuasa ujinya adalah E θ [φ(z] = P θ (c < X < c 2 = α E θ2 [φ(z] = P θ2 (c < X < c 2 = α. ( n(c 2 θ ( n(c θ β φ (θ = Φ Φ. σ σ Sebagai gambaran, berdasarkan pada sampel X, X 2,..., X 25 N(θ, 4 akan diuji hipotesis H : θ atau θ melawan A : < θ < dengan α = 0, 05. Uji UMP adalah { jika c < φ(z = X < c 2 0 yang lain dengan c dan c 2 ditentukan sehingga dan E θ [φ(z] = P θ (c < X < c 2 = 0, 05 E θ2 [φ(z] = P θ2 (c < X < c 2 = 0, 05. Berdasarkan Tabel distribusi normal baku diperoleh c = 0, 344 dan c 2 = 0, 344. Kuasa uji pada θ = 0 adalah ( 25(0, ( 25( 0, β φ (0 = Φ Φ = 0, Contoh 3.8 Misalkan X,..., X n sampel random saling bebas dari distribusi N(µ, θ dengan θ Ω = (0,. Fungsi kepadatan probabilitas dari X yang berdistribusi N(µ, θ adalah f(x; θ = [ exp 2πθ 67 (x ] µ2 2θ

70 untuk x R. Fungsi probabilitas tersebut dapat dinyatakan sebagai f(x; θ = [ exp ] 2πθ 2θ (x µ2 sehingga Q(θ = /(2θ dan V (z = n (x i µ 2. karena Q(θ = /(2θ fungsi naik maka untuk menguji hipotesis H : θ θ 0 melawan A : θ > θ 0 adalah { jika n φ(z = (X i µ 2 > c 0 yang lain dengan c ditentukan sehingga ( E θ0 [φ(z] = P θ0 (X i µ 2 = α dan n θ (X i µ 2 χ 2 n. Kuasa uji dari uji ini adalah ( β φ (θ = P (X i µ 2 > c ( = P (X i µ 2 c ( = P θ ( = P χ 2 n < c θ (X i µ 2 < c θ. Sebagai gambaran, berdasarkan sampel X, X 2,..., X 25 dari distribusi N(µ, θ dengan µ diketahui, dan akan diuji hipotesis H : θ 4 melawan A : θ > 4 adalah { jika n φ(z = (X i µ 2 > c 0 jika n (X i µ 2 c dengan c ditentukan sehingga ( E θ=4 [φ(z] = P (X i µ 2 > c dan (/4 ( n = P (X i µ 2 4 (X i µ 2 χ 2 25 > c = 0, 05 4 di bawah anggapan H benar. Berdasarkan Tabel distribusi chi-kuadrat dengan derajat bebas 25 diperoleh bahwa c/4 = 37, 652 atau c = 50, 608. Kuasa ujinya untuk θ = 2 adalah β(θ = P ( χ 2 25 < 50, = P (χ 2 25 < 30, 26 = 0, 02 = 0,

71 Pada sisi lain, untuk menguji hipotesis H : θ θ atau θ θ 2 melawan A : θ < θ < θ 2 digunakan uji UMP φ yang dinyatakan dengan { jika c < n φ(z = (X i µ 2 < c 2 0 yang lain dengan c dan c 2 ditentukan sehingga E θ [φ(z] = P θ (c < (X i µ 2 < c 2 = α dan E θ2 [φ(z] = P θ2 (c < (X i µ 2 < c 2 = α. Kuasa ujinya adalah ( β φ (θ = P χ 2 n < c 2 θ ( P χ 2 n < c θ Sebagai gambaran, berdasarkan sampel X, X 2,..., X 25 N(µ, θ akan diuji hipotesis H : θ atau θ 3 melawan A : < θ < 3 dengan α = 0, 0. Uji UMP adalah { jika c < n φ(z = (X i µ 2 < c 2 0 yang lain dengan c dan c 2 ditentukan sehingga ( P χ 2 25 < c ( 2 P χ 2 25 < c = 0, 0 dan ( P χ 2 25 < c ( 2 P χ 2 25 < c = 0, Dengan metode coba-coba (trial and error dapat ditentukan c dan c 2 dari tabel distribusi chi-kuadrat dengan derajat bebas

72 3.4 Uji UMPU untuk Pengujian Hipotesis Komposit Dalam Teorema 3.3, untuk pengujian H : ω = {θ Ω atau θ θ 2 } melawan A : θ ω c uji UMP ada. Tidak mengherankan bahwa dengan merubah H dan A mengakibatkan uji UMP tidak ada. Di bawah anggapan Teorema 3.2, untuk menguji hipotesis H : θ = θ 0 melawan A : θ > θ 0 dan H : θ = θ 0 melawan A : θ θ 0 uji UMP tidak ada. Karena uji yang diberikan pada (3.2. dan (3.2.2 merupakan uji UMP untuk θ > θ 0 tetapi lebih buruk dari uji trivial φ(z = α untuk θ < θ 0. Dengan cara yang sama uji yang diberikan oleh (3.2. dan (3.2.2 dengan tanda ketidak-samaan dibalik merupakan uji UMP untuk θ < θ 0 tetapi lebih buruk dari uji trivial φ(z = α untuk θ > θ 0. Jadi, tidak ada uji tunggal yang merupakan uji UMP untuk semua θ θ 0. Untuk itu perlu diatasi pada kelas uji yang lebih kecil. Definisi 3.6 Misalkan X, X 2,..., X n variabel random saling bebas dan berdistribusi identik dengan fungsi kepadatan probabilitas f(x; θ, θ Ω dan ω Ω R r. Untuk pengujian H : θ ω melawan alternatif A : θ ω c pada tingkat α, suatu uji yang didasarkan pada X, X 2,..., X n dikatakan tak bias jika untuk semua θ ω dan Eθ[φ(X, X 2,..., X n ] α Eθ[φ(X, X 2,..., X n ] α untuk semua θ ω c. Suatu uji tak bias bila probabilitas kesalahan tipe I paling banyak α dan kuasa dari uji paling sedikit α. Definisi 3.7 Suatu uji dikatakan uji UMPU (uniformly most powerfull unbiased jika uji tersebut UMP dalam kelas semua uji yang tidak bias. Catatan : Uji UMP selalu UMPU. Uji UMP tak bias karena UMP paling sedikit mempunyai kuasa yang sama dengan α. Uji UMP merupakan uji UMPU karena uji UMP merupakan UMP dalam kelas yang meliputi kelas uji tak bias. 70

73 Teorema 3.4 Misalkan X, X 2,..., X n variabel random saling bebas dan fungsi kepadatan probabilitasnya dinyatakan dengan dengan θ Ω R. Misalkan f(x; θ = C(θ exp[q(θt (x]h(x ω = {θ Ω; θ θ θ 2 } dengan θ 0, θ, θ 2 Ω dan ω = {θ 0 } dengan θ < θ 2. Untuk menguji hipotesis H : θ ω melawan alternatif A : θ ω c dan hipotesis H : θ ω melawan alternatif A : θ ω c pada level α terdapat uji UMP yang diberikan oleh φ(z = jika V (z < c atauv (z > c 2 γ i jika V (z = c i (i =, 2 dan c < c 2 0 yang lain dengan c, c 2 dan γ, γ 2 ditentukan dengan E θ [φ(z] = α dan E θ2 [φ(z] = α untuk H dan E θ0 [φ(z] = α dan E θ0 [V (zφ(z] = αe θ0 [V (z] untuk H. Dapat ditunjukkan bahwa β φ (θ = E θ [φ(z] dengan θ ω turun θ θ 0 dan naik untuk θ θ 0 untuk suatu θ < θ 0 < θ 2. Contoh 3.9 Misalkan X, X 2,..., X n variabel random saling bebas dari N(µ, σ dengan σ 2 diketahui dan θ = µ. Akan diuji hipotesis H : θ = θ 0 melawan A : θ θ 0. Fungsi kepadatan probabilitas N(θ, σ 2 adalah [ f(x; θ = exp (x ] θ2 2πσ 2 2σ 2 untuk x R. Fungsi probabilitas tersebut dapat dinyatakan sebagai [ f(x; θ = exp (x2 2xθ + θ 2 ] 2πσ 2 2σ 2 atau ( f(x; θ = exp θ2 exp 2σ 2 ( θ σ x [ exp 2 2πσ 2 x2 2σ 2 ] sehingga Q(θ = θ dan V (z = n σ 2 X i = n X. Oleh karena itu uji UMPU σ 2 adalah { jika n X < c φ(z = σ 2 atau n X > c σ yang lain 7

74 dengan c dan c 2 ditentukan sehingga E θ0 [φ(z]α dan E θ0 [V (zφ(z] = αe θ0 [V (z]. Uji tersebut akan ekuivalen dengan uji { jika n( X θ0 < c φ(z = σ atau n( X θ 0 > c σ yang lain dengan c = σc n nθ 0 dan c σ = σc 2 n nθ 0. σ Pada sisi lain, di bawah H, berlaku sifat n( X θ 0 N(0,. Karena σ N(0, simetri maka c = c 2 = c (yaitu c > 0 sehingga menjadi n( X θ0 σ < c atau n( X θ0 yang ekuivalen dengan σ > c ( n( X θ 0 σ 2 χ 2 di bawah H benar. Akibatnya uji UMPU menjadi { ( n( 2 X θ jika 0 φ(z = σ > c 0 yang lain dengan c ditentukan sehingga P (χ 2 > c = α. 72

75 3.5 Pengujian Parameter dari Distribusi Normal Dalam pasal ini, X, X 2,..., X n merupakan variabel random saling bebas dari distribusi n(µ, σ 2 dengan µ dan σ 2 tidak diketahui. parameter yang menjadi perhatian adalah parameter sedangkan yang lain sebagai parameter pengganggu (nuisance parameter Uji Tentang Variansi Proposisi 3.2 Untuk menguji hipotesis H : σ σ 0 melawan A : σ > σ 0 digunakan uji UMP { jika n φ(z = (X i X 2 > c 0 yang lain ( dengan c ditentukan oleh P χ 2 n > c = α. Bila hipotesisnya adalah σ 2 H : σ σ 0 melawan A : σ σ 0 maka digunakan uji { jika n φ(z = (X i X 2 < c 0 yang lain ( dengan c ditentukan oleh P χ 2 n < c = α. σ 2 P n (X i X 2 berdis- Kuasa uji dapat ditentukan dengan kenyataan bahwa σ 2 tribusi chi-kuadrat dengan derajat bebas n bila σ diberikan. Contoh 3.0 Misalkan X, X 2,..., X 25 merupakan variabel random saling bebas dari distribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Untuk menguji hipotesis H : σ 3 melawan A : σ > 3 digunakan uji UMP { jika n φ(z = (X i X 2 > c 0 yang lain dengan c ditentukan oleh P (χ 2 24 > c/9 = 0, 05. Berdasarkan Tabel distribusi chi-kuadrat dengan derajat bebas 24 diperoleh c/9 = 36, 45 atau c = 327, 735. Kuasa uji pada σ = 5 adalah P (χ 2 24 > 327, 735/25 = P (χ 2 24 > 3, 094 = 0,

76 Bila hipotesisnya adalah H : σ 3 melawan A : σ < 3 maka digunakan uji { jika n φ(z = (X i X 2 < c 0 yang lain dengan c ditentukan sehingga P (χ 2 24 < c/9 = 0, 05. Berdasarkan Tabel distribusi chi-kuadrat dengan derajat bebas 24 diperoleh c/9 = 3, 848 atau c = 24, 632. Kuasa uji pada σ = 2 adalah P (χ 2 24 < 24, 632/4 = P (χ 2 24 < 3, 58 = 0, Proposisi 3.3 Untuk menguji hipotesis H : σ σ atau σ σ 2 melawan A : σ < σ < σ 2 digunakan uji UMPU { jika c < n φ(z = (X i X 2 < c 2 0 yang lain dengan c dan c 2 ditentukan oleh P ( c σ 2 < χ 2 n < c 2 = α σ 2 dan P ( c σ 2 2 < χ 2 n < c 2 = α. σ2 2 Bila digunakan untuk menguji hipotesis H : σ σ σ 2 melawan A : σ < σ atau σ > σ 2 digunakan uji UMPU { jika n φ(z = (X i X 2 < c atau 0 yang lain n (X i X 2 > c 2 dan P ( c σ 2 P ( c σ 2 2 < χ 2 n < c 2 = α σ 2 < χ 2 n < c 2 = α. σ2 2 74

77 Contoh 3. Misalkan X, X 2,..., X 25 merupakan variabel random saling bebas dari distribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Untuk menguji hipotesis H : σ 2 atau σ 3 melawan A : 2 < σ < 3 digunakan uji UMPU { jika < c < n φ(z = (X i X 2 < c 2 0 yang lain dengan c dan c 2 ditentukan berdasarkan metode trial and error oleh dan P ( c 4 < χ2 n < c 2 4 = P (χ2 n > c 4 P (χ2 n > c 2 = 0, 05 4 P ( c 9 < χ2 n < c 2 9 = P (χ2 n > c 9 P (χ2 n > c 2 = 0, Proposisi 3.4 Untuk menguji hipotesis H : σ = σ 0 melawan A : σ σ 0 digunakan uji UMPU { jika < n φ(z = (X i X 2 < c atau n (X i X 2 > c 2 0 yang lain dengan c dan c 2 ditentukan oleh c 2 /σ0 2 c g(tdt dengan g adalah fungsi kepadatan probabilitas dari χ 2 n. /σ0 2 Uji dengan menggunakan luas ekor sama yang biasa digunakan bukanlah merupakan uji UMPU tetapi merupakan pendekatan dari uji UMPU untuk n Uji Tentang mean Proposisi berikut ini banyak digunakan dalam menentukan uji mean pada suatu populasi. Proposisi 3.5 Untuk menguji hipotesis H : µ µ 0 melawan A : µ > µ 0 digunakan uji UMPU { jika t(z > c φ(z = 0 yang lain 75

78 dengan c ditentukan oleh P (t n > c = α dan n( X µ0 t(z = m (X i X. 2 n Untuk menguji hipotesis H : µ µ 0 melawan A : µ < µ 0 digunakan uji UMPU { jika t(z < c φ(z = 0 yang lain dengan c ditentukan oleh P (t n < c = α. Contoh 3.2 Misalkan X, X 2,..., X 25 merupakan variabel random saling bebas dari distribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Untuk menguji hipotesis H : µ µ 0 melawan A : µ > µ 0 dengan α = 0, 05 digunakan uji UMPU { jika t(z >, 709 φ(z = 0 yang lain dan untuk menguji hipotesis H : µ µ 0 melawan A : µ < µ 0 dengan α = 0, 05 digunakan UMPU { jika t(z <, 709 φ(z = 0 yang lain. Proposisi 3.6 Untuk menguji hipotesis H : µ = µ 0 melawan A : µ µ 0 digunakan uji UMPU { jika t(z < c atau t(z > c (dengan c > 0 φ(z = 0 yang lain dengan c ditentukan oleh P (t n > c = α/2. Proposisi 3.7 Misalkan X, X 2,..., X 25 merupakan variabel random saling bebas dari distribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Untuk menguji hipotesis H : µ = µ 0 melawan A : µ µ 0 dengan α = 0, 05 digunakan uji UMPU { jika t(z < 2, 0639 atau t(z > 2, 0639(dengan c > 0 φ(z = 0 yang lain. Untuk menentukan kuasa uji dari uji tersebut digunakan uji t non central. 76

79 3.6 Perbandingan Parameter Dua Distribusi Normal Diketahui X,..., X m variabel random saling bebas dari distribusi N(µ, σ 2 dan Y,..., Y n variabel random saling bebas dari distribusi N(µ 2, σ2 2. Dianggap dua sampel tersebut saling bebas dan semua parameter tidak diketahui. Misalkan µ = µ µ 2 dan τ = σ2/σ Akan diuji hipotesis tentang µ dan τ. Bila salah satu parameter yang diamati merupakan parameter sedangkan yang lain sebagai parameter pengganggu. Misalkan Z = (X,..., X m t dan W = (Y,..., Y n t, z = (x,..., x m t dan w = (y,..., y n t Perbandingan Variansi Dua Densitas Normal Proposisi berikut ini digunakan untuk pengujian perbandingan variansi antara dua populasi. Proposisi 3.8 Untuk menguji H : τ τ 0 melawan A : τ > τ 0 digunakan uji UMPU { P n jika (Y i Ȳ P 2 m φ(z = (X i X > c 2 0 yang lain dengan c ditentukan sehingga P (F n,m > c 0 = α dan c 0 = (m c (n τ 0. Sedangkan untuk menguji, H : τ τ 0 melawan A : τ < τ 0 digunakan uji UMPU φ(z = { jika 0 yang lain P n (Y i Ȳ 2 P m (X i X 2 dengan c ditentukan sehingga P (F n,m > c 0 = α. Kuasa ujinya dapat ditentukan dengan kenyataan bahwa n σ 2 (Y i Ȳ 2 /(n m σ2 2 (X i X 2 /(m = τ m n < c n (Y i Ȳ 2 m (X i X 2 berdistribusi F dengan derajat bebas n dan m bila τ diberikan. Contoh 3.3 Diketahui X,..., X 2 variabel random saling bebas dari distribusi N(µ, σ 2 77

80 dan Y,..., Y 25 variabel random saling bebas dari distribusi N(µ 2, σ2. 2 Dianggap dua sampel tersebut saling bebas dan semua parameter tidak diketahui. Untuk menguji H : τ 2 melawan A : τ > 2 dengan α = 0, 05 digunakan uji UMPU φ(z = { jika 0 yang lain P n (Y i Ȳ 2 P m (X i X 2 > c dengan c ditentukan sehingga P (F 20,24 > c 0 = 0, 05 dan c 0 = (2 c (24 2 = 5c/2. Berdasarkan tabel distribusi F 20,24 diperoleh c 0 = 2, 0267 dan akibatnya c = 4, 864. Untuk menguji H : τ 2 melawan A : τ < 2 dengan α = 0, 05 digunakan uji UMPU φ(z = { jika 0 yang lain P n (Y i Ȳ 2 P m (X i X 2 < c dengan c ditentukan sehingga P (F 20,24 < c 0 = 0, 05 dan c 0 = (2 c (24 2 = 5c/2 atau P (F 20,24 < (5c/2 = P (F 24,20 > 2/(5c = 0, 05. Misalkan V (z, w = τ 0 n (Y i Ȳ 2 m (X i X 2 + τ 0 n (Y i Ȳ 2. Proposisi 3.9 Untuk menguji H : τ = τ 0 melawan A : τ τ 0 digunakan uji UMPU { jika V (z, w < c φ(z, w = 0 yang lain atau V (z, w > c 2 dengan c dan c 2 ditentukan sehingga P (c < Beta((m /2, (n /2 < c 2 = P (c < Beta((m /2, (n /2 < c 2. 78

81 3.6.2 Perbandingan Mean Dua Densitas Normal Misalkan dan dianggap σ 2 = σ2 = σ2. Proposisi 3.0 Ȳ t(z, w = X m (X i X 2 + n j= (Y j Ȳ 2 Untuk menguji H : µ 0 melawan A : µ > 0 digunakan uji UMPU { jika t(z, w > c φ(z, w = 0 yang lain dengan c ditentukan oleh P (t m+n 2 > c 0 = α dengan c 0 = c m+n 2. Untuk m + n menguji H : µ 0 melawan A : µ < 0 digunakan uji UMPU { jika t(z, w < c φ(z, w = 0 yang lain dengan c ditentukan oleh P (t m+n 2 < c 0 = α dengan c 0 = c m+n 2. m + n Contoh 3.4 Diketahui X,..., X 5 variabel random saling bebas dari distribusi N(µ, σ 2 dan Y,..., X 0 variabel random saling bebas dari distribusi N(µ 2, σ2 2. Dianggap dua sampel tersebut saling bebas dan semua parameter tidak diketahui. Untuk menguji H : µ 0 melawan A : µ > 0 dengan α = 0, 05 digunakan uji UMPU { jika t(z, w > c φ(z, w = 0 yang lain dengan c ditentukan oleh P (t > c 0 = 0, 05 dan c 0 = c atau c 0 = c atau c 0 = c 23(6. Berdasarkan tabel distribusi t diperoleh 50 c 23(6 =, 739 atau c = 0, 459. Sedangkan, untuk menguji H : µ 0 melawan A : µ < 0 dengan α = 0, 05 digunakan uji UMPU { jika t(z, w < c φ(z, w = 0 yang lain 79

82 dengan c ditentukan oleh P (t < c 0 = 0, 05 dan c 0 = c atau c 0 = c atau c 0 = c 23(6. Berdasarkan tabel distribusi t diperoleh 50 c 23(6 =, 739 atau c = 0, 459. Proposisi 3. Untuk menguji H : µ = 0 melawan A : µ 0 digunakan uji UMPU { jika t(z, w < c atau t(z, w > c(denganc > 0 φ(z, w = 0 yang lain dengan c ditentukan oleh P (t m+n 2 > c 0 = α/2. Contoh 3.5 Diketahui X,..., X 5 variabel random saling bebas dari distribusi N(µ, σ 2 dan Y,..., X 0 variabel random saling bebas dari distribusi N(µ 2, σ2. 2 Dianggap dua sampel tersebut saling bebas dan semua parameter tidak diketahui. Untuk menguji H : µ = 0 melawan A : µ 0 dengan α = 0, 05 digunakan uji UMPU { jika t(z, w < c φ(z, w = 0 yang lain atau t(z, w > c dengan c ditentukan oleh P (t > c 0 = 0, 025 dan c 0 = c atau c 0 = c atau c 0 = c 23(6. Berdasarkan tabel distribusi t diperoleh c 23(6 = 2, 0687 atau c = 0, 762. Kuasa ujinya dapat ditentukan 50 berdasarkan distribusi t non central. 3.7 Uji Likelihood Ratio Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R r dan ω Ω. Misalkan dengan θ ω dan L(ω = f(x ; θf(x 2 ; θ... f(x n ; θ L(ω c = f(x ; θf(x 2 ; θ... f(x n ; θ 80

83 dengan θ ω c. Bila ω dan ω c terdiri dari satu titik maka L(ω dan L(ω c dapat ditentukan dan untuk menguji H : θ ω melawan A : θ ω c, uji MP menolak bila nisbah kemungkinannya (likelihood ratio-lr L(ω/L(ω c lebih besar. Akan tetapi bila ω dan ω c mengandung lebih dari satu titik maka L(ω dan L(ω c tidak dapat ditentukan oleh H dan A dan metodee pada pasal-pasal terdahulu tidak dapat digunakan. Misalkan dan L(ˆω = max{l(θ θ ω}, L(ˆω c = max{l(θ θ ω c } L(ˆΩ = max{l(θ θ Ω}. Hipotesis H ditolak jika L(ˆω/L(ˆΩ terlalu kecil yaitu lebih kecil dari atau sama dengan c dan c ditentukan dari ukuran ujinya. Lemma Fundamental Neyman-Pearson merupakan kejadian khusus dari uji LR. Jika kuantitas L(ˆω dan L(ˆΩ hampir sama nilainya maka data cenderung mendukung hipotesis bahwa yang sebenarnya terletak dalam ω yang dinyatakan dalam H. Jika tidak demikian data cenderung mendiskreditkan H. Notasi yang digunakan adalah λ = L(ˆω L(ˆΩ. Di bawah H benar, statistik ln λ mempunyai distribusi asmptotik yang diketahui. Hipotesis H ditolak jika 2 ln λ > c dengan c ditentukan berdasarkan pada α. Teorema 3.5 Misalkan X,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω dengan Ω R r dan ω Ω berdimensi m. Nilainilai positif dari fungsi kepadatan probabilitas tidak bergantung pada θ. Di bawah syarat-syarat -6 pada pasal 2.2, distribusi asimptotik dari 2 ln λ adalah χ 2 r m asalkan θ ω yaitu jika n berlaku sifat P ( 2 ln λ x G(x dengan x 0 untuk semua θ ω dan G adalah fungsi distribusi dari χ 2 r m. 8

84 Contoh 3.6 Diketahui X,..., X n variabel random saling bebas dari distribusi N(µ, σ 2. Kasus (σ diketahui Akan diuji hipotesis H : µ ω = {µ 0 } dengan Ω = R. dari µ adalah ˆµ Ω = X maka [ L(ˆΩ = exp 2σ 2 (X i X ] 2 Karena MLE dan [ L(ˆΩ = exp 2σ 2 (X i µ 0 ]. 2 Dalam hal ini lebih mudah ditentukan distribusi dari 2 ln λ dari pada λ. Diperoleh 2 ln λ = n σ 2 ( X µ 0 2 sehingga uji LR ekuivalen dengan { jika n ( φ(z = X µ σ > c 0 yang lain dengan c ditentukan sehingga P (χ 2 > c = α. Kasus 2 (σ tidak diketahui Akan diuji hipotesis H : µ ω = {µ 0 } dengan Ω = R. Karena ˆσ 2 Ω = (X i X 2 dan maka L(ˆΩ = ˆσ 2 ω = (X i µ 0 2 [ (2πˆσΩ exp n (2πˆσΩ n (X i X ] 2 = (2πˆσΩ n e n/2 82

85 dan L(ˆω = [ (2πˆσω exp n (2πˆσω n ] (X i µ 0 2 = (2πˆσω n e n/2 sehingga atau Karena (X i µ 0 2 = = = = λ 2/n = λ = ( ˆσΩ ˆσ ω n n (X i X 2 n (X i µ 0 2. ( (X i X + ( X 2 µ 0 ((X i X 2 + 2(X i X( X µ 0 + ( X µ 0 2 ( (X i X 2 + 2( X µ 0 (X i X 2 + n( X µ 0 2 (X i X + ( X µ 0 2 maka λ = = [ n (X i µ 0 2 n (X i X 2 ] [ n (X i X 2 + n( X µ 0 2 n (X i X 2 ] dengan = = = [ + n( X µ 0 2 n (X i X 2 ] [ + n [ + t2 n t = t(z = n ] n n( X µ 0 2 ] n (X i X 2 n( X µ0 n (X i X. 2 83

86 Hal itu berarti, jika λ < λ 0 ekuivalen dengan t 2 > c untuk c konstanta tertentu. Uji LR ekuivalen dengan { jika t < c φ(z = 0 yang lain dan t > c dengan c ditentukan sehingga P (t n > cα/2. Contoh 3.7 Diketahui X,..., X m variabel random saling bebas dari distribusi N(µ, σ 2 dan Y,..., Y n variabel random saling bebas dari distribusi N(µ 2, σ2 2. Dianggap dua sampel tersebut saling bebas. Misalkan bahwa sampel X dan sampel Y saling bebas dan diinginkan untuk menguji hipotesis berikut. Dalam hal ini fungsi kepadatan probabilitas bersama X dan Y adalah ( m+n [ exp m (X 2π σ m σ2 n 2σ 2 i µ 2 (Y 2σ2 2 j µ 2 ]. 2 j= Kasus Dianggap bahwa σ = σ 2 = σ tetapi σ tidak diketahui dan ingin diuji hipotesis H : µ = µ 2 (= µ dengan µ tidak diketahui. Di bawah Ω = {θ = (µ, µ 2, σ t µ, µ 2 R, σ > 0} maka MLE dari parameter adalah ˆµ,Ω = X, ˆµ 2,Ω = Ȳ, ˆσ2 Ω = ( m (X i m + n X 2 + (Y j. Ȳ 2 Oleh karena itu ( m+ne L(ˆΩ = (m+n/2. 2πˆσΩ Di bawah ω = {θ = (µ, µ 2, σ t µ, µ 2 R, σ > 0} maka MLE dari parameter adalah ˆµ ω = ( m X i + Y j = m X + nȳ m + n m + n. Misalkan diset v k = x k, k =, 2,..., m dan v m+k = y k, k =, 2,..., n. Akibatnya k= j= V = m+n V k = ( m X i + m + n m + n 84 j= Y j = ˆµ ω. j=

87 Hal itu berarti ˆσ ω 2 = = Oleh karena itu m+n (V k m + n V 2 k= [ m (X i ˆµ ω 2 + m + n m (Y j ˆµ ω ]. 2 j= ( m+ne L(ˆω = (m+n/2. 2πˆσω Akibatnya dan Pada sisi lain (X i ˆµ ω 2 = = = = = = = λ = ( ˆσΩ ˆσ ω m+n λ 2/(m+n = ˆσ 2 Ω. ˆσ 2 ω ( (X i X + ( X 2 ˆµ ω ((X i X 2 + 2(X i X( X µ ω + ( X ˆµ ω 2 (X i X 2 + 2( X µ ω (X i X 2 + m( X µ ω 2 (X i X + (X i X 2 + m ( m X X + nȳ m + n (X i X 2 + m ( n X nȳ 2 m + n (X i X 2 + mn2 (m + n ( X Ȳ 2 2. Dengan cara yang sama diperoleh m (Y j ˆµ ω 2 = (Y j Ȳ 2 + m2 n (m + n ( X Ȳ 2 2. j= j= 85 2 ( X ˆµ ω 2

88 Akibatnya (m + nˆσ 2 ω = = + Di samping itu berlaku sifat dengan t = m+n 2 [ m (X i µ ω 2 + j= ] (Y j µ ω 2 j= (X i X 2 + mn2 (m + n 2 ( X Ȳ 2 (Y j Ȳ 2 + m2 n (m + n 2 ( X Ȳ 2 = (m + nˆσ 2 ω + mn m + n ( X Ȳ 2. λ 2/(m+n = [ t ] + m + n 2 mn m+n ( X Ȳ [ m (X i X 2 + n j= (Y j Ȳ 2 ]. Oleh karena itu, uji LR menolak H bila λ < λ 0 maka akan ekuivalen dengan uji { jika t < c dan t > c (c > 0 φ(z, w = 0 yang lain dengan c ditentukan oleh P (t m+n 2 > c = α/2 dan z = (x, x 2,..., x m t dan w = (y, y 2,..., y n t (karena di bawah H, t berdistribusi t m+n 2. Kasus 2 Akan diuji hipotesis H : σ = σ 2 (= σ tidak diketahui. Di bawah Ω = {θ = (µ, µ 2, σ, σ 2 t µ, µ 2 R, σ, σ 2 > 0} diperoleh ˆµ,Ω = X, ˆµ 2,Ω = Ȳ, ˆσ2,Ω = (X i m X 2, ˆσ 2,Ω 2 = (Y j n Ȳ 2. Di bawah ω = {θ = (µ, µ 2, σ, σ 2 t µ, µ 2 R, σ = σ 2 (> 0} diperoleh ˆµ,ω = ˆµ,Ω, ˆµ 2,ω = ˆµ 2,Ω j= dan σω 2 = ( m (X i m + n X 2 + m (Y j. Ȳ 2 j= 86

89 Oleh karena itu dan sehingga dengan L(ˆΩ = L(ˆω = ( m+n 2π (ˆσ,Ω 2 m/2 (ˆσ 2,Ω 2 e (m+n/2 n/2 λ = ˆσ2,Ω m/2ˆσ 2 2,Ω n/2 ˆσ 2 ω (m+n/2 = = = ( m+n 2π (ˆσ ω 2 e (m+n/2 (m+n/2 (m + n (m+n/2 ( Pn (X i X 2 P n j= (Y j Ȳ 2 m/2 m m/2 n n/2 ( P n (X i X 2 + P n (m + n (m+n/2 ( m n m m/2 n n/2 ( + m n (m + n(m+n/2 m m/2 n n/2 f = m n j= (Y (m+n/2 j Ȳ P 2 n j= (Y j Ȳ 2 P n m (X i X 2 m/2 P n n j= (Y j Ȳ 2 P n m (X i X 2 m/2 P n n j= (Y j Ȳ 2 ( m/2 m f n ( (m+n/2 + m f n m (X i X 2 n j= (Y j Ȳ. 2 Uji LR menolak H bila λ < λ 0 akan ekuivalen dengan uji F yang menolak H jika g(f < c untuk c tertentu dan ( m/2 m f n g(f = ( (m+2/2. + m f n Nilai maksimum g(f dicapai bila f = m(n. Dalam hal ini g(θ dan n(m g(f 0 untuk f. Oleh karena itu g(f < c jika dan hanya jika f < c atau f > c 2 untuk c dan c 2 tertentu. Karena F berdistribusi F m,n di bawah H maka c dan c 2 ditentukan sehingga P (F m,n < c atau F m,n > c 2 = α 87

90 dan g(c = g(c 2. Secara praktis c dan c 2 ditentukan sehingga masingmasing ekor dari distribusi F m,n mempunyai probabilitas α/2 yaitu P (F m,n < c = P (F m,n > c 2 = α/2. 88

91 Brief History of Bayes Thomas Bayes ( Clergyman and mathematician. MacTutor References SC, LP. Bayes attended the University of Edinburgh to prepare for the ministry but he studied mathematics at the same time. In 742 Bayes became a fellow of the Royal Society: the certificate of election read We propose and recommend him as a Gentleman of known Merit, well Skilled in Geometry and all parts of Mathematical and Philosophical Learning and every way qualified to be a valuable Member of the Same. Bayes wrote only one paper on probability, the posthumously published An Essay towards solving a Problem in the Doctrine of Chances (763. (For statement of the problem, see Bayes. The paper was submitted to the Royal Society by Richard Price who added a post-script of his own in which he discussed a version of the rule of succession. In the paper Bayes refers only to de Moivre and there has been much speculation as to where the problem came from. Bayesian methods were widely used in the C9, through the influence of Laplace and Gauss, although both had second thoughts. Their Bayesian arguments continued to be taught until they came under heavy attack in the C20 from Fisher and Neyman. In the 930s and 40s Jeffreys was an isolated figure in trying to develop Bayesian methods. From the 50s onwards the situation changed when Savage and others made Bayesianism intellectually respectable and recent computational advances have made Bayesian methods technically feasible. From the early C20 there has been a revival of interest in Bayes himself and he has been much more discussed than ever before. See Bellhouse biography, Sheynin ch. 5 Life & Work and Todhunter ch.xiv (pp See Stigler (986: Chapter 3, Inverse Probability and Hald (998: Chapter 8, Bayes, Price and the Essay, There is a major new biography, A. I. Dale Most Honorable Remembrance: The Life and Work of Thomas Bayes. 89

92 Brief History of Gosset Student = William Sealy Gosset ( Chemist, brewer and statistician. MacTutor References. Wikipedia SC, LP. Gosset was an Oxford-educated chemist whose working life was spent, not in a university, but working for Guinness, the Dublin brewer. Gossets career as a publishing statistician b egan after he studied for a year with Karl Pearson. In his first published paper Student (as he called himself rediscovered the Poisson distribution. In 908 he published two papers on small sample distributions, one on the normal mean (see Student s t distribution and Studentization and one on normal correlation (see Fishers z-transformation. Although Gossets fame rests on the normal mean work, he wrote on other topics, e.g. he proposed the variate difference method to deal with spurious correlation. His work for Guinness and the farms that supplied it led to work on agricultural experiments. When his friend Fisher made randomization central to the design of experiments Gosset disagreedsee his review of Fishers Statistical Methods. Gosset was not very interested in Pearsons biometry and the biometricians were not very interested in what he did; the normal mean problem belonged to the theory of errors and was more closely related to Gauss and to Helmert than to Pearson. Gosset was a marginal figure until Fisher built on his small-sample work and transformed him into a major figure in C20 statistics. E. S. Pearson was another great admirer. For a sample of Gossets humour see the entry kurtosis. See Life & Work 90

93 Chapter 4 Daerah Kepercayaan 4. Interval Kepercayaan Misalkan X, X 2,..., X n variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R r. Definisi 4. Interval random adalah interval berhingga atau tak berhingga dengan paling sedikit titik ujungnya meruapakan variabel random. Definisi 4.2 Misalkan L(X, X 2,..., X n dan U(X, X 2,..., X n dua statistik sehingga L(X, X 2,..., X n U(X, X 2,..., X n. Interval random [L(X, X 2,..., X n, U(X, X 2,..., X n ] adalah interval kepercayaan untuk θ dengan koefisien konfidensi α(0 < α < jika P (L(X, X 2,..., X n θ U(X, X 2,..., X n α untuk semua θ Ω. U(X, X 2,..., X n dinamakan batas kepercayaan atas sedangkan L(X, X 2,..., X n dinamakan batas kepercayaan bawah untuk θ jika untuk semua θ Ω berlaku sifat P ( < θ U(X, X 2,..., X n α dan P (L(X, X 2,..., X n θ < α 9

94 dengan koefisien kepercayaan α. Interval random [L(X, X 2,..., X n, U(X, X 2,..., X n ] adalah interval kepercayaan untuk θ dengan koefisien kepercayaan α jika probabilitas bahwa paling sedikit α interval random [L(X, X 2,..., X n, U(X, X 2,..., X n ] mengandung parameter θ dengan θ Ω. Interpretasi dari pernyataan tersebut adalah : misalkan eksperimen random dilakukan n kali dan jika x i adalah nilai pengamatan X i, i =, 2,..., n. Bila dikonstruksikan interval [L(X, X 2,..., X n, U(X, X 2,..., X n ] dan proses tersebut diulang secara independen N kali sehingga diperoleh N interval. Bila N membesar maka paling sedikit ( αn dari N interval akan mengandung parameter θ yang sebenarnya. Panjang interval kepercayaan adalah l = l(x, X 2,..., X n = U(X, X 2,..., X n L(X, X 2,..., X n dan harapan panjangnya adalah E θ [l] jika harapannya ada. Dimungkinkan terdapat lebih dari satu interval kepercayaan untuk θ dengan koefisien konfidensi α. Untuk itu diinginkan untuk mencari interval kepercayaan yang mempunyai panjang minimum diantara kelas interval kepercayaan. Prosedur umum untuk mengkontruksikan interval kepercayaan adalah sebagai berikut : dimulai dari variabel random T n (θ = T (X, X 2,..., X n ; θ yang tergantung pada X hanya melalui statistik cukup θ yang distribusinya dapat ditentukan dengan pasti L n (X, X 2,..., X n dan U(X, X 2,..., X n fungsi yang sederhana dari T n (θ yang dipilih dengan alasan yang jelas. Contoh 4. Misalkan X,..., X n variabel random saling bebas dari distribusi N(µ, σ 2. Kasus Jika σ diketahui dan µ parameter Misalkan didefinisikan statistik T n (µ = n( X µ. σ 92

95 Statistik T n (µ tergantung pada X, X 2,..., X n hanya melalui statistik cukup dari µ yaitu X dan mempunyai distribusi N(0, untuk semua µ. Akan ditentukan a dan b sehingga P (a N(0, b = α n( X µ P (a b = α σ P ( X b σ µ X + b σ = α. (4.. n n Oleh karena itu [ X b σ n, X + b σ n ] adalah interval kepercayaan untuk µ dengan koefisien kepercayaan α. Panjang interval tersebut adalah l = (b aσ n. Interval kepercayaan yang memenuhi (4.. dengan panjang interval terpendek sehingga b dan a memenuhi (4... Dapat ditunjukkan bahwa l terpendek bila b = c(c > 0 dan a = c dengan c adalah kuantil atas dari distribusi N(0, yang dinotasikan dengan Z α/2. Oleh karena itu interval kepercayaan terpendek untuk θ dengan koefisien konfidensi α adalah [ X Zα/2 σ n, X + Z α/2 σ n ]. Kasus 2 Jika µ diketahui dan σ parameter Misalkan T n (σ 2 = ns2 n σ 2 dengan S 2 n = n n (X i µ 2. Berarti T n tergantung pada σ 2 hanya melalui statistik cukup S 2 n dari σ2 dan distribusi χ 2 n untuk semua σ2. Akan ditentukan a dan b dengan a < b sehingga P ( ns2 n b P (a χ 2 n b = α P (a ns2 n σ 2 b = α σ 2 ns2 n a = α 93

96 sehingga ( ns2 n, ns2 n adalah interval kepercayaan untuk b a σ2 dengan koefisien kepercayaan α yang panjangnya adalah l = ( a nsn 2 b. Harapan panjang intervalnya adalah [( E[l] = E a ] [( nsn 2 = E b a ns 2 ] n b σ 2 σ2 = ( a nσ 2. (4..2 b Meskipun terdapat tidak berhingga banyak pasangan a dan b yang memenuhi (4..2, tetapi secara praktis biasanya dipilih a dan b sehingga luas ekornya adalah α/2. Akan tetapi hal ini bukanlah pilihan yang terbaik karena interval yang terbentuk bukanlah interval yang( terpendek. sebagai fungsi dari a. Karena l = a b akan memenuhi dl da = 0 atau dl da = a 2 + b 2 db da = 0 Misalkan b = b(a yaitu b nsn 2 maka a penyebab l terpendek yaitu db = b2. Bila G da a 2 n dan g n masing-masing adalah fungsi distribusi dan fungsi kepadatan probabilitas dari χ 2 n maka G n (b G n (a = α sehingga atau atau Hal itu berarti db da dg n (b da dg n(a da dg n (b db = d ( α da db da g n(a = 0 g n (b db da g n(a = 0. = gn(a g n(b. Akibatnya a2 g n (a = b 2 g n (b sehingga a dan b ditentukan sehingga a 2 g n (a = b 2 g n (b. dan b a g n(tdt = α. Sebagai contoh, untuk n = 25, σ = dan α = 0, 95 sehingga Z α/2 =, 96. Hal itu berarti interval kepercayaan 95% untuk µ adalah [ X 0, 392, X + 0, 392]. Bila digunakan ekor yang sama diperoleh a = 3, 20 dan b = 40, 646 maka interval kepercayaan 95% untuk σ 2 adalah [ 25S , 646, 25S25 2 ]. 3, 20 94

97 Pada sisi lain, interval kepercayaan % terpendek untuk σ 2 adalah [ 25S , 705, 25S25 2 ]. 4, 2636 dengan rasio panjang antara kedua interval tersebut medekati,068. Contoh 4.2 Misalkan X,..., X n variabel random saling bebas dari distribusi Gamma dengan parameter β dan α diketahui (misal α = r. Statistik n X i merupakan statistik cukup untuk β. Karena setiap j =, 2,..., n, variabel random 2X i /β berdistribusi χ 2 2r maka T n (β = 2 β X i berdistribusi chi-kuadrat dengan derajat bebas 2rn untuk semua β > 0. Akan ditentukan a dan b dengan a < b sehingga P (a χ 2 2m b = α. Diperoleh P ( 2 n X i b P (a 2 β X i b = α β 2 n X i a = α Oleh karena itu interval konfidensi dengan koefisien konfidensi α adalah [ 2 n X i, 2 n b a Panjang interval kepercayaannya adalah Dengan harapan E(l = β X i ( l = 2 a b ( [ n E a b 2X i β X i ] ] ( = 2βrn a b. Prosedur untuk menentukan interval kepercayaan dengan panjang terpendek analog pada Contoh 4., yaitu dipilih a dan b sehingga a 2 g 2rn (a = b 2 g 2rn (b dan b a g 2rn (tdt = α. 95

98 Untuk n = 7, r = 2 dan α = 0, 95 diperoleh a = 6, 528 dan b = 49, 3675 dan interval kepercayaan dengan panjang terpendek adalah [ 2 n X i 49, 3675, 2 n X ] i 6, 528 sedangkan interval kepercayaan dengan luas ekor sama adalah [ 2 n X i 44, 46, 2 n X ] i 5, 308 dengan rasio panjang antara dua interval tersebut mendekati, 075. Contoh 4.3 Misalkan X,..., X n variabel random saling bebas dari distribusi Beta dengan parameter β = dan α = θ tidak diketahui. Karena n X i atau n ln X i merupakan statistik cukup untuk θ. Karena X i berdistribusi Beta dengan β = dan α = θ maka Y i = 2θ ln X i berdistribusi chi-kuadrat dengan derajat bebas 2 sehingga dengan mengingat X,..., X n saling bebas diperoleh T n (θ = 2θ ln X i berdistribusi chi-kuadrat dengan derajat bebas 2n. Akan ditentukan a dan b dengan a < b sehingga a P ( 2 n ln X θ i P (a χ 2 2n b = α P (a 2θ ln X i b = α b 2 n ln X = α. i Oleh karena itu interval kepercayaan α untuk θ adalah [ a 2 n ln X i Panjang intervalnya sama dengan l = maka diperoleh g 2n (a = g 2n (b dan b a, b ] 2 n ln X. i a+b 2 P dl n. Dengan menganggap = 0 ln X i da g 2n (tdt = α. 96

99 Contoh 4.4 Misalkan X,..., X n variabel random saling bebas dari distribusi U(0, θ. Statistik Y n = X (n adalah statistik cukup untuk θ dan mempunyai fungsi kepadatan probabilitas g n (y n = n θ n yn n untuk 0 y n θ. Misalkan T n (θ = Yn fungsi kepadatan probabilitas θ. Hal itu berarti T n mempunyai h n (t = nt n untuk 0 t. Akan ditentukan a dan b dengan sifat 0 a < b sehingga P (a b = b a nt n dt = b n a n = α. Diperoleh P (a Yn b = α atau P ( X (n θ X (n = α. Oleh θ b a karena itu interval kepercayaan α untuk θ adalah [ X(n dan panjang intervalnya adalah l = b, X ] (n a ( X a b (n. Akibatnya dl [ db = X (n da a 2 db + ]. b 2 Karena dl = bn maka dl = X db a n da (n an+ b n+. Karena dl < 0 untuk semua b b 2 a n+ da maka l turun dalam b dan nilai minimum dicapai bila a = α /n. Oleh karena itu interval kepercayaan dengan koefisien α dinyatakan dengan [ X (n, X ] (n. α /n Untuk n = 23 dan α = 0, 95 maka diperoleh [X (32,, 098X (32 ]. 97

100 4.2 Interval Kepercayaan Bila Muncul Parameter Nuisans Contoh-contoh berikut ini menjelaskan bagaimana menentukan interval kepercayaan bila muncul parameter nuisans. Contoh 4.5 Misalkan X, X 2,..., X n variabel random saling bebas dari distribusi N(µ, σ 2 dengan µ dan σ 2 tidak diketahui. Kasus Akan dikonstruksikan interval kepercayaan untuk µ. Misalkan T n (µ = n( X µ S n dengan S 2 n = n (X i µ 2. Statistik T n (µ tergantung pada X,..., X n hanya melalui statistik cukup ( X n, Sn 2 dari (µ, σ2 t. Karena berdistribusi t dengan derajat bebas n maka diperoleh interval kepercayaan berbentuk [ Xn b S n, X n a S n ]. n n Dengan alasan yang sama seperti pada Contoh 4. diperoleh interval kepercayaan dengan panjang terpendek yaitu [ S n Xn t n ;α/2, X S ] n n + t n ;α/2 n n dengan t n ;α adalah kuantil atas dari distribusi t dengan derajat bebas n. Untuk n = 25 dan α = 0, 96 interval kepercayaan yang bersesuaian dengan µ diambil dengan t 24;0,025 = 2, 0639 sehingga diperoleh [ Xn 0, 4278S 24, X n + 0, 4278S 24 ]. 98

101 Kasus 2 Akan dikonstruksikan interval kepercayaan untuk σ 2. Misalkan T n (σ 2 = (n S2 n σ 2. Karena T (σ 2 berdistribusi chi-kuadrat dengan derajat bebas n maka dengan menggunakan alasan seperti pada Contoh 4. diperoleh interval kepercayaan untuk σ 2 yaitu [ (n S 2 n, (n ] S2 n b a dan interval kepercayaan terpendek diambil bila a dan b memenuhi dan a 2 g n (a = b 2 g n (b b a g n (tdt = α. Untuk n = 25 dan α = 0, 95 diperoleh a = 3, 5227 dan b = 44, 4802 yang bersesuaian dengan [0, 539S 2 24,, 775S2 24 ]. Contoh 4.6 Sampel random X, X 2,..., X n berasal dari distribusi N(µ, σ 2 dan sampel random berasal dari distribusi dengan µ, µ 2, σ, σ 2 tidak diketahui. Akan dikonstruksikan interval kepercayaan untuk µ µ 2 dengan menganggap σ = σ 2 = σ. Misalkan T m,n (µ µ 2 = ( X m Ȳn (µ µ 2 ( (m S 2 m +(n S2 n m+n 2 m n Statistik T m,n (µ µ 2 berdistribusi t dengan derajat bebas m + n 2. Hal itu berarti interval kepercayaan α untuk µ µ 2 adalah [ ( X m Ȳn t m+n 2;α/2 ( X m Ȳn + t m+n 2;α/2. (m Sm 2 + (n Sn 2 ( m + n 2 m n, (m Sm 2 + (n Sn 2 ( m + n 2 m n]. 99

102 Untuk m = 3, n = 4 dan α = 0, 95 diperoleh t 25;0,025 sehingga [( X 2S Ȳ 0, 586 2X + 3S2Y, ( X ] Ȳ 0, 586 2SX 2 + 3S2 Y. Akan dikonstruksikan interval kepercayaan untuk σ2. Misalkan σ2 2 ( σ 2 T m,n = σ2 σ2 2 σ2 2 Sn 2. Sn 2 ( σ 2 Statistik T m,n berdistribusi F dengan derajat bebas n dan m. σ2 2 Akan ditentukan a dan b dengan 0 < a < b sehingga P (a F n ;m b = α P (a σ2 σ 2 2 Sn 2 Sm 2 b = α P (a S2 m S 2 n σ2 σ 2 2 b S2 m = α. Sn 2 Oleh karena itu interval kepercayaan untuk σ2 σ 2 2 [ a S2 m S 2 n ], b S2 m. Sn 2 adalah Khususnya untuk interval kepercayaan yang mempunyai ekor sama dinyatakan dengan [ F n ;m ;α/2 S 2 m S 2 n, F n ;m ;α/2 Sm 2 ] Sn 2 dengan F n ;m ;α/2 dan F n ;m ;α/2 masing-masing adalah kuantil α/2 atas dan bawah dari F n ;m. Bila titik dibaca dari Tabel distribusi F maka titik dapat dihitung dengan cara F n ;m ;α/2 = /F n ;m ;α/2. Untuk m, n dan α seperti di atas diperoleh dan sehingga interval kepercayaan untuk σ2 adalah σ2 2 [ ] 0, 37 S2 2, 3, 2388 S2 2. S3 2 S3 2 00

103 4.3 Interval Kepercayaan dan Interval Kepercayaan Pendekatan Konsep interval kepercayaan dapat diperumum menjadi daerah kepercayaan untuk parameter multi-dimensi. Contoh 4.7 Akan dikonstruksikan daerah kepercayaan dalam R 2 untuk (µ, σ 2 t. Variabel random berdistribusi N(0, dan berdistribusi chi-kuadrat dengan derajat bebas n dan keduanya saling bebas. Akan dicari c(c > 0, a dan b(0 < a < b sehingga P ( c N(0, c = α dan P (a χ 2 n = α. Diperoleh n( X µ P ( c c, a (n S2 n b = α σ σ 2 n( X µ P ( c c P (a (n S2 n b = α σ σ 2 P ((µ X n 2 c2 σ 2 n, (n S2 n σ 2 (n S2 n = α. b a Misalkan X, X 2,..., X n variabel random dengan mean µ dan variansi σ 2. Dengan menggunakan Teorema Limit Pusat diperoleh n( Xn µ N(0,. σ Jika dianggap bahwa σ diketahui maka interval kepercayaan untuk µ dengan koefisien kepercayaan mendekati α adalah [ X Zα/2 σ n, X + Z α/2 σ n ] asalkan n. Misalkan σ juga tidak diketahui. Karena S 2 n = (X i X n 2 σ 2 untuk n maka n( Xn µ S n N(0,. 0

104 Oleh karena itu interval kepercayaan untuk µ dengan koefisien kepercayaan α dinyatakan dengan asalkan n. Contoh 4.8 [ S n X Zα/2, X S ] n + Z α/2 n n Misalkan X,..., X n variabel random saling bebas dari distribusi Binom(, θ. Akan dikonstruksikan interval kepercayaan untuk θ dengan koefisien kepercayaan mendekati α. Karena S 2 n = X n ( X n maka dengan hasil di atas diperoleh interval kepercayaan untuk θ berikut [ X Zα/2 Xn ( X n n, X Xn ( + Z X n ] α/2. n Contoh 4.9 Misalkan X,..., X n variabel random saling bebas dari distribusi Poisson(λ. Interval kepercayaan untuk λ dengan koefisien kepercayaan mendekati α adalah [ S n X Zα/2, X S + Z α/2 n ]. n n 4.4 Hubungan antara Uji Hipotesis dan Interval Kepercayaan Terdapat hubungan erat antara pengkonstruksian interval kepercayaan dan pengujian hipotesis. Misalkan variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R r. Untuk setiap θ Ω, akan diuji hipotesis H(θ : θ = θ pada tingkat α dan A(θ menyatakan daerah penerimaan dalam R n. Misalkan Z = (X, X 2,..., X n t dan z = (x, x 2,..., x n t didefinisikan daerah T (z dalam Ω sebagai T (z = {θ Ω z θ}. Dengan kata lain, T (z adalah himpunan bagian dari Ω dengan sifat : berdasarkan pada baris z, setiap H(θ diterima bila θ T (z yaitu z θ θ T (z. 02

105 Oleh karena itu P (θ T (z = P (z A(θ α, sehingga T (z adalah daerah kepercayaan untuk θ dengan koefisien kepercayaan α. Teorema 4. Misalkan variabel random saling bebas dengan fungsi kepadatan probabilitas f(x; θ, θ Ω R r. Untuk setiap θ Ω, misalkan masalah pengujian hipotesis pada tingkat α dan didefinisikan T (z oleh T (Z = {θ Ω z A(θ} maka T (z adalah daerah kepercayaan untuk θ dengan koefisien kepercayaan α. 03

106 Brief History of Pearson Karl Pearson ( Biometrician, statistician & applied mathematician. MacTutor References. SC, LP. Karl Pearson read mathematics at Cambridge but made his career at University College London. Pearson was an established applied mathematician when he joined the zoologist W. F. R. Weldon and launched what became known as biometry; this found institutional expression in 90 with the journal Biometrika. Weldon had come to the view that the problem of animal evolution is essentially a statistical problem and was applying Galtons statistical methods. Pearsons contribution consisted of new techniques and eventually a new theory of statistics based on the Pearson curves, correlation, the method of moments and the chi square test. Pearson was eager that his statistical approach be adopted in other fields and amongst his followers was the medical statistician Major Greenwood. Pearson created a very powerful school and for decades his department was the only place to learn statistics. Yule, Wishart and F. N. David were among the distinguished statisticians who started their careers working for Pearson. Among those who attended his lectures were the biologist Raymond Pearl, the economist H. L. Moore, the medical statistician Austin Bradford Hill and Jerzy Neyman; in the 930s Wilks was a visitor to the department. Pearsons influence extended to Russia where Slutsky (see minimum chi-squared method and Chuprov were interested in his work. Pearson had a great influence on the language and notation of statistics and his name often appears on the Words pages and Symbols pagessee e.g. population, histogram and standard deviation. When Pearson retired, his son E. S. Pearson inherited the statistics part of his fathers empirethe eugenics part went to R. A. Fisher. Under ESP (who retired in 96 and his successors the department continued to be a major centre for statistics in Britain. M. S. Bartlett went there as a lecturer after graduating from Cambridge in 933 (his teacher was Wishart and again as a professor when ESP retired. For more on KP see Karl Pearson: A Readers Guide. See Stigler (986: Chapter 0, Pearson and Yule. 04

107 Brief History of Markov A. A. Markov ( Mathematician. MacTutor References. SC, LP. Markov spent his working life at the University of St. Petersburg. Markov was, with Lyapunov, the most distinguished of Chebyshevs students in probability. Markov contributed to established topics such as the central limit theorem and the law of large numbers. It was the extension of the latter to dependent variables that led him to introduce the Markov chain. He showed how Chebyshevs inequality could be applied to the case of dependent random variables. In statistics he analysed the alternation of vowels and consonants as a two-state Markov chain and did work in dispersion theory. Markov had a low opinion of the contemporary work of Pearson, an opinion not shared by his younger compatriots Chuprov and Slutsky. Markovs Theory of Probability was an influential textbook. Markov influenced later figures in the Russian tradition including Bernstein and Neyman. The latter indirectly paid tribute to Markovs textbook when he coined the term Markoff theorem for the result Gauss had obtained in 82; it is now known as the Gauss- Markov theorem. J. V. Uspenskys Introduction to Mathematical Probability (937 put Markovs ideas to an American audience. See Life & Work There is an interesting volume of letters, The Correspondence between A.A. Markov and A.A. Chuprov on the Theory of Probability and Mathematical Statistics ed. Kh.O. Ondar (98, Springer See also Sheynin ch. 4 and G. P. Basharin et al. The Life and Work of A. A. Markov. 05

108 Bibliography [] Lindgren, B. W., (993, Statistical Theory 4 th edition, Chapman & Hall Inc, New York. [2] Oosterhoff, J., (993, Algemene Statistiek, Faculteit Wiskunde en Informatica, Vrije Universiteit Amsterdam, Amsterdam. [3] Roussas, G. G., (973, A first Course in Mathematical Statistics, Addison-Wesley Publishing Company, Reading Massachusetts. 06