Bab 3: Statistika FMIPA Universitas Islam Indonesia
Bila sampling berasal dari populasi yang digambarkan melalui fungsi peluang f X (x θ), pengetahuan tentang θ menghasilkan karakteristik mengenai keseluruhan populasi. Suatu estimator titik adalah sebarang fungsi T = t(x 1, X 2,..., X n ) dari sampel. Ini berarti bahwa sebarang statistik adalah estimator titik.
Terdapat beberapa metode penaksiran parameter: 1 2 3 Metode Bayes
Misalkan X 1, X 2,..., X n adalah sampel dari populasi dengan fungsi kepadatan peluang f (x θ 1, θ 2,..., θ k ). Estimator metode momen didapat dengan menyamakan j momen sampel pertama dengan j momen populasi dan menyelesaikan sistem persamaan simultan yang dihasilkan. Momen ke-j populasi µ j = E(X j ) Momen ke-j sampel m j = 1 n n X j i
Karl Pearson (1800), menyatakan bahwa estimator suatu parameter dengan menggunakan metode momen dapat diperoleh dengan menyelesaikan persamaan µ j = m j, j = 1, 2,..., k
Contoh 1 Misalkan X 1, X 2,..., X n adalah i.i.d N(µ, σ 2 ). Kita akan menentukan estimator untuk µ dan σ 2 dengan menggunakan metode momen. Kita mempunyai m 1 = 1 n m 2 = 1 n n X i = X n X 2 i µ 1 = E(X ) = µ µ 2 = E(X 2 ) = σ 2 + µ 2
Maka, estimator µ dan σ 2 dengan metode momen adalah µ 1 = m 1 ˆµ = X µ 2 = m 2 ˆσ 2 = 1 n Catatan: n S 2 = 1 n (X i X ) 2 n X 2 i X 2 = 1 n n (X i X ) 2 = S 2
Contoh 2 Misalkan X 1, X 2,..., X n adalah i.i.d dengan fungsi kepadatan peluang f X (x θ) = θ x θ 1, 0 < x < 1 Tentukan estimasi parameter untuk θ dengan menggunakan metode momen.
Kita mempunyai E(X ) = 1 0 1 x θ x θ 1 dx = θ Dengan menyamakan E(X ) = X, maka E(X ) = X θ θ + 1 = X 0 θ = (θ + 1) X (1 X )θ = X ˆθ = X 1 X x θ dx = θ θ + 1
Contoh 3 Misalkan X 1, X 2,..., X n adalah i.i.d U(α, β). Tentukan estimasi parameter untuk α dan β dengan menggunakan metode momen.
Kita mempunyai µ 2 = (β α)2 12 µ 1 = α + β 2 + (α + β)2 4 = X (1) = 1 n n X 2 i (2)
Dengan demikian kita dapat memperoleh 1 Dari persamaan (1) kita peroleh ˆα + ˆβ = 2 X (3) 2 Substitusikan persamaan (3) ke persamaan (2) sehingga ( ˆβ ˆα) 2 + 4 X 2 = 1 n Xi 2 12 4 n ( ˆβ ˆα) 2 = 1 n Xi 2 X 2 12 n ( ˆβ ˆα) 2 = 1 n (X i 12 n X ) 2 ( ˆβ ˆα) 2 12 = S 2 ( ˆβ ˆα) 2 = 12 S 2 ˆβ ˆα = S 12 (4)
Dengan menyelesaikan persamaan (3) dan (4) kita peroleh ˆα = X 1 2 S 12 ˆβ = X + 1 2 S 12
Contoh 4 Misalkan X 1, X 2,..., X n adalah i.i.d dari distribusi dengan f X (x θ) = θ e θx, x > 0 Tentukan estimasi parameter untuk θ dengan menggunakan metode momen.
Jawab: ˆθ = 1 X
Contoh 5 Misalkan X 1, X 2,..., X n adalah i.i.d dari distribusi dengan f X (x θ) = (θ + 1) x θ, 0 < x < 1 Tentukan estimasi parameter untuk θ dengan menggunakan metode momen.
Jawab: ˆθ = 2 X 1 1 X
(MLE) Sejauh ini, metode maksimum likelihood adalah metode yang paling populer dan menghasilkan estimator paling baik dibandingkan metode lain. Misalkan X 1, X 2,..., X n adalah i.i.d sampel dari populasi dengan fungsi kepadatan peluang f X (x θ). Fungsi kemungkinan (likelihood) didefinisikan sebagai L(θ x ) = L(θ x 1,..., x n ) = f X1,X 2,...,X n (x 1, x 2,..., x n θ) = n f Xi (x i θ)
Maximum Likelihood Estimator (MLE) Misalkan L(θ x ) = n f Xi (x i θ), θ Ω adalah fungsi peluang bersama dari X 1, X 2,..., X n. Untuk suatu himpunan observasi (x 1, x 2,..., x n ), sebuah nilai ˆθ di Ω di mana L(θ x ) maksimum disebut sebagai maximum likelihood estimator (MLE) dari θ. Yaitu, ˆθ adalah sebuah nilai θ yang memenuhi f X1,X 2,...,X n (x 1, x 2,..., x n ˆθ) = max θ Ω f X 1,X 2,...,X n (x 1, x 2,..., x n θ)
Nilai θ yang memaksimumkan L(θ x ) dapat diperoleh dengan mencari solusi dari persamaan berikut d dθ L(θ x ) = 0 (5) Nilai θ yang memaksimumkan L(θ x ) tersebut dapat diperoleh juga dengan menyelesaikan persamaan d dθ log L(θ x ) = 0 (6) Persamaan (6) lebih sering digunakan karena lebih mudah dalam penyelesaian.
Contoh 6 Misalkan X 1, X 2,..., X n adalah i.i.d Bernoulli (θ). Tentukan estimasi dari θ dengan menggunakan metode MLE.
Cara 1 Karena X i Bernoulli(θ) maka L(θ n x ) = θ x i (1 θ) 1 x i = θ x i (1 θ) n x i Misalkan y = x i, maka kita mempunyai L(θ x ) = θ y (1 θ) n y Selanjutnya turunkan L(θ x ) terhadap θ dan diperoleh
d dθ L(θ x ) = d [ θ y (1 θ) n y ] dθ 0 = y θ y 1 (1 θ) n y + θ y (n y) (1 θ) n y 1 ( 1) y θ y 1 (1 θ) n y = θ y (n y) (1 θ) n y 1 y θ = n y 1 θ y yθ = nθ yθ y = nθ ˆθ = y n
Cara 2 Kita akan menurunkan fungsi log L(θ x ) terhadap θ. Dari perhitungan sebelumnya, kita mempunyai L(θ x ) = θ y (1 θ) n y, maka fungsi log L(θ x )-nya adalah Log L(θ x ) = log (θ y (1 θ) n y ) = log θ y + log (1 θ) n y = y log θ + (n y) log (1 θ)
Selanjutnya, d dθ Log L(θ x ) = d [y log θ + (n y) log (1 θ)] dθ 0 = y θ n y 1 θ y θ = n y 1 θ y yθ = nθ yθ y = nθ ˆθ = y n
Contoh 7 Misalkan X 1, X 2,..., X n adalah i.i.d Poisson (θ). Tentukan estimasi dari θ dengan menggunakan metode MLE.
Misalkan X i POI (θ), maka fungsi likelihoodnya adalah L(θ x ) = n e θ θx i x i! = e nθ θ n x i n x i!
dan fungsi log Likelihoodnya adalah log L(θ x ) = log θ n x i e nθ n x i! = log e nθ + log θ n x i log = nθ + n x i log θ n log x i ( n ) x i!
Turunkan fungsi log L(θ x ) terhadap θ dan diperoleh [ ] d dθ log L(θ x ) = d n n nθ + x i log θ log x i dθ n x i 0 = n + θ n x i n = θ n x i ˆθ = n
Contoh 8 Misalkan X 1 = 3, X 2 = 2, X 3 = 1, dan X 4 = 3 adalah hasil pengamatan dari sampel random ukuran empat dari populasi dengan distribusi geometrik Tentukan MLE dari θ. p(x θ) = (1 θ) x 1 θ, x = 1, 2, 3,...
Fungsi likelihood dari kasus di atas adalah L(θ x ) = [ (1 θ) 3 1 θ ] [ (1 θ) 2 1 θ ] [ (1 θ) 1 1 θ ] [ (1 θ) 3 1 θ ] = (1 θ) 5 θ 4 log L(θ x ) = log [ (1 θ) 5 θ 4] = 5 log (1 θ) + 4 log θ Selanjutnya, turunkan fungsi log likelihood terhadap θ d dθ log L(θ x ) = 5 1 θ + 4 θ = 0 5 1 θ + 4 θ = 0 5 1 θ = 4 θ 5θ = 4 4θ ˆθ = 4 9
Contoh 9 Misalkan X 1, X 2,..., X n adalah i.i.d dengan fungsi kepadatan peluang f Xi (x i θ) = 1 θ e x i θ, x > 0, θ > 0 Tentukan estimasi untuk θ dengan menggunakan metode MLE.
ˆθ = x
Contoh 10 Misalkan X 1, X 2,..., X n adalah i.i.d N(θ, σ 2 ) dengan θ dan σ 2 keduanya tidak diketahui. Tentukan estimasi untuk θ dan σ 2 dengan metode MLE.
ˆθ = x ˆσ 2 = n (x i x) 2 n