Pengantar Statistika Matematika II

Transkripsi

1 Bab 3: Estimasi Titik dengan Metode Bayes Statistika FMIPA Universitas Islam Indonesia

2 Dalam pendekatan klasik, parameter θ adalah besaran tetap yang tidak diketahui Sampel random X 1, X 2,..., X n diambil dari populasi berindeks θ dan berdasarkan harga-harga terobservasi dari sampel didapat pengetahuan tentang θ. Dalam pendekatan Bayesian, θ dipandang sebagai besaran yang variasinya digambarkan dengan distribusi peluang (disebut distribusi prior). Ini adalah distribusi subjektif, berdasarkan pada keyakinan seseorang dan dirumuskan sebelum data diambil.

3 Kemudian, sampel diambil dari populasi berindeks θ dan distribusi prior disesuaikan dengan informasi sampel ini. Prior yang telah disesuaikan disebut distribusi posterior Penyesuaian ini dilakukan dengan menggunakan aturan Bayes, sehingga dinamai statistik Bayesian

4 Teorema Bayes P(A k B) = P(A k, B) P(B) = P(B, A k) P(B) = P(B A k)p(a k ) n P(B A i )P(A i ) i=1

5 Ilustrasi Misalkan kita mempunyai distribusi Poisson dengan parameter θ > 0 dan kita mengetahui bahwa parameternya berharga θ = 2 atau θ = 3. Dalam pendekatan klasik, θ adalah besaran tetap yang tidak diketahui. Sampel random X 1, X 2,..., X n diambil dari populasi berindeks θ dan θ dipandang sebagai besaran yang bervariasi digambarkan dengan distribusi prior. Misalkan peluang prior subjektifnya adalah P(θ = 2) = 1 3 dan P(θ = 3) = 2 3

6 Misalkan sampel random ukuran n = 2 menghasilkan observasi x 1 = 2 dan x 2 = 4. Berdasarkan data tsb, kita akan menentukan peluang posterior θ = 2 dan θ = 3. Berdasarkan teorema Bayes P(θ = 2 x 1 = 2, x 2 = 4) = P(θ = 2 dan x 1 = 2, x 2 = 4) P(x 1 = 2, x 2 = 4) Selanjutnya = P(x 1 = 2, x 2 = 4 θ = 2)P(θ = 2) P(x 1 = 2, x 2 = 4 θ)p(θ) = θ e ! e ! e ! ( 1 3 = ! ( ) 1 3 ) + e ! e ! ( 2 3 e 4 24 P(θ = 3 x 1 = 2, x 2 = 4) = = )

7 Ini berarti bahwa observasi x 1 = 2 dan x 2 = 4, peluang posterior θ = 2 lebih kecil dibanding peluang prior θ = 2. Pengamatan yang sama menunjukkan peluang posterior θ = 3 lebih besar dibanding peluang prior θ = 3. Ini artinya, observasi x 1 = 2 dan x 2 = 4 lebih menyokong θ = 3 dibanding θ = 2.

8 Misalkan X f (x θ) dan θ Ω. Bila distribusi θ pada Ω dinyatakan dengan π(θ), maka π(θ) disebut distribusi prior dari θ. Model dapat dinyatakan dengan X θ f (x θ) (1) dan θ π(θ) (2)

9 Misalkan X 1, X 2,..., X n sampel random dari distribusi bersyarat X θ dengan fungsi kepadatan peluang f (x θ). Fungsi kepadatan gabungan X = (X 1, X 2,..., X n ) diberikan θ adalah f ( x θ) = f (x 1 θ) f (x 2 θ)... f (x n θ) (3) Fungsi kepadatan peluang gabungan X dan θ adalah f ( x, θ) = f ( x θ) π(θ) (4)

10 Fungsi kepadatan peluang marginal dari X adalah m( f ( x, θ) dθ, x ) = f ( x, θ), θ jika θ kontinu jika θ diskrit (5)

11 Fungsi kepadatan peluang bersyarat θ X adalah π(θ x ) = f ( x, θ) f ( x ) π(θ x ) adalah distribusi posterior. = f ( x θ) π(θ) m( x ) (6)

12 Contoh 1 Misalkan X 1, X 2,..., X n i.i.d Poisson θ dan θ Gamma(α, β) (distribusi prior). Dalam hal ini f ( x θ) = n i=1 e θ θx i x i! n x i = e nθ θi=1 n x i! i=1

13 π(θ) = 1 Γ(α) β α θα 1 e θ β Selanjutnya, fungsi kepadatan peluang gabungan X adalah f ( x, θ) = f ( x θ) π(θ) n x i = e nθ θ i=1 1 n Γ(α) β x i! α θα 1 e i=1 θ β

14 F.k.p marginal dari X adalah m( x ) = f ( x, θ) dθ = 0 0 e nθ θ β θ x i +α 1 dθ n x i! Γ(α) β α i=1. = Γ( x i + α) n x i! Γ(α) β (n α + 1 β i=1 ) x i +α

15 Akibatnya, distribusi posteriornya adalah π(θ x ) = f ( x θ) π(θ) m( x ) θ x i +α 1 e = Γ( x i + α) π(θ x ) Gamma(α, β ) dengan ( nβ+1) β θ ) x i +α ( β nβ+1 α = x i + α β = β nβ + 1

16 Bila distribusi prior dan posterior berada dalam kelas distribusi yang sama, maka distribusi prior dan posterior disebut sekawan atau conjugate.

17 Dari Contoh 1 terlihat bahwa dalam menentukan distribusi posterior π(θ x ) sebenarnya kita tidak perlu menghitung f.k.p marginal m( x ). Sebagai ilustrasi, pada Contoh 1 di atas, bila kita membagi f ( x θ) π(θ) dengan m( x ) kita akan mendapatkan perkalian suatu faktor yang hanya bergantung pada ( x ) tetapi tidak bergantung pada θ, katakanlah c( x ) dan θ x i +α 1 e ( nβ+1) β θ

18 Artinya, π(θ x ) = c( x ) θ x i +α 1 e ( nβ+1) β θ tetapi c( x ) harus merupakan konstanta yang membuat π(θ x ) merupakan densitas, yaitu c( x ) = 1 Γ( ( x i + α) β nβ+1 ) x i +α

19 Akibatnya, kita bisa menulis π(θ x ) sebanding dengan f ( x θ) π(θ) atau bisa ditulis π(θ x ) α f ( x θ) π(θ) Aturan tsb disebut penulisan Box-Tiao.

20 Contoh 2 Misalkan X N(θ, σ 2 ) dan θ N(µ, τ 2 ). Maka dengan ρ = τ 2 +σ 2 τ 2 σ 2. π(θ x) α f (x θ) π(θ) α e 1 (x θ) 2 2 σ 2 e 1 (θ µ) 2 2 τ 2. α e 1 2 ρ [ θ 1 ρ ( x σ 2 + µ τ 2 )] 2

21 Sehingga atau dengan π(θ x) = ( ρ ) 1 2 2π [ ( )] 2 e 1 2 ρ θ 1 µ ρ τ 2 + x σ 2 π(θ x) N(µ, σ 2 ) µ = 1 ρ ( µ τ 2 + x σ 2 ) σ 2 = 1 ρ

22 Sekarang, misalkan kita ingin mencari estimator titik dari θ. Dari pandangan Bayesian, persoalannya menjadi mencari ˆθ yang merupakan nilai prediksi dari θ bila x dan distribusi posterior π(θ x ) diketahui. Pencarian ˆθ ini tidak lepas dari fungsi kerugian L(θ, ˆθ) dan bagaimana memilih ˆθ seperti itu sehingga risiko Bayesnya minimum.

23 Beberapa fungsi kerugian: Kerugian kuadratis, L(θ, ˆθ) = (ˆθ θ) 2 Kerugian absolut, L(θ, ˆθ) = ˆθ θ Kerugian kuadratik tertimbang, L(θ, ˆθ) = c(θ)(ˆθ θ) 2

24 Risiko Bayes didefinisikan sebagai r(ˆθ) = R(ˆθ, θ) π(θ) dθ = L(ˆθ, θ) f ( x θ) d x π(θ) dθ = L(ˆθ, θ) π(θ x ) m( x ) d x dθ [ = L(ˆθ, θ) π(θ ] x ) dθ m( x ) d x

25 Meminimumkan r(ˆθ) sama dengan meminimumkan L(ˆθ, θ) π(θ x ) dθ. L(ˆθ, θ) π(θ x ) dθ disebut sebagai risiko posterior. Dalam pendekatan Bayesian, kita memilih estimator yang meminimumkan risiko posterior.

26 Misalkan L(ˆθ, θ) = (ˆθ θ) 2. Tentukan estimator Bayes yang sesuai. Risiko posterior = (ˆθ θ) 2 π(θ x ) dθ atau R(ˆθ, π). Untuk mencari estimator ˆθ: dr(ˆθ, π) d ˆθ = 2(ˆθ θ) π(θ x ) dθ = 0 2ˆθπ(θ x ) dθ = 2θπ(θ x ) dθ ˆθ π(θ x ) dθ = θπ(θ x ) dθ ˆθ = E(θ x ) adalah harga harapan posterior.

27 Di Contoh 1, estimator Bayesnya adalah E(θ ( ) x ) = α β = x + α β nβ + 1