Bab 3: Estimasi Titik dengan Metode Bayes Statistika FMIPA Universitas Islam Indonesia
Dalam pendekatan klasik, parameter θ adalah besaran tetap yang tidak diketahui Sampel random X 1, X 2,..., X n diambil dari populasi berindeks θ dan berdasarkan harga-harga terobservasi dari sampel didapat pengetahuan tentang θ. Dalam pendekatan Bayesian, θ dipandang sebagai besaran yang variasinya digambarkan dengan distribusi peluang (disebut distribusi prior). Ini adalah distribusi subjektif, berdasarkan pada keyakinan seseorang dan dirumuskan sebelum data diambil.
Kemudian, sampel diambil dari populasi berindeks θ dan distribusi prior disesuaikan dengan informasi sampel ini. Prior yang telah disesuaikan disebut distribusi posterior Penyesuaian ini dilakukan dengan menggunakan aturan Bayes, sehingga dinamai statistik Bayesian
Teorema Bayes P(A k B) = P(A k, B) P(B) = P(B, A k) P(B) = P(B A k)p(a k ) n P(B A i )P(A i ) i=1
Ilustrasi Misalkan kita mempunyai distribusi Poisson dengan parameter θ > 0 dan kita mengetahui bahwa parameternya berharga θ = 2 atau θ = 3. Dalam pendekatan klasik, θ adalah besaran tetap yang tidak diketahui. Sampel random X 1, X 2,..., X n diambil dari populasi berindeks θ dan θ dipandang sebagai besaran yang bervariasi digambarkan dengan distribusi prior. Misalkan peluang prior subjektifnya adalah P(θ = 2) = 1 3 dan P(θ = 3) = 2 3
Misalkan sampel random ukuran n = 2 menghasilkan observasi x 1 = 2 dan x 2 = 4. Berdasarkan data tsb, kita akan menentukan peluang posterior θ = 2 dan θ = 3. Berdasarkan teorema Bayes P(θ = 2 x 1 = 2, x 2 = 4) = P(θ = 2 dan x 1 = 2, x 2 = 4) P(x 1 = 2, x 2 = 4) Selanjutnya = P(x 1 = 2, x 2 = 4 θ = 2)P(θ = 2) P(x 1 = 2, x 2 = 4 θ)p(θ) = θ e 2 22 2! e 2 2 2 2! e 2 2 4 4! ( 1 3 = 0.245 4! ( ) 1 3 ) + e 3 3 2 2! e 3 3 4 4! ( 2 3 e 4 24 P(θ = 3 x 1 = 2, x 2 = 4) = 1 0.245 = 0.755 )
Ini berarti bahwa observasi x 1 = 2 dan x 2 = 4, peluang posterior θ = 2 lebih kecil dibanding peluang prior θ = 2. Pengamatan yang sama menunjukkan peluang posterior θ = 3 lebih besar dibanding peluang prior θ = 3. Ini artinya, observasi x 1 = 2 dan x 2 = 4 lebih menyokong θ = 3 dibanding θ = 2.
Misalkan X f (x θ) dan θ Ω. Bila distribusi θ pada Ω dinyatakan dengan π(θ), maka π(θ) disebut distribusi prior dari θ. Model dapat dinyatakan dengan X θ f (x θ) (1) dan θ π(θ) (2)
Misalkan X 1, X 2,..., X n sampel random dari distribusi bersyarat X θ dengan fungsi kepadatan peluang f (x θ). Fungsi kepadatan gabungan X = (X 1, X 2,..., X n ) diberikan θ adalah f ( x θ) = f (x 1 θ) f (x 2 θ)... f (x n θ) (3) Fungsi kepadatan peluang gabungan X dan θ adalah f ( x, θ) = f ( x θ) π(θ) (4)
Fungsi kepadatan peluang marginal dari X adalah m( f ( x, θ) dθ, x ) = f ( x, θ), θ jika θ kontinu jika θ diskrit (5)
Fungsi kepadatan peluang bersyarat θ X adalah π(θ x ) = f ( x, θ) f ( x ) π(θ x ) adalah distribusi posterior. = f ( x θ) π(θ) m( x ) (6)
Contoh 1 Misalkan X 1, X 2,..., X n i.i.d Poisson θ dan θ Gamma(α, β) (distribusi prior). Dalam hal ini f ( x θ) = n i=1 e θ θx i x i! n x i = e nθ θi=1 n x i! i=1
π(θ) = 1 Γ(α) β α θα 1 e θ β Selanjutnya, fungsi kepadatan peluang gabungan X adalah f ( x, θ) = f ( x θ) π(θ) n x i = e nθ θ i=1 1 n Γ(α) β x i! α θα 1 e i=1 θ β
F.k.p marginal dari X adalah m( x ) = f ( x, θ) dθ = 0 0 e nθ θ β θ x i +α 1 dθ n x i! Γ(α) β α i=1. = Γ( x i + α) n x i! Γ(α) β (n α + 1 β i=1 ) x i +α
Akibatnya, distribusi posteriornya adalah π(θ x ) = f ( x θ) π(θ) m( x ) θ x i +α 1 e = Γ( x i + α) π(θ x ) Gamma(α, β ) dengan ( nβ+1) β θ ) x i +α ( β nβ+1 α = x i + α β = β nβ + 1
Bila distribusi prior dan posterior berada dalam kelas distribusi yang sama, maka distribusi prior dan posterior disebut sekawan atau conjugate.
Dari Contoh 1 terlihat bahwa dalam menentukan distribusi posterior π(θ x ) sebenarnya kita tidak perlu menghitung f.k.p marginal m( x ). Sebagai ilustrasi, pada Contoh 1 di atas, bila kita membagi f ( x θ) π(θ) dengan m( x ) kita akan mendapatkan perkalian suatu faktor yang hanya bergantung pada ( x ) tetapi tidak bergantung pada θ, katakanlah c( x ) dan θ x i +α 1 e ( nβ+1) β θ
Artinya, π(θ x ) = c( x ) θ x i +α 1 e ( nβ+1) β θ tetapi c( x ) harus merupakan konstanta yang membuat π(θ x ) merupakan densitas, yaitu c( x ) = 1 Γ( ( x i + α) β nβ+1 ) x i +α
Akibatnya, kita bisa menulis π(θ x ) sebanding dengan f ( x θ) π(θ) atau bisa ditulis π(θ x ) α f ( x θ) π(θ) Aturan tsb disebut penulisan Box-Tiao.
Contoh 2 Misalkan X N(θ, σ 2 ) dan θ N(µ, τ 2 ). Maka dengan ρ = τ 2 +σ 2 τ 2 σ 2. π(θ x) α f (x θ) π(θ) α e 1 (x θ) 2 2 σ 2 e 1 (θ µ) 2 2 τ 2. α e 1 2 ρ [ θ 1 ρ ( x σ 2 + µ τ 2 )] 2
Sehingga atau dengan π(θ x) = ( ρ ) 1 2 2π [ ( )] 2 e 1 2 ρ θ 1 µ ρ τ 2 + x σ 2 π(θ x) N(µ, σ 2 ) µ = 1 ρ ( µ τ 2 + x σ 2 ) σ 2 = 1 ρ
Sekarang, misalkan kita ingin mencari estimator titik dari θ. Dari pandangan Bayesian, persoalannya menjadi mencari ˆθ yang merupakan nilai prediksi dari θ bila x dan distribusi posterior π(θ x ) diketahui. Pencarian ˆθ ini tidak lepas dari fungsi kerugian L(θ, ˆθ) dan bagaimana memilih ˆθ seperti itu sehingga risiko Bayesnya minimum.
Beberapa fungsi kerugian: Kerugian kuadratis, L(θ, ˆθ) = (ˆθ θ) 2 Kerugian absolut, L(θ, ˆθ) = ˆθ θ Kerugian kuadratik tertimbang, L(θ, ˆθ) = c(θ)(ˆθ θ) 2
Risiko Bayes didefinisikan sebagai r(ˆθ) = R(ˆθ, θ) π(θ) dθ = L(ˆθ, θ) f ( x θ) d x π(θ) dθ = L(ˆθ, θ) π(θ x ) m( x ) d x dθ [ = L(ˆθ, θ) π(θ ] x ) dθ m( x ) d x
Meminimumkan r(ˆθ) sama dengan meminimumkan L(ˆθ, θ) π(θ x ) dθ. L(ˆθ, θ) π(θ x ) dθ disebut sebagai risiko posterior. Dalam pendekatan Bayesian, kita memilih estimator yang meminimumkan risiko posterior.
Misalkan L(ˆθ, θ) = (ˆθ θ) 2. Tentukan estimator Bayes yang sesuai. Risiko posterior = (ˆθ θ) 2 π(θ x ) dθ atau R(ˆθ, π). Untuk mencari estimator ˆθ: dr(ˆθ, π) d ˆθ = 2(ˆθ θ) π(θ x ) dθ = 0 2ˆθπ(θ x ) dθ = 2θπ(θ x ) dθ ˆθ π(θ x ) dθ = θπ(θ x ) dθ ˆθ = E(θ x ) adalah harga harapan posterior.
Di Contoh 1, estimator Bayesnya adalah E(θ ( ) x ) = α β = x + α β nβ + 1