Statistika Matematika II

Transkripsi

1 Jurusan Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Mulawarman 2017

2 Referensi: Hogg, R.V., McKean, J.W., dan Craig, A.T. (2013). Introduction to Mathematical Statistics, Edisi ke tujuh. New York: Pearson. Penilaian: tugas, UAS, dan kehadiran (min. 80%).

3 Konsep Monte Carlo Mengulang Kembali Misalkan A 1 dan A 2 masing-masing adalah kejadian tertentu. Jika A 1 dan A 2 adalah kejadian yang saling lepas, maka Namun jika A 1 A 2, maka P(A 1 A 2 ) = P(A 1 ) + P(A 2 ) P(A 1 ) P(A 2 )

4 Konsep Monte Carlo Peluang Bersyarat Misalkan jumlah semua mahasiswa/i UNMUL yang sedang mengambil mata kuliah StatMat II adalah 15 pria dan 25 wanita. Diketahui bahwa terdapat 20 mahasiswi yang mengenakan jilbab. Jika dilakukan penyebutan nama yang ada pada absensi kelas secara acak, maka 1. peluang bahwa seseorang mahasiswa/i akan terpanggil adalah peluang bahwa mahasiswa/i dengan nomor urut pertama yang terpanggil adalah peluang bahwa yang terpanggil mengenakan jilbab adalah peluang yang terpanggil mengenakan jilbab, jika penyebutan nama hanya dilakukan kepada mahasiswi-mahasiswinya saja adalah...

5 Konsep Monte Carlo Konsep Peluang Bersyarat Peluang bersyarat dari kejadian A jika kejadian B sudah terjadi adalah jika P(B) > 0. P(A B) = Dari persamaan (1), maka P(A B) = P(A B)P(B). P(A B), (1) P(B)

6 Konsep Monte Carlo Perhatikan persamaan berikut: P(A B) = P(A)P(B A). (2) Jika A = A 1 A 2 dan B = A 3, maka ruas kanan persamaan (2) menjadi P(A 1 A 2 )P(A 3 A 1 A 2 ). Karena P(A 1 A 2 ) = P(A 1 )P(A 2 A 1 ), maka persamaan (2) bisa ditulis ulang menjadi: P(A 1 A 2 A 3 ) = P(A 1 )P(A 2 A 1 )P(A 3 A 1 A 2 ).

7 Konsep Monte Carlo Soal Latihan Misalkan Ω = {1, 2, 3, 4, 5, 6}. Diketahui Kejadian-kejadian berikut: Maka A B = Berarti P(A B) = A ={1, 2, 3, 4, 5} B ={2, 4, 6} C ={1, 2, 3, 4} D ={2, 3, 4}.

8 Konsep Monte Carlo Soal Latihan Misalkan Ω = {1, 2, 3, 4, 5, 6}. Diketahui Kejadian-kejadian berikut: Maka A B = Berarti P(A B) = A ={1, 2, 3, 4, 5} B ={2, 4, 6} C ={1, 2, 3, 4} D ={2, 3, 4}. P(C B) =

9 Konsep Monte Carlo Soal Latihan Misalkan Ω = {1, 2, 3, 4, 5, 6}. Diketahui Kejadian-kejadian berikut: Maka A B = Berarti P(A B) = A ={1, 2, 3, 4, 5} B ={2, 4, 6} C ={1, 2, 3, 4} D ={2, 3, 4}. P(C B) = P(D B) =.

10 Konsep Monte Carlo Hukum Peluang Total Misalkan A 1, A 2, A 3 merupakan partisi dari ruang sampel Ω atau dapat ditulis sebagai dan P(A i ) > 0, i = 1, 2, 3. A 1 A 2 A 3 = Ω, Kemudian ada kejadian lain, katakanlah B, B = B (A 1 A 2 A 3 ) = (B A 1 ) (B A 2 ) (B A 3 ), dengan P(B) > 0.

11 Konsep Monte Carlo Karena B A i, i = 1, 2, 3 adalah kejadian saling lepas, maka P(B) = P(B A 1 ) + P(B A 2 ) + P(B A 3 ). Selanjutnya untuk setiap i = 1, 2, 3; P(B A i ) = P(A i )P(B A i ). Sehingga P(B) =P(A 1 )P(B A 1 ) + P(A 2 )P(B A 2 ) + P(A 3 )P(B A 3 ) 3 = P(A i )P(B A i ). (3) i=1

12 Konsep Monte Carlo Teorema Bayes Perhatikan persamaan berikut: P(A j B) = P(A j B), j = 1, 2,..., k. P(B) Dengan menggunakan hukum peluang total, maka P(A j B) = P(A j B) P(B) Persamaan (4) dikenal juga dengan Teorema Bayes. = P(A j )P(B A j ) k j=1 P(A j)p(b A j ). (4)

13 Konsep Monte Carlo Dua Kejadian Yang Saling Bebas Misalkan diketahui suatu kejadian A namun tidak mengubah nilai peluang kejadian B, dengan P(A) > 0, P(B A) = P(B). Maka dalam kasus ini, kejadian A dan B saling bebas. Sehingga menghasilkan aturan perkalian berikut: Sebaliknya ketika P(B) > 0, maka P(A B) = P(A)P(B A) = P(A)P(B). (5) P(A B) = P(A B) P(B) = P(A)P(B) P(B) = P(A).

14 Konsep Monte Carlo Dengan kata lain, jika P(A) > 0 dan P(B) > 0, serta berlaku: P(A B) = P(A)P(B), maka kejadian A dan kejadian B saling bebas.

15 Konsep Monte Carlo Dengan kata lain, jika P(A) > 0 dan P(B) > 0, serta berlaku: P(A B) = P(A)P(B), maka kejadian A dan kejadian B saling bebas. Bagaimana jika P(A) = 0 atau P(B) = 0?

16 Konsep Monte Carlo Dengan kata lain, jika P(A) > 0 dan P(B) > 0, serta berlaku: P(A B) = P(A)P(B), maka kejadian A dan kejadian B saling bebas. Bagaimana jika P(A) = 0 atau P(B) = 0? Maka ruas kanan bernilai 0. Ruas kiri juga bernilai 0 karena A B A dan A B B.

17 Konsep Monte Carlo Soal Latihan 1. Misalkan A j, j = 1, 2, 3, 4, 5 merupakan partisi dari ruang sampel Ω dengan P(A j ) = j 15 dan P(B A j) = 5 j 15, j = 1, 2, 3, 4, 5. Tentukan P(A j B), j = 1, 2, 3, 4, 5!

18 Konsep Monte Carlo Soal Latihan 2. Misalkan disediakan 10 cangkir kopi dan 2 diantaranya mengandung sinida. Untuk mendapatkan secangkir kopi yang mengandung sinida, dilakukan pengujian di Laboratorium Stastistika Kimia dengan cara mengambil dan menguji satu per satu secara acak tanpa pengembalian. Berapakah peluang diperoleh 2 cangkir kopi sinida pada dua pengujian yang pertama?

19 Konsep Monte Carlo Soal Latihan 2. Misalkan disediakan 10 cangkir kopi dan 2 diantaranya mengandung sinida. Untuk mendapatkan secangkir kopi yang mengandung sinida, dilakukan pengujian di Laboratorium Stastistika Kimia dengan cara mengambil dan menguji satu per satu secara acak tanpa pengembalian. Berapakah peluang diperoleh 2 cangkir kopi sinida pada dua pengujian yang pertama? Misalkan S 1 dan S 2 masing-masing adalah kejadian diperoleh sinida pada pengujian pertama dan kedua. Maka P(S 1 ) = P(S 2 S 1 ) = Sehingga P(S 1 S 2 ) =

20 Konsep Monte Carlo Soal Latihan 3. Ayu dan Ting Ting secara bersamaan menembak sasaran tertentu. Peluang tembakan Ayu mengenai sasaran adalah 0, 7; sedangkan peluang tembakan Ting Ting (bebas dari tembakan Ayu) mengenai sasaran adalah 0, 4. Jika sebuah tembakan mengenai sasaran, berapa peluang bahwa itu tembakan Ayu?

21 Konsep Monte Carlo Soal Latihan 3. Ayu dan Ting Ting secara bersamaan menembak sasaran tertentu. Peluang tembakan Ayu mengenai sasaran adalah 0, 7; sedangkan peluang tembakan Ting Ting (bebas dari tembakan Ayu) mengenai sasaran adalah 0, 4. Jika sebuah tembakan mengenai sasaran, berapa peluang bahwa itu tembakan Ayu? Misalkan A= kejadian Ayu menembak sasaran, T= kejadian Ting Ting menembak sasaran, K=kejadian tembakan mengenai (kena) sasaran. Maka, P(A K) P(A K) = = P(K)

22 Konsep Monte Carlo 4. Direktur perusahaan mengundang para karyawan yang memiliki setidaknya satu anak laki-laki (L) ke acara syukuran khitanan. Seorang karyawan memiliki dua anak. Berapa peluang bahwa kedua anak karyawan adalah laki-laki, jika karyawan tersebut diundang ke acara syukuran?

23 Konsep Monte Carlo 4. Direktur perusahaan mengundang para karyawan yang memiliki setidaknya satu anak laki-laki (L) ke acara syukuran khitanan. Seorang karyawan memiliki dua anak. Berapa peluang bahwa kedua anak karyawan adalah laki-laki, jika karyawan tersebut diundang ke acara syukuran? Misalkan L kejadian memiliki anak laki-laki; LK kejadian memiliki dua anak laki-laki; dan U kejadian diundang ke acara syukuran. Jadi, P(LK U) P(LK U) = P(U) = P({{LL} {LL, LLc, L c L}}) P({LL, LL c, L c L}) =

24 Konsep Monte Carlo Studi Kasus Bayesian Misalkan dihadapkan dua parameter yaitu θ 1 dan θ 2. Perhatian terfokus pada θ 1 yang mengandung θ 2, namun θ 2 merupakan suatu peubah acak. Apakah hal ini bisa dimodelkan menggunakan konsep Bayesian?

25 Konsep Monte Carlo Mengenang Kembali Konsep Monte Carlo Membangkitkan pengamatan-pengamatan sampel dari suatu distribusi spesifik disebut pembangkitan Monte Carlo. Teknik pembangkitan ini untuk menyimulasikan proses-proses yang sulit dan meneliti sifat-sifat sampel tersebut.

26 Konsep Monte Carlo Sebagai contoh, misalkan X adalah peubah acak yang bernilai 1 jika nilai angka sebuah dadu yang muncul adalah 1 atau 2. Namun jika tidak, maka X bernilai 0. Perhatikan bahwa µ(x) = 1/3. (Kenapa?) Jika U Uniform(0, 1), maka X dapat dinyatakan sebagai { 1, jika 0 < U 1/3 X = 0, jika 1/3 < U 1.

27 Konsep Monte Carlo Sintaks Octave n=10; u=unifrnd(n); x=zeros(n,1); for i=1:n if (u(i)<=1/3) x(i)=1; x

28 Konsep Monte Carlo Tabel: Contoh Hasil Output u i x i u i x i Berdasarkan pengamatan dari sampel-sampel acak berdistribusi X, bahwa dari 10 pengamatan nilai realisasi statistik X adalah x = 0, 3.

29 Distribusi Prior dan Distribusi Posterior Properti Fungsi Gamma 0 Γ(z) = 0 x z 1 e x dx jika z C, Re(z) 0 Γ(n) = (n 1)! jika n Z, n 1 x n e ax dx = Γ(n + 1) a n+1 jika n > 1, a > 0.

30 Distribusi Prior dan Distribusi Posterior Intuisi Bayesian Perhatikan kembali distribusi Poisson berikut: P(X = x θ) = e θ θ x x!, x = 1, 2,... E(X) = θ, σ 2 (X) = θ. θ > 0.

31 Distribusi Prior dan Distribusi Posterior Misalkan suatu sampel berasal dari distribusi Poisson. Lalu berdasarkan penilaian subjektif, bahwa parameternya ada dua kemungkinan, yaitu θ = 2 atau θ = 3, dengan peluang prior: P(Θ = 2) = 1 3, P(Θ = 3) = 2 3. Namun ternyata ketika diambil sampel acak berukuran n = 2, diperoleh pengamatan x 1 = 4 dan x 2 = 2.

32 Distribusi Prior dan Distribusi Posterior Diberikan dua pengamatan tersebut, maka peluang posterior bahwa Θ = 2 adalah P(Θ = 2 x 1 = 4, x 2 = 2) = P(Θ = 2 dan {x 1 = 4, x 2 = 2}) P(x 1 = 4, x 2 = 2) ( 1 e 3) = ( 1 e 3) ! = 0, ! e ! + ( 2 3 e ! ) e ! e !

33 Distribusi Prior dan Distribusi Posterior Diberikan dua pengamatan tersebut, maka peluang posterior bahwa Θ = 2 adalah P(Θ = 2 x 1 = 4, x 2 = 2) = P(Θ = 2 dan {x 1 = 4, x 2 = 2}) P(x 1 = 4, x 2 = 2) ( 1 e 3) = ( 1 e 3) ! = 0, ! e ! + ( 2 3 e ! ) e ! e ! Lalu peluang posterior bahwa Θ = 3, jika diberikan dua pengamatan tersebut adalah P(Θ = 3 x 1 = 4, x 2 = 2) = 1 P(Θ = 2 x 1 = 4, x 2 = 2) = 1 0, 245 = 0, 755.

34 Distribusi Prior dan Distribusi Posterior P(Θ = 2 x 1 = 4, x 2 = 2) > P(Θ = 2 x 1 = 4, x 2 = 2), maka berdasarkan dua pengamatan tersebut maka parameter Θ lebih mendekati nilai 3 dibanding nilai 2. Sehingga intuisinya x = 3.

35 Distribusi Prior dan Distribusi Posterior Mengenal lebih dekat lagi Misalkan X 1, X 2,..., X n iid Bernoulli (θ). Maka, MLE untuk θ adalah θ =. Namun, estimator apa yang cocok jika parameter θ juga berdistribusi tertentu?

36 Distribusi Prior dan Distribusi Posterior Mengenal lebih dekat lagi Misalkan X 1, X 2,..., X n iid Bernoulli (θ). Maka, MLE untuk θ adalah θ =. Namun, estimator apa yang cocok jika parameter θ juga berdistribusi tertentu? Misalkan θ Beta(α, β) dengan nilai α dan β yang telah ditentukan, maka θ =.

37 Distribusi Prior dan Distribusi Posterior Secara umum dapat ditulis sebagai berikut: X θ f (x θ) Θ h(θ). Misalkan θ adalah nilai yang mungkin dari peubah acak Θ. Maka fungsi peluang h(θ) disebut fungsi peluang prior dari Θ.

38 Distribusi Prior dan Distribusi Posterior Secara umum dapat ditulis sebagai berikut: X θ f (x θ) Θ h(θ). Misalkan θ adalah nilai yang mungkin dari peubah acak Θ. Maka fungsi peluang h(θ) disebut fungsi peluang prior dari Θ. Misalkan X 1, X 2..., X n adalah sampel acak dari distribusi X diberikan (bersyarat) Θ = θ dengan fungsi peluang f (x θ). Fungsi peluang bersama untuk X = (X 2, X 2,..., X n ) diberikan Θ = θ dapat ditulis menjadi L(x θ) = f (x 1 θ)f (x 2 θ) f (x n θ). Maka fungsi peluang bersama dari X dan Θ adalah g(x, θ) = L(x θ)h(θ).

39 Distribusi Prior dan Distribusi Posterior Jika Θ adalah peubah acak kontinu, maka fungsi peluang bersama dari X adalah g 1 (x) = Fungsi peluang bersyarat dari Θ diberikan X adalah g(x, θ) k(θ x) = g 1 (x) = L(x θ)h(θ). g 1 (x) Fungsi k(θ x) disebut fungsi peluang posterior. g(x, θ)dθ. (6) Distribusi prior mengambarkan keyakinan subjektif dari Θ sebelum sampel digunakan, sementara distribusi posterior adalah distribusi bersyarat dari Θ setelah sampel digunakan.

40 Perhatikan persamaan berikut: k(θ x) = L(x θ)h(θ) g 1 (x) k(θ x) L(x θ)h(θ). Distribusi Prior dan Distribusi Posterior Seandainya terdapat statistik cukup Y = u(x) untuk parameter sedemikian sehingga L(x θ) = g[u(x) θ]h(x), maka k(θ x) g[u(x) θ]h(θ).

41 Perhatikan persamaan berikut: k(θ x) = L(x θ)h(θ) g 1 (x) k(θ x) L(x θ)h(θ). Distribusi Prior dan Distribusi Posterior Seandainya terdapat statistik cukup Y = u(x) untuk parameter sedemikian sehingga L(x θ) = g[u(x) θ]h(x), maka k(θ x) g[u(x) θ]h(θ). Selanjutnya jika statistik cukup Y ada, maka k(θ y) g[y θ]h(θ). (7) Dalam kasus statistik cukup Y, fungsi g 1 (y) dapat digunakan untuk menyatakan fungsi peluang marginal dari Y: g 1 (y) = g(y θ)h(θ)dθ.

42 Distribusi Prior dan Distribusi Posterior Latihan Soal 1. Misalkan X θ Binomial (20, θ). Peluang prior untuk Θ adalah P(θ = 0, 3) = 2/3 dan P(θ = 0, 5) = 1/3. Jika x = 9, tentukan peluang posterior untuk θ = 0, 3 dan θ = 0, 5!

43 Distribusi Prior dan Distribusi Posterior Latihan Soal 2. Misalkan X 1, X 2,..., X n λ iid Poisson(λ), dengan Λ Gamma(α, β). a. Tentukan distribusi posterior dari Λ b. Hitung mean dan variansi dari posterior.

44 Distribusi Prior dan Distribusi Posterior Latihan Soal Jawab: Perhatikan bahwa Y = n X i λ Poisson(nλ). i=1 a. Fungsi peluang massa marginal Y adalah (nλ) y e nλ g 1 (y) = 0 y! n y = y!γ(α)β α λ (y+α) 1 e = n y Γ(y + α) y!γ(α)βα 0 1 Γ(α)β α λα 1 e λ/β dλ λ β/(nβ+1) dλ ( ) y+α β. nβ + 1

45 Distribusi Prior dan Distribusi Posterior Latihan Soal Sehingga k(λ y) = L(y λ)h(λ) g 1 (y) = λ(y+α) 1 e λ β/(nβ+1) Γ(y + α) ( β nβ+1 ) y+α Gamma ( ) β y + α,. nβ + 1

46 Distribusi Prior dan Distribusi Posterior Latihan Soal b. Karena λ y Gamma (y + α, β nβ+1 ) maka β E(λ y) = (y + α) nβ + 1 = β nβ + 1 y + 1 nβ + 1 (αβ) β 2 Var(λ y) = (y + α) (nβ + 1) 2.

47 Misalkan δ adalah sejumlah fungsi untuk memilih sedemikian sehingga δ(x) adalah nilai θ yang diprediksi (nilai eksperimental dari peubah acak Θ), ketika nilai x yang dihitung dan pdf bersyarat k(θ x) diketahui.

48 Misalkan Θ adalah peubah acak kontinu, maka suatu estimator Bayes adalah fungsi keputusan δ yang meminimalkan E {L[Θ, δ(x)] X = x} = dengan L adalah fungsi kerugian. Artinya, δ(x) = arg min L[θ, δ(x)]k(θ x)dθ, L[θ, δ(x)]k(θ x)dθ.

49 Peubah acak terkait δ(x) disebut estimator Bayes dari θ. Ada dua fungsi kerugian yang biasa digunakan, yaitu [θ δ(x)] 2 dan θ δ(x).

50 Peubah acak terkait δ(x) disebut estimator Bayes dari θ. Ada dua fungsi kerugian yang biasa digunakan, yaitu [θ δ(x)] 2 dan θ δ(x). Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ δ(x)] 2, maka estimasi Bayesnya adalah δ(x) = E(Θ x). Perhatikan bahwa E[(W b) 2 ] (jika ada) menjadi minimum ketika b = E(W).

51 Peubah acak terkait δ(x) disebut estimator Bayes dari θ. Ada dua fungsi kerugian yang biasa digunakan, yaitu [θ δ(x)] 2 dan θ δ(x). Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ δ(x)] 2, maka estimasi Bayesnya adalah δ(x) = E(Θ x). Perhatikan bahwa E[(W b) 2 ] (jika ada) menjadi minimum ketika b = E(W). Jika fungsi kerugian dinyatakan sebagai L[θ, δ(x)] = θ δ(x), maka median dari distribusi Θ bersyarat X = x menjadi solusi Bayes.

52 Peubah acak terkait δ(x) disebut estimator Bayes dari θ. Ada dua fungsi kerugian yang biasa digunakan, yaitu [θ δ(x)] 2 dan θ δ(x). Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ δ(x)] 2, maka estimasi Bayesnya adalah δ(x) = E(Θ x). Perhatikan bahwa E[(W b) 2 ] (jika ada) menjadi minimum ketika b = E(W). Jika fungsi kerugian dinyatakan sebagai L[θ, δ(x)] = θ δ(x), maka median dari distribusi Θ bersyarat X = x menjadi solusi Bayes. Namun jika L[θ, δ(x)] = a(ˆθ θ) + b(ˆθ θ) +, maka estimator Bayesnya adalah kuantil ke dari F(θ X). a a+b

53 Untuk fungsi kerugian L, estimator Bayes dari l(θ) adalah fungsi keputusan δ yang meminimumkan E{L[l(Θ), δ(x)] X = x} = L[l(θ), δ(x)]k(θ x)dθ. Ekspektasi bersyarat dari fungsi kerugian diberikan X = x dinotasikan sebagai { } L[θ, δ(x)]k(θ x)dθ g 1 (x)dx { } = L[θ, δ(x)]l(x θ)dx h(θ)dθ.

54 Contoh Soal Pandang model distribusi berikut: X i θ iid Binomial(1, θ), untuk i = 1, 2,..., n Θ Beta(α, β), dengan α dan β diketahui. Maka pdf priornya { Γ(α+β) h(θ) = Γ(α)Γ(β) θα 1 (1 θ) β 1 ; 0 < θ < 1 0; lainnya, dengan α dan β konstanta positif.

55 Contoh Soal Pandang model distribusi berikut: X i θ iid Binomial(1, θ), untuk i = 1, 2,..., n Θ Beta(α, β), dengan α dan β diketahui. Maka pdf priornya { Γ(α+β) h(θ) = Γ(α)Γ(β) θα 1 (1 θ) β 1 ; 0 < θ < 1 0; lainnya, dengan α dan β konstanta positif. Ingat, estimator untuk distribusi prior ini adalah θ = α/(α + β). Selanjutnya dicari fungsi keputusan δ yang menjadi solusi Bayes.

56 Perhatikan bahwa statistik cukupnya adalah Y = n i=1 X i θ yang berdistribusi Binomial(n, θ). Fungsi peluang bersyarat Y diberikan Θ = θ adalah { ( n ) g(y θ) = y θ y (1 θ) n y ; y = 0, 1,..., n 0; untuk lainnya.

57 Berdasarkan hukum Bayes (jika statistik cukup Y ada): maka Sehingga k(θ y) = k(θ y) g[y θ]h(θ), k(θ y) θ y (1 θ) n y θ α 1 (1 θ) β 1, 0 < θ < 1. dengan y = 0, 1,..., n. Γ(n + α + β) Γ(α + y)γ(n + β y) θα+y 1 (1 θ) β+n y 1, 0 < θ < 1,

58 Berdasarkan hukum Bayes (jika statistik cukup Y ada): maka Sehingga k(θ y) = k(θ y) g[y θ]h(θ), k(θ y) θ y (1 θ) n y θ α 1 (1 θ) β 1, 0 < θ < 1. Γ(n + α + β) Γ(α + y)γ(n + β y) θα+y 1 (1 θ) β+n y 1, 0 < θ < 1, dengan y = 0, 1,..., n. Oleh karena itu, distribusi untuk posterior adalah Beta(α + y, β + n y). Selanjutnya, pilih fungsi kerugian error kuadrat, L[θ, δ(y)] = [θ δ(y)] 2. Maka estimator Bayes dari θ adalah mean dari pdf Beta, δ(y) = α + y α + β + n.

59 Estimator Bayes tersebut dapat ditulis menjadi ( ) n y δ(y) = α + β + n n + ( α + β α + β + n ) α α + β, yang merupakan rata-rata terboboti dari maksimum likelihood yang mengestimasi parameter distribusi Binomial dan estimator prior yang berdistribusi Beta. Untuk n yang besar maka estimator Bayes mendekati nilai MLE θ, sehingga δ(y) merupakan estimator yang konsisten.

60 Estimator Bayes tersebut dapat ditulis menjadi ( ) n y δ(y) = α + β + n n + ( α + β α + β + n ) α α + β, yang merupakan rata-rata terboboti dari maksimum likelihood yang mengestimasi parameter distribusi Binomial dan estimator prior yang berdistribusi Beta. Untuk n yang besar maka estimator Bayes mendekati nilai MLE θ, sehingga δ(y) merupakan estimator yang konsisten. Perhatikan bahwa α dan β seharusnya dipilih sedemikian sehingga tidak hanya mean prior α/(α + β) yang diinginkan, tetapi juga penjumlahan α + β mengindikasikan nilai opini prior tergantung pada ukuran sampel n. Misalkan opini prior bahwa ukuran sampelnya 20, maka α + β = 20. Jadi, jika mean priornya 3/4, maka yang dipilih adalah α = 15 dan β = 5.

61 Contoh Soal Pandang model berikut: X i θ iid N(θ, σ 2 ), (σ 2 diketahui) Θ N(θ 0, σ 2 0), (θ 0 dan σ 2 0 diketahui). a. Tentukan distribusi posterior dari Θ b. Hitung mean dan variansi dari posterior.

62 Misalkan Y = X adalah statistik cukup, maka Lalu Y θ N(θ, σ 2 /n), (σ 2 diketahui) Θ N(θ 0, σ 2 0), (θ 0 dan σ 2 0 diketahui). k(θ y) g[y θ]h(θ) 1 1 (y θ)2 exp [ 2πσ/ n 2πσ0 2(σ 2 /n) (θ θ 0) 2 ] 2σ 0 ( θ yσ2 0 + θ 0(σ 2 ) 2 /n) exp σ0 2 + (σ2 /n) 2(σ 2 /n)σ0 2. [σ0 2 + (σ2 /n)]

63 TUGAS 1 Misalkan X 1, X 2,..., X n λ iid Poisson(λ), dengan Λ Gamma(α, β). a. Tentukan distribusi posterior dari Λ b. Hitung mean dan variansi dari posterior.

64 Prior Konjugat Prior Non-Informatif Fungsi Peluang Bersama (Marginal) Misalkan X = (X 1, X 2,..., X n ) menyatakan sampel acak dengan fungsi likelihood L(x θ) dan peluang prior h(θ). Maka, fungsi peluang bersama dari X adalah g 1 (x) = L(x θ)h(θ)dθ, yang dikenal juga sebagai distribusi prediktif dari X, karena mengandung fungsi likelihood dan peluang prior.

65 Prior Konjugat Prior Non-Informatif Definisi Keluarga Distribusi Konjugat Definisi Distribusi prior dan posterior disebut distribusi konjugat jika fungsi peluang posterior memiliki keluarga distribusi yang sama dengan prior. Lalu priornya disebut prior konjugat.

66 Prior Konjugat Prior Non-Informatif Contoh Keluarga Distribusi Konjugat 1. Misalkan X 1, X 2,..., X n λ iid Poisson(λ), dengan Λ Gamma(α, β). Selanjutnya Y = n i=1 X i λ Poisson(nλ). Sehingga diperoleh k(λ y) Gamma ( y + α, β nβ + 1 ).

67 Prior Konjugat Prior Non-Informatif Contoh Keluarga Distribusi Konjugat 2. Pandang model berikut: Maka X i θ iid N(θ, σ 2 ), (σ 2 diketahui) Θ N(θ 0, σ 2 0), (θ 0 dan σ 2 0 diketahui). Y = X θ N(θ, σ 2 /n), (σ 2 diketahui) Lalu k(θ y) Normal. Sehingga posterior juga berdistribusi Normal.

68 Prior Konjugat Prior Non-Informatif Contoh Keluarga Distribusi Konjugat 3. Pandang model distribusi berikut: iid X i θ Binomial(1, θ), untuk i = 1, 2,..., n Θ Beta(α, β), dengan α dan β diketahui. Lalu Y = n X i θ Binomial(n, θ). Sehingga i=1 k(θ y) Beta (α + y, β + n y).

69 Prior Konjugat Prior Non-Informatif Secara intuisi, bahwa prior konjugat (secara transparan) menunjukkan bagaimana fungsi likelihood memperbaharui distribusi prior.

70 Prior Konjugat Prior Non-Informatif Prior Non-Informatif Pandang kembali model distribusi berikut: iid X i θ Binomial(1, θ), untuk i = 1, 2,..., n Θ Beta(α, β), dengan α dan β diketahui.

71 Prior Konjugat Prior Non-Informatif Prior Non-Informatif Pandang kembali model distribusi berikut: iid X i θ Binomial(1, θ), untuk i = 1, 2,..., n Θ Beta(α, β), dengan α dan β diketahui. Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1 untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyak pengetahuan tentang θ.

72 Prior Konjugat Prior Non-Informatif Prior Non-Informatif Pandang kembali model distribusi berikut: iid X i θ Binomial(1, θ), untuk i = 1, 2,..., n Θ Beta(α, β), dengan α dan β diketahui. Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1 untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyak pengetahuan tentang θ. Lalu diperoleh ( ) ( n y α + β δ(y) = α + β + n n + α + β + n ( ) ( ) n y 2 1 = 2 + n n n 2. ) α α + β Sehingga terjadi penyusutan karena estimator y/n ditarik ke arah rata-rata prior 1/2.

73 Prior Konjugat Prior Non-Informatif Lalu Haldane (1948) mencoba prior Beta jika α = β = 0, maka penyusutan estimator akan berkurang ke MLE y/n. Dan tentu saja fungsi peluang Beta(0,0) bukanlah suatu fungsi peluang.

74 Prior Konjugat Prior Non-Informatif Lalu Haldane (1948) mencoba prior Beta jika α = β = 0, maka penyusutan estimator akan berkurang ke MLE y/n. Dan tentu saja fungsi peluang Beta(0,0) bukanlah suatu fungsi peluang. Kemudian diambillah h(θ) 1 θ(1 θ), 0 < θ < 1. Ketika prior digunakan, lalu dikombinasikan dengan likelihood diperoleh fungsi peluang posterior yang proper. Sehingga dipadukan dengan konstanta positif, menghasilkan fungsi peluang posterior berikut. f (θ y) θ y 1 (1 θ) n y 1, n > y > 0. Dalam hal ini, mean posterior adalah y/n.

75 Prior Konjugat Prior Non-Informatif Definisi Improper Definisi Misalkan X = (X 1, X 2,..., X n ) sampel acak dari suatu distribusi dengan fungsi peluang f (x θ). Suatu prior h(θ) 0 dikatakan improper jika bukan suatu fungsi peluang, namun membuat k(θ x) L(x θ)h(θ) proper.

76 Prior Konjugat Prior Non-Informatif Prior Non-Informatif Suatu prior dapat dikatakan prior non-informatif jika θ memiliki kesempatan yang sama (secara uniform) untuk semua kemungkinan. Praktisnya, prior improper digunakan sebagai prior non-informatif.

77 Prior Konjugat Prior Non-Informatif Misalkan distribusi N(θ 1, θ 2 ) dengan θ 1, θ 2 > 0 tidak diketahui.

78 Prior Konjugat Prior Non-Informatif Misalkan distribusi N(θ 1, θ 2 ) dengan θ 1, θ 2 > 0 tidak diketahui. Lalu prior informatif untuk θ 1 adalah h 1 (θ 1 ) = 1, < θ 1 <. Jelas ini bukan fungsi peluang. Kemudian prior improper untuk θ 2 adalah Dalam hal ini, < log θ 2 <. h 2 (θ 2 ) = c 2 /θ 2, 0 < θ 2 <.

79 Prior Konjugat Prior Non-Informatif Misalkan distribusi N(θ 1, θ 2 ) dengan θ 1, θ 2 > 0 tidak diketahui. Lalu prior informatif untuk θ 1 adalah h 1 (θ 1 ) = 1, < θ 1 <. Jelas ini bukan fungsi peluang. Kemudian prior improper untuk θ 2 adalah Dalam hal ini, < log θ 2 <. h 2 (θ 2 ) = c 2 /θ 2, 0 < θ 2 <. Selanjutnya jika diasumsikan bahwa kedua parameter tersebut saling bebas, maka prior bersama juga improper: h 1 (θ 1 )h 2 (θ 2 ) 1/θ 2, < θ 1 <, 0 < θ 2 <.

80 Prior Konjugat Prior Non-Informatif TUGAS 2 1. Tunjukkan bahwa X 1, X 2,..., X n θ iid Eksponensial(θ) adalah keluarga distribusi konjugat! Θ Gamma(α, β), (α dan β diketahui),

81 Prior Konjugat Prior Non-Informatif TUGAS 2 2. Tentukan distribusi posterior, jika diketahui model Bayesian berikut. X 1, X 2,..., X n θ iid Bernoulli(θ), 0 < θ < 1 Θ h(θ) = 1.

82 Prior Konjugat Prior Non-Informatif INFO TUGAS Kumpulkan TUGAS 1 dan TUGAS 2, paling lambat tanggal 27 November 2017 jam

83 Pendahuluan Integrasi menggunakan Monte Carlo Misalkan ingin menghitung dibawa kurva y = x ketika dibatasi x = 0 dan x = 1. Sintaks Octave % integrasi Monte Carlo clc; clear all; N=10000; x1=0; x2=1; y1=0; y2=1; x=unifrnd(x1,x2,n,1); y=unifrnd(y1,y2,n,1); hitung di bawah kurva=zeros(n,1); 1 0 x dx. Dalam hal ini, yang dihitung adalah luas

84 Pendahuluan Sintaks Octave (Lanjutan) for i=1:n if y(i)<x(i) hitung di bawah kurva(i)=1; endif; endfor; peluang luas=sum(hitung di bawah kurva)/n; luas di bawah kurva=peluang luas*(x2-x1)*(y2-y1); luas di bawah kurva

85 Contoh ke 2: Konsep Dasar Bayesian 2 2 x 2 dx Pendahuluan Sintaks Octave % integrasi Monte Carlo (2) close all; clc; clear all; N=10000; x1=-2; x2=2; y1=0; y2=max(x1ˆ2,x2ˆ2); x=unifrnd(x1,x2,n,1); y=unifrnd(y1,y2,n,1); hitung di bawah kurva=zeros(n,1); for i=1:n if y(i)<x(i)*x(i) hitung di bawah kurva(i)=1; endif; endfor;

86 Pendahuluan Sintaks Octave (Lanjutan) peluang luas=sum(hitung di bawah kurva)/n; luas di bawah kurva=peluang luas*(x2-x1)*(y2-y1); luas di bawah kurva xxx=x1:0.01:x2; yyy=xxx.ˆ2; plot(x,y, b.,xxx,yyy, r-, linewidth,2); title( Integrasi Monte Carlo pada kurva y=xˆ2 ); xlabel( x ); ylabel( y );

87 Pendahuluan Gambar: Sampling pada kurva y = x 2

88 Pendahuluan Tabel: Simulasi Integrasi Menggunakan Teknik Monte Carlo N a f (x) = x 0,4700 0,4890 0,5074 0,4982 1/2 f (x) = x 2 4,4800 5,4240 5,2976 5, /3 Ket: a = 0, b = 1 a = 2, b = 2. b f (x)dx

89 Pendahuluan Integrasi Monte Carlo Misalkan g adalah fungsi tertutup dan terbatas pada interval [a, b]. Maka b a b g(x)dx = (b a) a 1 g(x) dx = (b a)e[g(x)], b a dengan X U(a, b). Selanjutnya menggunakan teknik Monte Carlo: 1 bangkitkan sampel acak X 1, X 2,..., X n dari U(a, b) 2 hitung Y i = (b a)g(x i ) untuk i = 1, 2,..., n 3 hitung Ȳ yang merupakan estimator tak bias dari b a g(x)dx.

90 Pendahuluan Model Bayesian Teknik integrasi memainkan peranan penting dalam inferensi Bayesian. Teknik Monte Carlo dapat digunakan untuk integrasi dalam inferensi Bayesian.

91 Pendahuluan Misalkan sampel acak berasal dari distribusi N(θ, σ 2 ), dengan parameter σ 2 diketahui. Misalkan juga Y = X adalah suatu statistik cukup. Lalu pandang model Bayes berikut: Y θ N(θ, σ 2 /n) Θ h(θ) 1 b dengan a, b > 0 yang diketahui. exp{ (θ a) b }, < θ <, (1 + exp{ (θ a) b }) 2

92 Pendahuluan Karena prior Θ berdistribusi Logistik, maka fungsi peluang posteriornya yaitu { } 1 2πσ/ n exp 1 (y θ) 2 2 b 1 e (θ a)/b /(1 + e [(θ a)/b] ) 2 σ k(θ y) = 2 /n { }. 1 2πσ/ n exp 1 2 b 1 e (θ a)/b /(1 + e [(θ a)/b] ) 2 dθ (y θ) 2 σ 2 /n Selanjutnya dengan asumsi kerugian error kuadrat, maka estimator Bayes adalah mean dari distribusi posterior. Namun perhitungannya melibatkan dua integral, yang tidak dapat dipecahkan solusinya secara eksplisit.

93 Pendahuluan Solusinya? Teknik Integrasi Monte Carlo? Karena fungsi likelihood f (y θ) juga merupakan fungsi dari θ maka dapat dimisalkan bahwa { 1 w(θ) = f (y θ) = exp 1 (y θ) 2 } 2πσ/ n 2 σ 2. /n Sehingga diperoleh estimator Bayes δ(y) = θw(θ)b 1 e (θ a)/b /(1 + e [(θ a)/b] ) 2 dθ w(θ)b 1 e (θ a)/b /(1 + e [(θ a)/b] ) 2 dθ = E[Θw(Θ)] E[w(Θ)].

94 Pendahuluan Langkah selanjutnya adalah mengestimasi menggunakan Monte Carlo. Hal ini dilakukan dengan cara membangkitkan Θ 1, Θ 2,..., Θ m dari distribusi Logistik yang berfungsi peluang h(θ). Lalu gunakan metode transformasi invers. Adapun invers dari fungsi kumulatif Logistik, yaitu: { } u a + b log, 0 < u < 1. 1 u Kemudian dibentuk peubah acak baru, T m = m 1 m i=1 m 1 m i=1 Θ i w(θ i ). w(θ i )

95 Pendahuluan δ(y) = E[Θw(Θ)] E[w(Θ)], 1 m Θ i w(θ i ) m i=1 T m = 1 m w(θ i ) m Dengan hukum lemah dari bilangan besar dan Teorema Slutsky, bahwa i=1 T m P δ(y). Dengan menggunakan bootstrap, maka dapat diperoleh interval kepercayaan untuk E[Θw(Θ)]/E[w(Θ)].

96 Pendahuluan Teorema Teorema Misalkan dibangkitkan peubah acak dengan mengikuti algoritma berikut: 1. bangkitkan Y f Y (y) 2. bangkitkan X f X Y (x Y). Maka X memiliki fungsi peluang, yaitu f X (x).

97 Pendahuluan Teorema Teorema Misalkan dibangkitkan peubah acak dengan mengikuti algoritma berikut: 1. bangkitkan Y f Y (y) 2. bangkitkan X f X Y (x Y). Maka X memiliki fungsi peluang, yaitu f X (x). Bukti: Untuk menghindari kesalahpahaman, misalkan T adalah peubah acak yang dibangkitkan oleh algoritma tersebut. Maka akan dibuktikan bahwa T memiliki fungsi peluang, yaitu f X (x).

98 Bukti Teorema Konsep Dasar Bayesian Pendahuluan t R, P(T t) = E[F X Y (t)] = = = t t t t = f X (x)dx. Sehingga f X (x) adalah fungsi peluang dari T. f X Y (x y)dx f Y (y)dy f X Y (x y)f Y (y)dy dx f X,Y (x, y)dy dx

99 Pendahuluan Ketika ingin menentukan nilai E[W(X)] untuk beberapa fungsi W(x), dimana E[W 2 (X)] <. Maka dapat dibangkitkan pasangan secara bebas (Y 1, X 1 ), (Y 2, X 2 ),..., (Y m, X m ), dengan Y i berasal dari f Y (y) dan X i berasal dari f X Y (x Y). Lalu dengan menggunakan hukum lemah dari bilangan besar, W = 1 m m W(X i ) P i=1 W(x)f X (x)dx = E[W(X)].

100 Pendahuluan Dengan Teorema Limit Pusat, m( W E[W(X)]) D N(0, σ 2 W), dimana σ 2 W = Var(W(X)), atau diperoleh interval kepercayaan untuk E[W(x)] yaitu w ± z α/2 s W m, dimana s 2 W = (m m 1) 1 (w i w) 2. i=1

101 Pendahuluan Soal Latihan Diketahui: { 2e f X (x) = x (1 e x ), 0 < x < 0, untuk x yang lainnya { 2e f Y (y) = 2y, 0 < y < 0, untuk y yang lainnya { e f X Y (x y) = (x y), y < x < 0, untuk kondisi lainnya Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma:

102 Pendahuluan Soal Latihan Diketahui: { 2e f X (x) = x (1 e x ), 0 < x < 0, untuk x yang lainnya { 2e f Y (y) = 2y, 0 < y < 0, untuk y yang lainnya { e f X Y (x y) = (x y), y < x < 0, untuk kondisi lainnya Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma: 1. Bangkitkan Y f Y (y) 2. Bangkitkan X f X Y (x Y)

103 Pendahuluan Soal Latihan Diketahui: { 2e f X (x) = x (1 e x ), 0 < x < 0, untuk x yang lainnya { 2e f Y (y) = 2y, 0 < y < 0, untuk y yang lainnya { e f X Y (x y) = (x y), y < x < 0, untuk kondisi lainnya Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma: 1. Bangkitkan Y f Y (y) 2. Bangkitkan X f X Y (x Y) F 1 Y (u) = F 1 X Y (u) =

104 Pendahuluan F Y (t) = F X Y (t) = t 0 t F 1 Y (u) = F 1 X Y (u) =. y f Y (y)dy = f X Y (x y)dx =

105 Pendahuluan Algoritma sebelumnyalah yang memotivasi untuk menggunakan algoritma lainnya yang disebut. Misalkan pasangan peubah acak (X, Y) memiliki fungsi peluang bersama f (x, y). Tujuannya adalah membangkitkan peubah-peubah acak yang iid, masing-masing yaitu X dan Y.

106 Pendahuluan Algoritma Misalkan m dan X 0 masing-masing menyatakan bilangan bulat positif dan nilai inisial (yang diberikan). Maka untuk i = 1, 2,..., m, 1. Bangkitkan Y i X i 1 f (y x) 2. Bangkitkan X i Y i f (x y).

107 Pendahuluan Algoritma (Lanjutan) Maka untuk i Y i X i D Y fy (y) D X fx (x) dan untuk m 1 m m W(X i ) P E[W(X)]. i=1

108 Pendahuluan Perhatikan bahwa untuk menghitung pasangan (X k+1, Y k+1 ) hanya memerlukan pasangan (X k, Y k ), tanpa pasangan-pasangan dari 1 sampai ke k 1. Dalam proses stokastik, rangkaian ini disebut Rantai Markov.

109 Pendahuluan Soal Latihan Misalkan (X, Y) memiliki fungsi peluang yang merupakan campuran dari diskrit dan kontinu berikut f (x, y) = Maka { 1 1 Γ(α) x! yα+x 1 e 2y, α > 0; y > 0; x = 0, 1, 2,... 0, kondisi lainnya. f (y x) f (x y)

110 Pendahuluan Maka algoritma nya adalah, untuk i = 1, 2,..., m, 1. Bangkitkan Y i X i 1 Γ(α + X i 1, 2) 2. Bangkitkan X i Y i Poi(Y i ). Sehingga dengan membesarnya nilai m dan n > m, Ȳ = 1 n m X = 1 n m n i=m+1 n i=m+1 Y i X i P E(Y) P E(X).

111 Pendahuluan Dalam hal ini, dapat dibuktikan bahwa Y Γ(α, 1) X Binomial Negatif(α, 1/2). Dapat dibuktikan juga nilai ekspektasi untuk X dan Y adalah E(Y) = E(X) = α.

112 Pendahuluan Sintaks R gibbser2 = function(alpha,m,n){ x0 = 1 yc = rep(0,m+n) xc = c(x0,rep(0,m+n-1)) for(i in 2:(m+n)){ yc[i] = rgamma(1,alpha+xc[i-1],2) xc[i] = rpois(1,yc[i]) } y1=yc[1:m] y2=yc[(m+1):(m+n)] x1=xc[1:m] x2=xc[(m+1):(m+n)] list(y1 = y1,y2=y2,x1=x1,x2=x2) }

113 Pendahuluan Sintaks R (Lanjutan) library(stats) n<-10000; alpha<-8; coba simulasi<-gibbser2(alpha,5000,n); y topi<-mean(coba simulasi$y2) x topi<-mean(coba simulasi$x2) sigma2 y<-var(coba simulasi$y2) sigma2 x<-var(coba simulasi$x2) ba y<-mean(coba simulasi$y2)+1.64*sd(coba simulasi$y2)/sqrt(n) bb y<-mean(coba simulasi$y2)-1.64*sd(coba simulasi$y2)/sqrt(n) ba x<-mean(coba simulasi$x2)+1.64*sd(coba simulasi$x2)/sqrt(n) bb x<-mean(coba simulasi$x2)-1.64*sd(coba simulasi$x2)/sqrt(n) dibuat tabel y<-data.frame(alpha,y topi,sigma2 y,bb y,ba y) dibuat tabel x<-data.frame(alpha,x topi,sigma2 x,bb x,ba x)

114 Pendahuluan Tabel: Interval Kepercayaan 99% untuk Peubah Acak X dan Y Parameter Estimasi sampel Variansi sampel Interval kepercayaan E(Y) = α = 8 ȳ = s 2 (y) = ( , ) E(X) = α = 8 x = s 2 (x) = ( , ) E(Y) = α = 10 ȳ = s 2 (y) = ( , ) E(X) = α = 10 x = s 2 (x) = ( , ) E(Y) = α = 30 ȳ = s 2 (y) = ( , ) E(X) = α = 30 x = s 2 (x) = ( , ) Parameter α = 8 tidak berada di dalam interval interval 99%.

115 Pendahuluan Simulasi Histogram

116 Pendahuluan Tabel: Simulasi Interval Kepercayaan 99% ketika α = 8 n Estimasi sampel Variansi sampel Interval kepercayaan ȳ = s 2 (y) = ( , ) x = s 2 (x) = ( , ) ȳ = s 2 (y) = ( , ) x = s 2 (x) = ( , ) ȳ = s 2 (y) = ( , ) x = s 2 (x) = ( , )

117 Pendahuluan Soal Latihan 1. Misalkan Y Γ(1, 1) dan { e f (x y) = (x y), 0 < y < x < 0, kondisi lainnya. a. Buatlah algoritma untuk membangkitkan pengamatan iid dengan fungsi peluang f X(x)! b. Berikan prosedur untuk mencari E[X]!

118 Pendahuluan Jawab: Perhatikan bahwa F 1 X Y (u) = y log(1 u). Sehingga a. Bangkitkan U 1 dan U 2 yang iid Uniform(0,1) Bangkitkan Y = log(1/(1 U 1 )) Bangkitkan X = Y + log(1/(1 U 2 )). b. Untuk n, X = n x/n E(X). i=1

119 Pendahuluan Sintaks Octave function [kumpulkan] = simulasikan(n) kumpulkan=zeros(n,1); for i=1:n y=-log(1-unifrnd(0,1,1)); kumpulkan(i)=y-log(1-unifrnd(0,1,1)); end; endfunction x=simulasikan(1000); mean(x);

120 Pendahuluan Soal Latihan 2. Misalkan { ( n ) f (x, y) x y x+α 1 (1 y) n x+β 1, x = 0, 1,..., n; 0 < y < 1 0, untuk kondisi lainnya, dengan α, β > 0. a. Tentukan f (x y) dan f (y x)! b. Buatlah algoritma Gibbs sampler untuk membangkitkan peubah acak X dan Y!

121 Pendahuluan Jawab: a. f (x y) ( n x) y x (1 y) n x ; sehingga X Y BIN(n, Y).

122 Pendahuluan Jawab: a. f (x y) ( n x) y x (1 y) n x ; sehingga X Y BIN(n, Y). f (y x) y x+α 1 (1 y) n x+β 1 ; sehingga Y X beta(x + α, n x + β)

123 Pendahuluan Jawab: a. f (x y) ( n x) y x (1 y) n x ; sehingga X Y BIN(n, Y). f (y x) y x+α 1 (1 y) n x+β 1 ; sehingga Y X beta(x + α, n x + β) b. untuk i = 1, 2,..., m Bangkitkan Y i X i 1 beta(x i 1 + α, n X i 1 + β) Bangkitkan X i Y i BIN(n, Y i ).

124 Fungsi peluang prior memiliki pengaruh penting dalam kesimpulan Bayesian.

125 Fungsi peluang prior memiliki pengaruh penting dalam kesimpulan Bayesian. Lebih lanjut, prior juga dapat dipengaruhi oleh peubah acak lain. Perhatikan model Bayesian hirarki berikut. X θ f (x θ) Θ γ h(θ γ) Γ ψ(γ). Parameter γ dapat dikatakan sebagai parameter pengganggu atau hyperparameter.

126 Misalkan fungsi g adalah fungsi peluang secara umum, maka g(x, θ, γ) = g(x θ, γ)g(θ, γ) = f (x θ)h(θ γ)ψ(γ) (karena f (x θ) tidak bergantung pada γ). Sehingga fungsi peluang posteriornya adalah k(θ x) = = g(x, θ, γ)dγ g(x, θ, γ)dγdθ f (x θ)h(θ γ)ψ(γ)dγ. f (x θ)h(θ γ)ψ(γ)dγdθ

127 Dengan mengasumsikan kerugian error kuadrat, maka estimator Bayesian untuk W(θ) adalah δ W (x) = W(θ)f (x θ)h(θ γ)ψ(γ)dγd(θ) f (x θ)h(θ γ)ψ(γ)dγdθ.

128 Selanjutnya adalah menggunakan algoritma. Untuk i = 1, 2,..., m: Kemudian untuk i, Θ i x, γ i 1 g(θ x, γ i 1 ) Γ i x, θ i g(γ x, θ i ). Θ i Γ i D k(θ x) D g(γ x). Lebih lanjut, untuk m, 1 m m W(Θ i ) P E[W(Θ) x] = δ W (x). i=1

129 Contoh Soal Perhatikan kembali model Bayesian berikut. X i θ iid N(θ, σ 2 ), (σ 2 diketahui) Θ N(0, σ 2 0), (σ 2 0 diketahui). Misalkan Y = X adalah statistik cukup, maka Lalu Y θ N(θ, σ 2 /n), (σ 2 diketahui) Θ N(0, σ 2 0), (σ 2 0 diketahui). k(θ y) exp ( θ yσ 2 0 σ (σ2 /n) 2(σ 2 /n)σ 2 0 [σ (σ2 /n)] ) 2.

130 Namun ketika σ 2 0 merupakan peubah acak (sebutlah τ 2 ), maka model dapat berubah menjadi Y θ N(θ, σ 2 /n), (σ 2 diketahui) Θ τ 2 N(0, τ 2 ) 1 Γ(a, b), (a dan b diketahui). τ 2 Sehingga diperlukan fungsi peluang bersyarat g(θ y, τ 2 ) dan g(τ 2 y, θ). Perhatikan bahwa ( berdistribusi N g(θ y, τ 2 ) f (y θ)h(θ τ 2 )ψ(τ 2 ) yτ 2 τ 2 +(σ 2 /n), (σ 2 /n)τ 2 [τ 2 +(σ 2 /n)] ).

131 ( ) 1 g τ 2 y, θ f (y θ)g(θ τ 2 )ψ(1/τ 2 ) 1 { τ exp 1 θ 2 } ( ) a 1 { 1 2 τ 2 τ 2 exp 1 } 1 τ 2 b ( ) a+(1/2) 1 { 1 τ 2 exp 1 [ θ 2 τ ]}, b yang diketahui berdistribusi Γ { a + (1/2), [(θ 2 /2) + (1/b)] 1}.

132 Sehingga untuk model ini adalah ( ) Θ y, τi 1 2 yτi 1 2 N τi (σ2 /n), (σ2 2 /n)τi 1 [τi (σ2 /n)] ( 1 τ 2 y, Θ i Γ a + 1 [ θ 2 2, i ] 1 ), b untuk i = 1, 2,..., m.

133 Dengan menentukan bilangan m yang besar dan n > m, maka diperoleh himpunan pasangan {(Θ m, τ m ), (Θ m+1, τ m+1 ),..., (Θ n, τ n )}. Jika diasumsikan kerugian error kuadrat, maka ˆθ = 1 n m n i=m+1 Θ i.

134 Karena diketahui distribusi bersyarat ( ) Θ y, τi 1 2 yτi 1 2 N τi (σ2 /n), (σ2 2 /n)τi 1 [τi 1 2 +, (σ2 /n)] maka θ juga dapat diestimasi oleh ˆθ = 1 n m n i=m+1 τ 2 i τ 2 i + (σ 2 /n) x.

135 Latihan Soal Perhatikan kembali model Bayesian berikut. X 1, X 2,..., X n λ iid Poisson(λ) Λ Gamma(α, β). Perhatikan bahwa Y = n X i λ Poisson(nλ). Sehingga i=1 k(λ y) Gamma ( ) β y + α,. nβ + 1

136 Namun jika β = b merupakan peubah acak dan diberikan model Bayesian berikut Maka X λ Poisson(λ) Λ b Γ(1, b) B g(b) = τ 1 b 2 exp a. tentukan posterior g(λ x, b)! b. tentukan g(b x, λ)! { 1 } ; b > 0, τ > 0. bτ

137 Perhatikan bahwa fungsi peluang bersama Diperoleh g(x, λ, b) = f (x λ)h(λ b)ψ(b). λ λx 1 g(λ x, b) e x! b e λ/b λ x+1 1 e λ[1+(1/b)], yang merupakan fungsi peluang dari distribusi Γ(x + 1, b/[b + 1]).

138 Lalu g(b x, λ) 1 b e λ/b τ 1 b 2 e 1/(bτ) { b 3 exp 1 [ ]} 1 b τ + λ

139 Misalkan y = 1/b, maka berdasarkan Jacobian db dy = y 2. Sehingga diperoleh { g(b x, λ) b 3 exp 1 [ ]} 1 b τ + λ { [ ]} 1 g(y x, λ) y 3 exp y τ + λ y 2 { [ ]} 1 y 2 1 exp y τ + λ, yang merupakan fungsi peluang dari distribusi Γ(2, τ/[λτ + 1]).

140 Sehingga diperoleh algoritma, yakni untuk i = 1, 2,..., m Λ i x, b i 1 Γ(x + 1, b i 1 /[1 + b i 1 ]) B i = Y 1 i dengan Y i x, λ i Γ(2, τ/[λ i τ + 1]).

141 Pandang model Bayesian hirarki berikut. X θ f (x θ) Θ γ h(θ γ). Lalu bagaimanakah distribusi posterior untuk θ?

142 Pandang model Bayesian hirarki berikut. X θ f (x θ) Θ γ h(θ γ). Lalu bagaimanakah distribusi posterior untuk θ? Perhatikan bahwa g(x, θ γ) = g(x, θ, γ) ψ(γ) = f (x θ)h(θ γ)ψ(γ) ψ(γ) = f (x θ)h(θ γ).

143 Pandang model Bayesian hirarki berikut. X θ f (x θ) Θ γ h(θ γ). Lalu bagaimanakah distribusi posterior untuk θ? Perhatikan bahwa g(x, θ γ) = g(x, θ, γ) ψ(γ) Diperoleh fungsi likelihood berikut. = f (x θ)h(θ γ)ψ(γ) ψ(γ) = f (x θ)h(θ γ). m(x γ) = f (x θ)h(θ γ)dθ. Fokus perhatian tertuju pada bagaimana cara mengestimasi parameter γ?

144 Untuk memperoleh estimator ˆγ = ˆγ(x), diperoleh melalui fungsi peluang m(x γ) dengan metode maksimum likelihood. Nilai ˆγ inilah yang akan digunakan untuk melakukan prosedur Bayes empirik melalui fungsi peluang posterior k(θ x, ˆγ).