Algoritma Expectation-Maximization(EM) Untuk Estimasi Distribusi Mixture

Vol. 4, No., Oktober 04 Algoritma Expectation-Maximization(EM) Untuk Estimasi Distribusi Mixture Tomy Angga Kusuma ), Suparman ) ) Program Studi Matematika FMIPA UAD ) Program Studi Pend. Matematika UAD Abstrak Distribusi mixture merupakan distribusi yang dapat digunakan untuk memodelkan data yang populasinya tersusun dari beberapa sub populasi. Setiap sub populasi memiliki karakteristik yang berbeda. Namun kendala umum yang dihadapi adalah mengestimasi parameter pada distribusi mixture. Sehingga penelitian ini bertujuan untuk mengestimasi parameter pada distribusi mixture. Pendugaan parameter pada distribusi mixture dapat menggunakan metode algoritma Expectation-Maximization (EM). Algoritma EM memiliki kelebihan yaitu dapat menyelesaikan beberapa permasalahan pada bidang statistik seperti menduga parameter bagi gabungan fungsi-fungsi serta parameter dari data yang tidak lengkap. Kinerja Algoritma EM diuji dengan menggunakan data simulasi. Keywords Distribusi Mixture, Algoritma Expectation-Maximization (EM). Pendahuluan Statistika inferensia mencakup semua metode yang berhubungan dengan analisis sebagian data atau juga sering disebut sampel untuk kemudian sampai pada peramalan atau penarikan kesimpulan mengenai keseluruhan data induknya (populasi). Salah satu cara penarikan kesimpulan mengenai karakteristik populasi tersebut yaitu penaksiran parameter. Penaksiran parameter ini bertujuan untuk mendapatkan taksiran dari suatu nilai parameter populasi yang tak diketahui berdasarkan sampel. Dalam statistika terdapat dua jenis penaksiran parameter, yaitu penaksiran paramater titik dan penaksiran parameter interval. Penaksiran titik berupa sebuah nilai dari parameter populasi, sedangkan penaksiran interval berupa selang di mana parameter populasi terletak pada interval tersebut. Penentuan penaksiran parameter titik dapat ditempuh dengan menggunakan beberapa metode yaitu Metode Kemungkinan Maksimum, Metode Momen, Metode Kuadrat terkecil, dan sebagainya. Namun dalam beberapa kasus metode-metode tersebut tidak dapat memberikan solusi atas parameter yang ingin diketahui. Salah satu masalah yang tidak dapat diselesaikan mengenai distribusi mixture. Distribusi mixture menggabungkan sejumlah komponen yang kemungkinan berasal dari distribusi yang sama atau bahkan berbeda-beda sehingga dapat memberikan gambaran mengenai sifat-sifat data. Hasil distribusi mixture dapat memfasilitasi deskripsi suatu sistem yang kompleks dengan lebih teliti. Mixture beberapa distribusi tersebut menghasilkan distribusi baru yang mempunyai beberapa parameter. Sehingga Tomy Angga Kusuma 65

Vol. 4, No., Oktober 04 diharuskan mengestimasi parameternya. Pendugaan parameter dapat menggunakan beberapa metode salah satu metode terbaik yaitu algoritma Expectation-Maximization (EM). Algoritma EM memiliki kelebihan dimana mampu menyelesaikan beberapa permasalahan pada bidang statistik seperti menduga parameter bagi gabungan fungsifungsi serta parameter dari data yang tidak lengkap.. Tinjauan Pustaka. Distribusi Mixture Salah satu model khusus yang dapat digunakan untuk memodelkan data yang populasinya merupakan susunan dari beberapa sub populasi atau kelompok. Setiap sub populasi merupakan komponen penyusun dari model mixture serta mempunyai proporsi yang bervariasi untuk masing-masing komponennya (McLachlan dan Basford, 988) dan (Gelman, Carlin, Stren, dan Rubin, 995). Mixture distribution menggabungkan sejumlah komponen yang kemungkinan berasal dari distribusi yang sama atau berbeda-beda sehingga dapat memberikan gambaran mengenai sifat-sifat dari data. Hasil dari distribusi mixture dapat memfasilitasi deskripsi dari suatu sistem yang kompleks dengan lebih teliti. Distribusi mixture menyediakan kerangka parametrik yang fleksibel dalam permodelan dan analisis statistik (Marin, Mengersen, dan Robert, 005). McLahlan dan Krishnan (008) menjabarkan suatu model mixture merupakan sebuah model probabilistik yang digambarkan dengan densitas f(w; Ψ) = π f (w) Eq. Dimana 0 π, π = Keterangan π : Probabilitas atau proporsi dari komponen mixture. f (w) : Fungsi densitas yang menggambarkan mekanisme probabilistik untuk membangkitkan data w di dalam populasi F yang secara lengkap dapat dikenali dari parameter Ψ. g : Melambangkan banyaknya komponen dalam mixture. Model yang dijabarkan pada Eq. disebut sebagai finite mixture model yang berlaku untuk model dengan jumlah komponen g tertentu.. Maximum Likelihood Estimation Maximum Likelihood Estimation (MLE) diperkenalkan oleh R. A Fisher pada tahun 9. MLE merupakan salah satu metode penduga yang banyak sekali digunakan. MLE biasanya digunakan untuk menduga nilai-nilai parameter yang dimiliki suatu fungsi, seperti mean, variansi, dan sebagainya. 66 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 Bain dan Engelhardt (99) mendefinisikan MLE sebagai berikut : Misalkan X, X,, X adalah sampel random dari populasi dengan densitas f(x ; θ) fungsi likelihood didefinisikan dengan : L(θ, θ,, θ ) = f(x ; θ) Eq. Bila fungsi likelihood ini terdiferensikan dalam θ maka calon estimator likelihood yang mungkin adalah θ sedemikian sehingga L(θ) = 0 θ Untuk membuktikan bahwa θ benar-benar memaksimumkan fungsi likelihood L(θ) harus ditunjukkan bahwa : L(θ) < 0 θ Dalam banyak kasus dimana diferensi digunakan, akan lebih mudah bekerja pada logaritma dari L(θ)yaitu log L(θ). Hal ini dimungkinkan karena fungsi logaritma naik tegas pada (0, ) yang berarti bahwa L(θ) mempunyai ekstrem yang sama. Sehingga untuk menentukan estimator maksimum likelihood dari θ sebagai berikut :. Tentukan fungsi likelihood L(θ, θ,, θ ) = f(x ; θ). Bentuk log likelihood l = log L(θ) 3. Tentukan turunan dari l = log L(θ) terhadap θ log [Lθ] = 0 θ Penyelesaian dari persamaan poin 3 merupakan estimator maksimum likelihood untuk θ. 4. Tentukan turunan kedua dari l = log L(θ)terhadap θ. Jika () < 0, maka akan membuktikan bahwa θ benar-benar memaksimumkan fungsi likelihood..3 Algoritma Expectation-Maximization (EM) Definisi (Hogg, McKean dan Craig, 005) Algoritma EM pertama kali diperkenalkan oleh Dempster, Laird, dan Rubin pada tahun 977. Secara garis besar, algoritma EM adalah algoritma untuk menduga suatu parameter dalam suatu fungsi dengan menggunakan MLE, di mana fungsi tersebut mengandung data yang tidak lengkap. Algoritma EM merupakan proses yang terbagi atas dua langkah yaitu : Langkah Expectation (E-step) Pencarian nilai ekspektasi untuk fungsi likelihood berdasarkan variabel yang diamati. Langkah Maximization (M-Step) Tomy Angga Kusuma 67

Vol. 4, No., Oktober 04 Pencarian MLE dari parameter-parameter dengan memaksimumkan ekspektasi likelihood yang dihasilkan dari E-step. Parameter-parameter yang dihasilkan dari M-step akan digunakan kembali untuk E- step yang berikutnya, dan langkah ini akan diulang terus sampai memberikan nilai yang konvergen serta merupakan penduga dari suatu parameter. Misalkan kita anggap ada sampel dari n item dimana n dari item tersebut teramati sementara n = n n item tidak teramati. Item yang teramati dilambangkan dengan X = (X, X,, X ) dan item yang tidak teramati dilambangkan dengan Z = (Z, Z,, Z ). Asumsikan X S adalah variable saling bebas dan berdistribusi identik (independent and identically distribution) dengan fungsi kepadatan peluang f(x θ),dimana θ Ω. Asumsikan X S dan Z S adalah saling bebas. Mari kita lambangkan fungsi kepadatan peluang gabungan dari X dengan g(x θ). Kemudian h(x, z θ) untuk fungsi kepadatan peluang gabungan untuk data yang teramati dan tidak teramati. Sedangkan k(z θ, x) melambangkan notasi fungsi kepadatan peluang bersyarat dari data yang hilang untuk memberikan data yang teramati. Maka dapat kita peroleh k(z θ, x) = h(x, z θ) g(x θ) Eq. 5 Fungsi Likelihood data yang teramati yaitu L(θ x) = g(x θ)eq. 6 Kemudian fungsi likelihood untuk data lengkap didefinisikan dengan L (θ x, z) = h(x, z θ)eq. 7 Tujuan kita adalah memaksimalkan fungsi likelihood L(θ x) dengan menggunakan fungsi likelihood lengkap L (θ x, z) didalam proses. Gunakan persamaan k(z θ, x), kita peroleh log L(θ x) = log L(θ x) k(z θ, x)dz log L(θ x) = log g(x θ) k(z θ, x)dz log L(θ x) = [log h(x, z θ) log k(z θ, x)] k(z θ, x)dz log L(θ x) = log h(x, z θ) k(z θ, x)dz log k(z θ, x) k(z θ, x)dz log L(θ x) = E [log L (θ x, Z) θ, x] E [log k(z θ, x) θ, x] Dimana ekspektasi diambil di bawah fungsi kepadatan peluang bersyarat dari k(z θ, x). Kemudian mendefinisikan bagian pertama di sisi kanan pada fungsi di atas Q(θ θ, x) = E [log L (θ x, Z) θ, x] Ekspektasi yang didefinisikan fungsi Q dinamakan E-Step dari Algoritma EM. Ingat kita ingin memaksimalkan log L(θ x). Dilambangkan θ() inisial estimasi dari θ, berdasarkan pada fungsi likelihood teramati. Kemudian θ() menjadi argumen yang memaksimalkan Qθθ(), x. Ini adalah langkah pertama untuk mengestimasi θ kemudian kita definisikan algoritma EM sebagai berikut. 68 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 Dilambangkan θ() dalam mengestimasi langkah ke-m. Kemudian untuk mengestimasi langkah ke (m + ) : Dimana Langkah Expectation (E-step) Qθθ(), x = E ()log L (θ x, Z) θ(), x Dimana ekspektasi diambil dari fungsi kepadatan peluang bersyarat k(z θ (), x) Langkah Maximization (M-step) 3. Metode Penelitian θ() = Arg max Qθθ(), x Qθ() θ(), x Qθ() θ(), x Metodologi penelitian merupakan cara berfikir dan berbuat yang dipersiapkan secara matang dalam rangka untuk mencapai tujuan penelitian, yaitu menemukan, mengembangkan atau mengkaji kebenaran suatu pengetahuan secara ilmiah. Salah satu unsur terpenting dalam metodologi penelitian adalah penggunaan metode ilmiah tertentu yang digunakan sebagai sarana yang bertujuan untuk mengidentifikasi besar kecilnya objek atau gejala dan mencari pemecahan masalah yang sedang diteliti, sehingga hasil yang diperoleh dapat dipertanggung jawabkan kebenarannya secara ilmiah. Pada dasarnya fakta-fakta tidak tergeletak disekitar begitu saja tetapi butuh suatu metode untuk mengetahui dan mengambil masalah tersebut. Penelitian dilakukan dengan mempelajari literatur-literatur yang memuat dan membahas tentang MLE, Distribusi Mixture, Algoritma EM, dan beberapa teori teori pendukung. Tahap tahap penelitiannya adalah sebagai berikut : 3. Pengumpulan Literatur Penulis mencari dan mengumpulkan literatur-literatur yang berhubungan dengan teori-teori probabilitas, variabel random, ekspektasi, estimasi parameter dan berbagai metode-metode lain yang relevan untuk sampai pada pembahasan tentang estimasi distribusi mixture menggunakan algoritma EM. Pengumpulan berasal dari berbagai sumber seperti dari buku, skripsi, jurnal, artikel, dan situs-situs internet yang menunjang materi yang diperlukan. 3. Pengkajian Literatur Penulis membaca dan mengkaji literatur-literatur yang telah terkumpul, kemudian mengelompokkan dan mencatat literatur-literatur tersebut sesuai dengan masalah yang akan dibahas. Tomy Angga Kusuma 69

Vol. 4, No., Oktober 04 Sebagai langkah pertama penulis mempelajari teori probabilitas, teori estimasi parameter dan teori mengenai distribusi-distribusi dalam statistika pada buku Ilmu Peluang dan Statistika untuk Insinyur dan Ilmuwan (Walpole dan Myers, 995). Dilanjutkan dengan memahami maksud Distribusi Mixture dalam buku Introduction to Mathematical Statistics (Hogg, McKean dan Craig, 005), Finite Mixture Models (McLachlan dan Peel, 000). Selanjutnya mempelajari maksud dan teori Algoritma EM dalam buku The EM Algorithm and Extensions (McLachlan dan Krishnan, 008), 3.3 Pengembangan Literatur Pada tahap ini penulis pengelompokan dan mencatat literatur-literatur tersebut maka akan dilanjutkan dengan melakukan pengembangan-pengembangan dengan memberi uraian-uraian, yang diharapkan dapat lebih memahami konsep-konsep, sifatsifat, dan teorema-teorema yang sudah ada. 3.4 Pembuatan Program MATLAB Pembuatan program digunakan untuk aplikasi algoritma EM untuk mengestimasi distribusi mixture sehingga memudahkan perhitungan yang rumit. Selanjutnya mempelajari hasil praktek program aplikasi algoritma EM untuk mengestimasi distribusi mixture sesuai dengan tujuan dari penulisan skripsi ini. Program aplikasi algoritma EM untuk mengestimasi distribusi mixture ditulis dalam bahasa pemrograman Matlab00. Hasil penelitan yang diperoleh kemudian akan dikaji dan dianalisa. 3.5 Penyusunan Hasil Penelitian Penyusunan hasil penelitian digunakan sebagai langkah awal untuk memberi gambaran secara menyeluruh tentang topik yang akan dibahas. 4. Algoritma EM untuk Estimasi Distribusi Mixture Algoritma EM adalah metode umum untuk mencari MLE ketika ada data yang hilang atau variabel tersembunyi. Dalam konteks mixture model, data yang hilang direpresentasikan dengan himpunan pengamatan Z dari variabel random diskrit Z dimana z {,, K} menunjukkan komponen mixture yang dihasilkan dari pengamatan x. Adapun fungsi likelihood dari data lengkap (X, Z) mengambil bentuk multinomial berikut h(x, Z Ψ) = L (Ψ X, Z) = g(x Z, Ψ)f(Z Ψ) = (π f (x )) ( ) Eq. 8 Dimana adalah fungsi indikator (z = k) = jika z = k dan (z = k) = 0 untuk yang lain. 70 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 Sebelum itu, kita perlu mendefinisikan posterior probabiltas dari z = k dengan aturan Bayes kita dapat mendefinisikan sebagai berikut misalkan k(z = k x, Ψ) = p(z = k x, Ψ) kemudian kita dapat tuliskan p(x z = k, Ψ) = p (x ψ ), p(z = k Ψ) = π dan p(x Ψ) = π p (x ψ ) p(z = k x, Ψ) = p(x, z = k, Ψ) p(x, Ψ) = p(z = k, Ψ)p(x z = k, Ψ) p(x, Ψ) = p(z = k Ψ)p(Ψ) p(x z = k, Ψ) p(x Ψ)p(Ψ) = p(z = k Ψ)p(x z = k, Ψ) p(x Ψ) = π p (x ψ ) π p (x ψ ) Eq. 9 Dalam kasus mixture model maka kita dapat memanipulasi algoritma EM sebagai berikut ; Q(Ψ, Ψ ) = E[log L (Ψ X, Z) X, Ψ ] = Z log L ( Ψ X, Z)p(z X, Ψ ) = logπ p (x ψ ) p(z x, Ψ ) Z = Z δ, log[π p (x ψ )] p(z x, Ψ ) = log[π p (x ψ )] Z δ, p(z x, Ψ ) = log[π p (x ψ )] δ, p(z x, Ψ ) = log[π p (x ψ )] pz X, Ψ p(k x, Ψ ) = log[π p (x ψ )] pz X, Ψ p(k x, Ψ ) = log[π p (x ψ )] p(k x, Ψ ) Berdasarkan penjabaran di atas maka persamaan dapat kita tuliskan sebagai berikut Q(Ψ, Ψ ) = log(π ) p(k x, Ψ ) + log[p (x ψ )] p(k x, Ψ ) Eq. 0 Kita perlu mencari nilai ekspektasi atau E-step dari L (Ψ X, Z) denagn diberikan x dan parameter. Dimana log L (Ψ X, Z) adalah linier di x langkah ini mengurangi untuk menghitung nilai ekspektasi z = k dengan diberikan x dan parameter Ψ sehingga dapat dituliskan E[z = k x, Ψ ] = p(z = k x, Ψ )Eq. Tomy Angga Kusuma 7

Vol. 4, No., Oktober 04 Kemudian untuk mengestimasi parameter proporsi π dari Eq.0 kita akan menggunakan λ sebagai pengali Lagrange, kemudian kita atur λ = N maka kita dapatkan log(π ) p(k x, Ψ ) + λ π = 0 Sehingga diperoleh p(k x π, Ψ ) + λ = 0 p(k x, Ψ ) + π λ = 0 π = N p(k x, Ψ ) Eq. Untuk mencari p(k x, Ψ ) telah dijabarkan pada Eq. 9 untuk selanjutnya persamaan Eq. kita sebut M-step untuk mecari proporsi. 5. Estimasi Distribusi Mixture untuk Dua Distribusi Pada bagian ini, penulis menggunakan mixture yang terdiri dari dua distribusi kemudian akan ditaksir menggunakan algoritma EM. Adapun distribusi yang digunakan yaitu distribusi normal atau gaussian yang dijabarkan sebagai berikut Andaikan variabel random X adalah disitribusi mixture dengan X adalah distribusi independen kemudian π = θ dan π = θ kita tuliskan X ~θg(x) + ( θ)h(x) i =,, n Dimana g(. ) dan h(. ) diketahui. Algoritma EM dapat digunakan untuk mencari estimator maksimum likelihood dari θ. Misalkan Z,, Z dimana Z menunjukkan dari mana distribusi X digambarkan sebagai berikut X Z = ~g(x) X Z = 0~h(x) Maka dari permasalahan di atas dapat diketahui bahwa L(θ x) = [θg(x ) + ( θ)h(x )] Eq. 3 Kemudian kita akan menuliskan L (θ x, z) dengan memperhatikan Eq. 8 sebagai berikut L (θ x, z) = [z g(x ) + ( z )h(x )]θ ( θ) Eq. 4 Untuk E-step dari penjabaran pada persamaan Eq. 9 dan Eq. dimana kita dapatkan 7 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 E[Z θ, x ] = p(z θ, x ) = θg(x ) Eq. 5 [θg(x ) + ( θ)h(x )] Maka diperoleh M-step berdasarkan pada persamaan () yaitu θ = n θ g(x ) Eq. 6 [θ g(x ) + θ h(x )] 6. Perhitungan Numerik Pengujian akan difokuskan pada distribusi normal dan distribusi poisson yang dibatasi atas mixture dua distribusi. Agar perhitungan lebih akurat dan efisien penelitian akan menggunakan Matlab00. Adapun pembahasan tertera seperti berikut 6. Estimasi Parameter Distribusi Mixture Menggunakan Algoritma EM untuk Kasus Distribusi Normal Penelitian pada kasus ini bertujuan mengukur kinerja algoritma EM dalam mengestimasi distribusi mixture dengan dibatasi dua distribusi yang diketahui berdistribusi normal yang merupakan distribusi kontinu. Dimana diketahui X Z = ~N(μ, σ ) X Z = 0~N(μ, σ ) Berdasarkan persamaan (4.7) maka fungsi likelihood yang diperoleh yaitu L(θ x) = [θ e πσ ( ) + ( θ) e πσ ( ) ] Kemudian untuk data fungsi likelihood lengkap dari persamaan (4.8) L (θ x, z) = z πσ e ( ) + ( z ) e πσ ( ) θ ( θ) Sehingga dapat kita tuliskan algoritma EM untuk mencari parameter distribusi mixture pada kasus distribusi normal sebagai berikut. Inisialisasi nilai untuk θ, μ, μ, σ, σ dan banyaknya data atau n serta nilai toleransi untuk kriteria berhenti.. E-Step Evaluasi nilai parameter θ E[Z θ, x ] = p(z θ, x ) = 3. M-Step untuk mendapatkan nilai θ θ exp ( ) [θ exp ( ) + ( θ ) exp ( ) ] Tomy Angga Kusuma 73

Vol. 4, No., Oktober 04 θ = n p(z θ, x ) 4. Evaluasi nilai θ sehingga memenuhi kriteria dari nilai toleransi yaitu θ θ < nilai toleransi yang diberikan Proses akan terus berjalan sampai θ konvergen pada satu nilai sesuai dengan kriteria berhenti. Untuk mempermudah pembuktian kinerja algoritma EM di atas kita akan menggunakan MATLAB sebagai media dalam perhitungan. Namun sebelum itu terlebih dahulu bentuk data yang berasal dari distribusi mixture berdasarkan teori bilangan acak dengan diberikan nilai eksak θ = 0.6. Adapun kode program algoritma EM yang digunakan untuk mengestimasi parameter distribusi mixture untuk kasus distribusi normal sebagai berikut. Selanjutnya Graphical User Interface (GUI) dari program algoritma EM untuk mengestimasi parameter distribusi mixture berdasarkan kode program diperlihatkan pada gambar berikut Gambar. GUI program algoritma EM untuk estimasi parameter distribusi mixture kasus distribusi normal Adapun keterangan mengenai aplikasi pada Gambar yaitu Inisial : Sebagai nilai awal inisialisai θ dengan range 0 < θ <. n : Banyaknya jumlah data yang ingin diestimasi. Toleransi : Nilai toleransi yang digunakan sebagai kriteria berhenti. 74 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 Mu : Nilai μ yang berasal dari distribusi normal pertama. : Nilai σ yang berasal dari distribusi normal pertama. Mu : Nilai μ yang berasal dari distribusi normal kedua. : Nilai σ yang berasal dari distribusi normal kedua. : Nilai proporsi estimasi yang dihasilkan dari algoritma EM. Iterasi : Banyaknya iterasi dalam mengestimasi niali proporsi. Kemudian penelitian akan dilanjutkan dengan menguji lebih dalam kemampuan algoritma EM dengan mengganti nilai masukkan baik itu Inisial, n, Mu,, Mu, dan. Sehingga dapat terlihat keakuratan dan kecepatan algoritma EM dalam mengestimasi nilai parameter distribusi mixture untuk kasus distribusi normal. 6. Pengujian Dengan Nilai Awal Yang Beragam Pada bagian ini penelitian akan menguji kinerja algoritma EM dalam mengestimasi parameter distribusi mixture dengan diberikan nilai proporsi awal yang berbeda-beda. Pengujian yang dilakukan dengan diberikan nilai eksak θ = 0.3 maka akan dibuktikan kemampuan dari algoritma EM dalam menemukan nilai estimasi parameter proporsi distribusi mixture untuk kasus distribusi normal yang mendekati nilai eksak. Adapun pembuktian sebagai berikut No Inisial n Toleransi Mu Mu 0.00007 00 0.0000 0 9 0.968 0.0056 00 0.0000 0 9 0.9739 7 3 0.03 00 0.0000 0 9 0.3034 5 4 0.53 00 0.0000 0 9 0.30433 5 0.47 00 0.0000 0 9 0.97588 6 0.55 00 0.0000 0 9 0.33308 7 0.7 00 0.0000 0 9 0.3657 8 0.843 00 0.0000 0 9 0.3633 3 9 0.9 00 0.0000 0 9 0.30555 0 0.99999 00 0.0000 0 9 0.303344 3 Iterasi Tabel. Tabel estimasi parameter dengan nilai Awal yang berbeda-beda untuk kasus distribusi normal 6.3 Pengujian Dengan Jumlah Data Yang Beragam Tomy Angga Kusuma 75

Vol. 4, No., Oktober 04 Pada pengujian dengan nilai masukkan dari banyaknya data atau n yang berbedabeda, dimana diberikan nilai eksak θ = 0.3 maka akan memberikan hasil sebagai berikut No Inisial n Toleransi Mu Mu 0.0 0 0.0000 0 9 0.98054 5 0.0 5 0.0000 0 9 0.99445 9 3 0.0 50 0.0000 0 9 0.30945 4 4 0.0 00 0.0000 0 9 0.90964 5 5 0.0 50 0.0000 0 9 0.94069 6 6 0.0 00 0.0000 0 9 0.3489 6 7 0.0 400 0.0000 0 9 0.3670 5 8 0.0 500 0.0000 0 9 0.305699 6 9 0.0 000 0.0000 0 9 0.308 6 0 0.0 000 0.0000 0 9 0.36390 5 Tabel. Tabel estimasi parameter dengan nilai n yang berbeda-beda untuk kasus distribusi normal 6.4 Pengujian Dengan Nilai Kriteria Berhenti Yang Beragam Iterasi Penelitian akan menguji hasil estimasi algoritma EM terhadap distribusi mixture kasus distribusi normal dengan diberikan nilai dari toleransi yang berbeda-beda dimana nilai eksak dari θ = 0.3. Pengujian digunakan untuk mengukur dampak dari perbedaan nilai toleransi yang merupakan kriteria algoritma berhenti dalam memberikan pengaruh terhadap hasil estimasi parameter menggunakan algoritma EM. Adapun pembahasan sebagai berikut No Inisial n Toleransi Mu Mu 0.0 500 0.0 0 9 0.303558 7 0.0 500 0.00 0 9 0.3099 0 3 0.0 500 0.000 0 9 0.38345 3 4 0.0 500 0.0000 0 9 0.30940 6 5 0.0 500 0.00000 0 9 0.30393 8 6 0.0 500 0.000000 0 9 0.39364 0 7 0.0 500 0.0000000 0 9 0.9756 4 8 0.0 500 0.00000000 0 9 0.30035 7 9 0.0 500 0.000000000 0 9 0.305555 9 0 0.0 500 0.0000000000 0 9 0.9965 3 Iterasi Tabel 3. Tabel estimasi parameter dengan nilai Toleransi yang berbeda-beda untuk kasus distribusi normal 6.5 Pengujian Dengan Nilai μ Yang Beragam Penelitian pada bagian ini menguji pengaruh dari nilai μ yang berbeda-beda terhadap kinerja algoritma EM dalam menemukan parameter distribusi mixture kasus distribusi normal dimana nilai eksak θ = 0.3. Adapun penjabarannya sebagai berikut No Inisial n Toleransi Mu Mu Iterasi 76 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 0.0 500 0.0000 3 7 9 0.33940 350 0.0 500 0.0000 5 7 9 0.99999 0 3 0.0 500 0.0000 8 7 9 0.3460 89 4 0.0 500 0.0000 7 7 9 0.33564 9 5 0.0 500 0.0000 0 7 9 0.3643 4 6 0.0 500 0.0000 40 7 9 0.30064 5 7 0.0 500 0.0000 50 7 9 0.369 3 8 0.0 500 0.0000 65 7 9 0.93950 3 9 0.0 500 0.0000 80 7 9 0.34000 0 0.0 500 0.0000 00 7 9 0.90000 Tabel 4. Tabel estimasi parameter dengan nilai μ yang berbeda-beda untuk kasus distribusi normal 6.6 Pengujian Dengan Nilai σ Yang Beragam Sedangkan pada pengujian bagian ini kita akan melihat pengaruh dari nilai σ yang berbeda-beda dalam menemukan parameter distribusi mixture menggunakan algoritma EM kasus distribusi normal dengan diketahui nilai eksak θ = 0.3. Pemaparan akan disajikan sebagai berikut No Inisial n Toleransi Mu Mu 0.0 500 0.0000 8 9 0.3998 4 0.0 500 0.0000 8 5 9 0.3848 58 3 0.0 500 0.0000 8 6 9 0.309 74 4 0.0 500 0.0000 8 9 0.950 9 5 0.0 500 0.0000 8 4 9 0.957 66 6 0.0 500 0.0000 8 9 0.89930 9 7 0.0 500 0.0000 8 7 9 0.8905 8 0.0 500 0.0000 8 33 9 0.85089 9 9 0.0 500 0.0000 8 37 9 0.8883 6 0 0.0 500 0.0000 8 40 9 0.35565 5 Iterasi Tabel 5. Tabel estimasi parameter dengan nilai σ yang berbeda-beda untuk kasus distribusi normal 6.7 Pengujian Dengan Nilai μ Yang Beragam Penelitian dilanjutkan untuk menguji pengaruh dari nilai μ yang berbeda-beda terhadap kinerja algoritma EM dalam menemukan parameter distribusi mixture kasus distribusi normal dimana nilai eksak θ = 0.3. Adapun penjelasan sebagai berikut No Inisial n Toleransi Mu Mu Iterasi 0.0 500 0.0000 3 7 0.004 4 0.30074 47 0.0 500 0.0000 3 7 0.05 4 0.30585 47 3 0.0 500 0.0000 3 7 0.56 4 0.30356 48 4 0.0 500 0.0000 3 7.97 4 0.300357 64 5 0.0 500 0.0000 3 7 5 4 0.303805 6 6 0.0 500 0.0000 3 7 8 4 0.39 35 7 0.0 500 0.0000 3 7 4 4 0.9355 3 8 0.0 500 0.0000 3 7 3 4 0.9549 6 9 0.0 500 0.0000 3 7 49 4 0.306000 0 0.0 500 0.0000 3 7 80 4 0.304000 Tomy Angga Kusuma 77

Vol. 4, No., Oktober 04 Tabel 6. Tabel estimasi parameter dengan nilai μ yang berbeda-beda untuk kasus distribusi normal 6.8 Pengujian Dengan Nilai σ Yang Beragam Pengujian terakhir akan dilihat pengaruh dari nilai σ yang berbeda-beda dalam menemukan parameter distribusi mixture menggunakan algoritma EM kasus distribusi normal dengan diketahui nilai eksak θ = 0.3. Adapun penjabaran akan disajikan sebagai berikut No Inisial n Toleransi Mu Mu 0.0 500 0.0000 3 7 0.5 0.30805 8 0.0 500 0.0000 3 7.5 0.3798 5 3 0.0 500 0.0000 3 7.7 0.98 6 4 0.0 500 0.0000 3 7.87 0.304377 9 5 0.0 500 0.0000 3 7 3 0.3603 0 6 0.0 500 0.0000 3 7 7 0.90055 59 7 0.0 500 0.0000 3 7 9 0.30588 49 8 0.0 500 0.0000 3 7 7 0.89886 33 9 0.0 500 0.0000 3 7 64 0.30548 5 0 0.0 500 0.0000 3 7 00 0.335 Iterasi Tabel 7. Tabel estimasi parameter dengan nilai σ yang berbeda-beda untuk kasus distribusi normal 7. Estimasi Parameter Distribusi Mixture Menggunakan Algoritma EM untuk Kasus Distribusi Poisson Pada kasus distribusi poisson penelitian juga bertujuan untuk menguji kinerja algoritma EM dalam menghasilkan nilai estimasi parameter distribusi mixture khususnya untuk masalah diskrit. Dimana diketahui X Z = ~Poisson(λ ) X Z = 0~Poisson(λ ) Berdasarkan persamaan (4.7) maka fungsi likelihood yang diperoleh yaitu L(θ x) = [θ e λ + ( θ) e λ ] x! x! Kemudian untuk data fungsi likelihood lengkap dari persamaan (4.8) L e λ (θ x, z) = z + ( z x! ) e λ θ ( θ) x! Maka dapat kita tuliskan algoritma EM untuk mencari parameter distribusi mixture untuk kasus distribusi poisson sebagai berikut. Inisialisasi nilai untuk θ, λ, λ dan banyaknya data atau n serta nilai toleransi untuk kriteria berhenti.. E-Step Evaluasi nilai parameter θ 78 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 E[Z θ, x ] = p(z θ, x ) 3. M-Step untuk mendapatkan nilai θ = [θ! θ! θ = n p(z θ, x ) + ( θ ) ] 4. Evaluasi nilai θ sehingga memenuhi kriteria dari nilai toleransi yaitu θ θ < nilai toleransi yang diberikan Proses akan terus berjalan sampai θ konvergen pada satu nilai sesuai dengan kriteria berhenti. Pembuktian kinerja algoritma EM di atas akan menggunakan MATLAB sebagai media dalam perhitungan. Namun sebelum itu terlebih dahulu bentuk data yang berasal dari distribusi mixture yang dijabarkan berdasarkan teori bilangan acak dengan diberikan nilai eksak θ = 0.6. Adapun kode program untuk menghasilkan bilangan acak pada distribusi poisson sebagai berikut Selanjutnya GUI program algoritma EM untuk mengestimasi parameter distribusi mixture berdasarkan kode program 3 diperlihatkan pada Gambar berikut! Gambar. GUI program algoritma EM untuk estimasi parameter distribusi mixturekasus distribusi poisson Adapun keterangan mengenai aplikasi pada Gambar yaitu Inisial : Sebagai nilai awal inisialisai θ dengan range 0 < θ <. n : Banyaknya jumlah data yang ingin diestimasi. Tomy Angga Kusuma 79

Vol. 4, No., Oktober 04 Toleransi : Nilai toleransi yang digunakan sebagai kriteria berhenti. Lamda : Nilai λ yang berasal dari distribusi poisson pertama. Lamda : Nilai λ yang berasal dari distribusi poisson kedua. Pengujian Dengan Nilai Awal Yang Beragam Penelitian pertama pada bagian ini yaitu menguji pengaruh nilai proporsi awal yang beragam terhadap kinerja algoritma EM dalam menemukan parameter distribusi mixture untuk kasus distribusi poisson yang merupakan distribusi diskrit. Pengujian yang dilakukan dengan diberikan nilai eksak θ = 0.7 maka akan dibuktikan kemampuan dari algoritma EM dalam menemukan nilai estimasi parameter proporsi distribusi mixture untuk kasus distribusi diskrit yang mendekati nilai eksak. Adapun pembuktian sebagai berikut No Inisial n Toleransi Lamda Lamda Iterasi 0.00007 00 0.0000 4 9 0.690564 7 0.0056 00 0.0000 4 9 0.69758 7 3 0.03 00 0.0000 4 9 0.70376 6 4 0.53 00 0.0000 4 9 0.704595 4 5 0.47 00 0.0000 4 9 0.69886 3 6 0.55 00 0.0000 4 9 0.69987 4 7 0.6 00 0.0000 4 9 0.6955 8 0.843 00 0.0000 4 9 0.696366 3 9 0.9 00 0.0000 4 9 0.703447 3 0 0.99999 00 0.0000 4 9 0.7360 8 Tabel 8. Tabel estimasi parameter dengan nilai Inisial yang berbedabeda untuk kasus distribusi poisson Pengujian Dengan Jumlah Data Yang Beragam No Inisial n Toleransi Lamda Lamda 0.0 0 0.0000 4 9 0.69479 5 0.0 5 0.0000 4 9 0.6994 6 3 0.0 50 0.0000 4 9 0.67988 5 4 0.0 00 0.0000 4 9 0.70634 5 5 0.0 50 0.0000 4 9 0.699708 5 6 0.0 00 0.0000 4 9 0.70885 6 7 0.0 400 0.0000 4 9 0.7489 5 8 0.0 500 0.0000 4 9 0.7369 6 9 0.0 000 0.0000 4 9 0.6956 6 0 0.0 000 0.0000 4 9 0.69756 6 Iterasi Tabel 9. Tabel estimasi parameter dengan Jumlah Data atau n yang berbedabeda untuk kasus distribusi poisson Pengujian Dengan Nilai Kriteria Berhenti Yang Beragam No Inisial n Toleransi Lamda Lamda Iterasi 0.0 500 0.0 4 9 0.695 7 80 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 0.0 500 0.00 4 9 0.69398 0 3 0.0 500 0.000 4 9 0.70065 3 4 0.0 500 0.0000 4 9 0.7034 6 5 0.0 500 0.00000 4 9 0.7073 9 6 0.0 500 0.000000 4 9 0.705084 7 0.0 500 0.0000000 4 9 0.707635 5 8 0.0 500 0.00000000 4 9 0.69488 7 9 0.0 500 0.000000000 4 9 0.70039 3 0 0.0 500 0.0000000000 4 9 0.705050 35 Tabel 0. Tabel estimasi parameter dengan Nilai Toleransi yang berbeda-beda untuk kasus distribusi poisson Pengujian Dengan Nilai λ Yang Beragam No Inisial n Toleransi Lamda Lamda Iterasi 0.0 500 0.0000 0.00008 9 0.70963 3 0.0 500 0.0000 0.003 9 0.69768 3 3 0.0 500 0.0000 0.5 9 0.70737 5 4 0.0 500 0.0000.563 9 0.69099 7 5 0.0 500 0.0000 3.3333 9 0.7097 6 0.0 500 0.0000 5 9 0.706585 4 7 0.0 500 0.0000 6.78 9 0.70639 7 8 0.0 500 0.0000 9 0.7033 09 9 0.0 500 0.0000 9 0.693099 9 0 0.0 500 0.0000 37 9 0.70984 4 Tabel. Tabel estimasi parameter dengan nilai λ yang berbeda-beda untuk kasus distribusi poisson Pengujian Dengan Nilai λ Yang Beragam 8. Kesimpulan No Inisial n Toleransi Lamda Lamda Iterasi 0.0 500 0.0000 5 0.00004 0.7076 4 0.0 500 0.0000 5 0.009 0.706553 5 3 0.0 500 0.0000 5 0.007 0.697844 6 4 0.0 500 0.0000 5.703 0.7 39 5 0.0 500 0.0000 5 6.9999 0.6934 64 6 0.0 500 0.0000 5 7.3 0.7764 56 7 0.0 500 0.0000 5 8.7 0.7493 5 8 0.0 500 0.0000 5 3 0.6943 0 9 0.0 500 0.0000 5 9 0.70350 6 0 0.0 500 0.0000 5 6 0.709977 4 Tabel. Tabel estimasi parameter dengan nilai λ yang berbeda-beda untuk kasus distribusi poisson Adapun kesimpulan yang diperoleh dari penilitian mengenai kinerja algoritma EM dalam mengestimasi parameter distribusi mixture sebagai berikut. Algoritma EM menunjukkan kinerja yang baik dalam menemukan nilai parameter distribusi mixture untuk kasus distribusi normal yang merupakan distribusi kontinu dengan diberikan sembarang nilai inisialisasi proporsi, Tomy Angga Kusuma 8

Vol. 4, No., Oktober 04 banyaknya jumlah data atau n, nilai toleransi kriteria berhenti, nilai μ, μ, σ, dan σ yang berbeda-beda dimana nilai proporsi estimasi yang dihasilkan mendekati nilai proporsi eksak serta memenuhi sifat-sifat estimator yang baik. Pengaruh yang signifikan hanya terlihat pada kecepatan iterasi atau kecepatan kekonvergenan yang beragam dalam menemukan nilai parameter proporsi yang ingin diestimasi.. Algoritma EM menunjukkan kinerja yang baik dalam menemukan nilai parameter distribusi mixture untuk kasus distribusi poisson yang merupakan distribusi diskrit dengan diberikan sembarang nilai inisialisasi proporsi, banyaknya jumlah data atau n, nilai toleransi kriteria berhenti, nilai λ dan λ yang berbeda-beda dimana nilai proporsi estimasi yang dihasilkan mendekati nilai proporsi eksak serta memenuhi sifat-sifat estimator yang baik. Pengaruh yang signifikan hanya terlihat pada kecepatan iterasi atau kecepatan kekonvergenan yang beragam dalam menemukan nilai parameter proporsi yang ingin diestimasi 8 Tomy Angga Kusuma

Vol. 4, No., Oktober 04 DAFTAR PUSTAKA [] Bain, L., & Engelhardt. 99. Introduction to Probability and Mathematical Statistics ( ed.). California, USA : Duxbury Press. [] DeGroot, M. H. &Schervish, M. J. 0. Probability and Statistics (4 ed.). Addison- Wesley. [3] Dempster, A. P., Laird, N. M., & Rubin, D. B. 977. Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society B, 39 (), -38. [4] Gelman, A, Carlin, J.B, Stren, H.S, dan Rubin, D.B. (995). Bayesian Analysis Theory and Methods. New York : Springer. [5] Hogg, R. V., McKean J. W., & Craig, A. T. 005. Introduction to Mathematical Statistics (6 ed.). United States of America : Pearson Education. [6] Marin, J.M, Mengersen, K, dan Robert, C.P. 005. Bayesian Modelling and Inference on Mixtures of Distribution. Handbook of Statistics. Vol. 5, hal 50. [7] McLachlan, G.J. and Basford, K.E. (988). Mixture Models: Inference and Applications to Clustering. New York: Marcel Dekker. [8] McLahlan, G. J., & Krishnan, T. 008. The EM Algorithm and Extensions ( ed.).united States of America : John Wiley & Sons. Tomy Angga Kusuma 83