BAB 3 ENTROPI DARI BEBERAPA DISTRIBUSI

BAB 3 ENTROPI DARI BEBERAPA DISTRIBUSI Utuk lebih memahami megeai etropi, pada bab ii aka diberika perhituga etropi utuk beberapa distribusi diskrit da kotiu. 3. Distribusi Diskrit Pada sub bab ii dibahas rataa, variasi da etropi dari beberapa distribusi baik diskrit maupu kotiu. a. Geometri (p) Misalka X meyataka peubah acak yag berdistribusi Geometri dega parameter (p) da ugsi desitas peluag k Rataa : µ = ( ) k = 0 k ( ) p p, k =,,... P( X = k) = 0, k laiya kp p = p Variasi : σ = k k p( p) = ( - p ) k = 0 p k k Etropi: H(X=) = log p( p) p p = log p log ( p) k = 0 p ( ) ( ) p p 3

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 4 Pada distribusi geometri ii, etropi dapat mudah dihitug seperti halya meghitug rataa da variasiya dega etropi ii berlaku utuk p (0,). Tabel perhituga etropi utuk distribusi geometri dega beberapa ilai p, (dega basis dua) ditampilka di bawah ii. p H 0, 4,6900 0, 3,6096 0,3,9376 0,4,474 0,5,0000 0,6,683 0,7,590 0,8 0,904 0,9 0,5 Tabel 3. : Etropi distribusi Geometri (p) Etropi distribusi Geometri (p ) H 5 4.5 4 3.5 3.5.5 0.5 0 0 0. 0. 0.3 0.4 0.5 0.6 0.7 0.8 0.9 p Gambar 3. : Graik etropi utuk distribusi Geometri (p) Terlihat dari tabel 3. da gambar 3. bahwa utuk 0<p<0,4, p meigkat da etropi, H(X=) meuru cukup cepat. Tetapi ketika 0,4<p<, ilai etropiya meuru lebih lambat daripada 0<p<0,4.

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 5 a. Biomial (, p) Misalka X meyataka peubah acak yag berdistribusi Biomial dega parameter (,p) da ugsi padat peluag k k p ( p ), k 0,,,..., P( X k = = ) = k 0, k laiya! µ = k p p k = 0 k k Rataa : k = p p p = p k = k k ( )!( )! (! ) k ( ) ( k! ) ( k)! k k Variasi : σ = ( kp) p ( p) = p( p) k = 0 k! ( k)!! k k k Etropi: H(X=) = log p ( p) p ( p) k = 0 k k k k k = p ( p) log plog( p) ( p)log( p) k = 0 k k Etropi dari distribusi biomial ii mempuyai betuk yag cukup rumit karea dibutuhka perhituga logaritma dari kombiasi (,k) berbeda dega mea da variasiya. Oleh karea itu, pegguaa sotware seperti Maple aka lebih memudahka mecari etropiya. Di gambar berikut ditampilka etropi utuk beberapa p dega sebesar 50 kali.

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 6 0 Etropi Distribusi Biomial (,p ) H 00 80 60 40 0 0 0 0 0 30 40 50 60 Gambar 3.3 : Graik etropi utuk distribusi biomial p=0,03 p=0,5 p=0,5 p=0,6 p=0,99 Dari graik di atas, terlihat bahwa 0 tapi proporsi, p berbeda, etropi semaki yata perbedaaya. Dapat dikataka bahwa utuk 0 tersebut, etropi biomial medekati distribusi kotiu. Utuk p=0,5 da p=0,6 semaki jauh letakya utuk 0. Selai itu, igi dilihat pula pegaruh keaika proporsi peluag terhadap etropi. Pada distribusi biomial ii, dapat dilihat bahwa utuk parameter yag semaki tiggi sedagka peluag sukses, p tetap maka etropi dari distribusi biomial ii juga aka berubah mejadi semaki tiggi.

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 7 Sebagai perbadiga, parameter ditetapka sebesar 0 sedagka proporsi peluagya meigkat maka hasil perhituga dapat dilihat pada tabel di bawah ii. p 0, 0,5 0, 0,5 0,3 0,35 0,4 0,45 0,5 H 6,3547,7038 6,0086 9,4606 3,750 34,58 35,6608 36,508 36,793 p 0,55 0,6 0,65 0,7 0,75 0,8 0,85 0,9 H 36,508 35,6608 34,58 3,750 9,4606 6,0086,7038 6,3547 Tabel 3.4 : Etropi utuk distribusi biomial utuk =0 Hasil perhituga di atas digambarka dalam graik berikut. H 40.00 37.00 34.00 3.00 8.00 5.00.00 9.00 6.00 3.00 0.00 Etropi Biomial (p ; =0) 0 0. 0.4 0.6 0.8 p Gambar 3.5 : Graik etropi biomial utuk =0 Dari tabel da graik di atas dapat dikataka bahwa utuk proporsi peluag, 0<p<0,5, etropi meigkat secara ekspoesial. Kemudia, hal yag mearik, utuk 0,5<p< etropi meuru secara ekspoesial pula. Etropi mecapai ilai maksimum pada saat p=0,5.

BAB 3 ENTROPI DARI BEBERAPA DISTRIBUSI 7 p 0, 0, 0,3 0,4 0,5 3 4 5 6 7 8 9 0 0,4689,79,8349,59 3,3768 4,8 5,0036 5,8379 6,687 7,5363 0,79,7639,966 4,55 5,459 6,76 8,048 9,3863 0,7373,0986 0,883,86 3,644 5,835 6,7735 8,3956 0,0403,706 3,3754 5,059 0,9709,49 4,054 5,7756 7,5484 9,3536,8 3,045 4,88 6,7449,5 4,887 5,9694 7,808 9,6666,5534 3,4558 5,370 7,936 3 4 5 6 7 8 9 0 p 0, 8,3973 9,647 0,376,05,897,787 3,676 4,5634 5,4578 6,3547 0, 3,4683 4,8448 6,7 7,643 9,0056 0,4006,7987 3,997 4,603 6,0086 0,3 6,7508 8,4489 0,54,8604 3,574 5,877 7,0059 8,767 30,4498 3,75 0,4 8,673 0,4959,3797 4,678 6,597 8,0548 9,958 3,8533 33,756 35,6609 0,5 9,45,65 3,036 5,0499 7,000 8,9535 30,9096 3,8684 34,893 36,793 Tabel 3.6 : Etropi utuk distribusi Biomial (,p) dega sebagai basis logaritma

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 8 b. Poisso (λ) Misalka X meyataka peubah acak yag berdistribusi Poisso dega parameter (λ) da ugsi padat peluag, k e λ λ, k = 0,,,... P( X = k) = k! 0, k laiya Rataa : µ = λ k k e λ λ λ k = e λ k!! =λ k= 0 k= ( k ) Variasi : σ = ( k λ ) Etropi : H(X=) = e λ k λ k = 0 k! k = 0 = λ λ k λ k e λ e λ log k! k! = λ ( logλ ) k = 0 ( k ) k λ λ log! + e k! Etropi utuk distribusi Poisso mempusyai kerumita dalam perhituga yag tidak sederhaa da memerluka aalisis yag lebih kuat. 3. Distribusi Kotiu a. Uiorm (a,b) Misalka X meyataka peubah acak yag berdistribusi uiorm dega ugsi distribusi, Rataa : µ = b a a+ b d= b a, a< < b ( ) = b a 0, laiya b a+ b b a a Variasi : σ = d = ( b a)

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 9 Etropi: H(X=) b = l d ba ba a = l = l ba b a ( ) Dari perhituga tersebut, etropi utuk distribusi uiorm haya ditetuka oleh lebar itervalya. b. Normal N(,β ) Misalka X meyataka peubah acak yag berdistribusi ormal dega parameter (,β ) da ugsi padat peluag, ( ) = ep β π Rataa : µ = ( ) ep β π β ( ) β d =, - < < Variasi : σ = ( ) ( ) ep d = β β π Utuk meghitug etropi dari distribusi-distribusi kotiu, diguaka basis logaritmaya adalah e sehigga Etropi : H(X=) = β β β e log e β π β π ( l( πβ) ) l( π ) = + = + β d Etropi dari distribusi ormal tidak bergatug pada ilai mea melaika pada stadar deviasi. Apabila digambarka dalam kurva maka etropi utuk distribusi ormal meigkat utuk stadar deviasi yag meigkat, dega mea yag sama.

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 30 Gambar 3.7 : Graik etropi distribusi Normal Utuk lebih memperjelas, diambil cotoh kasus distribusi Normal dega mea tetap yaitu 7, tetapi variasi meigkat. Hasilya ditabelka seperti di bawah ii. β 0,0000 0,000 0,00 0,065 0,5 0,5 H -3,486 -,673 -,60 0,956,98,6447 β 0,5 4 6 8 H,93,3379,6845 3,030 3,338 3,3776 Tabel 3.8 : Hasil perhituga etropi distribusi ormal Dari tabel di atas dapat dilihat bahwa utuk variasi yag meigkat maka ilai etropi juga meigkat. Etropi distribusi ormal aka berilai egati utuk variasi yag cukup kecil. Graik yag didapat juga tampak seperti pada Gambar 3.5.

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 3 c. Gamma (,) Fugsi padat peluag dari distribusi Gamma adalah e, > 0 0, laiya ( ) = Γ( ) (3.) Rataa : ( ) ( ) ( ) ( ) Γ + e µ = d= e d= Γ Γ Γ = (3.) Variasi : ( ) Etropi : H(X=) e d (3.3) Γ( ) σ = = e e = l d (3.4) 0 ( ) Γ Γ( ) ( ( )) ( ) ( ) = + l Γ + ψ (3.5) dega ψ ( k ) adalah ugsi digamma, ψ ( ) '( ) ( ) Γ =. Γ Pada distribusi Gamma, rataa da variasi dapat dihitug dega mudah, sedagka pada etropiya mucul ugsi digamma. Hal ii mejadi lebih sulit karea diperluka turua dari ugsi gamma, terlebih utuk buka bilaga bulat. Kasus khusus dari distribusi Gamma adalah distrbusi ekspoesial. Utuk medapatka distribusi ekspoesial, ditetapka = pada persamaa (3.6), sehigga ugsi padat peluagya mejadi e = 0, laiya ( ), > 0

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 3 Rataa : µ = e d = e d = e Variasi : σ = ( ) d = ( ) e d = Etropi : H(X=) e e = l d 0 λ 0 = e l e l ( ) d = + l( ) Etropi utuk distribusi ekspoesial ii aka mejadi egati utuk yag kecil, seperti dapat terlihat pada graik. Gambar 3.9 : Graik etropi distribusi ekspoesial Kasus lai dari distribusi Gamma yaitu distribusi chi kuadrat yag diperoleh dega r = da = sehigga persamaa (3.6) mejadi r e, 0< < = r / Γ / 0, laiya ( ) ( r )

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 33 Rataa : µ = r r / r/ / e d = / e d = Γ r r ( r ) Γ( r ) Variasi : σ ² = ( ) r r e d= r r / Γ / ( r ) r r r r Etropi : H(X=) = + l Γ + ψ, dega ψ ( a) Perhituga etropi utuk beberapa r dapat dilihat pada lampira. r H,693 3,054 4,703 5,43 6,57 7,636 8,765 9,7858 0,8467 Tabel 3.0 : Perhituga etropi utuk distribusi chi kuadrat '( a) ( a) Γ =. Γ Pada tabel tersebut, utuk ilai derajat kebebasa (r) yag semaki meigkat maka etropi utuk peubah acak chi-kuadrat ii juga meigkat. Utuk lebih jelasya aka digambarka dalam graik seperti berikut.

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 34 Etropi khi kuadrat 3.0.5 H.0.5.0 0 4 6 8 0 r Gambar 3. : Graik etropi utuk distribusi chi kuadrat (r) Dari graik, etropi pada distribusi chi kuadrat aka meigkat dega derajat kebebasa yag meigkat pula. Hal ii dapat dilihat karea iormasi yag terkadug juga semaki bayak. c. Pareto (,) Distribusi Pareto serig diguaka utuk bidag-bidag yag berhubuga dega sosial, asurasi, geoisika da sais. Salah satu cotohya adalah rekuesi kata-kata utuk teks yag pajag, di maa kata-kata pedek serig diguaka da kata yag pajag jarag diguaka. Fugsi padat peluag dari distribusi Pareto dituliska ( ) ( ), > 0 = + + 0, laiya Rataa : µ = ( + ) + d =

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 35 Variasi : σ ² = d = + ( + ) ( ) ( ) Etropi : H(X=) = 0 l ( + ) ( + ) + + = l + + Utuk distribusi Pareto, betuk etropi lebih sederhaa da dapat dega mudah dihitug seperti halya mea da variasi. d d. Logormal (,β ) Cotoh pegguaa distribusi logormal yaitu pada log-term retur rate pada ivestasi barag. Fugsi padat peluag dari distribusi logormal adalah ( ) = ep β π ( l( ) ) β, < < ( ) l( ) Rataa : µ = ep d= ep β + β π β d β π β Variasi : ( ) l( ) σ = ep + β ep Etropi : ( ep ( β ) ) ep ( β ) = + H(X=)= ( l( ) ) ( l( ) ) l ep ep 0 d β π β β π β = + l ( πβ ) + = l ( πeβ ) + Etropi utuk distribusi logormal bergatug pada parameter da β.

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 36 N o Etropi dari beberapa distribusi kotiu pada Bab 3 ditampilka pada tabel berikut. Distribusi Fugsi Padat Peluag µ σ H Uiorm (a,b) Normal (,β ) 3 Gamma, a< < b ( ) = b a 0, laiya ( ) = ep β π - < < (,) ( ) = Γ( ) 4 Ekspoes ( ) β e, > 0 0, laiya e = 0, laiya ial () ( ), > 0 5 Khi kuadrat (r), a+ b r r r e, 0< < r / ( ) = Γ ( r /) 0, laiya b a ( ) l ( b a) β + l ( πβ ) l ( ( ) ) ( ) ψ ( ) + Γ +, Γ ψ ( ) = Γ + l( ) '( ) ( ) r l r r r + Γ + ψ ψ ( a) Γ = Γ '( a) ( a) 6 Pareto (,) ( ) = ( + ) +, > 0 0, laiya ( ) ( ) l + + 7 Logormal (,β ) ( ) = ep β π < < ( l( ) ) β, e β + ( β ) ( + β ) e e l ( π eβ ) + Tabel 3. : Etropi utuk distribusi kotiu

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 37 3. Etropi dari Bivariat ormal Utuk kasus bivariat, diambil cotoh distribusi bivariat ormal dega ugsi padat peluag utuk mea, µ X da µ Y serta variasi σ X da σ Y dituliska µ µ yµ y yµ y, = ep ρ + πσ σ y ρ ( ρ ) σ σ σ σ ( y) y y < <, < y < (3.) Etropi utuk peubah acak yag berdistribusi bivariate ormal adalah H(,y) µ µ yµ y yµ y = ep ρ + πσ σ y ρ ( ρ ) σ σ σ y σ y ddy Terlihat bahwa etropi utuk kasus bivariat kotiu semaki sulit utuk dihitug secara maual. Hal ii terpegaruh juga oleh betuk ugsi padat peluag dari distribusi bivariat ormal.