BAB MOMEN DAN ENTROPI. Satu Peubah Acak (Univariat) Misalkan diketahui suatu peubah acak X. Didefinisikan ekspektasi dari peubah acak X adalah sebagai berikut E [ X ] - P X =, X diskrit = f d, X kontinu (.) dengan P(X=) adalah fungsi massa peluang untuk X diskrit dan f() adalah fungsi padat peluang untuk X kontinu. Persamaan (.) mempunai sarat P( X= ) < dan f fungsi dari peubah acak X, dengan Y=g(X) maka E g X <. Selanjutna jika dibangun Y aitu suatu g P X =, X diskrit = g f d, X kontinu - (.) Khusus untuk g(x)= X k disebut momen ke k dari peubah acak X ang dinotasikan dengan µ k. Jadi, persamaan (.), ekspektasi X, E[X] tidak lain adalah momen pertama atau ang lebih dikenal sebagai rataan (mean). 5
BAB MOMEN DAN ENTROPI 6 Selanjutna jika g( X) = ( X µ ) k, dikenal sebagai momen terpusat ke k dan dinotasikan sebagai ' µ k. Khusus untuk momen terpusat ke ini, dikenal sebagai variansi, dinotasikan dengan σ. Variansi ini dipakai sebagai ukuran penebaran dari peubah acak. Untuk lebih jelas dapat dilihat pada Hogg dan Craig (5, 55). Momen terpusat lain ang juga sering digunakan adalah a. momen ketiga, skewness ang menatakan kesimetrian distribusi, µ 3 didefinisikan γ = dan 3 σ b. momen keempat, kurtosis ang menatakan kelandaian atau kelancipan µ 4 dari suatu distribusi, didefinisikan sebagai γ = 4 σ Kemudian, jika g( X) log P X =, untuk X diskrit = log f, untuk X kontinu akan diperoleh suatu ukuran entropi ang merupakan ukuran ketidakpastian dari suatu peubah acak X dan dinotasikan H(X=). Jadi entropi didefinisikan sebagai berikut : H(X=) log PX ( = ) PX ( = ), Xdiskrit = log ( f ) f d, X kontinu (.3) Mengingat definisi dari ekspektasi pada persamaan (.) maka entropi dari suatu peubah acak tidak lain adalah H(X=)= E logp( X = ) (.4) Jadi entropi dari peubah acak X tidak lain adalah ekspektasi dari log fungsi peluang dari X sendiri. Perhatikan bahwa nilai dari entropi untuk peubah acak X tidak bergantung pada nilai-nilai dari peubah acak X (seperti ang terjadi di momen) melainkan pada peluang dari X.
BAB MOMEN DAN ENTROPI 7 Hal menarik dari entropi, karena diambil g X log ( P X ) = = maka untuk X ang diskrit, entropi H(X=) bernilai non negatif. Sebalikna untuk peubah acak kontinu, entropi dapat bernilai negatif atau positif. Entropi bernilai nol, H(X=)=, jika dan hana jika X berdistribusi degenerate, dengan p =. plog p bernilai nol hana jika Contoh. Entropi untuk peubah acak diskrit dengan fungsi massa peluang (fmp) dalam satuan meter. 6, =,,3,4,5,6 P 64 ( X = ) =, = 7 64 Fungsi Massa Peluang Contoh 3/5 / /5 P (X=) 3/ /5 / 3 4 5 6 7 X (m eter) Gambar. : Grafik Fungsi Massa Peluang Dari grafik di atas terlihat bahwa peubah acak ini memiliki nilai peluang maksimum sebesar 3 semakin lama menuju ke nol. Berdasarkan persamaan (.) dan (.), 64
BAB MOMEN DAN ENTROPI 8 diperoleh rataan (momen ) dan variansi (momen terpusat ) masing-masing adalah sebagai berikut: 6 = Sedangkan untuk entropi adalah 7 H(X=) = 6 7 µ = + 7 = =,9844 meter dan 64 64 64 6 6 σ = + 7,9844 =, 7967 meter = 64 64 = log PX ( = ) PX ( = ) 3 3 6 6 = log + log +... + log 64 64 64 64 64 64 Jika diambil basis dari logaritma di atas adalah maka nilai entropina menjadi 63 = 6 + 8 +... + 6 = =,9688 64 3 H(X=) Sehingga µ =,9844 ; σ =,7967 dan H(X=) =,9688. Untuk basis lain, dapat digunakan rumus perubahan basis log a logb =. log b a Dalam membicarakan suatu peubah acak, sering dibicarakan beberapa peubah acak secara bersamaan. Hal ini berguna karena peubah acak ang satu dapat bergantung dari peubah acak ang lain. Misalna, didefinisikan suatu peubah acak baru Y=F(X), dengan F(.) adalah fungsi deterministik. Sehingga dengan mengetahui X berarti dapat diketahui pula nilai-nilai dari Y. Kedua peubah acak ini juga memiliki ukuran momen dan entropi dan dibahas pada sub bab berikut.. Momen dan Entropi Multivariat Dalam praktek banak observasi ang melibatkan lebih dari satu peubah acak. Untuk itu, momen dan entropi multivariat dapat dilihat sebagai berikut. Sebagai batasan
BAB MOMEN DAN ENTROPI 9 diambil dua peubah acak ang mempunai keterkaitan maka dapat pula didefinisikan momen dan entropi dari dua peubah acak (bivariat) dengan sarat fungsi padat peluang gabungan diketahui. Misal X dan Y masing-masing peubah acak dengan fungsi peluang gabungan P(X=,Y=) untuk diskrit atau f(,) untuk kontinu. Perhatikan persamaan (.), maka untuk kasus bivariat momen didefinisikan sebagai berikut. kl µ XY k l P( X =, Y = ), X dan Y diskrit k l = E XY = k l f (, ), Xdan Ykontinu - - (.5) Terlihat di atas bahwa untuk X dan Y ang keduana kontinu, akan muncul integral lipat. Sedangkan momen terpusat untuk X dan Y dituliskan dengan m ( µ X ) ( µ Y) n P( X =, Y = ), X dan Y diskrit mn m n µ = E ( X µ ) XY X Y µ Y = m n ( µ X ) ( µ Y) f (, ) dd, X dan Y kontinu - - (.6) log PX ( = Y, = ) PX ( = Y, = ), Xdan Ydiskrit H(X=,Y=) = log ( f (, ) ) f (, ) dd, X dan Y kontinu (.7) Terlihat bahwa dalam bivariat kontinu akan muncul integral lipat. Dalam hal ini menghitung tiga persamaan di atas menjadi tidak sesederhana seperti dalam kasus univariat (Sub Bab.) di atas, khususna persamaan (.7), entropi untuk X dan Y kontinu. Entropi gabungan juga masih dapat dituliskan dalam ekspektasi aitu H(X=,Y=) = E E log ( ( =, = )) X Y PX Y (.8)
BAB MOMEN DAN ENTROPI Sifat lain dari entropi gabungan dapat dilihat pada teorema berikut. Teorema. Untuk peubah peubah acak, X dan Y maka entropi gabungan menjadi H(X=,Y=) H(X=) + H(Y=) (.9) dan berlaku kesamaan jika dan hana jika X dan Y adalah dua peubah acak ang saling bebas. Bukti : Sebagai bukti akan dipilih peubah acak diskrit, sedangkan untuk kasus kontinu, langkah-langkah ang dilakukan serupa tetapi menggunakan teknik pengintegralan. Pandang ruas kanan persamaan (.9), maka berdasarkan definisi pada persamaan (.3) maka = log PX ( = ) PX ( = ) + log PY ( = ) PY ( = ) (.) H(X=)+H(Y=) = log ( P( X = ) ) P( X = Y, = ) + log ( PY ( = ) ) P( X = Y, = ) (.) dengan menggunakan sifat dari logaritma maka = log P( X = ) P( Y = ) P( X =, Y = ) (.) H(X=) + H(Y=) Kemudian pandang ruas kiri persamaan (.9), berdasarkan definisi entropi gabungan X dan Y maka = log PX ( = Y, = ) PX ( = Y, = ) (.3) H(X=,Y=) dengan mengurangkan persamaan (.3) terhadap persamaan (.) didapat H(X=,Y=)- H(X=)- H(Y=) = log P( X =, Y = ) + log ( P( X = ) PY ( = ) ) P( X, Y ) PX ( = Y, = ) = =
BAB MOMEN DAN ENTROPI PX ( = PY ) ( = ) = log PX ( = Y, = ) (sifat dari logaritma) PX ( = Y, = ) log PX ( = PY ) ( = ) = log () = sehingga H(X=,Y=) H(X=) + H(Y=). Selanjutna akan dibahas entropi bagi X dan Y ang saling bebas, dengan fungsi peluang gabungan menjadi lebih sederhana.. Entropi Untuk Variabel-Variabel Yang Saling Bebas Seperti ang telah disinggung pada bagian akhir Sub Bab., dalam distribusi bivariat dikenal istilah kebebasan ang didefinisikan sebagai berikut. Dua peubah acak X dan Y dikatakan saling bebas jika P(X=,Y=) = P(X=)P(Y=), untuk dua peubah acak diskrit (.4) f(,) = f()f(), untuk dua peubah acak kontinu (.5) Jika X dan Y independent (saling bebas), maka operator ekspektasi mempunai sifatsifat [ X + Y] [ X] [ Y] dan E [ ] = E [ ] E[ ] E = E + E dan untuk variansi dari peubah acak gabunganna adalah XY X Y (.6) ( X + Y) ( X) ( Y) dan var = var var var = var + var XY X Y (.7)
BAB MOMEN DAN ENTROPI Sifat kebebasan dua peubah acak juga dapat berlaku pada entropi. Mengingat sifat dari logaritma aitu log (P(X=)P(Y=)) = log (P(X=)) + log (P(Y=)) maka untuk X dan Y saling bebas entropina menjadi H(X=,Y=)= H(X=)+ H(Y=). Bukti sebagai berikut, dengan menggunakan definisi entropi pada kasus peubah acak diskrit pada persamaan (.8) maka H(X=,Y=) = log PX ( = PY ) ( = ) PX ( = PY ) ( = ) ( ) (.8) = log PX ( = ) + log PY ( = ) PX ( = PY ) ( = ) (.9) = log PX ( = ) PX ( = PY ) ( = ) + log PY ( = ) PX ( = PY ) ( = ) (.) log ( P( X ) ) PX ( PY ) log ( PY ) PY ( PX ) (.) = = = = = = = log ( P( X ) ) P( X ) P( Y ) P( X ) log ( P( Y ) ) P( Y ) (.) = = = = = = = = log P( X = ) P( X = ) log P( Y = ) P( Y = ) (.3) = H(X=) + H(Y=) (.4) Bukti serupa untuk peubah acak kontinu. Dapat pula didefinisikan entropi marjinal untuk peubah acak diskrit X adalah = log PX ( = ) PX ( = ) (.5) H(X=) log ( PX ) PX ( Y, ) (.6) = = = = Begitu pula dengan entropi marjinal untuk peubah acak diskrit Y aitu = log PY ( = ) PY ( = ) (.7) H(Y=) log ( PY ) P( X Y, ) (.8) = = = =
BAB MOMEN DAN ENTROPI 3 Kebebasan dari dua peubah acak juga dapat dihitung melalui entropi relatif dan informasi mutual ang dijelaskan pada Sub Bab.5. Kasus lain ang ditinjau aitu jika dipunai n peubah acak dituliskan sebagai X,X,...,X n dan diasumsikan masingmasing peubah acak saling bebas mutual, maka H(X, X,..., X n ) = H(X ) + H(X )+...+ H(X n ) (.9) Contoh. Ukuran ini juga diterapkan pada kasus peubah acak diskrit, misalna dua peubah acak X dan Y ang berdistribusi ( + ) P X =, Y = =, =,,,3 =,, 3 µ =,9844, σ =,7967 dan H(X=,Y=) = 3,353 Contoh.3 Untuk kasus distribusi kontinu, dapat dilihat contoh sebagai berikut. f (, ) +, < <, < < =, dan lainna dengan fungsi peluang marjinal masing-masing adalah +, < g = ( ) d + =, lainna, h d + < < = + =, lainna < dan Rataan gabungan dari peubah acak tersebut adalah µ XY, = + dd = + d 3 3 =. Untuk menghitung kovariansi, terlebih dahulu dicari mean untuk X dan Y ang diperoleh dari fungsi padat peluang marjinalna aitu µ X = + d =, µ Y = + d =, sehingga kovariansi X dan Y menjadi
BAB MOMEN DAN ENTROPI 4 + dd = + dd = 6 σ XY = ( µ )( µ ) ( )( ) X Y Sedangkan entropi gabungan untuk fungsi peluang gabungan di atas adalah ln dd = -,99. H(X,Y)= ( + )( + ).3 Momen dan Entropi Bersarat Seringkali ingin diketahui perilaku variabel X jika variabel Y dikontrol. Dalam teori peluang ini dinamakan dengan peluang bersarat. Rataan bersarat dari X diberikan Y = adalah E XY= = ( = = ) P X Y, X dan Y peubah acak diskrit f d, X dan Y peubah acak kontinu (.3) Misal X dan Y menatakan peubah acak ang mempunai fungsi massa peluang (fpm) gabungan (bersama) P(X=,Y=), atau fungsi densitas peluang (fdp) f(,). Misal P(X=), P(Y=) fmp marjinal dari X dan Y, sedangkan f() dan f(), fdp marjinal dari X dan Y. Sehingga fmp bersarat dari peubah acak Y, diberikan bahwa peubah acak diskrit X = adalah P(Y= X=) maka P(X=,Y=)=P(X=)P(Y= X=)=P(Y=)P(X= Y=). Fdp bersarat dari peubah acak Y, diberikan nilai bahwa peubah acak kontinu X = adalah f( ) maka f(,)= f() f( )= f() f( ). Untuk fmp marjinal dari X dan Y masing-masing sebagai berikut PX ( = ) = PX ( = Y, = ) dan PY ( = ) = P( X = Y, = ). Sedangkan untuk
BAB MOMEN DAN ENTROPI 5 ddan peubah acak kontinu, peluang marjinal untuk X dan Y adalah f()= f (, ) d. f()= f (, ) Momen ang sudah dikenal adalah mean dan variansi bersarat dan didefinisikn sebagai berikut. Jika ada, maka E Y adalah mean dan E ( [ ]) Y E Y adalah variansi dari distribusi bersarat dari Y, diberikan X =, dapat dituliskan sebagai var(y ). Agar memudahkan dalam memahami, dinamakan mean bersarat dan variansi bersarat dari Y, diberikan X =. Sehingga didapatkan ( Y ) Y ( [ Y ] ) var = E E (.3) Sedangkan untuk entropi bersarat dari Y jika diberikan X = dapat dituliskan sebagai = log PY ( = X= ) PY ( = X= ) untuk setiap. (.3) H(Y X=) Kemudian entropi bersarat dari Y jika diberikan X dapat dituliskan sebagai H(Y= X=) = PX ( = ) H(Y X=) untuk setiap. (.33) PX log ( PY ( X ) ) PY ( X ) = = = = = = = log PY ( = X= ) PY ( = X= P ) ( X= ) = log PY ( = X= ) P( X= Y, = ) ( = E log PY ( = X= ) ) (.34) Rumus ini juga berlaku untuk X dan Y peubah acak kontinu. Tentu saja menarik jika ada keterkaitan antara peubah acak ang satu dengan ang lain. Apabila kedua peubah acak tidak saling bebas maka entropi bersarat juga dapat dihitung melalui
BAB MOMEN DAN ENTROPI 6 aturan rantai menggunakan entropi gabungan kedua peubah acak dengan fungsi padat peluang gabungan dan marjinal, diketahui P(X=) atau f() aitu H(Y= X=) = H(X=,Y=) - H(X=) Bukti : H(X= Y=) = log PX ( = Y = ) PX ( = Y = PX ) ( = ) PX ( = Y, = ) = log PX ( = Y, = ) PX ( = ), X ( ) p > = log P( X= Y, = ) log P( X= ) P( X= Y, = ) log ( PX ( Y, ) ) PX ( Y, ) log ( PX ) PX ( Y, ) = = = = = + = = = = H(X=,Y=) = H(X=,Y=) - H(X=) + log PX ( = ) PX ( = ) Sifat ini berlaku simetris sehingga H(X=,Y=) = H(Y= X=) + H(X=) = H(X= Y=) + H(Y=). Akibat dari sifat tersebut maka H(X= Y=) H(Y=), berlaku kesamaan jika dan hana jika X dan Y saling bebas. Interpretasi entropi bersarat dari Y jika diberikan peubah acak X adalah rata-rata informasi ang dibutuhkan untuk menentukan observasi khusus dari Y dengan diberikan telah mempunai observasi X. Sebagai catatan, H(Y= X=) H(X= Y=). Selanjutna, akan dibahas entropi untuk kasus tiga peubah acak. Misalkan terdapat tiga peubah acak X, Y dan Z dengan distribusi peluang masing-masing diketahui maka entropi gabunganna adalah
BAB MOMEN DAN ENTROPI 7 H(X=,Y=,Z=z) ( ) log P X =, Y =, Z = z P X =, Y =, Z = z, X, Y dan Z diskrit z = log f z,, f zdddz,,, XY, dan Zkontinu ( ) (.35) Pada kasus tiga peubah acak ini dapat pula didefinisikan entropi marjinal untuk peubah acak diskrit X, Y dan Z adalah H(X=) ( P X ) P( X Y Z z) = log = =, =, = (.36) z H(Y=) ( PY ) P( X Y Z z) = log = =, =, = (.37) z H(Z=z) ( P Z z ) P( X Y Z z) = log = =, =, = (.38) z Selain itu, dapat juga dituliskan entropi bersarat dan entropi gabungan X dan Y sebagai berikut H(X= Y=) ( P X Y ) P( X Y Z z) = log = = =, =, = (.39) z H(X=,Y=) ( P X Y ) P( X Y Z z) = log =, = =, =, = (.4) z Entropi bersarat dari X dan Y jika diberikan Z adalah H(X=,Y= Z=z) = P( Z = z) H(X,Y Z=z) (.4) z ( P( X Y Z z) ) P( X Y Z z) = log =, = = =, =, = z sedangkan entropi bersarat dari X jika diberikan Y dan Z dituliskan H(X Y=,Z=z) (.4) H(X= Y=,Z=z) = PY ( = Z, = z) z = log PX ( = Y = Z, = z) PX ( = Y, = Z, = z) z Jika pada peubah acak diskrit terdapat tiga penjumlahan maka untuk peubah acak kontinu, digunakan integral lipat tiga.
BAB MOMEN DAN ENTROPI 8 Contoh.4 (Hogg and Craig,5, ) Pada contoh ini diberikan distribusi tiga peubah acak f ( z) ( z) + +,, = 3, < <, < <, < z<, z,, lainna Distribusi peluang dan entropi marjinal untuk X adalah ( + + z) ( ) f = ddz = + dan 3 3 H(X=)= ln ( + ) ( + ) d ln ( ) ln ( 3 ) 3 3 7 = + + = -,87 3 Sedangkan distribusi peluang dan entropi marjinal untuk Y dan Z aitu f 3 = ( + ), ( f z = z+ ), H(Y=)= -,87 dan H(Z=z)= -,87 3 Entropi gabungan untuk X, Y dan Z H(X=,Y=,Z=z)= ( + + ) ( + + ) z z ln dddz 3 3 5 + 3 3 4 = -,588 = ln ( ) ln ( 3) Fungsi gabungan Y dan Z bersarat pada X= adalah sebagai berikut f (, z ) ( + + z) f (,, z) 3 z = = = f ( ) ( ) + 3 ( + z) +, < < dan < z < = + +, dan z lainna ( + + ) ( + ) Terlihat bahwa fungsi ini merupakan penjumlahan suatu konstanta dengan rasio peubah acak Y dan Z dengan suatu konstanta. Sehingga entropi gabungan Y dan Z bersarat pada X= adalah
BAB MOMEN DAN ENTROPI 9 H(Y=,Z=z X=) = = ln f z, f zdddz,, ( + + z) + + z ln + 3 + + z 3 + = ln ( + + ) = -,46 dddz z dddz dengan H(Y=,Z=z X=)=H(X=,Z=z Y=)= H(X=,Y= Z=z)=-,46. Fungsi gabungan X bersarat pada Y dan Z adalah sebagai berikut (, ) f z ( + + z) ( + + z) f (,, z) = = 3 f ( zd,, ) ( + + zd ) 3, dan z + + z = < < < < Dari kasus dua dan peubah acak di atas, dapat diperumum untuk k peubah acak (multivariat). Entropi dari k peubah acak dapat dituliskan sebagai H(X =,X =,,X k = k ) ( P( X X Xk k) ) P( X X Xk k)... log =, =,..., = =, =,..., =, peubah acak diskrit k = ( )... log f,,..., f,,..., dd... d, peubah acak kontinu k k k (.43).4 Entropi Relatif dan Informasi Mutual Konsep umum dari entropi adalah entropi relatif ang dikenal juga dengan Kullback Leibler distance atau cross entrop. Entropi relatif dinotasikan dengan
BAB MOMEN DAN ENTROPI D( pr)adalah suatu ukuran jarak antara dua distribusi dan ukuran keadaan dari mengasumsikan bahwa distribusina adalah r padahal distribusi sebenarna adalah p. Definisi. : Entropi relatif atau Kullback Leibler distance dari dua fmp, p() dan r() didefinisikan sebagai p p X D( pr) = p log =Ep log (.44) Χ r r X Sifat-sifat dari entropi relatif. bernilai non negatif. D( pr ) = jika dan hana jika p = r Entropi relatif bersarat dari dua distribusi adalah p D ( p( ) r( ) ) p( ) p( ) log r ( ) ( ) ( ) = (.45) D p, r, = D p r + D p r (.46) Konsep lain ang dapat digunakan untuk melihat hubungan dari dua distribusi peluang adalah informasi mutual dan didefinisikan sebagai berikut. Misalkan dua peubah acak, X dan Y dengan fungsi peluang gabunganna, p(,) dan fmp marjinal adalah p() dan p(). Definisi. : Untuk peubah acak diskrit, informasi mutual didefinisikan sebagai ( =, = ) p( X =, Y = ) ( = ) ( = ) I( XY ; ) = p X Y log p X p Y p( X, Y) p( Y) = D ( p( X =, Y = ) p( X = ) p( Y = ) ) = E (, ) log p p X sedangkan untuk peubah acak kontinu, dituliskan sebagai (.47)
BAB MOMEN DAN ENTROPI f (, ) f f I( XY ; ) = f, log ( f f f ) = D, (.48) Informasi mutual, I(X;Y), merupakan ukuran kebebasan, aitu informasi mutual bernilai nol jika dan hana jika dua peubah acak saling bebas. Entropi dan informasi mutual mempunai hubungan sebagai berikut PX ( = Y, = ) I ( XY ; ) = PX ( = Y, = )log PX ( = PY ) ( = ) PX ( = Y = ) = PX ( = Y, = )log PX ( = ) = P( X =, Y = )log P( X = ) + P( X =, Y = )log P( X = Y = ),, = PX ( = ) log PX ( = ) PX ( = Y, = ) log PX ( = Y = ), = H(X=)- H(X= Y=) Begitu pula dengan informasi mutual, I ( XY ; ) =I ( ; ) YX = H(Y=) - H(Y= X=). Sehingga dapat dituliskan hubungan-hubungan, I (X;Y) = H(X=) H(Y=) = H(Y=) - H(Y= X=) = H(X=) + H(Y=) - H(X=,Y=) = I (Y;X) dan I (X;X) = H(X=). Sebagai suatu ukuran, dikenal juga informasi mutual bersarat ang didefinisikan sebagai I (X;Y Z) = I ((X;Y) Z) = H(X= Z=z) - H(X= Y=,Z=z) (.49) Sebagai catatan, penulisan entropi pada bab ini dibedakan dengan entropi untuk proses stokastik rantai Markov pada Bab 4 karena entropi pada matriks peluang transisi dilihat sebagai entropi perbaris. Untuk lebih jelas, akan dibahas pada bab 4.