Modul #08 TE0RI INFORMASI. Program Studi S1 Teknik Telekomunikasi Departemen Teknik Elektro - Sekolah Tinggi Teknologi Telkom Bandung 2007

Transkripsi

1 Modul #8 TE33 SISTEM KOMUNIKASI TERI INFORMASI Program Studi S Teknik Telekomunikasi Deartemen Teknik Elektro - Sekolah Tinggi Teknologi Telkom Bandung 7

2 Block diagram of a DCS Sumber Source Channel Pulse Bandass Informasi encode encode modulate modulate Digital modulation Digital demodulation Channel Tujuan Source Channel Demod. Detect Informasi decode decode Samle Teori Informasi menjawab ertanaan fundamental di dalam teori komunikasi, aitu: Beraa besar komresi data/komresi sumber informasi daat dilakukan, jawabanna adalah entro H Beraa besar keceatan transmisi suatu komunikasi, jawabanna adalah kaasitas kanal C

3 Introduction Pada thn 94-an ada endaat bahwa menaikkan rate transmisi melalui kanal komunikasi akan menaikkan robabilit of error. Shannon membuktikan bahwa endaat di atas tidak benar selama rate transmisi lebih rendah dari kaasitas kanal. Kaasitas daat dihitung dari derau di kanal. Shannon juga berendaat bahwa roses acak seech, music memunai nilai komleksitas ang tidak daat dierkecil, nilai tersebut adalah batas komresi sinal, ang diberi nama entro. Bila entro sumber informasi lebih kecil dari kaasitas kanal, maka komunikasi bebas error secara asomtotis bisa dicaai. www-ga.dcs.st-and.ac.uk/~histor/ Mathematicians/Shannon.html Ada ekstrem : entro kaasitas kanal Semua cara-cara modulasi dan komresi data terletak diantara dua ekstrem tersebut 3

4 Besaran-besaran dalam Teori Informasi Sumber Informasi Kandungan Informasi Entro Joint Entro Conditional Entro Mutual Information Yang didefinisikan sebagai fungsi Peluang / Distribusi Peluang Kaasitas kanal 4

5 Sumber Informasi Sumber informasi adalah suatu obek ang menghasilkan event, dimana keluaran sumber informasi tergantung dari distribusi robabilit Dalam raktek, sumber informasi daat diangga sebagai suatu device ang menghasilkan esan, dan daat berua analog atau diskrit it Dalam kuliah teori informasi ini, sumber informasi ang sering dibahas adalah sumber informasi diskrit Pada sumber informasi diskrit akan menghasilkan sekumulan set simbol ang disebut SOURCE ALPHABET. Dan elemen dari set source alhabet disebut SIMBOL atau LETTERS 5

6 Klasifikasi Sumber Informasi Memor : munculna simbol bergantung ada simbol sebelumna Memorless : munculna simbol tidak bergantung ada simbol sebelumna Sumber Informasi diskrit ang memorless disebut juga Discrete Memorless Source DMS 6

7 Kandungan Informasi Misal suatu DMS discrete memorless sources ang dinotasikan S{s, s,.., s q }, dengan masing-masing robabilit s i i, dan berlaku robabilit s i i, dan berlaku q s i Maka kandungan informasi dari simbol S i adalah : I si log log s i s i i Satuan ang digunakan adalah bits 7

8 Information Eamle : S{s, s, s 3, s 4 }, /, /4, 3 4 /8. Is log bits Is log 4 bits Is 3 Is 4 log 83 bits Eamle : S{s, s, s 3, s 4 }, 3 4 /4. Is Is Is 3 Is 4 log 4 bits 8

9 Proerties of Is Information Is a real nonnegative measure Is s Is +Is for indeendent event. 3 Is is a continuous function of. 4 Is for s i 5 Is > Is if s > s Intuitivel, roert tells us that each outcome, e.g., coin or die, has no influence on the outcome of the other. 9

10 Entro Adalah arameter ang menatakan kandungan informasi rata-rata ersimbol Entro dari sumber S ang memunai simbol-simbol s i dan robabilit i : q H S i i log H P Eamle : S{s, s, s 3, s 4 }, /, /4, 3 4 /8. H S log + log 4 + log 8 + log bits Eamle : S{s, s, s 3, s 4 }, 3 4 /4. H S log 4 + log 4 + log 4 + log 4 bits i

11 Entro dari sumber memorless binar Consider the distribution consisting of just two events [S, S ]. Let be the robabilit of the first smbol event. Then, the entro function is : H S log / + - log [/-] H P The maimum of H P occurs when /. log I s I s log H S I s + I s

12 Entro dari sumber memorless binar..8 HP P

13 SOURCE CODING Adalah konversi outut dari DMS ke bentuk binar sequence, devicena disebut SOURCE ENCODER discrete memorless sources S i S{s, s,.., s q } Source encoder Binar sequence X{, } Tujuan dari source coding adalah untuk meminimalisasi bit rate rata-rata ang mereresentasikan DMS dengan cara mereduksi redundansi dari DMS mengurangi jumlah simbol ang sering muncul 3

14 Panjang Kode & Efisiensi Kode Misal S adalah DMS dengan entroi HS dan alhabet S{s, s,.., s q } dengan masing-masing robabilit s i i, i,,, q Code dari binar sequence keluaran Source Encoder X i memiliki anjang n i bit, maka anjang code word rata-rata didefinisikan: q L S i. n i i Parameter L mereresentasikan jumlah bit er sumber simbol ang meruakan keluaran dari Source Encoder Efisiensi dari codeword didefinisikan sebagai berikut: η L min L min adalah nilai L minimum ang mungkin muncul. Aabila η maka kode dikatakan efisien. Sedangkan redundansi d dari kode didefinisikan: i ik L γ η 4

15 TEOREMA SOURCE CODING Teorema Source Coding menatakan bahwa untuk DMS dari S dengan entro HS, maka anjang codeword rata-rata dibatasi oleh: Aabila L min HS, maka: L H S H S η L Secara umum: L L min dan η Suatu Source Coding dikatakan otimal jika anjang kode minimal memiliki L min Kraft In-Equalit ketidaksamaan Kraft Jika S adalah DMS dengan alhabet S{s, s,.., s q } dan masing-masing codeword ang dihasilkan adalah n i, maka berlaku : q ni i 5

16 CONTOH SOURCE CODING SHANNON FANO CODING PROSEDUR: Urutkan sumber simbol berdasarkan robabiltas dari ang terbesar ke ang terkecil Bagi sumber simbol menjadi set dimana masing-masing set memunai robabilitas ang hamir sama. Beri tanda bit untuk set ang tinggi dan bit untuk set ang lebih rendah 3 Ulangi roses di atas samai tidak mungkin sumber simbol dibagi lagi Contoh:Tentukan keluaran Source Coding dengan rosedur Shannon-Fano untuk keluaran DMS sebanak 6 simbol dengan eluangna,5;,8;,;,;,5;,3 6

17 Solusi: S i PS i Ste Ste Ste 3 Ste 4 Ste 5 Codeword S 3,3 S,5 S 3 S 4,, S 5 S 6,8,5 Buktikan bahwa: HS,36 bits/simbol L,38 bits/simbol η,99 7

18 CONTOH SOURCE CODING HUFFMAN-CODING Source coding ini adalah salah satu kode ang otimum dan memunai efisiensi i i ang tinggii PROSEDUR:. Urutkan simbol berdasarkan robabilitasna dari terbesar ke terkecil. Jumlahkan robabilitas buah simbol dari robabilitas terkecil dan urutkan kembali robabilitasna mulai ang terbesar 3. Beri tanda bit untuk robabilitas ang lebih kecil dan tanda bit untuk robabilitas ang lebih besar 4. Ulangi langkah di atas samai jumlah robabilitasna Contoh:Tentukan keluaran Source Coding dengan rosedur Huffman untuk keluaran DMS sebanak 6 simbol dengan eluangna,5; 6,6;,; 9,9; 5,5; 35,35 8

19 Solusi: S i PS i Probabilit S,35,35,35,35,35,35,4,4,6 S,5,5,5,5,5,5,35,6,4 S 9,9 9,9 9,9 9,9, 4,4 5,5 S 3,,,,,9 S 4,6,, S 5,5 S i codeword,4,6 S S,9,,5,35 S S S S S 3,, S 4 S 3 S 5,5,6 S 5 S 4 9

20 Tugas, dikumulkan!. Diketahui simbol-simbol keluaran DMS sebagai berikut: a. Dengan menggunakan rosedur Shannon- Simbol Probabilit Fano, tentukan simbol-simbol codeword S 4,4 outut Source Coding! S, b. Tentukan efisiensi codeword ang S, dihasilkan bag a! S 3, c. Dengan menggunakan rosedur Huffman, S 4, tentukan simbol-simbol codeword outut Source Coding! d. Tentukan efisiensi codeword ang dihasilkan bag c!. Diketahui simbol-simbol keluaran DMS sebagai berikut: Simbol S S S S 3 S 4 S 5 Probabilit,3,5,,,8,5 Pertanaan sama st soal no

21 Discrete Memorless Channel Meruakan emodelan kanal secara statistik dari DMS X dan Y adalah random variable untuk inut dan outut dari DMC Kanal disebut Discrete karena sumber simbol ang dikirimkan dan outut kanal adalah diskrit dan ukuranna terbatas Pemodelan inut : X [,,., J- ] Pemodelan outut : Y [,,., K- ]

22 Discrete Memorless Channel Probabilitas Transisi kanal eluang bersarat: Probabilitas Transisi kanal eluang bersarat: P k / j P[Y k /X j ] untuk semua j dan k Secara umum P k / j untuk semua j dan k Secara umum P k / j untuk semua j dan k Model matrik DMC disebut juga Matrik Transisi atau Matrik Kanal:...., k...., k...., j j k j j k U t k b i b l k t k ti j Pb of outut channel matri riori Pb / k P Untuk baris ang sama berlaku: untuk setia j / k k j P

23 Discrete Memorless Channel Didefinisikan i ik P j P[X j ] untuk j,,., J- Adalah robabilitas munculna X j ada inut kanal disebut juga ariori robabilit Didefinisikan Joint Probabilit Distribution dari random variable X dan Y P j, k P[X j,y k ] P[Y k /X j ]. P[X j ] P[ k / j ]. P[X j ] Didefinisikan Marginal Probabilit Distribution dari random variable Y : P P Y J k P Y k / X j. P X j J j P k / j k. P j j Untuk setia k,,., K- 3

24 Kasus: Binar Simetric Channel Pada kasus ini kanal memunai inut simbol: dan X Dan memunai outut simbol: dan Y Kanal disebut simetik karena: P / P / P / P / - Probabilitas error dinatakan, diagram robabilitas transisina sbb: P[ Y / Matrik Kanal X ] Ingat Model Matrik: P Y P[ Y / X ]. P X 4

25 Latihan Soal: Diketahui suatu binar channel bukan simetrik sbb: P P,5,9,, a. Cari matrik kanal! b. Cari P dan P!,8 c. Cari Joint robabilit P, dan P, 5

26 Mutual Information Didefinisikan HX/Y conditional entro dari inut kanal bila outut dari kanal sudah diobservasi. Didefinisikan HY/X conditional entro dari outut kanal bila inut dari kanal sudah diobservasi. K X Y H X Y H k K- J k j K- J j k k k k log j k k j j, log k Maka MUTUAL INFORMATION didefinisikan: IX ;Y HX H X Y 6 j k

27 Mutual Information MUTUAL INFORMATION mereresentasikan kandungan informasi dari X aabila outut kanal sudah diketahui IX;Y Proert of Mutual Information: The mutual information of a channel is smmetric I X ; Y I Y ; X I Y ; X H X H Y X uncertaint about the channel outut that i s resolved bsending the channel inut uncertaint t about tthe channel linut tthat tis resolved b observing the channel outut the mutual information is alwas nonnegative; that is I X ; Y 7

28 Proert of Mutual Information: 3 if the joint entro H X, Y is defined b so: I H X, Y J K j, k log j, j k k X ;Y H X + H Y H X, Y HX, Y 8

29 Proert of Mutual Information: Good Channel Bad Channel HX HY HX HY No error Worst channel HX HX HX HY 9

30 KAPASITAS KANAL Kaasitas kanal dari Discrete Memorless Channel didefinisikan: C [ bits /channel] ma I X;Y { } j Jadi Kaasitas Kanal adalah mencari mutual information maksimum untuk semua Probabilitas simbol inut ang mungkin j, untuk setia j J i Contoh kasus BSC Binar Simetric Channel: X X i - - Y Y 3

31 KAPASITAS KANAL Contoh kasus BSC Binar Simetric Channel Entro dari X akan maksimum jika P P,5, sehingga IX;Y juga akan maksimal. log, log log ; Y X H X H Y X I + log, j k j k k k j,,,, 3

32 Contoh kasus BSC Binar Simetric Channel Dari Grafik: KAPASITAS KANAL log + log { + log } + { log + } + - log + log C Jika kanal bebas noise, C akan maksimum aitu bits/ch; tetai entroina akan minimum [H] Jika kanal ada noise dgn /, C akan minimum aitu bits/ch; tetai entroina akan maksimum [H] kondisi ini disebut useless Kondisi inverting Channel, Jika kanal bebas noise, C akan maksimum aitu bits/ch 3

33 Information Caacit Theorem Shannon s 3 rd theorem Teori kaasitas informasi Shannon ada kanal AWGN adalah membahas teori kaasitas informasi ada kanal Additive Band Limited White Gausian Noise dengan zero mean dan variansi σ. Kaasitas ada kanal AWGN: C P B log + N B Formula tersebut didaat dari: Dimana: C kaasitas bs B bandwidth kanal Hz No PSD AWGN W/Hz N No.B Noise Power W bs P average transmitted ower W X C ma I X;Y { } j P N B S N N Y AWGN 33

34 ideal sstem : bit rate R b C C E P b ower avg b B C N E B C b log + B C N E B N B B C b 34

35 <observation> Information Caacit Eb/No energi er bit to noise ower sectral densit ratio E N b E lim B N C b lim B C C B ln db B P P lim C lim B log log e B B + N B N Shannon limit caacit boundar : R b C R b <C error free TX is ossible R b >C error free TX is not ossible 35

36 Information Caacit trade off horizontal line : for fied R b / B, P e E b / N trade off vertical line : for fied E b /N, P e R b /B error rate diagram of ideal sstem 36

37 M-ar PSK Lihat ula figure 9.7 Buku Simon Hakin 4 th Edt: Pe vs Eb/No, d P -5 e Note! M k P E R b B log M M R b bt but Eb N B E b / N db 37

38 M-ar FSK Lihat ula figure 9.7 Buku Simon Hakin 4 th Edt: Pe vs Eb/No, d P -5 e Note! M k P E R b log M Rb M & E / N b B M B E b / N db 38

39 39