SISTEM KOMUNIKASI TEORI INFORMASI

Transkripsi

1 SISTEM KOMUNIKASI TEORI INFORMASI Program Studi D3TT Teni Teleomuniasi Bandung 6

2 Bloc diagram of a DCS Sumber Informasi Source encode Channel encode Pulse modulate Bandass modulate Digital modulation Digital demodulation Channel Tuuan Informasi Source decode Channel decode Detect Demod. Samle Teori Informasi menawab ertanaan fundamental di dalam teori omuniasi, aitu: Beraa besar omresi data/omresi sumber informasi daat dilauan, awabanna adalah entro H Beraa besar eceatan transmisi suatu omuniasi, awabanna adalah aasitas anal C Modul 8 - Sisom - Teori Informasi

3 Introduction Pada thn 94-an ada endaat bahwa menaian rate transmisi melalui anal omuniasi aan menaian robabilit of error. Shannon membutian bahwa endaat di atas tida benar selama rate transmisi lebih rendah dari aasitas anal. Kaasitas daat dihitung dari derau di anal. Shannon uga berendaat bahwa roses aca seech, music memunai nilai omlesitas ang tida daat dierecil, nilai tersebut adalah batas omresi sinal, ang diberi nama entro. Bila entro sumber informasi lebih ecil dari aasitas anal, maa omuniasi bebas error secara asimtotis bisa dicaai. www-ga.dcs.st-and.ac.u/~histor/ Mathematicians/Shannon.html Ada estrem : entro aasitas anal Semua cara-cara modulasi dan omresi data terleta diantara dua estrem tersebut Modul 8 - Sisom - Teori Informasi 3

4 Besaran-besaran dalam Teori Informasi Sumber Informasi Kandungan Informasi Entro Joint Entro Conditional Entro Mutual Information Yang didefinisian sebagai fungsi Peluang / Distribusi Peluang Kaasitas anal Modul 8 - Sisom - Teori Informasi 4

5 Sumber Informasi Sumber informasi adalah suatu obe ang menghasilan event, dimana eluaran sumber informasi tergantung dari distribusi robabilit Dalam rate, sumber informasi daat diangga sebagai suatu device ang menghasilan esan, dan daat berua analog atau disrit Dalam uliah teori informasi ini, sumber informasi ang sering dibahas adalah sumber informasi disrit Pada sumber informasi disrit aan menghasilan seumulan set simbol ang disebut SOURCE ALPHABET. Dan elemen dari set source alhabet disebut SIMBOL atau LETTERS Modul 8 - Sisom - Teori Informasi 5

6 Klasifiasi Sumber Informasi Memor : munculna simbol bergantung ada simbol sebelumna Memorless : munculna simbol tida bergantung ada simbol sebelumna Sumber Informasi disrit ang memorless disebut uga Discrete Memorless Source DMS Modul 8 - Sisom - Teori Informasi 6

7 Kandungan Informasi Misal suatu DMS discrete memorless sources ang dinotasian S={s, s,.., s q }, dengan masing-masing q robabilit s i = i, dan berlau Maa andungan informasi dari simbol S i adalah : Satuan ang digunaan adalah bits I si log log s i s i s i i Modul 8 - Sisom - Teori Informasi 7

8 Information Eamle : S={s, s, s 3, s 4 }, =/, =/4, 3 = 4 =/8. Is =log = bits Is =log 4= bits Is 3 =Is 4 =log 8=3 bits Eamle : S={s, s, s 3, s 4 }, = = 3 = 4 =/4. Is =Is =Is 3 =Is 4 =log 4= bits Modul 8 - Sisom - Teori Informasi 8

9 Information Proerties of Is Is a real nonnegative measure Is s = Is +Is for indeendent event. 3 Is is a continuous function of. 4 Is = for s i = 5 Is > Is if s < s Intuitivel, roert tells us that each outcome, e.g., coin or die, has no influence on the outcome of the other. Modul 8 - Sisom - Teori Informasi 9

10 Entro Adalah arameter ang menataan andungan informasi rata-rata ersimbol Entro dari sumber S ang memunai simbol-simbol s i dan robabilit i : q H S i i log H P Eamle : S={s, s, s 3, s 4 }, =/, =/4, 3 = 4 =/8. H S log log 4 log 8 log bits Eamle : S={s, s, s 3, s 4 }, = = 3 = 4 =/4. H S log 4 log 4 log 4 log 4 bits i Modul 8 - Sisom - Teori Informasi

11 Entro dari sumber memorless binar Consider the distribution consisting of ust two events [S, S ]. Let be the robabilit of the first smbol event. Then, the entro function is : H S= log / + - log [/-]= H P The maimum of H P occurs when =/. I s H S I s I s log I s log Modul 8 - Sisom - Teori Informasi

12 Entro dari sumber memorless binar..8 HP P.6.8. Modul 8 - Sisom - Teori Informasi

13 SOURCE CODING Adalah onversi outut dari DMS e bentu binar sequence, devicena disebut SOURCE ENCODER discrete memorless sources S i S={s, s,.., s q } Source encoder Binar sequence X={, } Tuuan dari source coding adalah untu meminimalisasi bit rate rata-rata ang mereresentasian DMS dengan cara meredusi redundansi dari DMS mengurangi umlah simbol ang sering muncul Modul 8 - Sisom - Teori Informasi 3

14 Panang Kode & Efisiensi Kode Misal S adalah DMS dengan entroi HS dan alhabet S={s, s,.., s q } dengan masing-masing robabilit s i = i, i=,,, q Code dari binar sequence eluaran Source Encoder X i memilii anang n i bit, maa anang code word rata-rata didefinisian: i Parameter L mereresentasian umlah bit er sumber simbol ang meruaan eluaran dari Source Encoder Efisiensi dari codeword didefinisian sebagai beriut: L min adalah nilai L minimum ang mungin muncul. Aabila = maa ode diataan efisien. Sedangan redundansi dari ode didefinisian: L q S i. n i L min L Modul 8 - Sisom - Teori Informasi 4

15 TEOREMA SOURCE CODING Teorema Source Coding menataan bahwa untu DMS dari S dengan entro HS, maa anang codeword rata-rata dibatasi oleh: Aabila L min = HS, maa: L HS H S L Secara umum: L L min dan Suatu Source Coding diataan otimal ia anang ode minimal memilii L min Kraft In-Equalit etidasamaan Kraft Jia S adalah DMS dengan alhabet S={s, s,.., s q } dan masing-masing codeword ang dihasilan adalah n i, maa berlau : q i ni Modul 8 - Sisom - Teori Informasi 5

16 CONTOH SOURCE CODING SHANNON FANO CODING PROSEDUR: Urutan sumber simbol berdasaran robabiltas dari ang terbesar e ang terecil Bagi sumber simbol menadi set dimana masing-masing set memunai robabilitas ang hamir sama. Beri tanda bit untu set ang tinggi dan bit untu set ang lebih rendah 3 Ulangi roses di atas samai tida mungin sumber simbol dibagi lagi Contoh:Tentuan eluaran Source Coding dengan rosedur Shannon-Fano untu eluaran DMS sebana 6 simbol dengan eluangna,5;,8;,;,;,5;,3 Modul 8 - Sisom - Teori Informasi 6

17 Solusi: S i PS i Ste Ste Ste 3 Ste 4 S S S 3 S 4 S 5 S 6,3,5,,,8,5 Butian bahwa: HS =,36 bits/simbol L=,38 bits/simbol =,99 Modul 8 - Sisom - Teori Informasi Ste 5 Codeword 7

18 PROSEDUR: CONTOH SOURCE CODING HUFFMAN-CODING Source coding ini adalah salah satu ode ang otimum dan memunai efisiensi ang tinggi D.A. Huffman. Urutan simbol berdasaran robabilitasna dari terbesar e terecil. Jumlahan robabilitas buah simbol dari robabilitas terecil dan urutan embali robabilitasna mulai ang terbesar 3. Beri tanda bit untu robabilitas ang lebih besar dan tanda bit untu robabilitas ang lebih ecil 4. Ulangi langah di atas samai umlah robabilitasna = Contoh:Tentuan eluaran Source Coding dengan rosedur Huffman untu eluaran DMS sebana 6 simbol dengan eluangna,5;,6;,;,9;,5;,35 Modul 8 - Sisom - Teori Informasi 8

19 Solusi: S i PS i Probabilit S,35,35,35,35,35,35,4,4,6 S,5,5,5,5,5,5,35,6,4 S,9,9,9,9,,4,5 S 3,,,,,9 S 4,6,, S 5,5 S i codeword,4,6 S S,9,,5,35 S S S S S 3,, S 4 S 3 S 5,5,6 S 5 S 4 Modul 8 - Sisom - Teori Informasi 9

20 Tugas, diumulan!. Dietahui simbol-simbol eluaran DMS sebagai beriut: Simbol Probabilit S,4 S, S, S 3, S 4, a. Dengan menggunaan rosedur Shannon- Fano, tentuan simbol-simbol codeword outut Source Coding! b. Tentuan efisiensi codeword ang dihasilan bag a! c. Dengan menggunaan rosedur Huffman, tentuan simbol-simbol codeword outut Source Coding! d. Tentuan efisiensi codeword ang dihasilan bag c!. Dietahui simbol-simbol eluaran DMS sebagai beriut: Simbol S S S S 3 S 4 S 5 Probabilit,3,5,,,8,5 Pertanaan sama st soal no Modul 8 - Sisom - Teori Informasi

21 Discrete Memorless Channel Meruaan emodelan anal secara statisti dari DMS X dan Y adalah random variable untu inut dan outut dari DMC Kanal disebut Discrete arena sumber simbol ang diiriman dan outut anal adalah disrit dan uuranna terbatas Pemodelan inut : X = [,,., J- ] Pemodelan outut : Y = [,,., K- ] Modul 8 - Sisom - Teori Informasi

22 Discrete Memorless Channel Probabilitas Transisi anal eluang bersarat: P / = P[Y= /X= ] untu semua dan Secara umum P / untu semua dan Model matri DMC disebut uga Matri Transisi atau Matri Kanal: Untu olom ang sama berlau: untu setia Modul 8 - Sisom - Teori Informasi...,...,..., Pb of outut channel matri riori Pb / P

23 Discrete Memorless Channel Didefinisian P = P[X= ] untu =,,., J- Adalah robabilitas munculna X= ada inut anal disebut uga ariori robabilit Didefinisian Joint Probabilit Distribution dari random variable X dan Y P, = P[X=,Y= ] = P[Y= /X= ]. P[X= ] = P[ / ]. P[X= ] Didefinisian Marginal Probabilit Distribution dari random variable Y : Untu setia =,,., K- Modul 8 - Sisom - Teori Informasi 3 /. /. J J P P X Y P X P Y P P

24 Kasus: Binar Simetric Channel Pada asus ini anal memunai inut simbol: = dan = X Dan memunai outut simbol: = dan = Y Kanal disebut simetri arena: P =/ = = P =/ = = P =/ = = P =/ = = - Probabilitas error dinataan, diagram robabilitas transisina sbb: P[ Y / Matri Kanal X] Ingat Model Matri: P Y P[ Y / X]. P X Modul 8 - Sisom - Teori Informasi 4

25 Latihan Soal: Dietahui suatu binar channel buan simetri sbb: P = P =,5 a. Cari matri anal! b. Cari P dan P!,9,,,8 c. Cari Joint robabilit P, dan P, Modul 8 - Sisom - Teori Informasi 5

26 Mutual Information Didefinisian HX/Y = conditional entro dari inut anal bila outut dari anal sudah diobservasi. Didefinisian HY/X = conditional entro dari outut anal bila inut dari anal sudah diobservasi. Maa MUTUAL INFORMATION didefinisian: Modul 8 - Sisom - Teori Informasi 6 K- K- log, log J J K XY H XY H XY H HX X ; Y I

27 Mutual Information MUTUAL INFORMATION mereresentasian andungan informasi dari X aabila outut anal sudah dietahui IX;Y Proert of Mutual Information: The mutual information of a channel is smmetric I X ; Y IY ; X I Y ; X HX HYX uncertaint about the channel outut that i s resolved bsending the channel inut uncertaint about the channel inut that is resolved b observing the channel outut the mutual information is alwas nonnegative; that is IX ; Y Modul 8 - Sisom - Teori Informasi 7

28 Proert of Mutual Information: 3 if the oint entro H X, Y is defined b so: I H J K X, Y HX, Y, log, X ;Y HX HY HX, Y HXY HY HX IX ; Y IYX Channel 이좋은경우 Channel 이나쁜경우 Modul 8 - Sisom - Teori Informasi 8

29 Proert of Mutual Information: Good Channel Bad Channel HX HY HX HY No error Worst channel HX HY HX HY Modul 8 - Sisom - Teori Informasi 9

30 KAPASITAS KANAL Kaasitas anal dari Discrete Memorless Channel didefinisian: C ma I X;Y Jadi Kaasitas Kanal adalah mencari mutual information masimum untu semua Probabilitas simbol inut ang mungin, untu setia J Contoh asus BSC Binar Simetric Channel: X = X = i i - - [ bits /channel] Y = Y = Modul 8 - Sisom - Teori Informasi 3

31 KAPASITAS KANAL Contoh asus BSC Binar Simetric Channel Entro dari X aan masimum ia P = P =,5, sehingga IX;Y uga aan masimal. Modul 8 - Sisom - Teori Informasi 3 log, log, log, log, log, log log ; Y X H X H Y X I,,,,

32 KAPASITAS KANAL Contoh asus BSC Binar Simetric Channel Dari Grafi: C log - log Jia anal bebas noise =, C aan masimum aitu bits/ch; tetai entroina aan minimum [H=] Jia anal ada noise dgn =/, C aan minimum aitu bits/ch; tetai entroina aan masimum [H=] ondisi ini disebut useless Kondisi inverting Channel, Jia anal bebas noise =, C aan masimum aitu bits/ch log log log log Modul 8 - Sisom - Teori Informasi 3

33 Information Caacit Theorem Shannon s 3 rd theorem Teori aasitas informasi Shannon ada anal AWGN adalah membahas teori aasitas informasi ada anal Additive Band Limited White Gausian Noise dengan zero mean dan variansi. Kaasitas ada anal AWGN: C Formula tersebut didaat dari: Dimana: P log B NB C = aasitas bs B = bandwidth anal Hz No = PSD AWGN W/Hz N = No.B = Noise Power W bs P = average transmitted ower W P N B Modul 8 - Sisom - Teori Informasi 33 X C ma I X;Y S N N Y AWGN

34 ideal sstem : bit rate R b = C Modul 8 - Sisom - Teori Informasi 34 C E P b ower avg B C N E B C N E B C B C b b log

35 <observation> Information Caacit Eb/No = energi er bit to noise ower sectral densit ratio E N b C lim B E N b limc B C B lim C B B ln.693.6db P P lim Blog B log NB N e Shannon limit caacit boundar : R b = C R b <C error free TX is ossible R b > C error free TX is not ossible Modul 8 - Sisom - Teori Informasi 35

36 Information Caacit trade off horizontal line : for fied R b / B, P e vertical line : for fied E b /N, P e error rate diagram of ideal sstem trade off E b / N R b /B Modul 8 - Sisom - Teori Informasi 36

37 M-ar PSK Lihat ula figure 9.7 Buu Simon Hain 4 th Edt: Pe vs Rb/B, d P e = -5 Note! M = P E R b B log M M Rb but Eb N B E b / N db Modul 8 - Sisom - Teori Informasi 37

38 M-ar FSK Lihat ula figure 9.7 Buu Simon Hain 4 th Edt: Pe vs Rb/B, d P e = -5 Note! M = P E R log b B M M M Rb & E b / N B E b / N db Modul 8 - Sisom - Teori Informasi 38

39 Modul 8 - Sisom - Teori Informasi 39