BAB V ALGORITMA PEMBELAJARAN DALAM JARINGAN SYARAF TIRUAN

Transkripsi

1 BAB V ALGORITMA PEMBELAJARAN DALAM JARINGAN SYARAF TIRUAN Kompetensi : 1. Mahasiswa memahami onsep pembelaaran dalam JST Sub Kompetensi : 1. Dapat mengetahui prinsip algoritma Perceptron 2. Dapat mengetahui prinsip pembelaaran pada algoritma Bac Propagasi 3. Dapat mengetahui prinsip pembelaaran pada algoritma Kohonen Map Dalam bab ini hanya aan dipaparan 3 algoritma yang banya digunaan dalam Jaringan Syaraf Tiruan, yaitu Algoritma Perceptron, Algoritma Bacpropagasi dan Algoritma Kohonen. Algoritma perceptron dan Bacpropagasi merupaan contoh algoritma dengan enis pembelaaran yang terawasi (supervising) dan algoritma ohonen merupaan contoh algoritma yang tida terawasi (unsupervising) V.I. Algoritma Perceptron Model aringan perceptron ditemuan oleh Rosenblatt (1962) dan Minsy Papert (1969). Model tersebut merupaan model yang memilii apliasi dan pelatihan yang paling bai pada era tersebut. 1. Arsitetur Jaringan Arsitetur aringan perceptron mirip dengan arsitetur aringan Hebb. Gambar 1. Arsitetur Jaringan Perceptron

2 Jaringan terdiri dari beberapa unit masuan ( ditambah sebuah bias ), dan memilii sebuah unit eluaran. Hanya saa fungsi ativasi merupaan fungsi biner ( atau bipolar ), tetapi memilii emunginan nilai -1, 0 atau 1. Untu suatu harga threshold θ yang ditentuan : Secara geometris fungsi ativasi membentu 2 garis sealigus, masing masing dengan persamaan : W 1 X 1 + W 2 X W n X n + b = θ dan W 1 X 1 + W 2 X W n X n + b = -θ 2. Pelatihan Perceptron Misalan S adalah vector masuan dan t adalah target eluaran α adalah lau pemahaman ( learning rate ) yang ditentuan θ adalah threshold yang ditentuan. Algoritma pelatihan perceptron adalah sebagai beriut : a. Inisialisasi semua bobot dan bias ( umumnya w i = b 0 ) Tentuan lau pemahaman (=α). Untu penyederhanaan biasanya α diberi nilai = 1 b. Selama ada elemen vector masuan yang respon unit eluarannya tida sama dengan target, lauan : 1) Set ativasi unit masuan x i = s i ( i = 1, n) 2) Hitung respon unit eluaran : net = x i w i + b

3 3) Perbaii bobot pola yang mengandung esalahan (y t ) menurut persamaan : W i (baru) = w i (lama) + w (i=1, n) dengan w = α t x i b (baru) = b (lama) + b dengan b = α t Ada beberapa hal yang perlu diperhatian dalam algoritma tersebut : a) Iterasi dilauan terus hingga semua pola memilii eluaran aringan yang sama dengan targetnya ( aringan sudah memahami pola). Iterasi tida berhenti setelah semua pola dimasuan seperti yang teradi pada model Hebb. b) Perubahan bobot hanya dilauan pada pola yang mengandung esalahan ( eluaran aringan target ). Perubahan tersebut merupaan hasil ali unit masuan dengan target lau pemahaman. Perubahan bobot hanya aan teradi alau unit masuan 0. V.2. Algoritma Bacpropagasi Umpan Bali (Feed Forward Bac Propagation) Propagasi umpan bali berbasis aringan syaraf tiruan merupaan algoritma pembelaaran yang terawasi dan biasanya digunaan oleh perceptron dengan banya lapisan untu mengubah bobot- bobot yang terhubung dengan neuron neuron yang ada pada lapisan tersembunyinya. Propagasi umpan bali berbasis aringan syaraf tiruan menggunaan error output untu mengubah nilai bobot bobotnya dalam arah mundur (bacward). Untu mendapatan error ini, tahap perambatan mau (forward propagation) harus dieraan terlebih dahulu. Pada saat perambatan mau, neuron neuron diatifan dengan menggunaan fungsi ativasi yang dapat dideferensiasi. Propagasi umpan bali berbasis aringan syaraf tiruan memilii beberapa unit yang ada dalam satu atau lebih layer tersembunyi. Gambar 2.3 adalah arsitetur propagasi umpan bali berbasis aringan syaraf tiruan dengan n buah masuan (ditambah sebuah bias), sebuah layar tersembunyi yang terdiri dari p unit (ditambah sebuah bias), serta m buah unit eluaran (Je, 2005:98).

4 Gambar 2.Arsitetur Propagasi Umpan Bali Berbasis Jaringan Syaraf Tiruan v i merupaan bobot garis dari unit masuan x i e unit layar tersembunyi z ( v o merupaan bobot garis yang menghubungan bias di unit masuan e unit layer tersembunyi z ). w merupaan bobot dari unit layar tersembunyi z e unit eluaran y ( w merupaan bobot dari o bias di layar tersembunyi e unit eluaran z ) (Je, 2005:98). 1. Pelatihan Propagasi Umpan Bali Berbasis Jaringan Syaraf Tiruan Pelatihan propagasi umpan bali berbasis aringan syaraf tiruan meliputi 3 fase. Fase pertama adalah fase mau. Pola masuan dihitung mau mulai dari layar masuan hingga layar eluaran menggunaan fungsi ativasi yang ditentuan. Fase edua adalah fase mundur. Selisih antara eluaran aringan dengan target yang diinginan merupaan esalahan yang teradi. Kesalahan tersebut dipropagasian mundur, dimulai dari garis yang berhubungan langsung dengan unit-unit di layar eluaran. Fase etiga adalah modifiasi bobot untu menurunan esalahan yang teradi (Je, 2005:100). Fase I: Propagasi Mau Selama propagasi mau, sinyal masuan (= x i ) dipropagasian e layer tersembunyi menggunaan fungsi ativasi yang ditentuan. Keluaran dari setiap unit layar tersembunyi (= z ) tersebut selanutnya dipropagasian mau lagi e layer tersembunyi di atasnya menggunaan

5 fungsi ativasi yang ditentuan. Demiian seterusnya hingga menghasilan eluaran aringan (= y ). Beriutnya, eluaran aringan (= y ) dibandingan dengan target yang harus dicapai (= t ). Selisih dari t terhadap y yaitu ( t y ) adalah esalahan yang teradi. Jia esalahan ini lebih ecil dari batas toleransi yang ditentuan, maa iterasi dihentian. Aan tetapi apabila esalahan masih lebih besar dari batas toleransinya, maa bobot setiap garis dalam aringan aan dimodifiasi untu mengurangi esalahan yang teradi. Fase II: Propagasi Mundur Berdasaran esalahan t y, dihitung fator δ ( = 1,2,..., m ) yang dipaai untu mendistribusian esalahan di unit y e semua unit tersembunyi yang terhubung langsung dengan unit eluaran. y. δ uga dipaai untu mengubah bobot garis yang berhubungan langsung dengan Dengan cara yang sama, dihitung fator δ ( = 1,2,, p ) di setiap unit di layar tersembunyi sebagai dasar perubahan bobot semua garis yang berasal dari unit tersembunyi di layar di bawahnya. Demiian seterusnya hingga semua fator δ di unit tersembunyi yang berhubungan langsung dengan unit masuan dihitung. Fase III: Perubahan Bobot Setelah semua fator δ dihitung, bobot semua garis dimodifiasi bersamaan. Perubahan bobot suatu garis didasaran atas fator δ neuron di layar atasnya. Sebagai contoh, perubahan bobot garis yang menuu e layar eluaran didasaran atas δ yang ada di unit eluaran. Ketiga fase terebut diulang-ulang terus hingga ondisi penghentian dipenuhi. Umumnya ondisi penghentian yang sering dipaai adalah umlah iterasi atau esalahan. Iterasi aan dihentian ia umlah iterasi yang dilauan sudah melebihi umlah masimum iterasi yang ditetapan, atau ia esalahan yang teradi sudah lebih ecil dari batas toleransi yang diiinan. Algoritma pelatihan untu aringan dengan satu layer tersembunyi (dengan fungsi ativasi sigmoid biner) adalah sebagai beriut :

6 Langah 0 : Inisialisasi semua bobot dengan bilangan aca ecil. Langah 1 : Jia ondisi penghentian belum terpenuhi, lauan langah 2 9. Langah 2 : Untu setiap pasang data pelatihan, lauan langah 3 8. Fase I : Propagasi mau Langah 3 atasnya. : Tiap unit masuan menerima sinyal dan menerusannya e unit tersembunyi di Langah 4 : Hitung semua eluaran di unit tersembunyi z ( = 1,2,, p ). z _ net = v o n + x i v i i= 1 z = f ( z _ net ) = 1+ e 1 z _ net Langah 5 : Hitung semua eluaran aringan di unit y ( = 1,2,, m ). y _ net = w o + p = 1 z w y = f ( y _ net ) = 1+ e 1 y _ net Fase II : Propagasi mundur Langah 6 : Hitung fator δ unit eluaran berdasaran esalahan di setiap unit eluaran y ( = 1,2,, m ). δ merupaan unit esalahan yang aan dipaai dalam perubahan bobot layer dibawahnya ( langah 7 ).

7 Hitung suu perubahan bobot lau perceptron α w (yang aan dipaai nanti untu merubah bobot w ) dengan Δ w = αδ z ; = 1,2,, m ; = 0,1,, p Langah 7 : Hitung fator δ unit tersembunyi berdasaran esalahan di setiap unit tersembunyi z ( = 1,2,, p ). m δ _ net = = 1 δ w Fator δ unit tersembunyi : δ = δ_net f (z_net ) = δ_net Z ( 1 Z ) Hitung suu perubahan bobot Vi (yang aan dipaai nanti untu merubah bobot Vi). Δvi = α δ xi ; = 1,2,,p ; I = 0,1,,n Fase III : Perubahan bobot Langah 8 : Hitung semua perubahan bobot. Perubahan bobot garis yang menuu e unit eluaran : W (baru) = W (lama) + ΔW ( = 1,2,,m ; = 0,1,,p ) Perubahan bobot garis yang menuu e unit tersembunyi : Vi (baru) = Vi (lama) + Δvi ( = 1,2,p ; I = 0,1,,n ) Setelah selesai dilauan, aringan dapat dipaai untu pengenalan pola. Dalam hal ini, hanya propagasi mau ( langah 4 dan 5 ) saa yang dipaai untu menentuan eluaran aringan. Apabila fungsi ativasi yang dipaai buan sigmoid biner, maa langah 4 dan 5 harus disesuaian. Demiian uga turunannya pada langah 6 dan 7.

8 2. Jaringan Propagasi Umpan Bali Pada MATLAB Membangun Jaringan Propagasi Umpan Bali Arsitetur aringan yang sering digunaan oleh algoritma propagasi umpan bali adalah aringan feedforward dengan banya lapisan. Untu membangun suatu aringan feedforward digunaan instrusi newff. Fungsi : net = newff ( PR,[S1 S2... SN1],{TF1 TF2... TFN1},BTF,BLF,PF ) Keterangan : PR : matris beruuran Rx2 yang berisi nilai minimum dan masimum, dengan R adalah umlah variable input. Si : umlah neuron pada lapisan e-i, dengan I = 1,2,..,N1. TFi : fungsi ativasi pada lapisan e- I, dengan I = 1,2,..,N1; (default : tansig) BTF : fungsi pelatihan aringan ( default : trainlm ) BLF : fungsi pelatihan untu bobot ( default : learngdm ) PF : fungsi inera ( default : mse ) Inisialisasi Bobot Setiap ali membentu aringan propagasi umpan bali, MATLAB aan memberi nilai bobot dan bias awal dengan bilangan aca ecil. Bobot dan bias ini aan berubah setiap ali ita membentu aringan. Aan tetapi ia diinginan memberi bobot tertentu, bisa dilauan dengan memberi nilai pada net.iw, net.lw dan net.b. Perbedaan antara net.iw dan net.lw. net.iw{,i} digunaan sebagai variabel untu menyimpan bobot dari unit masuan layar i e unit tersembunyi ( atau unit eluaran ) layar. Karena dalam propagasi umpan bali, unit masuan hanya terhubung dengan layar tersembunyi paling bawah, maa bobotnya disimpan dalam net.iw {1,1}. Sebalinya, net.lw{,} dipaai untu menyimpan bobot dari unit di layar tersembunyi e- e unit di layar tersembunyi e-. Sebagai contoh, net.lw {2,1} adalah penyimpan bobot dari layar tersembunyi paling bawah ( layar tersembunyi e- 1 ) e layar tersembunyi diatasnya ( layar tersembunyi e- 2 ).

9 Metode Penurunan Gradien Dengan Momentum ( Traingdm ) Modifiasi metode penurunan tercepat dilauan dengan menambah momentum. Dengan momentum, perubahan bobot tida hanya didasaran atas error yang teradi pada epoch pada watu itu. Perubahan bobot saat ini dilauan dengan memperhitungan uga perubahan bobot pada epoch sebelumnya. Dengan demiian emunginan terperangap e titi minimum loal dapat dihindari. Dalam MATLAB, pelatihan propagasi umpan bali dengan menggunaan metode penurunan gradient dengan momentum dilauan dengan mendefinisian fungsi pelatihan traingdm dalam pembentuan aringannya. Ada beberapa parameter yang harus diset untu pelatihan ini, yaitu : Masimum epoh Masimum epoh adalah umlah epoh masimum yang boleh dilauan selama proses pelatihan. Iterasi aan dihentian apabila nilai epoh melebihi masimum epoh. Instrusi : net.trainparam.epochs = MaxEpoh ( default = 10 ). Kinera tuuan Kinera tuuan adalah target nilai fungsi inera. Iterasi aan dihentian apabila nilai fungsi inera urang dari atau sama dengan inera tuuan. Instrusi : net.trainparam.goal = Targeterror ( default = 0 ). Learning rate Learning rate adalah lau pembelaaran. Semain besar nilai learning rate aan berimpliasi pada semain besarnya langah pembelaaran. Jia learning rate diset terlalu besar, maa algoritma aan menadi tida stabil. Sebalinya, ia learning rate diset terlalu ecil, maa algoritma aan onvergen dalam anga watu yang sangat lama. Instrusi : net.trainparam.lr = LearningRate( default = 0.01 ). Fator lau momentum Instrusi : net.trainparam.mc = Momentum ( default = 0.9 ). Jumlah epoh yang aan ditunuan emauannya Menunuan berapa umlah epoh berselang yang aan ditunuan emauannya. Instrusi : net.trainparam.show = EpohShow ( default = 25 ).

10 Pelatihan Propagasi Umpan Bali Untu menggunaan pelatihan propagasi umpan bali digunaan fungsi train. Fungsi : [net,tr] = train (net,p,t) Keterangan : net : aringan syaraf tr : informasi pelatihan ( epoh dan fungsi inera ) P : matris data input T : matris data target ( default = 0 ) V.3. Algoritma Kohonen Map Kohonen Map atau bisa disebut Self Organizing Map diperenalan pertama ali oleh Prof. Teuvo Kohonen dari Finlandia pada tahun Kohonen map merupaan salah satu algoritma aringan syaraf tiruan terbai, metoda ini cuup uni arena membangun sebuah topology preserving map dari ruang berdimensi tinggi e dalam neuron-neuron sebagai representasi dari datapoint-datapoint yang ada. Kohonen map merupaan salah satu metoda aringan syaraf tiruan unsupervised (tida terawasi), aringan ini tida mendapatan target, sehingga JST mengatur bobot interonesi sendiri. Belaar tanpa pengawasan adang-adang diacu sebagai Self Organizing learning, yani belaar menglasifiasian tanpa dilatih. Pada proses belaar tanpa pengawasan, JST aan menglasifiasian contoh pola-pola masuan yang tersedia e dalam elompo yang berbedabeda. Ketia data diberian e dalam aringan syaraf, data aan mengatur strutur dirinya sendiri untu mereflesian dari pola yang diberian. Pada ebanyaan model ini, batasan mengacu pada determinasi euatan antar neuron. 1. Topologi Jaringan Kohonen Map J. J. Siang (2004:292); Dalam aringan ohonen, neuron target tida diletaan dalam sebuah baris, tetapi neuron target diletaan dalam 2 dimensi yang topologinya dapat diatur. Untu mendefinisian topologi aringan terdapat 3 macam topologi yang dapat dibuat yaitu gridtop, hextop, dan randtop.

11 1. Gridtop (Grid Topology) Topologi dengan posisi neuron membentu pola menyerupai segi empat. Ditentuan dengan membuat oordinat neuron dalam n baris dan n olom. Gambar 3. Grid Topology 2. Hextop (Hexagonal Topology) Topologi dengan posisi neuron membentu pola menyerupai segi enam. Ditentuan dengan membuat oordinat neuron dalam n baris dan n olom. Gambar 4. Hexagonal Topology

12 3. Randtop (Random Topology) Topologi dengan posisi neuron membentu pola secara aca. Ditentuan dengan membuat oordinat neuron dalam n baris dan n olom. Gambar 5. Random Topology 2. Jara Antar Neuron Jaringan Kohonen Map J. J. Siang (2004:297); Dalam aringan ohonen, perubahan bobot tida hanya dilauan pada garis yang terhubung e neuron pemenang saa, tetapi uga pada bobot garis neuron-neuron seitarnya. Neuron seitar neuron pemenang ditentuan berdasaran aranya dari neuron pemenang (default ara = 1). Ada 4 macam definisi ara antar 2 neuron, yaitu ara Euclidist, Boxdist, lindist, dan mandist. Jara Euclidist adalah ara yang antara 2 titi dalam posisi berbeda yang ita enal sehari-hari. Misal (x 1, y 1 ) dan (x 2, y 2 ) adalah oordinat 2 buah neuron. Jara neuron didefinisian sebagai beriut: Jara persegi (boxdist) sebuah neuron adalah neuron-neuron diseitarnya secara langsung. Apabila topologi neuron adalah gridtop, maa paling banya terdapat 8 buah neuron dengan boxdist = 1, 16 buah neuron dengan boxdist = 2 (lihat gambar 2.11). ia neuron

13 pemenang berada di pinggir (seperti titi q pada gambar 2.11), maa hanya ada 5 neuron diseitarnya. Gambar 6. Box Distance Jara lin (lindist) dari sebuah neuron adalah umlah langah yang dibutuhan untu menuu neuron tersebut. Jia dalam aringan ohonen menggunaan topologi gridtop dengan lindist = 1 (lihat gambar 2.12), berarti hanya neuron-neuron yang berhubungan langsung dengan neuron pemenang saa yang diubah bobotnya. Gambar 7. Lin Distance Jara Manhattan (mandist) antar vetor x = (x 1, x 2,... x n ) dan vetor y = (y 1, y 2,... y n ) didefinisian sebagai: sum (abs(x-y)) = Jia x = (x 1, x 2 ) dan y = (y 1, y 2 ) menyataan oordinat neuron yang dibentu melalui topologi tertentu, maa ara manhattan antara neuron x dan y adalah:

14 Juha Vesanto (1999:1) Kohonen dapat berfiir sebagai aringan yang meyebar dari data masuan. Algoritma pelatihan ohonen memindahan bobot vetor sehingga aringan hasil pembelaaran dapat menyerupai pola masuan dan oleh arena itu aringan dapat terorganisir, neuron yang berdeatan pada aringan dapat menyrupai bobot vetor. Pada contoh pelatihan sederhana, pola masuan dihubunga satu persatu, dan algoritma hasil pelatihan secara berturut turut memindahan bobot vetor e arah aringan hasil pelatihan, ditunuan pada gambar Pada proses pelatihan, seperangat data dipelaari oleh ohonen secara eseluruhan, dan vetor bobot baru menimbang dari rata-rata vetor masuan. Keduanya adalah algoritma iteratif dengan umpulan yang banya, sea operasi matrix dapat menggunaan matlab membuatnya adi lebih efisien. Gambar 9. Bobot Baru Jaringan Kohonen Bobot baru mencocoan pada bobot masuan, dan tetangga dari vetor masuan di tandai dengan x.garis padat dan garis putus-putus sesuai dengan situasi sebelum dan setelah pembelaaran pada masing masing neuron.