Benyamin Kusumoputro Ph.D Computational Intelligence, Faculty of Computer Science University of Indonesia METODE PEMBELAJARAN

Transkripsi

1 METODE PEMBELAJARAN Sebelum suatu Jarngan Neural Buatan (JNB) dgunaan untu menglasfasan pola, terlebh dahulu dlauan proses pembelaaran untu menentuan strutur arngan, terutama dalam penentuan nla bobot. Dalam bagan n aan delasan beberapa metode pembelaaran yatu metode Hebb, Perceptron, Adalne/Madalne, Bacpropagaton,. HEBB Jarngan Hebb adalah arngan neural buatan yang mempunya aturan pembelaaran yang sederhana. Hebb mengusulan bahwa pembelaaran dlauan dengan memodfas bobot dmana a 2 neuron yang terhubung adalah on dalam watu yang sama, maa bobot dantara eduanya harus dtngatan. Metode n emudan dembangan dengan menambah satu prnsp lannya yatu bobot uga aan dtngatan bla edua neuron off dalam watu yang sama. Karaterst Jarngan Hebb mempunya araterst sebaga berut : Jarngan laps tunggal o Jarngan terdr dar satu atau lebh unt masuan dan satu unt eluaran. o Mempunya sebuah bas yang berperlau sepert bobot yang bsa dsesuaan yang terleta pada ones dar sebuah unt yang selalu mengeluaran snyal + agar bobot bas bsa dlath sepert bobot lannya dengan proses yang sama dalam algortma pelathan. Fungs atvas Fungs yang dgunaan adalah fungs denttas, artnya eluaran layer nput sama dengan masuannya. F(y_n) = y_n () Arstetur Arstetur arngan Hebb dtunuan pada gambar. Pada arngan n, terdapat n unt masuan, yatu X,, X,, X n dengan bobot w,, w,, w n, dan sebuah unt eluaran, yatu Y. Selan tu, terdapat sebuah unt yang selalu memberan snyal + dmana bobotnya dber nama bas (b).

2 X w b X w w n Y X n Gambar. Arstetur Hebb Algortma Pembelaaran Untu melath arngan, dlauan langah-langah berut n : Langah 0. Insalsas seluruh bobot w = 0 =, 2,, n Langah. Untu setap pasangan vetor masuan pelathan dan target eluaran, s:t (s adalah vetor masuan pelathan dan t adalah vetor target eluaran), lauan langah 2-4 Langah 2. Set atvas untu unt masuan : x = s =, 2,, n Langah 3. Set atvas untu unt eluaran : y = t Langah 4. Sesuaan bobot untu w (new) = w (old) + x y =, 2,, n Sesuaan bas : b(new) = b(old) + y =, 2,, n Perlu dcatat bahwa bas dsesuaan sama sepert sebuah bobot dar sebuah unt yang eluaran snyalnya selalu +. Perubahan bobot dapat uga despresan dalam bentu vetor sebaga w (new) = w (old) + xy (2) Hal n serng dtuls dalam bentu perubahan bobot,?w, sebaga?w = xy (3) sehngga w (new) = w (old) +?w (4) 2

3 Algortma Penguan Untu mengu suatu masuan, dlauan langah-langah berut n : Langah 0. Insalsas bobot (dgunaan nla bobot yang dperoleh dar algortma pelathan) Langah. Untu setap vetor masuan x, lauan langah 2-4 Langah 2. Set nla atfas dar unt masuan, =,., n x = s Langah 3. Htung total masuan e unt eluaran y _n = b + Langah 4. Gunaan fungs atfas F(y_n) = y_n x w Dmana nla F(y_n) menad nla eluaran dar unt eluaran (Y). 2. PERCEPTRON Aturan pembelaaran perceptron mempunya emampuan yang lebh ba darpada aturan pembelaaran Hebb dalam memecahan permasalahan. Dengan beberapa asums, dantaranya adalah bobot yang ngn dcar harus ada, Perceptron dapat selalu menemuan bobot yang sesua. Dmana bobot yang sesua alah bobot arngan yang dapat menghaslan eluaran yang benar untu setap pola masuan pelathan. Karaterst Jarngan Perceptron mempunya araterst sebaga berut : Jarngan laps tunggal o Terdr dar satu atau lebh unt masuan dan satu unt eluaran. o Mempunya sebuah bas yang berperlau sepert bobot yang bsa dsesuaan yang terleta pada ones dar sebuah unt yang selalu mengeluaran snyal + agar bobot bas bsa dlath sepert bobot lannya dengan proses yang sama dalam algortma pelathan. Fungs atvas 3

4 Fungs yang basa dgunaan adalah fungs tangga bpolar dengan suatu nla batas tetap (?) a y_ n >? f (y _n ) = 0 a? y_n? (5) a y _n <? Apabla esalahan terad untu suatu pola masuan pelathan, bobot aan dubah sesua dengan formula w (new) = w (old) + a t x (6) dmana nla target t adalah + atau dan a adalah lau pembelaaran. Ja esalahan tda terad, maa bobot tda aan dubah. Pelathan aan dlauan terus sampa tda ada esalahan yang terad. Arstetur Arstetur arngan Perceptron dtunuan pada gambar. Pada arngan n, terdapat n unt masuan, yatu X,, X,, X n dengan bobot w,, w,, w n, dan sebuah unt eluaran, yatu Y. Selan tu, terdapat sebuah unt yang selalu memberan snyal + dmana bobotnya dber nama bas (b). X w b X w w n Y X n Gambar 2. Arstetur Perceptron untu melauan lasfas elas Tuuan dar arngan dengan arstetur sepert pada gambar 2 adalah untu menglasfas setap pola masuan, apaah termasu atau tda termasu e dalam suatu elas. Bla termasu maa unt eluaran aan menghaslan respon +, dan bla tda termasu maa unt eluaran aan menghaslan respon -. Algortma Pelathan Untu melath arngan, dlauan langah-langah berut n : Langah 0. Insalsas seluruh bobot dan bas (Agar sederhana, set bobot dan bas menad 0) 4

5 Set lau pembelaaran a (0 < a = )) (Agar sederhana, a bsa dset menad ) Langah. Selama onds berhent adalah salah, lauan langah 2-6 Langah 2. Untu setap pasangan pelathan s :t, lauan langah 3-5 Langah 3. Set atfas dar unt masuan x = s Langah 4. Htung respon dar unt eluaran y _n y = 0 = b + x w a a a y _n >?? y_n? y_ n <? Langah 5. Sesuaan bobot dan bas a esalahan terad untu pola n Ja y t, maa w (new) = w (old) + a t x b (new) = b (old) + a t a tda, maa w (new) = w (old) b(new) = b(old) Langah 6. Tes onds berhent : Algortma Penguan Ja mash ada bobot yang berubah pada langah 2, embal e langah ; Ja tda, embal e langah 2. Setelah pelathan, sebuah arngan perceptron bsa dgunaan untu menglasfas pola masuan. Langah-langah penguan adalah sebaga berut Langah 0. Insalsas bobot (dgunaan nla bobot yang dperoleh dar algortma pelathan) Langah. Untu setap vetor masuan x, lauan langah 2-4 Langah 2. Set nla atfas dar unt masuan, =,., n x = s Langah 3. Htung total masuan e unt eluaran y _n = b + x w 5

6 Langah 4. Gunaan fungs atfas f (y _n ) = 0 a a a y_ n >?? y_n? y _n <? Dmana nla f(y_n) menad nla eluaran dar unt eluaran (Y). 3. ADALINE Adalne (Adaptve Lnear Neuron) dembangan oleh Wdrow dan Hoff pada tahun 960. Adalne dlath dengan menggunaan aturan delta, yang uga denal sebaga aturan least mean squares (LMS) atau Wdrow-Hoff. Karaterst Jarngan Adalne mempunya araterst sebaga berut : Jarngan laps tunggal o Jarngan terdr dar satu atau lebh unt masuan dan satu unt eluaran. o Mempunya sebuah bas yang berperlau sepert bobot yang bsa dsesuaan yang terleta pada ones dar sebuah unt yang selalu mengeluaran snyal + agar bobot bas bsa dlath sepert bobot lannya dengan proses yang sama dalam algortma pelathan. o Beberapa arngan Adalne yang menerma snyal dar unt masuan yang sama dalam dombnasan menad sebuah arngan laps tunggal sepert perceptron. o Beberapa Adalne uga bsa dombnasan sehngga eluaran dar sebagan Adalne menad masuan untu Adalne yang lan, dan aan membentuan arngan laps banya yang dsebut Madalne (Many Adaptve Lnear Neuron). Fungs atvas Fungs yang dgunaan adalah fungs tangga a y _n 0 F (y _ n ) = (7) a y _n < 0 Arstetur 6

7 Arstetur arngan Adalne dtunuan pada gambar 3. Pada arngan n, terdapat n unt masuan, yatu X,, X,, X n dengan bobot w,, w,, w n, dan sebuah unt eluaran, yatu Y. Selan tu, terdapat sebuah unt yang selalu memberan snyal + dmana bobotnya dber nama bas (b). X w b X w w n Y X n Algortma Pembelaaran Langah 0. Insalsas bobot Gambar 3. Arstetur Adalne (basanya dgunaan blangan aca yang ecl) Set lau pembelaaran a (0, = na =, dmana n adalah umlah unt masuan) Langah. Selama syarat hent salah, lauan langah 2-6 Langah 2. Untu setap pasangan pelathan (masuan dan target) bpolar s:t, lauan langah 3-5 Langah 3. Set nla atfas dar unt masuan, =,., n x = s Langah 4. Htung total masuan e unt eluaran y _n = b + x w Langah 5. Perbaru bobot dan bas, =,., n b(new) = b(old) + a (t y_n) w (new) = w (old) + a (t y_n) x 7

8 Langah 6. U syarat hent : Ja perubahan bobot (a (t y_n)) terbesar yang terad dalam langah 2 adalah lebh ecl dar tolerans (e) yang telah dtentuan, maa selesa; a tda maa embal e langah Nla tolerans (e) yang dgunaan adalah < e = 0. Dalam menentuan nla lau pembelaaran (a), umumnya dgunaan nla yang ecl (msalan a = 0.). Apabla nla a terlalu besar, proses pembelaaran tda aan onvergen. Ja terlalu ecl nla yang dplh, pembelaaran aan menad terlalu lambat. Agar prats, saran nla a yang bsa dplh adalah 0, = na = dmana n adalah umlah unt masuan. Algortma Penguan Setelah pelathan, sebuah arngan Adalne bsa dgunaan untu menglasfas pola masuan. Bla nla target adalah bvalen (bner atau bpolar), fungs tangga bsa dgunaan sebaga fungs atvas dar unt eluaran. Prosedur umum n adalah langah-langah yang dgunaan apabla target adalah bpolar : Langah 0. Insalsas bobot (dgunaan nla bobot yang dperoleh dar algortma pelathan) Langah. Untu setap vetor masuan x, lauan langah 2-4 Langah 2. Set nla atfas dar unt masuan, =,., n x = s Langah 3. Htung total masuan e unt eluaran y _n = b + Langah 4. Gunaan fungs atfas F (y _ n ) = x w a a y _n 0 y _n < 0 Dmana nla F(y_n) menad nla eluaran dar unt eluaran (Y). 4. MADALINE Madalne (Many Adaptve Lnear Neuron) merupaan ombnas dar beberapa Adalne yang datur sedeman rupa sehngga membentu arngan laps banya. 8

9 Karaterst Jarngan Madalne mempunya araterst sebaga berut : Jarngan laps banya Fungs atvas Fungs atvas dgunaan untu menghtung snyal eluaran dar setap arngan Adalne yang membentu arngan Madalne. Dmana Fungs yang dgunaan adalah fungs tangga Arstetur a y _n 0 F (y _ n ) = (8) a y _n < 0 Arstetur Madalne tergantung epada ombnas Adalne yang dgunaan. Pada gambar 4 dtunuan sebuah Madalne sederhana yang mempunya 2 Adalne tersembuny dan sebuah Adalne eluaran. Keluaran dar 2 Adalne tersembuny, Z dan Z 2, dtentuan oleh snyal yang berasal dar unt masuan yang sama yatu X dan X 2. Penggunaan lapsan tersembuny, Z dan Z 2, memberan emampuan omputas arngan yang tda dtemuan pada arngan laps tunggal, tetap uga menyebaban pelathan menad lebh rumt. Persamaan (8) dgunaan sebaga fungs atvas oleh setap unt eluaran Adalne (Z, Z 2, dan Y). b X w w 2 Z v b 3 w 2 v 2 Y Z 2 X 2 w 22 b 2 Gambar 4. Arstetur Madalne dengan 2 Adalne tersembuny dan sebuah Adalne eluaran Algortma Pembelaaran Terdapat 2 macam algortma pembelaaran untu Madalne yang dsebut MRI dan MRII. Dalam algortma MRI, hanya bobot-bobot pada Adalne tersembuny saa yang dsesuaan, sedangan bobot pada unt eluaran nlanya tetap. Pada 9

10 algortma MRII terdapat metode untu menyesuaan seluruh bobot dalam arngan. Untu menelasan langah-langah dalam MRI dan MRII, dgunaan contoh arstetur Madalne yang terdapat pada gambar 4. Algortma MRI Pada MRI, bobot v dan v 2 serta bas b 3, yang memberan snyal masuan e unt eluaran Y, dtentuan sedeman rupa sehngga respon dar unt Y adalah a snyal Z atau/dan Z 2 adalah, dan adalah - a Z dan Z 2 mengrman snyal -. Dengan ata lan, unt Y melauan fungs loga OR terhadap snyal yang dterma dar Z dan Z 2. Sehngga bobot-bobot yang menuu e Y adalah : v = 2, v 2 = 2, b 3 = 2 Bobot pada Adalne tersembuny pertama (w dan w 2 ) dan bobot pada Adalne tersembuny edua (w 2 dan w 22 ) dsesuaan menurut langah-langah berut n : Fungs atvas untu unt Z, Z 2, dan Y adalah f (x) = a a Langah 0. Insalsas bobot x 0 x < 0 Set bobot v, v 2 dan b 3 menggunaan nla yang telah delasan sebelumnya. Set bobot lannya (w, w 2, w 2, w 22, b, dan b 2 ) menggunaan blangan aca ecl. Set lau pembelaaran a dengan blangan aca ecl (0, = na =, dmana n adalah umlah unt masuan). Langah. Selama syarat hent salah, lauan langah 2-8 Langah 2. Untu setap pasangan pelathan (masuan dan target) bpolar s:t, lauan langah 3-7 Langah 3. Set atfas dar unt masuan, =,., n x = s 0

11 Langah 4. Htung masuan arngan e setap unt Adalne tersembuny z_n = b + x w + x 2 w 2 z_n 2 = b 2 + x w 2 + x 2 w 22 Langah 5. Tentuan eluaran dar setap unt Adalne tersembuny z = f(z_n ) z 2 = f(z_n 2 ) Langah 6. Tentuan eluaran dar arngan y_n = b 3 + z v + z 2 v 2 y = f(y_n) Langah 7. Tentuan esalahan dan penyesuaan bobot : Ja t = y, ta ada penyesuaan bobot. Sebalnya, a t =, maa sesuaan bobot pada Z J, yatu unt yang masuan arngannya palng mendeat 0, b J (new) = b J (old) + a ( z_n J ) w J (new) = b J (old) + a ( z_n J ) a t = -, maa sesuaan bobot pada seluruh unt Z yang meml masuan arngan yang postf, Langah 8. U syarat hent. b (new) = b (old) + a (- z_n ) w (new) = w (old) + a (- z_n ) x Ja tda ada perubahan bobot (atau telah mencapa level yang cuup), atau a telah mencapa umlah masmum dar teras perubahan bobot (pada langah 2), maa berhent; a tda lanutan. Algortma MRII Pada aturan pembelaaran n, seluruh bobot dar setap lapsan dalam arngan aan dlath. Langah-langah yang dlauan adalah sebaga berut : Langah 0. Insalsas bobot Set lau pembelaaran a dengan blangan aca ecl (0, = na =, dmana n adalah umlah unt masuan).

12 Langah. Selama syarat hent salah, lauan langah 2-8 Langah 2. Untu setap pasangan pelathan (masuan dan target) bpolar s:t, lauan langah 3-7 Langah 3. Set atfas dar unt masuan, =,., n x = s Langah 4. Htung masuan arngan e setap unt Adalne tersembuny z_n = b + x w + x 2 w 2 z_n 2 = b 2 + x w 2 + x 2 w 22 Langah 5. Tentuan eluaran dar setap unt Adalne tersembuny z = f(z_n ) z 2 = f(z_n 2 ) Langah 6. Tentuan eluaran dar arngan y_n = b 3 + z v + z 2 v 2 y = f(y_n) Langah 7. Tentuan esalahan dan sesuaan bobot a perlu : Ja t? y, lauan langah 7a-b untu setap unt tersembuny yang masuan arngannya adalah cuup deat dengan 0 (ataan, antara 0,25 dan 0,25). Mula dengan unt yang masuan arngannya adalah palng deat dengan 0, lalu untu yang palng deat berutnya, dan seterusnya. Langah 7a : Ubah eluaran unt (dar + menad, atau sebalnya) Langah 7b : Htung embal respon dar arngan. Langah 8 : U syarat hent. Ja esalahan berurang : Sesuaan bobot pada unt n (gunaan nla eluaran yang baru sebaga target dan lauan aturan Delta). Ja tda ada perubahan bobot (atau telah mencapa level yang cuup), atau a telah mencapa umlah masmum dar teras perubahan bobot (pada langah 2), maa berhent; a tda lanutan. 2

13 Algortma Penguan Setelah pelathan, sebuah arngan Madalne bsa dgunaan untu menglasfas pola masuan. Bla nla target adalah bvalen (bner atau bpolar), fungs tangga bsa dgunaan sebaga fungs atvas dar unt eluaran. Prosedur umum n adalah langah-langah yang dgunaan apabla target adalah bpolar : Langah 0 : Insalsas bobot (dgunaan nla bobot yang dperoleh dar algortma pelathan) Langah : Untu setap arngan Adalne, lauan langah 2-5 Langah 2 : Untu setap vetor masuan x, lauan langah 2-4 Langah 3 : Set nla atfas dar unt masuan, =,., n x = s Langah 4 : Htung total masuan e unt eluaran y _n = b + Langah 5 : Gunaan fungs atvas x w Dmana nla F(y_n) menad nla eluaran dar unt eluaran arngan. 5. BACKPROPAGATION Keterbatasan arngan neural laps tunggal menyebaban penurunan mnat dalam JNB pada tahun 970-an. Pada setar tahun 985 mnat tersebut mula bangt embal setelah penemuan metode pembelaaran yang efetf untu arngan neural laps banya. Jarngan Propagas-Bal dembangan oleh Rumelhart, Hnton dan Wllams dan dpopuleran pada buu Parallel Dstrbuted Processng (Rumelhart and McLelland, 986). Prnsp dasar algortma propagas-bal meml tga fase: o Fase feedforward pola nput pembelaaran o Fase alulas dan bacpropagaton error yang ddapat. o Fase penyesuaan bobot. Arstetur yang dgunaan adalah arngan perceptron laps banya (multlayer perceptrons). Hal n merupaan generalsas dar arstetur perceptron laps tunggal (sngle-layer perceptron). Secara umum, algortma arngan n membutuhan 3

14 watu pembelaaran yang memang lambat, namun setelah pembelaaran/pelathan selesa, aplasnya aan memberan output yang sangat cepat. Karaterst Jarngan Bacpropagaton mempunya araterst sebaga berut : Jarngan laps banya o Terdr dar satu lapsan unt-unt masuan, satu atau lebh lapsan tersembuny dan satu lapsan unt eluaran. Arstetur arngannya pada dasarnya serupa dengan perceptron, namun meml lapsan tersembuny (hdden layers), sehngga dsebut mult-layer perceptrons. o Setap neuron pada suatu lapsan dalam arngan Propagas-Bal mendapat snyal masuan dar semua neuron pada lapsan sebelumnya beserta satu snyal bas. Fungs atvas o Fungs atvas untu arngan propagas-bal harus meml beberapa araterst : ontnyu, dapat ddferensasan, dan monoton tda turun. Juga lebh dngnan dem efsens omputas, turunan fungsnya uga mudah dhtung. Basanya, fungsnya dharapan untu bersaturas atau mendeat masmum dan mnmumnya secara asmtot. o Fungs yang serng dgunaan adalah : fungs sgmod bner (range : [0,]), dengan turunannya, f ( x) = (9) x + e [ f ( x) ] f '( x) = f ( x) (0) fungs sgmod bpolar (range : [-,]), dengan turunannya, f 2 f ( x) = () x + e ' ( x) = [ + f ( x) ] [ f ( x) ] (2) 2 4

15 v 0 Benyamn Kusumoputro Ph.D v 0p v 0 w0m w0 w 0 X v Z w Y v p v wm w v w X v Z w Y vp w m v n v n w p w p X n v np Z p w pm Y m Gambar 5. Arstetur Bacpropagaton Arstetur Suatu arngan neural laps-banya (MLP) dengan satu laps tersembuny dtunuan oleh gambar 5. Pada gambar tersebut, laps masuan (nput layer) dtunuan oleh unt-unt X, sementara laps eluaran (output layer) dtunuan oleh unt-unt Y. Laps tersembuny (hdden layer) dtunuan oleh unt-unt Z. Dalam hal n, laps tersembuny dapat terdr lebh dar satu lapsan. Bas untu suatu unt output Y, dberan oleh w 0. Bas n bertnda seolah sebaga bobot pada ones yang berasal dar suatu unt/neuron yang eluarannya selalu. Unt-unt tersembuny uga dapat meml bas. Alran snyal pada gambar dnyataan dengan arah panah. Sedangan, pada fase propagas-bal, snyal drm pada arah yang berlawanan. 5

16 Algortma o Algortma n ddasaran pada aturan error-correcton learnng rule. Pelathannya terdr dar tga tahap: proses pelathan pola masuan secara feedforward; penghtungan dan propagas-bal dar error yang ddapat; penyesuaan bobot. o Penerapan JNB cuup dengan melbatan proses feedforward-nya saa. o Algortma n mengasumsan hanya terdapat satu lapsan tersembuny (hdden layer) saa. Untu arngan dengan lebh dar satu lapsan tersembuny, algortma d bawah cuup dmodfasan sedt. Pada algortma d bawah, pada fase feedforward langah 4 dlauan berulang-ulang untu setap lapsan tersembuny dengan menganggap snyal masuan terbobot berasal dar unt d lapsan sebelumnya. Sedangan pada fase bacpropagaton, langah 7 dlauan berulang-ulang untu setap lapsan tersembuny. Pada dasarnya satu lapsan tersembuny sudah cuup untu sembarang pemetaan ontnyu dar pola nput e pola output pada sembarang tngat auras. Mespun, dua laps tersembuny bsa membuat pembelaaran lebh mudah pada beberapa stuas. o Algortma Pembelaaran Langah 0. Insalsas bobot (basanya dgunaan nla aca yang ecl) Set lau pembelaaran α Langah. Selama syarat hent salah, lauan langah 2 9 Langah 2. Untu setap pasangan pelathan (masuan dan target), lauan langah 3 8. Feedforward: Langah 3. Setap unt masuan (X, =,, n) menerma snyal masuan x dan menerusannya e seluruh unt pada lapsan d atasnya (hdden unts). Langah 4. Setap unt tersembuny (Z, =,, p) menghtung total snyal masuan terbobot, 6

17 z _ n = v + x v, 0 n = lalu menghtung snyal eluarannya dengan fungs atvas, z ( z _ ) = f, n dan mengrman snyal n e seluruh unt pada lapsan d atasnya (lapsan output). Langah 5. Setap unt output (Y, =,, m) menghtung total snyal masuan terbobot, y _ n = w + x w, 0 p = lalu menghtung snyal eluaran dengan fungs atvas, y ( y _ ) = f. n Bacpropagaton of error: Langah 6. Setap unt output (Y, =,, m) menerma sebuah pola target yang sesua dengan pola masuan pelathannya. Unt tersebut menghtung nformas esalahan, δ = ( t y ) f '( y _ n ) emudan menghtung ores bobot (dgunaan untu mengubah w nant), w = αδ dan menghtung ores bas z w 0 = αδ, serta mengrman nla δ e unt pada lapsan d bawahnya. Langah 7. Setap unt tersembuny (Z, =,, p) menghtung selsh nput (dar unt-unt pada layer d atasnya), m δ _ n = δ w, = lalu mengalannya dengan turunan fungs atvas untu menghtung nformas errornya, ( z _ n ) δ = δ _ n f ', selanutnya menghtung ores bobot untu mengubah v nant, 7

18 v = αδ x, dan menghtung ores basnya, v 0 = αδ. Perubahan bobot dan bas: Langah 8. Setap unt output (Y, =,, m) mengubah bas dan bobotbobotnya ( = 0,, p): w ( new) = w ( old) + w. Setap unt tersembuny (Z, =,, p) mengubah bas dan bobotnya ( =,, n): Langah 9. U syarat hent : v ( new) = vw ( old ) + v 2 Ja besar total squared-error ( t y ) lebh ecl dar n = tolerans yang telah dtentuan atau umlah epoh pelathan sudah mencapa epoh masmum, maa selesa; a tda maa embal e langah Nla tolerans ( ε ) yang dgunaan adalah < ε 0. o Algortma Penguan Langah 0. Insalsas bobot (dgunaan nla bobot yang dperoleh dar algortma pelathan) Langah. Untu setap vetor masuan x, lauan langah 2-4 Langah 2. Set nla atvas dar unt masuan, =,., n x = s Langah 3. Untu =,, p z _ n = v + x v, z 0 ( z _ ) = f. n Langah 4. Untu =,, m n = y _ n = w + z w, y 0 ( y _ ) m = = f. n 8

19 o Pemlhan bobot awal dan bas Pemlhan bobot awal mempengaruh apaah arngan aan mencapa error mnmum global (atau loal), dan a tercapa, seberapa cepat onvergensnya. Update bobot tergantung pada fungs atvas unt yang lebh dalam (pember snyal nput) dan turunan fungs atvas unt yang lebh luar (penerma snyal nput), sehngga perlu dhndar pemlhan bobot awal yang menyebaban eduanya bernla 0. Ja menggunaan fungs sgmod, nla bobot awal tda boleh terlalu besar arena dapat menyebaban nla turunannya menad sangat ecl (atuh d daerah saturas). Sebalnya uga tda boleh terlalu ecl, arena dapat menyebaban net nput e unt tersembuny atau unt output menad terlalu deat dengan nol, yang membuat pembelaaran terlalu lambat. D sn dberan dua contoh model nsalsas bobot dan bas. Insalsas Aca. Bobot dan bas dnsalsas nla aca antara -0.5 dan 0.5 (atau antara - dan, atau pada nterval lan yang sesua). Insalsas Nguyen-Wdrow. Cara n memberan lau pembelaaran yang lebh cepat. Berut contohnya untu arstetur dengan satu laps tersembuny. o Bobot dar unt/neuron tersembuny e unt/neuron output dnsalsas dengan nla aca antara -0.5 dan 0.5. o Bobot dar neuron nput e neuron tersembuny dnsalsas sebaga berut : (). Set : n = umlah unt nput p = umlah unt tersembuny ß = fator sala = ( p ) / n 0.7 = 0.7 n p. (2). Untu setap unt tersembuny ( =,, p). lauan (3) (6). (3). Untu =,, n (semua unt nput), v (old) = blangan aca antara -0.5 dan 0.5 (atau antara? dan?). (4). Htung nla norm v (old). 9

20 (5). Insalsas ulang bobot-bot dar unt nput ( =,, n) : (6). Set bas : v 0 = blangan aca antara ß dan ß. 20