APLIKASI ALGORITMA CONJUGATE GRADIENT PADA JARINGAN SYARAF TIRUAN PERAMBATAN BALIK. Tesis

Transkripsi

1 APLIKASI ALGORITMA CONJUGATE GRADIENT PADA JARINGAN SYARAF TIRUAN PERAMBATAN BALIK Tesis Program Studi Teni Eletro Jurusan Ilmu-ilmu Teni disusun oleh : Wiwien Widyastuti 8475/I-/820/02 PROGRAM PASCASARJANA UNIVERSITAS GADJAH MADA YOGYAKARTA 2004

2

3 DAFTAR ISI HALAMAN JUDUL. HALAMAN PENGESAHAN... HALAMAN PERNYATAAN... PRAKATA DAFTAR ISI. DAFTAR TABEL. DAFTAR GAMBAR. ABSTRAK. i ii iii iv vi ix x xii I. PENGANTAR. A. Latar Belaang. B. Perumusan Masalah. 2 C. Batasan Masalah... 3 D. Keaslian Penelitian.. 3 E. Tujuan Penelitian. 4 F. Hipotesis.. 4 G. Cara Penelitian 4 II. TINJAUAN PUSTAKA. 6 A. Tinjauan Pustaa.. 6 B. Landasan Teori 7 vi

4 . Metode Steepest Descent (Penurunan Tercuram) Metode Conjugate Gradient Jaringan Perambatan Bali (Bacpropagation) Algoritma Perambatan Bali Fungsi Ativasi Memilih Bobot dan Prasiap Awal Lama Pelatihan Jumlah Pasangan Pelatihan Representasi Data Jumlah Lapisan Tersembunyi Indes Unju Kerja (Performance Index) Jaringan Perambatan Bali dengan Conjugate Gradient.. 28 III. CARA PENELITIAN.. 30 A. Bahan Penelitian.. 30 B. Alat Penelitian.. 30 C. Jalannya Penelitian... 3 D. Kesulitan-Kesulitan. 49 IV. HASIL PENELITIAN DAN PEMBAHASAN. 50 A. Hasil Uji Coba Masalah Pengenalan Gerbang AND 52 B. Hasil Uji Coba Masalah Pengenalan Gerbang XOR. 55 C. Hasil Uji Coba Masalah Pengenalan Bilangan vii

5 D. Pembahasan Umum 62 V. KESIMPULAN A. Kesimpulan. 69 B. Saran 69 DAFTAR PUSTAKA... 7 LAMPIRAN LAMPIRAN A. LISTING PROGRAM viii

6 DAFTAR TABEL No. Nama Tabel Halaman Tabel 4.. Pola gerbang AND. 50 Tabel 4.2. Pola gerbang XOR.. 50 Tabel 4.3. Pola Bilangan.. 5 Tabel 4.4. Hasil uji coba gerbang AND Tabel 4.5. Hasil uji coba gerbang XOR Tabel 4.6. Hasil uji coba masalah pengenalan bilangan 59 Tabel 4.7. Komplesitaspenurunan tercuram dan conjugate gradient ix

7 DAFTAR GAMBAR No. Nama Tabel Halaman Gambar 2.. Jaringan syaraf perambatan bali dengan lapisan tersembunyi... 5 Gambar 2.2. Jaringan tiga lapis... 6 Gambar 2.3. Fungsi sigmoid biner, dengan rentang nilai (0,) 22 Gambar 2.4. Fungsi sigmoid bipolar, dengan rentang nilai (-,) 22 Gambar 3.. Loasi Selang Gambar 3.2. Selang tida diurangi 35 Gambar 3.3. Diagram alir program pelatihan jaringan perambatan bali standar... 4 Gambar 3.4. Diagram alir program pengujian jaringan perambatan bali standar Gambar 3.5. Diagram alir program pelatihan jaringan perambatan dengan conjugate gradient Gambar 3.6. Diagram alir program pengujian jaringan perambatan bali dengan conjugate gradient Gambar 4.. Hasil masalah gerbang AND dengan BPS pesat belajar 0,5. 53 Gambar 4.2. Hasil masalah gerbang AND dengan BPS pesat belajar 0,. 53 Gambar 4.3. Hasil masalah gerbang AND dengan BPS pesat belajar 0, Gambar 4.4. Hasil masalah gerbang AND dengan BPCG.. 54 Gambar 4.5. Hasil masalah gerbang XOR dengan BPS pesat belajar 0, x

8 Gambar 4.6. Hasil masalah gerbang XOR dengan BPS pesat belajar 0,. 57 Gambar 4.7. Hasil masalah gerbang XOR dengan BPS pesat belajar 0, Gambar 4.8. Hasil masalah gerbang XOR dengan BPCG Gambar 4.9. Grafi hubungan antara watu dan unit tersembunyi BPS Gambar 4.0. Grafi hubungan antara watu dan unit tersembunyi BPCG... 6 Gambar 4.. Grafi hubungan antara watu dan unit tersembunyi BPS dan BPCG 6 Gambar 4.2. Komplesitas watu algoritma penurunan tercuram dan conjugate gradient Gambar 4.3. Gambar 3 dimensi dari F(x) Gambar 4.4. Gambar ontur dari F(x) 65 Gambar 4.5. Gambar lintasan dengan penurunan tercuram dengan uuran langah sangat ecil Gambar 4.6. Gambar lintasan dengan penurunan tercuram uuran langah 0, Gambar 4.7. Gambar lintasan dengan conjugate gradient 66 Gambar 4.8. Grafi penurunan galat tiap iterasi.. 68 Gambar 4.9. Grafi pengaruh β tiap iterasi 68 xi

9 APLIKASI ALGORITMA CONJUGATE GRADIENT PADA JARINGAN SYARAF TIRUAN PERAMBATAN BALIK Abstra Jaringan syaraf lapis jama telah berhasil diapliasian e berbagai permasalahan. Algoritma penurunan tercuram (steepest descent) merupaan algoritma yang popular digunaan sebagai algoritma pembelajaran pada jaringan syaraf perambatan bali yang emudian disebut sebagai algoritma perambatan bali standar. Algoritma ini menghasilan eonvergenan yang lambat dan sangat tergantung pada parameter pesat belajarnya. Penelitian ini bertujuan untu memperbaii unju erja ecepatan onvergen pada algoritma perambatan bali standar. Algoritma conjugate gradient yang merupaan algoritma iteratif yang handal untu menyelesaian persamaan linear simultan sala besar dapat juga digunaan untu mengoptimalan algoritma belajar pada jaringan perambatan bali. Pengujian dilauan dengan membuat program dengan bahasa C++ untu masing-masing algoritma dengan compiler Borland C++ versi 5.02 dan emudian mengapliasian masing-masing program pada beberapa asus. Dan dari situ bisa dibandingan unju erja dari masing-masing algoritma. xii

10 THE APPLICATION OF CONJUGATE GRADIENT ALGORITHM FOR BACKPROPAGATION NEURAL NETWORK Abstract Multilayer neural networ has been succesfully applied to many problems. Steepest descent is a popular learning algorith for bacpropagation neural networ, called standard bacpropagation algorithm. This algorithm converges very slowly and depend on learning rate parameter. The goal of this research is to overcome these problems. Conjugate gradient which is the most popular iterative algorithm for solving large system of linear equations. This algorithm can be used to optimize bacpropagation learning algorithm. The program in C++ language with Borland C++ version 5.02 is made for analyze the performance of standar bacpropagation and conjugate gradient bacpropagation. xiii

11 I. PENGANTAR A. Latar Belaang Suatu jaringan syaraf tiruan merupaan sistem pemrosesan informasi yang mempunyai arateristi inerja yang mirip dengan jaringan syaraf biologis (Fausett, Laurence. 994). Pendeatan jaringan syaraf tiruan menerapan prinsip-prinsip omputasi dan organisasional yang berasal dari studi neurobiologi. Sejalan dengan perembangan omputer modern yang sangat pesat dengan emampuan omputasi yang semain tinggi, semain memunginan untu membuat simulasi pemrosesan pada syaraf. Tenologi yang semain canggih searang ini telah memunginan untu memprodusi perangat eras husus untu jaringan syaraf. Kemajuan di bidang omputasi juga membuat studi tentang jaringan syaraf semain mudah dilauan. Jaringan syaraf tiruan dapat diapliasian e berbagai bidang, misalnya untu predisi atau ramalan cuaca, predisi harga saham, lasifiasi, asosiasi data, onseptualisasi data dan penapisan data. Jaringan syaraf tiruan didasari oleh model matematia dari pengolahan informasi dan mempunyai cara untu menyataan hubungan dari data atau informasi tersebut. Metode-metode numeri dan emampuan omputer bai perangat luna maupun perangat eras merupaan hal penting dalam jaringan syaraf tiruan terutama untu masalah yang besar.

12 2 Keberhasilan sebuah jaringan syaraf tiruan tentu saja juga sangat bergantung dari metode yang digunaan. Pemilihan metode yang efisien merupaan salah satu elemen penting aan eberhasilan suatu jaringan. Jaringan syaraf tiruan perambatan bali (bacpropagation) telah berhasil diapliasian untu berbagai permasalahan. Jaringan perambatan bali standar mengadopsi algoritma penurunan tercuram (steepest descent) sebagai algoritma belajarnya. Jaringan perambatan bali standar sangat sensitif pada parameter pesat belajar. Pemilihan pesat belajar yang tida tepat bisa mengaibatan jaringan belajar dengan sangat lambat bahan gagal mencapai target yang diinginan. Algoritma conjugate gradient merupaan salah satu metode omputasi yang handal dalam menyelesaian persamaan linear secara iteratif. Algoritma ini emudian secara luas diembangan dan dapat digunaan juga sebagai algoritma untu menyelesaian persamaan nonlinear. Fungsi esalahan yang diminimalan pada jaringan perambatan bali seringali berupa persamaan nonlinear. Oleh arena itu algoritma conjugate gradient dapat digunaan sebagai algoritma untu memperbaii eurangan pada jaringan syaraf tiruan perambatan bali yang standar. B. Perumusan Masalah Metode standar dari jaringan perambatan bali mengadopsi teni penurunan tercuram sebagai algoritma pelatihan. Sifat algoritma ini sangat sensitif pada pemilihan parameter pesat belajar. Selain itu, bobot selalu dimodifiasi dalam arah negatif dari gradien. Pesat belajr yang terlalu besar dapat mengaibatan etidastabilan yang berarti pelatihan gagal mencapai target yang diharapan. Pesat belajar yang terlalu ecil mengaibatan jaringan belajar dengan sangat lambat.

13 3 Sedangan pesat belajar yang ditentuan tiap iterasi aan menghasilan geraan sigsag dan beraibat pelatihan berjalan dengan lambat, sehingga iterasi yang dibutuhan sangat banya dan tentu saja watu yang dibutuhan juga bertambah panjang. Berdasaran hal tersebut di atas maa peneliti aan mengapliasian algoritma conjugate gradient nonlinear tersebut pada jaringan syaraf tiruan perambatan bali agar inerja jaringan lebih bai. C. Batasan Masalah Untu menghindari meluasnya masalah yang aan diteliti, lingup permasalahan terbatas pada pembuatan program apliasi algoritma conjugate gradient pada jaringan syaraf tiruan perambatan bali dan program apliasi jaringan syaraf tiruan perambatan bali standar yang mengadopsi metode penurunan tercuram. Kemudian hasil dari edua algoritma di atas aan dibandingan inerjanya yaitu tentang banyanya iterasi, watu yang diperluan serta eberhasilannya dalam mencapai target. Masalah yang aan digunaan untu perbandingan adalah masalah yang sudah dietahui fungsi esalahannya. D. Keaslian Penelitian Berbagai penelitian tentang algoritma conjugate gradient dan jaringan syaraf tiruan telah dilauan. Keaslian penelitian atau perbedaan dari penelitian yang sudah dilauan terleta pada :. Masalah-masalah yang aan digunaan untu mengapliasian algoritma. 2. Perbandingan dengan jaringan perambatan bali standar

14 4 3. Program yang aan penulis buat dengan bahasa pemrograman C++. E. Tujuan Penelitian Tujuan dilauannya penelitian ini adalah :. Untu mempelajari, memahami algoritma conjugate gradient hususnya yang digunaan untu menyelesaian masalah nonlinear. 2. Dapat dibuat program simulasi jaringan syaraf tiruan menggunaan algoritma pelatihan perambatan bali dengan conjugate gradient dan algoritma pelatihan perambatan bali standar. 3. Membandingan edua algoritma pelatihan tersebut di atas. F. Hipotesis Berdasaran penelitian diharapan algoritma conjugate gradient dapat digunaan sebagai teni optimisasi pada jaringan syaraf perambatan bali yang menghasilan inerja yang lebih bai dari pada jaringan syaraf perambatan bali yang standar. G. Cara Penelitian Tahap-tahap yang aan dilauan dalam penelitian ini adalah sebagai beriut :. Studi pustaa Pada tahap ini aan dipelajari berbagai literatur yang berhubungan dengan algoritma conjugate gradient dan algoritma penurunan tercuram, serta jaringan syaraf perambatan bali yang merupaan dasar dari penelitian ini.

15 5 2. Pembuatan program Setelah melauan studi pustaa, maa segera dapat dilauan pembuatan program. Bahasa pemrograman yang aan digunaan adalah bahasa C++. Program yang dibuat ada 2 macam yaitu program jaringan syaraf perambatan bali dengan metode conjugate gradient dan program jaringan syaraf perambatan bali standar. 3. Pencarian masalah Pencarian masalahan dilauan dengan melauan pemilihan terhadap masalahmasalah yang telah ada yang seiranya dapat mewaili permasalahan umum yang sering dijumpai. 4. Apliasi program Setelah program selesai dan telah diperisa ebenarannya, maa segera dapat digunaan untu mengapliasian berbagai masalah jaringan syaraf tiruan yang hasilnya aan digunaan untu menganalisis unju erja dari masing-masing metode. 5. Analisis Setelah program diapliasian untu berbagai masalah, maa hasil yang diperoleh tersebut dianalisis untu mengetahui unju erja dari masing-masing metode. Unju erja yang aan dibahas di sini adalah mengenai unju erja eonvergenan, banyanya iterasi yang dibutuhan dan watu yang diperluan oleh masing-masing metode.

16 II. TINJAUAN PUSTAKA A. Tinjauan Pustaa Hestenes dan Eduard Stiefel pada tahun 952 pertama ali menemuan metode conjugate gradient yang digunaan untu menyelesaian sistem persamaan linear. Dari sini muncul penelitian-penelitian tentang conjugate gradient yang membicaraan berbagai aspe. Fletcher dan Reeves, 964 menggunaan metode conjugate gradient untu minimisasi fungsi. Kemudian pada tahun 993, Jianming Jin menulis buu tentang metodemetode Finite Element yang digunaan untu menyelesaian masalah-masalah eletromagneti. Berbagai macam metode dipaparan oleh Jianming, termasu di dalamnya adalah metode conjugate gradient. Arioli, pada tahun 200, meneliti tentang riteria penghentian pada algoritma conjugate gradient dalam eranga metode Finite Elemen. Penelitian lain dilauan oleh Zdene Straos dan Petr Tichy, pada tahun Merea meneliti tentang periraan galat dalam metode Conjugate gradient Method dan mengapa hal tersebut dapat dilauan dalam perhitungan finite presisi. Sedangan penelitian dan buu tentang jaringan syaraf tiruan antara lain buu tentang dasar-dasar dari jaringan syaraf ditulis oleh Laurene Fausett pada tahun 994. Buu ini berisi tentang arsitetur, algoritma dan apliasi dari jaringan syaraf termasu di dalamnya adalah jaringan syaraf perambatan bali. 6

17 7 Kemudian pada tahun 997, Jyh-Shing Roger Jang, Chuen-Tsai Sun, Eiji Mizutani menulis buu tentang jaringan syaraf abur (neuro-fuzzy) dan omputasinya. Buu ini menjelasan metode-metode omputasi yang dapat digunaan untu memecahan persoalan pada jaringan syaraf abur antara lain metode penurunan tercuram dan metode conjugate gradient. Tetapi metode-metode tersebut dijelasan secara terpisah dari jaringan syaraf abur. Tahun 999, Martin T. Hagan, Howard B. Demuth dan Mar Beale dalam buunya menulisan jaringan perambatan bali dengan optimisasi menggunaan algoritma conjugate gradient. Algoritma pencarian garis yang digunaan untu optimisasinya adalah algoritma golden section search. Berhubungan dengan penelitian sebelumnya tentang apliasi metode conjugate gradient pada berbagai masalah maa peneliti juga aan mengapliasiannya pada masalah jaringan saraf dalam hal ini adalah jaringan perambatan bali. B. Landasan Teori. Metode Steepest Descent (Penurunan Tercuram) Metode penurunan tercuram merupaan salah satu metode yang digunaan untu optimisasi. Pada algoritma pelatihan jaringan syaraf, penurunan tercuram digunaan untu untu mengoptimalan performance index F(x). Arti mengoptimalan di sini adalah mencari nilai x yang meminimalan F(x). Penurunan tercuram adalah metode iteratif yang memulai tasiran x dengan tasiran awal x 0 dan emudian tiap iterasinya aan memperbaii tasiran dengan persamaan yang berbentu: x + = x + α p (2.)

18 8 atau ( x x ) = α p x = + (2.2) dengan vetor p adalah search direction (arah pencarian) dan α adalah learning rate (pesat belajar) yang merupaan salar positif. Pesat belajar menentuan panjang langah pada tiap pencarian. Pada tiap iterasi diharapan fungsi selalu menurun, atau dengan ata lain : ( x ) F( ) F + < x (2.3) Kemudian arah p dapat dipilih dengan memaai espansi deret Taylor urutan pertama sebagai beriut : F T ( x ) = F ( x + x ) F( x ) + g x + (2.4) dengan g adalah gradien pada tasiran lama x : ( x) g F x= x Agar F ( x ) < F( ) negatif: (2.5) x +, maa suu e-dua dari persamaan di sebelah anan harus T T g x = α g p < 0 (2.6) α dipilih bilangan yang ecil tapi lebih besar dari nol, artinya : g T < 0 (2.7) p Semua vetor p yang memenuhi persamaan di atas disebut arah penurunan. Fungsi aan turun jia dilauan langah yang cuup ecil pada arah ini. Sedangan yang dimasud dengan arah penurunan tercuram adalah arah yang aan mengaibatan fungsi turun paling cepat. Hal ini terjadi jia g paling negatif. Ini aan terjadi T p jia vetor arah merupaan negatif dari gradiennya :

19 9 p = (2.8) g Dengan menggunaan persamaan(2.8) pada persamaan(2.) diperoleh metode penurunan tercuram sebagai beriut : x + = x α g (2.9) Pada penurunan tercuram ada 2 metode yang umum digunaan untu menentuan pesat belajar α. Cara pertama adalah meminimalan F(x) terhadap α pada tiap iterasi. Dengan ata lain, memilih α yang meminimalan : F ( x α p ) + (2.0) Untu fungsi uadratis, dapat disusun minimisasi linear secara analitis. Jia fungsi uadratis adalah sebagai beriut : T T F( x) = x Ax + b x + c (2.) 2 Maa turunan dari fungsi(2.0) terhadap α untu fungsi uadratis F(x) adalah : d dα F T T 2 ( x + α p ) = F ( x) p + α p F ( x) p x= x x= x (2.2) Jia turunan tersebut disamaan dengan nol, maa α diperoleh : F ( x) p T T x= x g p α = = (2.3) T 2 T p F( x) p p A p x= x dengan A adalah matris Hessian yang dievaluasi pada x : A ( x) 2 F (2.4) x= x

20 0 Cara edua adalah dengan memilih suatu nilai tertentu untu α, misalnya α =0,02 atau menggunaan variabel yang sudah ditentuan sebelumnya, misalnya α =/. 2. Metode Conjugate Gradient Metode conjugate gradient diembangan oleh E.Stiefel dan M.R. Hestenes. Pertama ali metode ini digunaan sebagai metode untu menyelesaian persamaan linear atau persamaan matris secara iteratif. Conjugate gradient merupaan metode efetif untu sistem persamaan linear dengan uuran besar, yaitu : Ax=b (2.5) Dengan x adalah vetor yang tida dietahui, b adalah vetor yang sudah dietahui dan A adalah matris simetris, definit positif yang telah dietahui. Matris A adalah definit positif jia untu tiap vetor x yang tida nol : x T Ax > 0 (2.6) Jia terdapat suatu fungsi uadratis : T T F( x) = x Ax b x + c (2.7) 2 dengan A adalah matris, x dan b adalah vetor dan c adalah salar onstan. Jia A adalah matris simetris dan definit positif maa F(x) dapat diminimisasi dengan menggunaan penyelesaian dari Ax=b. Gradien dari fungsi uadrati tersebut adalah :

21 F ( x) x F ( x) F' ( x) = x 2... F ( x) xn (2.8) dengan menggunaan persamaan (2.8) pada persamaan (2.7), diperoleh : T F' ( x) = A x + Ax b (2.9) 2 2 Jia A adalah matris simetris maa persamaan (2.8) menjadi : F' ( x) = Ax b (2.20) Karena A adalah definit positif, maa bentu permuaan fungsi uadrati F(x) adalah seperti mangu, yang berarti titi minimum dari fungsi terleta di dasar mangu yang mempunyai gradien nol. Sehingga dengan membuat gradien sama dengan nol, persamaan (2.20) menjadi suatu sistem persamaan linear yang aan dipecahan sebagai beriut : Ax = b (2.2) Dari sini terlihat bahwa penyelesaian dari Ax=b adalah merupaan titi minimum dari F(x). Jia A adalah matris simetris yang definit positif, Ax=b dapat diselesaian dengan mencari nilai x yang meminimalan F(x). Metode conjugate gradient dapat juga digunaan untu menyelesaian suatu sistem persamaan linear walaupun A buan matris simetris, buan definit positif, bahan jia A buan matris bujur sangar. Caranya adalah dengan mengalian A dengan transposenya : A T T Ax = A b (2.22)

22 2 Untu mencari titi minimum pada fungsi uadratis seperti pada persamaan (2.), seumpulan vetor p aan mutually conjugate dengan matris Hessian A yang definit positif jia dan hanya jia : p T Ap j = 0 untu j (2.23) Salah satu himpunan vetor conjugate adalah eigenvector dari A. Jia λ, λ2,..., λ n adalah eigenvalues dari matris Hessian A dan z, z2,..., z n adalah eigenvector-nya, maa untu melihat bahwa eigenvector-nya conjugate, adalah dengan mengganti p pada persamaan di atas dengan z sebagai beriut : T T z Az λ z z = 0 untu j (2.24) j = j j persamaan terahir bisa demiian arena eigenvetor dari matris simetris adalah mutually orthogonal. Dari situ bisa dilihat bahwa fungsi uadratis dapat diminimisasi secara tepat dengan menggunaan arah pencarian sepanjang eigencector matri Hessian, sebab eigenvector merupaan sumbu utama dari ontur fungsi. Tetapi mencari eigenvector secara prate tida mudah dilauan arena untu mencari eigenvector terlebih dulu harus mencari matri Hessian. Oleh arena itu dicari cara agar penghitungan turunan e-2 tida diperluan. Pada fungsi uadratis seperti pada (2.) : F ( x) = F '( x) = Ax + b (2.25) 2 F ( x) = A (2.26) dengan menggunaan persamaan tersebut, dapat dietahui perubahan gradien pada iterasi +, yaitu : g = g+ g = + ( Ax + b) ( Ax + b) = A x (2.27)

23 3 emudian dari persamaan (2.2) : ( x x ) = α p x = + (2.28) dan α dipilih untu meminimalan F(x) pada arah p Kondisi onjugasi dapat ditulisan embali : T T T α p Ap x Ap = g p = 0 dengan j (2.29) j = j j Arah pencarian aan conjugate jia ortogonal dengan perubahan gradien. Arah pencarian pertama (p 0 ) ditentuan sembarang dan p adalah vetor yang ortogonal terhadap g 0. Secara umum untu memulai pencarian digunaan arah dari metode penurunan tercuram : p = (2.30) 0 g 0 Kemudian, pada tiap iterasi, vetor p dipilih vetor yang ortogonal terhadap g g g, 0,..., disederhanaan untu iterasi menjadi : = g + p. Prosedur ini mirip dengan ortogonalisasi Gram-Schmidt, yang p β (2.3) Salar β dapat dipilih dari beberapa metode yang memberian hasil yang sama untu fungsi uadratis. Pertama adalah menurut Hestenes dan Steifel : g g β = (2.32) g p T T Kedua, menurut Fletcher dan Reeves : g g β = (2.33) g T T g Ketiga adalah menurut β menurut Pola dan Ribiere :

24 4 g g β = (2.34) g T T g Secara ringas, metode conjugate gradient terdiri dari langah-langah sebagai beriut :. Pilih arah pencarian awal yang merupaan negatif dari gradien seperti persamaan(2.30) : p = 0 g 0 2. Lauan langah seperti persamaan (2.28): x = + ( x x ) = α p dengan α dipilih untu meminimalan fungsi sepanjang arah pencarian. Untu fungsi uadratis dapat digunaan persamaan (2.3) : α F = p T ( x) 2 F T x= x p T T ( x) p p A p x= x = g p Sedangan untu fungsi non-linear lainnya dapat menggunaan teni-teni minimisasi linear yang umum dipaai. 3. Pilih arah pencarian selanjutnya menggunaan persamaan (2.3) : p = g + β p dengan β dapat dihitung dengan salah satu dari persamaan (2.32), persamaan (2.33), atau persamaan(2.34). 3. Jaringan Perambatan Bali (Bacpropagation) Jaringan perambatan bali adalah jaringan lapis jama, yang dilatih dengan algoritma perambatan galat bali (Bac Error Propagation) atau sering disebut algoritma perambatan bali (bacpropagation) saja. Tujuan dari jaringan adalah untu melatih

25 5 jaringan agar mampu menanggapi secara benar pola-pola masuan yang digunaan saat pelatihan (mengingat) dan mampu memberian tanggapan yang bai untu polapola yang mirip tetapi tida sama dengan pola-pola pelatihan (generalisasi). Pelatihan jaringan dengan perambatan bali meliputi tiga tahap, pertama adalah tahap maju (feedforward) untu input pola pelatihan, edua adalah perhitungan dan perambatan bali (bacpropagation) dari galat yang bersangutan dan yang terahir adalah penyesuaian bobot. Setelah pelatihan, apliasi jaringan hanya meliputi omputasi dari tahap maju. Y Y Y m Z Z j Z p X X i X n Gambar 2.. Jaringan syaraf perambatan bali dengan lapisan tersembunyi Pada gambar 2.. tampa sebuah jaringan syaraf perambatan bali dengan satu hidden layer (lapisan tersembunyi), atau diataan sebagai jaringan dua lapis. Gambar 2.2. adalah cara lain untu mengilustrasian multilayer networ (jaringan lapis jama), dalam gambar 2.2 menunjuan diagram dari jaringan tiga lapis. Secara sederhana, jaringan lapis jama adalah jaringan perceptron yang bertingat. Keluaran dari jaringan pertama merupaan masuan jaringan edua, dan eluaran jaringan edua merupaan masuan jaringan etiga. Tiap lapis dapat memilii jumlah neuron yang

26 6 berbeda, bahan dapat juga memilii transfer function/activation function (fungsi ativasi) yang berbeda pula. Masuan Lapis Pertama Lapis Kedua Lapis Ketiga p w, n a Σ f w 2, n 2 a 2 Σ f 2 w 3, n 3 a 3 Σ f 3 b b 2 b 3 p 2 n a 2 Σ f 2 n 2 a 2 2 Σ f 2 2 n 3 a 3 2 Σ f 3 2 p p R w b 2 n s Σ f a s b 2 2 n 2 s Σ f 2 a 2 s 2 b 3 2 n 3 s Σ f 3 a 3 s 3 b s b 2 s 2 S,R w 2 S 2,S w 3 S 3,S 2 b 3 s 3 a =f (W p+b ) a 2 =f 2 (W 2 a +b 2 ) a 3 =f 3 (W 3 a 2 +b 3 ) a 3 =f 3 (W 3 f 2 (W 2 f (W p+b )+b 2 )+b 3 ) Gambar 2.2. Jaringan tiga lapis Pada gambar 2.2., lambang R menunjuan jumlah masuan, S menunjuan jumlah neuron pada lapis pertama, S 2 adalah jumlah neuron pada lapis edua dan S 3 menunjuan jumlah neuron pada lapis etiga. Pada jaringan lapis jama, lapisan yang eluarannya merupaan eluaran dari jaringan disebut dengan output layer (lapisan eluaran), pada gambar 2.2. adalah lapis

27 7 etiga. Sedangan lapisan yang lain (lapis pertama dan edua) disebut sebagai lapisan tersembunyi. 3.. Algoritma Perambatan Bali Seperti yang dijelasan di awal, bahwa pelatihan jaringan dengan perambatan bali meliputi tiga tahap yaitu menerusan (feedforward) pola-pola masuan pelatihan, merambatan bali galat yang bersesuaian dan penyesuaian bobot. Pada saat menerusan pola masuan, berdasaran gambar 2.. tiap unit masuan (X i ) menerima sinyal masuan dan menerusan e unit-unit pada lapisan tersembunyi Z,.,Z p. Kemudian tiap unit tersembunyi menghitung ativasinya dan mengiriman sinyal tersebut (z j ) e tiap unit eluaran. Tiap unit eluaran (Y ) menghitung ativasinya (y ) agar menghasilan tanggapan jaringan untu pola masuan yang diberian. Pada saat pelatihan, tiap unit eluaran membandingan ativasi y dengan nilai target t untu menentuan galat untu suatu pola pada unit tersebut. Berdasaran galat ini, fator δ (=,,m) dapat dihitung. Fator δ digunaan untu mendistribusian galat pada unit eluaran Y embali e semua unit di lapis sebelumnya (lapis tersembunyi yang terhubung e Y ). Fator δ nantinya juga digunaan untu menyesuaian bobot antara eluaran dan lapis tersembunyi. Dengan cara yang sama, fator δ j (j=,.,p) dihitung dari tiap unit tersembunyi Z j. Galat tida perlu dirambatan bali e lapisan masuan, tetapi fator δ j tetap digunaan untu menyesuaian bobot antara lapis tersembunyi dan lapis masuan.

28 8 Setelah semua fator δ ditentuan, bobot untu semua lapisan dapat disesuaian secara bersamaan. Penyesuaian bobot w j (dari unit tersembunyi Z j e unit eluaran Y ) dilauan berdasaran fator δ j dan ativasi x i dari unit masuan. Lambang-lambang yang digunaan dalam algoritma pelatihan pada jaringan perambatan bali adalah sebagai beriut : x Vetor masuan pelatihan : x=(x,, x i,,x n ) t vetor eluaran target t=(t,,t,,t m ) δ Bagian dari oresi galat dari penyesuaian bobot w j yang berhubungan dengan galat pada unit eluaran Y, juga merupaan informasi tentang galat pada unit Y yang dirambatan bali e unit tersembunyi yang berhubungan dengan unit Y. δ j Bagian dari oresi galat dari penyesuaian bobot v ij yang berhubungan dengan perambatan bali informasi galat dari lapisan eluaran e unit tersembunyi Z j α Pesat belajar X i Unit masuan e-i : Untu sebuah unit masuan, sinyal masuan dan sinyal eluarannya sama, yaitu x i. v 0j Bias (prasiap) pada unit tersembunyi j. Z j Unit tersembunyi j :

29 9 Net input pada Z j dilambangan dengan Z_in j : z _ in j = v0 j + i x v i ij Sinyal eluaran (ativasi) dari Z j dilambangan dengan z j : z j =f(z_in j ). w 0 Prasiap pada unit eluaran Y Unit eluaran : Net input pada Y dilambangan dengan y_in : y _ in = w0 + z jw j j Sinyal eluaran (ativasi) dari Y dilambangan dengan y : y =f(y_in ) Sedangan algoritma pelatihannya adalah sebagai beriut : Langah 0 Berian bobot awal (dengan nilai aca yang ecil) Langah Selama ondisi berhenti belum memenuhi, erjaan langah 2-9. Langah 2 Untu tiap pasangan pola pelatihan, lauan langah 3-8 Tahap Maju Langah 3 Tiap unit masuan (Xi, i=,.,n) menerima sinyal input xi dan mengiriman sinyal tersebut e semua unit pada lapisan beriutnya (unit tersembunyi). Langah 4 Tiap unit tersembunyi (Zj, j=,..,p) menjumlah sinyal input terbobot : z _ in j = v 0 j + n i= x v i ij

30 20 Kemudian apliasian fungsi ativasinya untu menghitung sinyal eluaran : z = f ( z _ ) j in j Dan mengiriman sinyal ini e semua unit pada lapisan di atasnya (unit eluaran). Langah 5 Tiap unit eluaran (Y, =,,m) menjumlahan sinyal masuan terbobot : y _ in = w 0 + p j= z j w j Dan apliasian fungsi ativasinya untu menghitung sinyal output y = f ( y _ ) in Tahap Perambatan bali dari galat Langah 6 Tiap unit eluaran (Y, =,,m) menerima pola target yang sesuai dengan pola masuan pelatihan, hitung informasi galat : δ = ' ( t y ) f ( y _ in ) Hitung oresi bobot (yang aan digunaan untu penyesuaian bobot) : w j = αδ z j Hitung oresi prasiap (yang aan digunaan untu penyesuaian prasiap) : w 0 = αδ Kiriman δ e unit pada lapisan sebelumnya. Langah 7 Tiap unit tersembunyi (Zj, j=,.,p) menjumlahan delta masuannya (dari unit pada lapisan beriutnya),

31 2 δ _ in j δ w = m = j Kalian dengan turunan dari fungsi ativasinya untu menghitung informasi galat : δ = δ _ in j j ' f ( z _ in ) j Hitung oresi bobot (yang aan digunaan untu penyesuaian vij) : v ij = αδ j x i Hitung oresi prasiap (untu penyesuaian v0j) : v 0 j = αδ Penyesuaian Bobot dan Prasiap j Langah 8 Tiap unit eluaran (Y, =,,m) menyesuaian prasiap dan bobotnya (j=0,,p) : w j ( baru) = w ( lama) + w j j Tiap unit tersembunyi (Zj, j=,,p) menyesuaian prasiap dan bobotnya (I=0,,n) : v ij ( baru) = v ( lama) + v Langah 9 Pengetesan ondisi berhenti. ij ij 3.2. Fungsi Ativasi Fungsi ativasi untu jaringan perambatan bali harus mempunyai arateristi penting yaitu, harus ontinyu, dapat diturunan (differentiable) dan monotonically nondecreasing. Salah satu fungsi ativasi yang sering dipaai adalah binary sigmoid function (fungsi sigmoid biner) yang mempunyai rentang nilai dari (0,) dan didefinisian oleh :

32 22 f( x) = (2.35) + exp( x) dengan turunannya adalah : [ f ( )] ' f ( x) = f( x) x (2.36) Gambar (2.3) memperlihatan fungsi sigmoid biner. F(x) Gambar 2.3 Fungsi sigmoid biner, dengan rentang nilai (0,) x Fungsi ativasi lain yang umum dipaai adalah bipolar sigmoid function (fungsi sigmoid bipolar), yang mempunyai rentang nilai (-,) dan didefinisian sebagai : 2 f 2( x) = (2.37) + exp( x) dengan turunannya adalah : f x) = [ + f 2( x) ][ f ( )] (2.38) 2 ' 2( 2 x F(x) x Gambar 2.4 Fungsi sigmoid bipolar, dengan rentang nilai (-,)

33 23 Gambar 2.4. memperlihatan fungsi sigmoid bipolar Memilih Bobot dan Prasiap Awal Ada beberapa cara untu menentuan inisialisasi bobot dan prasiap. Pilihan pertama adalah dengan inisialisasi aca (random initialization). Pilihan bobot awal aan mempengaruhi suatu jaringan apaah aan mencapai minimum global atau hanya mencapai minimum loal dari galat, dan juga berpengaruh pada ecepatan menuju onvergen. Penyesuaian bobot antara dua unit tergantung pada turunan pada fungsi ativasi di unit atas dan fungsi ativasi di unit bawah. Karena hal tersebut, maa sangat penting untu menghindari suatu bobot awal yang aan menyebaban ativasi dan turunan dari ativasi sama dengan nol. Nilai bobot awal harus tida terlalu besar sehingga sinyal masuan awal pada tiap unit tersembunyi tida berada di daerah di mana turunan dari fungsi sigmoid mempunyai nilai yang sangat ecil ( daerah saturasi/jenuh). Sebalinya, jia bobot awal terlalu ecil, net input pada unit tersembunyi atau unit eluaran aan deat e nol yang juga aan menyebaban pembelajaran berjalan dengan lambat. Prosedur yang umum untu inisialisasi bobot dan prasiap adalah nilai aca antara -0,5 dan 0,5 (atau antara - dan atau selang tertentu yang sesuai). Nilai tersebut boleh positif atau negatif arena bobot ahir setelah pelatihan juga bisa eduanya. Cara inisialisasi lain adalah inisialisasi yang diembangan oleh Nguyen dan Widrow (990). Pendeatan dari cara ini berdasar pada analisis geometri dari tanggapan neuron tersembunyi pada masuan tunggal. Bobot dari unit tersembunyi

34 24 e unit eluaran (dan prasiap pada unit eluaran) diinisialisasi secara aca dengan nilai antara -0,5 dan 0,5 seperti pada asus secara umum. Inisialisasi bobot dari unit masuan e unit tersembunyi dirancang untu meningatan emampuan belajar dari unit tersembunyi. Prosedur inisialisasi bobot menurut Nguyen dan Widrow adalah sebagai beriut : Langah Hitung fator sala : β = 0,7( p) n = 0, 7 n p dengan n adalah jumlah unit masuan dan p adalah jumlah unit tersembunyi. Langah 2 Untu tiap unit tersembunyi (j=,.,p) : Inisialisasian vetor bobot (dari unit masuan) : v ij (lama)=nilai aca antara -0,5 dan 0,5 (atau antara -γ dan γ) Hitung : v j ( lama) = v j( lama) + v2 j ( lama) vnj ( lama) Inisialisasian embali bobot : v ij βv ij ( lama) = v ( lama) j Tentuan prasiap : v 0j = nilai aca antara -β dan β Lama Pelatihan Tujuan dari jaringan perambatan bali adalah untu mencapai eseimbangan antara tanggapan yang benar untu pola pelatihan dan tanggapan yang bai untu pola masuan yang baru (eseimbangan antara mengingat dan generalisasi). Untu

35 25 tujuan tersebut maa jaringan tida perlu melanjutan pelatihan sampai total galat uadrat benar-benar mencapai minimum. Hecht dan Nielsen (990) menyaranan untu menggunaan dua elompo data selama pelatihan. Satu elompo pola pelatihan dan satu elompo pola untu pengecean pelatihan. Pada selang selama pelatihan, galat dihitung menggunaan pola pengecean untu pelatihan. Pada saat galat untu pola pengecean pelatihan menurun, pelatihan dilanjutan. Ketia galat mulai meningat, jaringan mulai mengingat pola pelatihan secara spesifi yang artinya emampuan generalisasinya mulai menghilang. Pada titi ini, pelatihan dihentian Jumlah Pasangan Pelatihan Menurut Baum dan Haussler (989), jia tersedia pola pelatihan yang cuup, jaringan aan dapat menggeneralisasi sesuai yang diinginan. Pola pelatihan yang cuup ditentuan dengan ondisi sebagai beriut : W P W = e, atau P = (2.39) e dengan W adalah jumlah bobot yang dilatih, P adalah jumlah pola pelatihan yang tersedia dan e adalah etepatan lasifiasi yang diharapan. Jia jaringan dilatih untu menglasifiasi -(e/2) bagian dari pola pelatihan secara benar, dengan 0<e</8, maa jaringan aan menglasifiasian -e dari pola pengetesan secara benar pula Representasi Data Pada banya asus, vetor masuan dan vetor eluaran mempunyai omponen dalam rentang nilai yang sama. Karena salah satu fator dalam espresi

36 26 penyesuaian bobot adalah ativasi dari unit sebelumnya, maa unit yang ativasinya nol tida aan belajar. Untu itu disaranan bahwa pembelajaran dapat ditingatan jia masuan dinyataan dalam bentu bipolar dan fungsi sigmoid bipolar digunaan sebagai fungsi ativasi Jumlah Lapisan Tersembunyi Hasil teoritis (Fausett, 994) menunjuan bahwa satu lapisan tersembunyi cuup efisien untu jaringan perambatan bali untu mengaprosimasi pemetaan ontinyu dari pola masuan e pola eluaran untu sembarang derajat aurasi. Walau demiian, dua lapisan tersembunyi aan membuat pelatihan lebih mudah untu situasi tertentu Indes Unju Kerja (Performance Indes) Indes unju erja adalah uuran uantitatif dari unju erja jaringan. Anga indes unju erja ecil menunjuan unju erja jaringan yang bai, sedangan indes unju erja besar menunjuan unju erja jaringan yang buru. Algoritma perambatan bali untu jaringan lapis jama merupaan generalisasi dari algoritma LMS (Least Mean Square), edua algoritma tersebut menggunaan indes unju erja yang sama yaitu galat rata-rata uadrat (mean square error). Algoritma diberian dengan seumpulan pola pelatihan : p t, p, t,...,,, 2 2 p t (2.40) dengan p adalah masuan jaringan dan t adalah target eluaran yang diharapan. Pada setiap masuan yang diapliasian e jaringan, eluaran jaringan dibandingan dengan target. Algoritma harus menyesuaian parameter jaringan untu

37 27 meminimalan galat rata-rata uadrat. Galat yang merupaan fungsi bobot yang aan diminimalan adalah sebagai beriut : ( ) 2 E = 0.5 t y (2.4) Dengan aturan rantai, diperoleh gradien dari galat pada lapisan eluaran sebagai beriut : E w JK = w = w = = JK ( t y ) [ t f ( y _ in )] [ t y ] f ( y _ in ) K [ t y ] f '( y _ in ) K JK K K K w JK K 2 K z J 2 K (2.42) Kemudian, informasi error K [ t y ] f '( y _ in ) K K δk didefinisian : δ = (2.43) K Dengan cara yang sama, dapat dicari gradien pada lapisan tersembunyi sebagai beriut : E v IJ = = = = = [ t y ] [ t y ] f '( y _ in ) w w J J IJ v f ' v IJ IJ z J y ( z _ in )[ x ] J I v IJ y _ in δ y _ in (2.44) v δ δ Kemudian, informasi error δ J didefinisian :

38 28 J JK ( z _ in ) δ = δ w f ' (2.45) J 4. Jaringan Perambatan Bali dengan algoritma Conjugate Gradient Algoritma dasar dari perambatan bali biasanya berjalan lambat untu ebanyaan apliasi. Berbagai variasi dari perambatan bali telah diembangan untu meningatan ecepatan dari proses pelatihan. Di antaranya adalah dengan penggunaan momentum, variasi pesat belajar dan penggunaan algoritma optimisasi numeri yang umum, salah satunya adalah algoritma conjugate gradient yang aan dipaai dalam penelitian ini. Algoritma conjugate gradient seperti dijelasan di sub bab II.B.2 tida dapat digunaan secara langsung pada masalah-masalah pelatihan jaringan syaraf, arena pada jaringan syaraf indes unju erjanya tida selalu berbentu fungsi uadratis. Oleh arena itu perlu sediit modifiasi, pertama adalah bahwa persamaan (2.3) pada algoritma langah 2 tida dapat digunaan. Untu itu diperluan line search (metode pencarian garis) yang umum, misalnya metode Golden Section Search. Modifiasi edua adalah algoritma harus di-reset setelah sejumlah iterasi tertentu. Ada banya prosedur yang disaranan, tetapi metode paling sederhana adalah dengan me-reset arah pencarian pada arah pencarian dari metode penurunan tercuram (negatif dari gradien) setelah n iterasi (Scales, 985). Menurut Hagan, Demuth dan Beale (999) apliasi algoritma conjugate gradient pada jaringan perambatan bali adalah sebagai beriut :. Algoritma perambatan bali digunaan untu menghitung gradien (δ dan δ j pada langah 6 dan langah 7).

39 29 2. Algoritma conjugate gradient digunaan untu menentuan penyesuaian bobot (mencari α pada langah 6 dan langah 7 serta penyesuaian bobot dan prasiap pada langah 8 ). Algoritma di atas merupaan algoritma dengan model batch arena gradien dihitung setelah seluruh pasangan pelatihan dilatihan pada jaringan.

40 III. CARA PENELITIAN Bagian ini aan menjelasan tentang bahan dan alat yang digunaan dalam penelitian, jalannya penelitian serta esulitan-esulitan yang timbul selama penelitian. A. Bahan Penelitian Bahan penelitian yang dimasud di sini adalah data yang dipaai dalam penelitian. Permasalahan-permasalahan yang digunaan diperoleh dari literaturliteratur seperti yang tertulis pada daftar pustaa sebagai beriut :. Masalah pengenalan gerbang AND 2. Masalah pengenalan gerbang exclusive-or (XOR) 3. Masalah pengenalan pola bilangan sampai dengan 0 Pola bilangan dinyataan dalam lari 7x5 sebagai beriut : --#-- -###- -###- ----# ##### -##-- #---# #---# ---## # # # ----# --#-# # #-- ---#- --##- -#--# ####- --#-- --# # ##### ----# --#-- -#--- #---# ----# ----# -###- ##### -###- ----# ####- -#### ##### -###- -###- -###- # # #---# #---# #---# # #- #---# #---# #---# ####- ---#- -###- -#### #---# #---# --#-- #---# ----# #---# #---# --#-- #---# ----# #---# -###- -#--- -###- ####- -###- 30

41 3 B. Alat Penelitian Alat penelitian yang digunaan berupa perangat luna (software) dan perangat eras (hardware) omputer sebagai beriut :. Perangat luna omputer Bahasa pemrograman yang dipaai adalah bahasa C++ menggunaan compiler Borland C++ versi Perangat eras omputer Perangat eras yang digunaan selama penelitian adalah satu unit noteboo IBM ThinPad 390E Pentium II 300MHz, memory 64 MB. C. Jalannya Penelitian Jalannya penelitian dimulai dengan mempelajari berbagai literatur tentang algoritma conjugate gradient, algoritma penurunan tercuram, serta jaringan syaraf perambatan bali yang merupaan dasar dari seluruh penelitian.. Pembuatan Program Setelah melauan studi pustaa, tahap selanjutnya adalah pembuatan program. Persiapan pertama dalam pembuatan program adalah pembuatan pseudocode(algoritma) dari edua algoritma pelatihan yang aan dibuat programnya yaitu algoritma pelatihan perambatan bali standar dan algoritma pelatihan perambatan bali dengan conjugate gradient.

42 32 a. Perambatan Bali Standar Penelitian ini aan membandingan unju erja dari edua algoritma tersebut. Karena algoritma perambatan bali dengan conjugate gradient merupaan algoritma pelatihan dengan model batch, maa algoritma pelatihan perambatan bali standar dibuat juga dengan model batch. Sehingga algoritma perambatan bali standar pada dasar teori yang dibuat dengan pelatihan per pola harus dimodifiasi terlebih dulu sehingga sesuai dengan model batch. Pengetesan ondisi berhenti pada langah 0 dilauan dengan menghitung rata-rata galat. Galat tiap pasangan pelatihan (Fausset,994) dihitung dengan rumus : E [ t y ] = (3.) Bila dinyataan sebagai fungsi galat, menjadi : F ( w) =.5 [ t y ( w) ] 2 0 (3.2) Maa galat untu eseluruhan pola dihitung dengan rata-rata galat sebagai beriut : E 0.5 = N n [ t y ] 2 n (3.4) dengan N adalah jumlah pola pelatihan. Fungsi galatnya : F 0.5 ( w) [ t y ( w) ] = N n 2 n (3.5) b. Perambatan Bali dengan Conjugate Gradient Langah beriutnya adalah pembuatan pseudo-code dari algoritma pelatihan perambatan bali dengan conjugate gradient. Algoritma ini merupaan ombinasi dari 2 algoritma yaitu algoritma pelatihan perambatan bali standar dengan algoritma

43 33 conjugate gradient. Kedua algoritma tersebut digabung dan disusun embali sehingga menjadi algoritma pelatihan yang baru yang disebut dengan algoritma pelatihan perambatan bali dengan conjugate gradient. Menurut Hagan, Demuth dan Beale (999), arena permasalahan-permasalahan dalam jaringan syaraf biasanya mempunyai fungsi galat atau indes unju erja yang tida uadratis maa algoritma conjugate gradient seperti pada dasar teori tida dapat diapliasian secara langsung. Algoritma tersebut harus disesuaian sehingga dapat digunaan untu memecahan masalah yang tida linear dengan permuaan yang tida uadratis. Fungsi galat pada persamaan 3.5 tampa seperti persamaan uadratis tetapi arena y (w) pada penelitian menggunaan fungsi ativasi sigmoid bipolar maa fungsi galat menjadi tida uadratis. Selain itu algoritma conjugate gradient untu pemecahan masalah tida uadratis membutuhan metode pencarian linear (linear search ) yang umum untu mencari leta minimum dari fungsi pada suatu arah tertentu. Pencarian ini terdiri dari 2 langah yaitu loasi selang (interval location) dan pengurangan selang (interval reduction). Tujuan dari langah loasi selang adalah menemuan selang awal yang mengandung minimum loal. Kemudian langah pengurangan selang aan mengurangi/memperecil uuran selang awal tersebut sampai dengan toleransi etelitian yang diinginan. Prosedur dari langah loasi selang ditunjuan pada gambar 3.. Dimulai dengan mengevaluasi fungsi galat pada titi awal, yang dilambangan dengan a pada gambar 3.. Titi ini merupaan nilai bobot dan prasiap jaringan saat itu. Dengan ata lain, yang dihitung adalah : F( w 0 )

44 34 Langah selanjutnya adalah mengevaluasi galat pada titi edua, dalam gambar 3.. dilambangan dengan b, yang berjara ε dari titi awal, sepanjang arah pencarian pertama p 0. Dengan ata lain, dievaluasi nilai : F ( + ε ) x 0 p 0 Kemudian dilanjutan dengan mengevalusai fungsi galat pada titi baru b i, yang secara berurutan mempunyai jara titi dua ali lipat dari sebelumnya. Proses ini berhenti saat fungsi galat meningat antara dua evaluasi yang berturutan. Pada gambar 3.. dilambangan dengan b 3 e b 4. Pada titi ini, dietahui bahwa titi minimum berada antara titi a 5 dan b 5. Sehingga tida diperluan lagi untu memperlebar selang, arena titi minimum emunginan berada pada selang [a 4,b 4 ] atau selang [a 3,b 3 ]. Kedua emunginan ini ditunjuan pada gambar 3.2.a. F(x) 8ε 4ε 2ε ε a b a 2 b 2 x a 3 b 3 a 4 b 4 a 5 Gambar 3.. Loasi Selang b 5 Setelah diperoleh selang yang mengandung titi minimum, langah selanjutnya pada pencarian linear adalah pengurangan selang. Pada langah ini, fungsi pada titi-titi internal selang [a 5,b 5 ] yang merupaan hasil dari langah loasi selang aan dievaluasi.

45 35 F(x) F(x) a b c a. b. x a c d b x Gambar 3.2.Selang tida diurangi Gambar 3.2.b. memperlihatan bahwa paling tida fungsi harus dievaluasi pada dua titi dalam untu mengurangi/memperecil uuran etidapastian selang. Gambar 3.2.a memperlihatan bahwa evaluasi fungsi pada sebuah titi internal tida dapat menentuan loasi titi minimum. Walau demiian, jia fungsi dievaluasi pada dua titi c dan d seperti dalam gambar 3.2.b., selang etidapastian dapat diurangi. Jia F( c ) >F(d), seperti gambar 3.2.b., maa titi minimum pasti berada pada selang[c,b]. Sebalinya, jia F( c)<f(d), maa titi minimum pasti berada pada selang [a,d]. Di sini diasumsian bahwa terdapat sebuah minimum saja yang terleta pada selang awal. Selanjutnya adalah menentuan loasi dari titi internal c dan d. Penelitian ini aan menggunaan metode Golden Section Search, yang dirancang untu mengurangi banyanya fungsi yang dievaluasi. Pada tiap iterasi, dibutuhan satu evaluasi fungsi baru. Pada asus pada gambar 3.2.b., titi a aan dibuang dan titi c aan menjadi titi luar. Kemudian titi c baru diletaan antara titi c lama dan titi d. Golden section search aan meletaan titi baru sehingga selang dari etidapastian aan berurang secepat mungin.

46 36 Algoritma Golden Section Search : τ=0,68 Tentuan : ( )( ) ( ) ( )( ) ( ),, d F F a b b d c F F a b a c d c = = = + = τ τ Untu =,2,.erjaan : Jia F c <F d, erjaan : Tentuan : ( )( ) ( ) ; ; ; = = + = = = = c c d c F F F F a b a c c d d b a a τ jia tida, erjaan : Tentuan : ( )( ) ( ) ; ; ; = = + = = = = d d c d F F F F a b b d d c b b c a τ selesai selesai sampai tol a b < + +, dengan tol adalah toleransi etelitian yang diehendai. Satu hal lagi yang perlu dimodifiasi pada algoritma conjugate gradient agar dapat diapliasian e pelatihan jaringan syaraf. Untu fungsi uadratis, algoritma aan onvergen e titi minimum pada jumlah iterasi tida lebih dari n iterasi, dengan n adalah jumlah parameter yang dioptimasi (Hagan, Demuth, Beale, 999). Tetapi pada enyataannya fungsi galat untu jaringan lapis jama buan merupaan fungsi uadratis, sehingga algoritma tida onvergen secara normal dalam n iterasi. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI

47 37 Pengembangan algoritma conjugate gradient tida menunjuan arah pencarian mana yang digunaan setelah satu silus n iterasi lengap. Metode paling sederhana yang digunaan pada penelitian ini adalah me-reset arah pencarian e arah pencarian dari penurunan tercuram (negatif dari gradien) setelah n iterasi (Scales, 985). Berdasaran modifiasi-modifiasi di atas, disusun algoritma perambatan bali dengan conjugate gradient sebagai beriut : Langah 0 Langah Berian bobot awal (dengan nilai aca yang ecil) Selama ondisi berhenti belum memenuhi, erjaan langah 2-3. Langah 2 Untu tiap pasangan pola pelatihan, lauan langah 3-7. Lauan untu seluruh pola(pola e-,., pola e-n dengan N adalah jumlah eseluruhan pola). Tahap Maju Langah 3 Tiap unit masuan (X i, i=,.,n) menerima sinyal input x i dan mengiriman sinyal tersebut e semua unit pada lapisan beriutnya (unit tersembunyi). Langah 4 Tiap unit tersembunyi (Z j, j=,..,p) menjumlah sinyal input terbobot : z _ in j = v 0 j + n i= x v i ij Kemudian apliasian fungsi ativasinya untu menghitung sinyal eluaran : z = f ( z _ ) j in j Dan mengiriman sinyal ini e semua unit pada lapisan di atasnya (unit eluaran). Langah 5 Tiap unit eluaran (Y, =,,m) menjumlahan sinyal

48 38 masuan terbobot : y _ in = w 0 + p j= z j w j Dan apliasian fungsi ativasinya untu menghitung sinyal output : y = f ( y _ ) in Tahap Perambatan bali dari galat Langah 6 Tiap unit eluaran (Y, =,,m) menerima pola target yang sesuai dengan pola masuan pelatihan, hitung informasi galat : δ = ' ( t y ) f ( y _ in ) Hitung gradien pada lapisan output (=,,m dan j=0,,p): G2 j = δ z j Kiriman δ e unit pada lapisan sebelumnya. Langah 7 Tiap unit tersembunyi (Z j, j=,.,p) menjumlahan delta masuannya (dari unit pada lapisan beriutnya), m δ _ in j = δ w = j Kalian dengan turunan dari fungsi ativasinya untu menghitung informasi galat : δ = δ _ in j j ' f ( z _ in ) j Hitung gradien pada lapisan tersembunyi (j=,,p dan i=0,,n): G ij = δ j x i Langah 8 Tiap unit eluaran (Y, =,,m) menghitung rata-rata

49 39 gradien (j=0,,p): G2 j ( rata rata) G2 = j ( pola) G2 N j ( polan) Tiap unit tersembunyi (Z j, j=,,p) menghitung rata-rata gradien (i=0,,n): G ij ( rata rata) G = ij ( pola) G2 dengan N adalah jumlah pola pelatihan. Penyesuaian Bobot dan Prasiap (Conjugate Gradient) N ij ( polan) Langah 9 Tentuan q= Langah 0 Hitung arah pencarian lapis tersembunyi : p ij = G ij ( rata rata) Hitung arah pencarian lapis eluaran : p2 j = G2 j ( rata rata) Langah Hitung α pada lapis tersembunyi dan α 2 pada lapis eluaran dengan metode Golden Search dengan fungsi yang diminimalan adalah fungsi galat : f ( w) = 2N n ( t y ( w) ) Langah 2 Tiap unit eluaran (Y, =,,m) menyesuaian prasiap dan bobotnya (j=0,,p) : w j ( baru) = w j ( lama) + ( α2)( p2 j ) 2 Tiap unit tersembunyi (Z j, j=,,p) menyesuaian prasiap dan bobotnya (i=0,,n) : v ij ( baru) = vij( lama) + ( α)( pij) Langah 3 Pengetesan ondisi berhenti.

50 40 Jia galat<toleransi, perhitungan berhenti. Jia galat >=toleransi, e langah 4 Langah 4 Tentuan : w v ij j = w = v ij j ( baru) ( baru) Langah 5 Pengetesan ondisi reset. Jia q+>jumlah parameter bobot dan bias((n+)p+(p+)m), maa lanjutan e langah. Jia q+<=jumlah parameter bobot dan bias, maa lanjutan e langah: a. Tentuan q=q+ b. Lauan langah 2 sampai dengan langah 8 untu menghitung gradien. c. Hitung arah pencarian baru : p ij p2 ( baru) = G j ij ( baru) = G2 + ( β) j + ( β ( pij ) 2) ( p2 ) Dengan β dan β 2 menggunaan metode dari Pola dan Ribiere seperti persamaan (2.34) : β = β2 = ( G G ( lama) ) G ji ji ( G2 G2 ( lama) ) G2 ( lama) G ( lama) j j ji j ij ( lama) G2 j G ij G2 j ( lama) d. Lanjutan e langah j Tahap selanjutnya adalah pembuatan program yang meliputi langah-langah sebagai beriut penulisan program (coding). Program ditulis berdasaran pseudocode/algoritma yang telah dibuat. Program dilengapi dengan doumentasi yang

51 4 memudahan untu pengecean esalahan dan memudahan untu memodifiasi program di watu yang lain. Flow chart (diagram alir) program adalah sebagi beriut : Begin Input Data: n (unit masuan) p (unit tersembunyi) m (unit output) npattern (jumlah pola) InPattern(pola input) TtarPattern(pola target) w(bobot dan prasiap lapisan tersembunyi) w2(bobot dan prasiap lapisan eluaran) Init(): wtermavg[n][p]=0 w2termavg[p][m]=0 CorrectionTermAvg() WeightUpdate() No!ChecError() Yes w(bobot dan bias lapisan tersembunyi terlatih) w2(bobot dan bias lapisan eluaran terlatih) End Gambar 3.3. Diagram Alir Program Pelatihan Jaringan Perambatan Bali Standar