BAB II LANDASAN TEORI

Transkripsi

1 BAB II LANDASAN TEORI Bab ini akan dibahas mengenai teori-teori pendukung pada penelitian ini. Adapun teori tersebut yaitu teori jaringan saraf tiruan dan algoritma backpropragation Jaringan Saraf Biologi Jaringan saraf biologi merupakan kumpulan dari sel-sel saraf (neuron) yang memiliki tugas untuk mengolah informasi (Puspitaningrum, 2006). Komponen-komponen utama dari sebuah neuron dapat dikelompokkan menjadi 3 bagian, yaitu: 1. Dendrit yang bertugas untuk menerima informasi. 2. Badan sel (soma) yang berfungsi sebagai tempat pengolahan informasi. 3. Akson (neurit) yang bertugas mengirimkan impuls-impuls ke sel saraf lainnya. Gambar 2.1 Sel Saraf Biologi Pada gambar 2.1 sebuah neuron menerima impuls-impuls sinyal dari neuron yang lain melalui dendrit dan mengirimkan sinyal yang dibangkitkan oleh badan sel melalui akson. Akson dari sel saraf biologi bercabang-cabang dan berhubungan

2 8 dengan dendrit dari sel saraf lainnya dengan cara mengirimkan impuls melalui sinapsis, yaitu penghubung antara dua buah sel saraf. Sinapsis memiliki kekuatan yang dapat meningkat dan menurun tergantung seberapa besar tingkat propagasi yang diterimanya Jaringan Saraf Tiruan Jaringan saraf tiruan (JST) merupakan sistem pemrosesan informasi yang mengadopsi cara kerja otak manusia (Fausset, 1994). JST memiliki kecenderungan untuk menyimpan pengetahuan yang bersifat pengalaman dan membuatnya siap untuk digunakan. Ada tiga elemen penting dalam JST (Rojas, 1996), yaitu: 1. Arsitektur jaringan beserta pola hubungan antar neuron. 2. Algoritma pembelajaran yang digunakan untuk menemukan bobot-bobot jaringan. 3. Fungsi aktivasi yang digunakan. JST terdiri dari sejumlah besar elemen pemrosesan sederhana yang sering disebut neurons, cells atau node. Proses pengolahan informasi pada JST terjadi pada neuron neuron. Sinyal antara neuron neuron diteruskan melalui link link yang saling terhubung dan memiliki bobot terisolasi. Kemudian setiap neuron menerapkan fungsi aktivasi terhadap input jaringan Arsitektur Jaringan Saraf Tiruan Arsitektur jaringan yang sering dipakai dalam JST antara lain : 1. Jaringan layar tunggal (single layer network) Jaringan ini hanya memiliki satu buah lapisan bobot koneksi. Jaringan lapisan tunggal terdiri dari neuron-neuron input yang menerima sinyal dari dunia luar, dan neuron-neuron output dimana kita bisa membaca respons dari jaringan saraf tiruan tersebut.

3 9 Gambar dibawah menunjukkan arsitektur jaringan dengan n neuron input (X1, X2, X3,..., Xn) dan m buah neuron output (Y1, Y2, Y3,..., Ym). Semua neuron input dihubungkan dengan semua neuron output, meskipun memiliki bobot yang berbeda-beda. Tidak ada neuron input yang dihubungkan dengan neuron input lainnya. Begitu juga dengan neuron output. X1 Wj1 W11 Y1 Wm1 X2 W1j Wji Wmi Y2 W1n Wjn X3 Wmn Y3 Gambar 2.2 Single Layer Network Besaran Wji menyatakan bobot hubungan antara ubit ke-i dalam input dengan neuron ke-j dalam output. Bobot-bobot ini saling independen. Selama proses pelatihan, bobot bobot saling dimodifikasi untuk menigkatkankeakuratan hasil. Metode ini tepat digunakan untuk pengenalan pola karena kesederhanaannya. 2. Jaringan Layar Jamak (multi layer network) Jaringan ini memiliki satu atau lebih lapisan tersembunyi. Jaringan layar jamak memiliki kemampuan lebih dalam memecahkan masalah dibandingkan dengan jaringan layar tunggal, namun pelatihannya lebih kompleks dan relatif lebih lama.

4 10 Gambar 2.3 Multilayer Network Pada gambar diatas jaringan dengan n buah neuron input (X1, X2,..., Xn), sebuah layer tersembunyi yang terdiri dari p buah neuron (Z1, Z2,.. Zp) dan m buah neuron output (Y1,Y2,... Ym). 3. Competitive layer network Jaringan ini mirip dengan jaringan layar tunggal ataupun ganda. Hanya saja, ada neuron output yang memberikan sinyal pada neuron input (sering disebut feedback loop). Sekumpulan neuron bersaing untuk mendapatkan hak menjadi aktif. 1 Al Am 1 1 Ai Aj 1 Gambar 2.4 Competitive layer network

5 Fungsi Aktivasi Fungsi aktivasi pada jaringan saraf tiruan digunakan untuk memformulasikan output dari setiap neuron. Argumen fungsi aktivasi adalah net masukan (kombinasi linier masukan dan bobotnya). Jika net = XiWi, maka fungsi aktivasinya adalah f net = f( X i W i ). Fungsi aktivasi dalam jaringan Backpropagation memiliki beberapa karakteristik penting, yaitu fungsi aktivasi harus bersifat kontinu, terdiferensial dengan mudah dan tidak turun (Fausset, 1994). Beberapa fungsi aktivasi yang sering dipakai adalah sebagai berikut : 1. Fungsi aktivasi linier f x = x (1) Fungsi aktivasi linier sering dipakai apabila keluaran jaringan yang diinginkan berupa sembarang bilangan riil (bukan hanya pada range [0,1] atau [-1,1]. Fungsi aktivasi linier umumnya digunakan pada neuron output. 2. Fungsi aktivasi sigmoid biner f x = 1 1+e x (2) Fungsi aktivasi sigmoid atau logistik sering dipakai karena nilai fungsinya yang terletak antara 0 dan 1 dan dapat diturunkan dengan mudah. f x = f x (1 f x ) (3) 3. Fungsi aktivasi sigmoid bipolar. f x = 2 1+e x 1 (4)

6 12 Fungsi aktivasi ini memiliki nilai yang terletak antara -1 dan 1 dengan turunannya sebagai berikut: f x = 1+f x (1 f x ) 2 (5) 4. Fungsi aktivasi tangen hiperbola Fungsi aktivasi ini juga memiliki nilai yang terletak antara -1 dan 1. Formulanya yaitu: tan x = (e x e x ) (e x +e x ) 1 e 2x = 1+e 2x (6) dengan rumus turunannya sebagai berikut: tan x = 1 + tanh x (1 tanh x ) (7) Bias Bias dapat ditambahkan sebagai salah satu komponen dengan nilai bobot yang selalu bernilai 1. Jika melibatkan bias, maka fungsi aktivasi menjadi: Dimana: (8) x = b + i x i w i (9)

7 Laju Pembelajaran / learning rate (η) Penggunaan parameter learning rate memiliki pengaruh penting terhadap waktu yang dibutuhkan untuk tercapainya target yang diinginkan. Secara perlahan akan mengoptimalkan nilai perubahan bobot dan menghasilkan error yang lebih kecil (Fajri, 2011). Variabel learning rate menyatakan suatu konstanta yang bernilai antara Nilai tersebut menunjukkan kecepatan belajar dari jaringannya. Jika nilai learning rate yang digunakan terlalu kecil maka terlalu banyak epoch yang dibutuhkan untuk mencapai nilai target yang diinginkan, sehingga menyebabkan proses training membutuhkan waktu yang lama. Semakin besar nilai learning rate yang digunakan maka proses pelatihan jaringan akan semakin cepat, namun jika terlalu besar justru akan mengakibatkan jaringan menjadi tidak stabil dan menyebabkan nilai error berulang bolak-balik diantara nilai tertentu, sehingga mencegah error mencapai target yang diharapkan. Oleh karena itu pemilihan nilai variable learning rate harus seoptimal mungkin agar didapatkan proses training yang cepat (Hermawan, 2006) Metode Backpropagation Backpropagation adalah salah satu bentuk dari jaringan saraf tiruan dengan pelatihan terbimbing. Ketika menggunakan metode pelatihan terbimbing, jaringan harus menyediakan input beserta nilai output yang diinginkan. Nilai output yang diinginkan tersebut kemudian akan dibandingkan dengan hasil output aktual yang dihasilkan oleh input dalam jaringan. Metode Backpropagation merupakan metode yang sangat baik dalam menangani masalah pengenalan pola-pola kompleks. Backpropagation melatih jaringan untuk mendapat keseimbangan antara kemampuan jaringan mengenali pola yang digunakan selama pelatihan serta kemampuan jaringan untuk memberikan respon yang benar terhadap pola masukan yang serupa dengan pola yang dipakai selama pelatihan (Siang, 2009).

8 14 Pelatihan jaringan Backpropagation meliputi tiga langkah, yaitu langkah maju (feedforward) dari pola pelatihan input, perhitungan langkah mundur (Backpropagation) dari error yang terhubung dan penyesuaian bobot-bobot (Fausset, 1994). Langkah maju dan langkah mundur dilakukan pada jaringan untuk setiap pola yang diberikan selama jaringan mengalami pelatihan Arsitektur Backpropagation Jaringan Backpropagation memiliki beberapa neuron yang berada dalam satu atau lebih lapisan tersembunyi (hidden layer). Setiap neuron yang berada dilapisan input terhubung dengan setiap neuron yang berada di hidden layer. Begitu juga pada hidden layer, setiap neuronnya terhubung dengan setiap neuron yang ada di output layer. Jaringan saraf tiruan Backpropagation terdiri dari banyak lapisan (multi layer), yaitu: 1. Lapisan masukan (input layer) Input layer sebanyak 1 lapis yang terdiri dari neuron neuron input, mulai dari neuron input pertama sampai neuron input ke-n. Input layer merupakan penghubung yang mana lingkungan luar memberikan sebuah pola kedalam jaringan saraf. Sekali sebuah pola diberikan kedalam input layer, maka output layer akan memberikan pola yang lainnya (Heaton, 2008). Pada intinya input layer akan merepresentasikan kondisi yang dilatihkan kedalam jaringan. Setiap input akan merepresentasikan beberapa variabel bebas yang memiliki pengaruh terhadap output layer. 2. Lapisan tersembunyi (hidden layer) Hidden layer berjumlah minimal 1 lapis yang terdiri dari neuron-neuron tersembunyi mulai dari neuron tersembunyi pertama sampai neuron tersembunyi ke-p. Menentukan jumlah neuron pada hidden layer merupakan bagian yang sangat penting dalam arsitektur jaringan saraf. Ada beberapa aturan metode berdasarkan pengalaman yang dapat digunakan untuk menentukan jumlah neuron yang akan digunakan pada hidden layer. Menurut Haykin (1999) jumlah hidden neuron 2 sampai dengan 9 sudah dapat menghasilkan

9 15 hasil yang baik dalam jaringan, namun pada dasarnya jumlah hidden neuron yang digunakan dapat berjumlah sampai dengan tak berhingga (~). Sedangkan menurut Heaton (2008), ada beberapa aturan yang dapat digunakan untuk menentukan banyaknya jumlah neuron pada hidden layer yaitu: a. Jumlah hidden neuron harus berada diantara ukuran input layer dan output layer. b. Jumlah hidden neuron harus 2 3 dari ukuran input layer, ditambah ukuran output layer. c. Jumlah hidden neuron harus kurang dari dua kali jumlah input layer. Aturan-aturan tersebut hanya berupa pertimbangan dalam menentukan arsitektur jaringan saraf tiruan. Bagaimanapun, penentuan arsitektur jaringan akan kembali pada trial and error sesuai dengan masalah yang ditangani oleh jaringan. 3. Lapisan keluaran (output layer) Output layer berjumlah satu lapis yang terdiri dari neuron-neuron output mulai dari neuron output pertama sampai neuron output ke-m. Output layer dari jaringan saraf adalah pola yang sebenarnya diberikan oleh lingkungan luarnya (external environment). Pola yang diberikan output layer dapat secara langsung ditelusuri kembali ke input layernya. Jumlah dari neuron output tergantung dari tipe dan performa dari jaringan saraf itu sendiri. X1 Vp1 Vj1 V11 Z1 Wp1 w11 wj1 Y1 Xi V1i Vpi V1i Zj w1j wji wpi Y2 V1n Vn1 Xn Vpn w1p wp1 Zp wpn Y3 b b Gambar 2.5 Arsitektur Backpropagation Gambar 2.5 adalah arsitektur Backpropagation dengan n buah masukan (ditambah dengan bias), sebuah layar tersembunyi Z1 (Vji merupakan bobot garis

10 16 yang menghubungkan bias di neuron input ke neuron layar tersembunyi Zj). Wkj merupakan bobot dari neuron layar tersembunyi Zj ke neuron keluaran Yk ( Wk0 merupakan bobot dari bias di layar tersembunyi ke neuron keluaran Yk). Pelatihan Backpropagation meliputi tiga fase, yaitu : 1. Fase I: Propagasi maju Selama propagasi maju, sinyal masukan dipropagasikan ke hidden layer menggunakan fungsi aktivasi yang telah ditentukan hingga menghasilkan keluaran jaringan. Keluaran jaringan dibandingkan dengan target yang harus dicapai. Selisih antara target dengan keluaran merupakan kesalahan yang terjadi. Jika kesalahan lebih kecil dari batas toleransi, maka iterasi dihentikan. Akan tetapi jika kesalahan lebih besar, maka bobot setiap garis dalam jaringan akan dimodifikasi untuk mengurangi kesalahan yang terjadi. 2. Fase II: Propagasi mundur Kesalahan yang terjadi di propagasi mundur mulai dari garis yang berhubungan langsung dengan neuron-neuron dilayar keluaran. 3. Fase III: Perubahan bobot Pada fase ini, bobot semua garis dimodifikasi secara bersamaan. Ketiga fase tersebut diulang- ulang terus hingga kondisi penghentian dipenuhi. Kondisi penghentian yang sering dipakai adalah jumlah maksimal iterasi (epoch) atau minimal kesalahan (error) Algoritma Pelatihan Backpropagation Berikut adalah algoritma pelatihan Backpropagation dengan arsitektur satu hidden layer (Fausset, 1994): Langkah 0 Inisialisasi bobot (set dengan bilangan acak kecil) Langkah 1 Jika kondisi berhenti masih belum terpenuhi, lakukan langkah 2-9. Langkah 2 Untuk setiap pasang pelatihan, lakukan langkah 3-8 Feedforwad Langkah 3 Setiap neuron input (X i, i = 1,, n) menerima sinyal input X i dan meneruskan sinyal ini kesemua neuron pada lapisan di atasnya (hidden

11 17 neuron). Berikut merupakan ilustrasi bagaimana sinyal dipropagasikan keseluruh input layer. W (xm )n merupakan bobot penghubung pada input layer. Gambar 2.6 Propagasi sinyal ke neuron pertama pada input layer ( Gambar 2.7 Propagasi sinyal ke neuron kedua pada input layer ( Gambar 2.8 Propagasi sinyal ke neuron ketiga pada input layer ( Langkah 4 Setiap hidden neuron (Z j, j = 1,, p) menjumlahkan bobot dari sinyal-sinyal inputnya. Z_in j = V 0j + n i=1 X i V ij (10) Kemudian gunakan fungsi aktivasi untuk menghitung nilai sinyal outputnya.

12 18 Z j = f(z_in j ) (11) Dan kirimkan sinyal ini ke semua neuron yang berada pada lapisan diatasnya (output neuron). Gambar berikut merupakan ilustrasi bagaimana sinyal dipropagasikan keseluruh hidden layer. W mn merupakan bobot penghubung pada hidden layer. Gambar 2.9 Propagasi sinyal ke neuron pertama pada hidden layer ( Gambar 2.10 Propagasi sinyal ke neuron kedua pada hidden layer ( Langkah 5 Setiap output neuron (Y k, k = 1,, m) menjumlahkan bobot dari sinyal-sinyal inputnya. Y_in k = W 0k + p j =1 Z k W jk (12) Dan menerapkan fungsi aktivasinya untuk menghitung nilai sinyal outputnya. Y k = f(y in k ) (13) Gambar 2.11 merupakan ilustrasi yang dapat menjelaskan bagaimana sinyal dipropagasikan ke output layer.

13 19 Gambar 2.11 Propagasi sinyal ke neuron output ( Backpropagation error Langkah 6 Setiap neuron output (Y k, k = 1,, m) menerima sebuah pola target yang sesuai pada input pola pelatihan, kemudian menghitung informasi kesalahannya. δ k = t k y k f (y_in k ) (14) Hitung koreksi bobot (yang nantinya akan dipakai untuk merubah bobot W jk ) W jk = αδ k Z j (15) Hitung koreksi bias (yang nantinya akan digunakan untuk merubah bobot W 0k W 0k = αδ k (16) Dan kirim δ k ke neuron pada lapisan dibawahnya. Berikut ini adalah ilustrasi dari prosesnya. Gambar 2.12 Perbandingan sinyal keluaran dan target ( Langkah 7 Setiap hidden neuron (Z j, j = 1,, p) menjumlahkan delta input (dari neuron yang berada dilapisan bawahnya), δ_in j = m k=1 δ k W jk (17)

14 20 Mengalikan dengan turunan dari fungsi aktivasinya untuk menghitung informasi errornya. δ j = δ_in j f (Z_in j ) (18) Hitung koreksi bobotnya (yang nantinya akan digunakan untuk mengupdate V ij V ij = αδ j X i (19) Dan hitung koreksi biasnya (yang nantinya akan digunakan untuk mengupdate V 0j. V 0j = αδ j (20) Prosesnya dapat dilihat dari ilustrasi gambar 2.13 dan 2.14 berikut ini: Gambar 2.13 Propagasi sinyal error Δ Ke f4(e) ( Gambar 2.14 Propagasi sinyal error Δ Ke f5(e) ( Koefisien bobot Wmn digunakan untuk mempropagasikan error kembali adalah sama dengan bobot sebelumnya selama mengkomputasikan nilai keluaran. Hanya ketika arah alur data berubah

15 21 (sinyal di propagasikan dari keluaran ke masukan). Teknik ini digunakan untuk semua lapisan jaringan. Apabila propagasikan error datang dari beberapa neuron, seperti yang terlihat pada gambar 2.14 sampai 2.16 berikut: Gambar 2.15 Propagasikan Sinyal Error Δ Ke f1(e) ( Gambar 2.16 Propagasikan Sinyal Error Δ Ke f2(e) ( Gambar 2.17 Propagasikan Sinyal Error Δ Ke f3(e) (Fajri, 2011)

16 22 Update weight and bias Langkah 8 Setiap neuron output (Y k, k = 1,, m) mengupdate bias dan bobotbobotnya ( j=0,...,p): W jk baru = W jk lama + W jk (21) Setiap hidden neuron (Z j, j = 1,, p) mengupdate bias dan bobotbobotnya (i= 0,..., n) V ij baru = V ij lama + V ij (22) Gambar 2.17 sampai dengan gambar 2.22 merupakan ilustrasi dari proses pengupdate-an bobot: Gambar 2.18 Modifikasi Bobot Δ1 ( Gambar 2.19 Modifikasi Bobot Δ2 (

17 23 Gambar 2.20 Modifikasi Bobot Δ3 ( Gambar 2.21 Modifikasi Bobot Δ4 ( Gambar 2.22 Modifikasi Bobot Δ5 (

18 24 Gambar 2.23 Modifikasi Bobot Δ6 ( Langkah 9 Tes kondisi berhenti dapat dilakukan ketika error yang dihasilkan oleh jaringan berada pada nilai yang lebih kecil sama dengan ( ) error target yang diharapkan atau ketika telah mencapai iterasi (epoch) maksimal yang telah ditetapkan. Berikut ini adalah contoh perhitungan sederhana dari arsitektur Backpropagation yang dilakukan secara manual: X1 V11 V13 V12 X2 V21 V22 Z1 Z11 V23 X3 V31 V32 V33 Z2 Z21 Y1 X4 V41 V42 V43 Z3 Z22 X5 V51 V53 V52 b b Gambar 2.24 Contoh Arsitektur Backpropagation Arsitektur Backpropagation yang terdiri dari 5 buah neuron ditambah sebuah bias pada input layer dan 3 buah neuron pada hidden layer ditambah sebuah bias dan satu

19 25 buah output layer. Nilai target pada jaringan adalah 1 dan learning rate α = Mula-mula bobot diberi nilai acak pada range [-1, 1]. Misal terdapat bobot seperti tabel 2.1 (bobot dari input layer ke hidden layer = V ij ) dan tabel 2.2 (bobot dari hidden layer ke output layer =W kj ). Tabel 2.1 Bobot dari input layer ke hidden layer Z 1 Z 2 Z 3 X 1 = X 2 = X 3 = X 4 = X 5 = b = Tabel 2.2 Bobot dari hidden layer ke output layer Y Z Z Z b=1 0.1 Normalisasi data input kedalam range [0, 1] dengan menggunakan rumus berikut: (Siang, 2004) Keterangan: x = x = x yang telah dinormalisasi x min max = x sebelum dinormalisasi = nilai minimum dari seluruh data = nilai maksimum dari seluruh data 0.8 x min max min + 0.1

20 Maka didapatkan hasil input normalisasi dengan nilai minimum = 4 dan nilai maksimum = X 1 = = 0.1 X 2 = = 0.24 X 3 = = 0.33 X 4 = = 0.19 X 5 = = 0.9 Hitung nilai output dari masing-masing hidden neuron dengan persamaan (10): Z_in j = V 0j + Z in 1 Z in 2 Z in 3 n i=1 X i V ij = = = 1.48 = = (0.9) = 1.67 = = ( 0.059) = 0.86 Kemudian terapkan fungsi aktivasi untuk masing-masing neuronnya menggunakan persamaan (11), dalam soal ini diterapkan fungsi aktivasi sigmoid biner. Z j = f Z_ in j = 1 1+e (z in j )

21 27 Z 1 = Z 2 = Z 3 = 1 1+e 1.48 = e 1.67 = e 0.86 = 1.42 Hitung nilai output dari neuron Y menggunakan persamaan (12) seperti berikut: Y_in k = W 0k + p j =1 Z k W jk Karena jaringan hanya memiliki sebuah output Y, maka Y net = (0.5) = 0.97 Y = f Y net = 1 = 1 1+e (Y net ) 1+e (0.97) = 1.38 Hitung faktor δ pada neuron output Y k sesuai dengan persamaan (14) δ k = t k y k f (y_in k ) = t k y k y k (1 y k ) = = 0.20 Suku perubahan bobot W kj (dengan α = 0.25) adalah sebagai berikut: W jk = αδ k Z j ; j = 0,1 3 W 10 = = 0.05 W 11 = = 0.01 W 12 = = 0.06 W 13 = = 0.07 Hitung penjumlahan kesalahan di hidden neuron (= δ): δ_net j = m δ_net j = δw 1j k=1 δ k W k karena jaringan hanya memiliki sebuah neuron output maka δ net 1 = = 0.20 δ_net 2 = = 0.01 δ_net 3 = = 0.1

22 28 Faktor kesalahan δ di hidden neuron: δ j = δ_net j f (Z_net j ) = δ_net j Z j (1 Z j ) δ 1 = = 0.06 δ 2 = = δ 3 = = 0.06 Suku perubahan bobot ke hidden neuron V j = αδ i X i dimana j = 1,2,3; i = 0,1, 5. Tabel 2.3 Suku Perubahan Bobot Hidden Neuron Z 1 Z 2 Z 3 X 1 V 11 = = X 2 V 12 = = X 3 V 13 = = X 4 V 14 = = X 5 V 15 = = 0.01 b=1 V 10 = = 0.02 V 21 = = V 22 = = V 23 = = V 24 = = V 25 = = V 20 = = V 31 = = V 32 = = V 33 = = V 34 = = V 35 = = 0.01 V 30 = = 0.02

23 29 Perubahan bobot neuron output: W jk baru = W jk lama + W jk k = 1; j = 0,,3 W 11 baru = = 0.11 W 12 baru = = 0.09 W 13 baru = = 0.57 W 10 baru = = 0.15 Perubahan bobot hidden neuron: V ji baru = V ji lama + V ji k = 1; i = 0,,5 Tabel 2.4 Perubahan Bobot Hidden Neuron Z 1 Z 2 Z 3 X 1 V 11 baru V 21 baru V 31 = 1 + ( ) = ( ) = 0.25 = = = ( 0.25) X 2 V 12 = = 0.40 X 3 V 13 = = 0.17 X 4 V 14 = = 0.29 X 5 V 15 = = 0.2 b=1 V 10 = = 0.18 V 22 = = 0.23 V 23 = = V 24 = = 0.55 V 25 = = V 20 = = 0.8 V 32 = = 0.11 V 33 = = ( 0.18) V 34 = = 0.3 V 35 = = 0.15 V 30 = = 0.98 Ulangi iterasi hingga maksimal epoch atau Error Jaringan Error target.

24 Inisialisasi Bobot Awal dan Bias Bobot merupakan salah satu faktor penting agar jaringan dapat melakukan generalisasi dengan baik terhadap data yang dilatihkan kedalamnya (Fitrisia dan Rakhmatsyah, 2010). Pemilihan inisialisasi bobot awal akan menentukan apakah jaringan mencapai global minimum atau hanya lokal minimum dan seberapa cepat konvergensi jaringannya. Peng-update-an antara dua buah neuron tergantung dari kedua turunan fungsi aktivasi yang digunakan pada neuron yang berada pada lapisan diatasnya dan juga fungsi aktivasi neuron yang berada pada lapisan bawahnya. Nilai untuk inisialisasi bobot awal tidak boleh terlalu besar, atau sinyal untuk setiap hidden atau output neuron kemungkinan besar akan berada pada daerah dimana turunan dari fungsi sigmoid memiliki nilai yang sangat kecil. Dengan kata lain, jika inisialisasi bobot awal terlalu kecil, input jaringan ke hidden atau output neuron akan mendekati nol, yang mana akan menyebabkan pelatihan akan menjadi sangat lambat (Fausset, 1994). Ada beberapa metode inisilisasi bobot yang dapat digunakan, yaitu: Inisialisasi Acak Prosedur umum yang digunakan adalah menginisialisasi bobot dan bias (baik dari input neuron ke hidden neuron maupun dari hidden neuron ke output neuron) dengan nilai acak antara -0.5 dan 0.5 atau antara -1 dan 1 (atau dengan menggunakan interval tertentu γ dan γ. Nilai bobot menggunakan nilai posotif atau negatatif karena nilai bobot akhir setelah pelatihan juga dapat bernilai keduanya Inisialisasi Nguyen-Widrow Inisialisasi Nguyen-Widrow merupakan modifikasi bobot acak yang membuat inisialisasi bobot dan bias ke hidden neuron sehingga menghasilkan iterasi lebih cepat.

25 Bobot-bobot dari hidden neuron ke output neuron (dan bias pada output neuron) diinisialisasikan dengan nilai acak antara -0.5 dan Inisialisasi bobot-bobot dari input neuron ke hidden neuron didesain untuk meningkatkan kemampuan hidden neuron untuk belajar. Inisialisasi bobot dan bias secara acak hanya dipakai dari input neuron ke hidden neuron saja, sedangkan untuk bobot dan bias dari hidden neuron ke output neuron digunakan bobot dan bias diskala khusus agar jatuh pada range tertentu. Faktor skala Nguyen-Widrow didefinisikan sebagai berikut: β = 0.7(p) 1 n (23) Keterangan: n : Banyak input neuron p : Banyak hidden neuron β : Faktor skala Prosedur Inisialisasi Nguyen-Widrow terdiri dari langkah-langkah sederhana sebagai berikut: Untuk setiap hidden neuron ( j = 1,..., p): V ij lama = bilangan acak antara 0.5 dan 0.5 (atau antara γ dan γ) Hitung V ji lama = V 1j (lama) 2 + V 2j (lama) V nj (lama) 2 (24) Bobot yang dipakai sebagai inisialisasi: V ij = β V ij (lama ) V ij (25) Bias yang dipakai sebagai inisialisasi: V 0j = bilangan acak antara β dan β

26 Momentum (α) Pada standard Backpropagation, perubahan bobot didasarkan atas gradient yang terjadi untuk pola yang dimasukkan pada saat itu. Modifikasi yang dapat dilakukan adalah dengan menggunakan momentum yaitu dengan melakukan perubahan bobot yang didasarkan atas arah gradient pola terakhir dan pola sebelumnya yang dimasukkan. Penambahan momentum dimaksudkan untuk menghindari perubahan bobot yang mencolok yang diakibatkan oleh adanya data yang sangat berbeda dengan yang lain. Variabel momentum dapat meningkatkan waktu pelatihan dan stabilitas dari proses pelatihan (Al-Allaf, 2010). Berikut merupakan rumus dari Backpropagation: W = η δ n i (26) Keterangan: η : learning rate. Nilainya 0.25 atau 0.5 n i : nilai dari neuron ke i Perubahan bobot dilakukan dengan cara menambahkan bobot yang lama dengan w. Akan tetapi, bobot pada iterasi sebelumnya memberikan pengaruh besar terhadap performa jaringan saraf. Oleh karena itu, perlu ditambahkan dengan bobot yang lama dikalikan momentum, menjadi : W = η δ n i + α ΔW (27) Keterangan : α : momentum faktor, nilainya antara 0 dan 1. w : bobot pada iterasi sebelumnya. Teknik momentum tidak menutup kemungkinan dari konvergensi pada lokal minimum, akan tetapi penggunaan teknik ini dapat membantu untuk keluar dari lokal minima (Li et al, 2009).

27 Perhitungan Error Perhitungan error bertujuan untuk pengukuran keakurasian jaringan dalam mengenali pola yang diberikan. Ada tiga macam perhitungan error yang sering digunakan, yaitu Mean Square Error (MSE), Mean Absolute Error (MAE) dan Mean Absolute Percentage Error (MAPE). MSE merupakan error rata rata kuadrat dari selisih antara output jaringan dengan output target. Tujuan utama adalah memperoleh nilai errorsekecil-kecilnya dengan secara iterative mengganti nilai bobot yang terhubung pada semua neuron pada jaringan. Untuk mengetahui seberapa banyak bobot yang diganti, setiap iterasi memerlukan perhitungan error yang berasosiasi dengan setiap neuron pada output dan hidden layer. Rumus perhitungan MSE adalah sebagai berikut (Bayata et al, 2011): MSE = 1 N N i=1 (t k y k ) 2 (28) Keterangan: t k = nilai output target y k = nilai output jaringan N = jumlah output dari neuron MAE merupakan perhitungan error hasil absolute dari selisih antara nilai hasil system dengan nilai aktual. Rumus perhitungan MAE adalah sebagai berikut: MAE = 1 N N i =1 t k y k (29) MAPE hampir sama dengan MAE, hanya hasilnya dinyatakan dalam persentase. Rumus perhitungan MAPE adalah sebagai berikut: MAPE = 1 N N i =1 t k y k x 100% (30) Penggantian bobot Penggantian bobot jaringan dilakukan jika error yang dihasilkan oleh jaringan tidak lebih kecil sama dengan ( ) nilai error yang telah ditetapkan. Bobot baru didapat

28 34 dengan menjumlahkan bobot yang lama dengan w. Rumus untuk mengganti bobot adalah sebagai berikut: w = η δ i n i (31) Keterangan: η = learning rate δ i n i = error yang berasosiasi dengan neuron yang dihitung = nilai error dari neuron yang dihitung Berikut adalah rumus penggantian bobot tanpa momentum: w jk t + 1 = w jk t + w jk (32) w jk = α E (w jk ) w jk (33) v ij t + 1 = v ij t + v ij (34) v ij = α E (v ij ) v ij (35) Rumus penggantian bobot menggunakan momentum: w jk t + 1 = w jk t + w jk + η w jk (t 1) (36) w jk = α E (w jk ) w jk (37) v ij t + 1 = v ij t + v ij + η v ij (t 1) (38) v ij = α E (v ij ) v ij (39) Testing Pada proses testing JST hanya akan diterapkan tahap propagasi maju. Setelah training selesai dilakukan, maka bobot-bobot yang terpilih akan digunakan untuk menginisialisasi bobot pada proses testing JST. Adapun tahapannya adalah sebagai berikut: 1. Masukkan nilai input dari data testing. 2. Lakukan perhitungan neuron-neuron pada hidden layer dengan rumus:

29 35 Z inj = V 0j + n i=1 X i. V ij (40) 3. Hitung hasil output dari masing-masing hidden layer dengan menerapkan kembali fungsi aktivasi. Zj = f(z inj ) (41) = 1+e 1 Z_inj (42) Sinyal tersebut kemudian akan diteruskan kesemua neuron pada lapisan berikutnya yaitu output layer. 4. Setiap neuron pada output layer (Yk, k=1,..,5) menjumlahkan sinyal-sinyal output beserta bobotnya: Y ink = W 0k + n i =1 Z j. W jk (43) 5. Menerapkan kembali fungsi aktivasi untuk menghitung sinyal output Yk = f(y_ink) (44) = 1+e 1 Y_ink (45) Metode Resilient Backpropagation Resilient backpropagation (Rprop) dikembangkan oleh Martin Riedmiller dan Heinrich Braun pada tahun Metode ini adalah salah satu modifikasi dari proses standard Backpropagation yang digunakan untuk mempercapat laju pembelajaran pada pelatihan jaringan syaraf tiruan Backpropagation. Rprop dikembangkan untuk menghindari perubahan gradien yang terlalu kecil selama proses update dengan fungsi aktivasi sigmoid, yang menyebabkan pembentukan jaringan menjadi lambat. Dalam proses update weight, Rprop memiliki faktor delta, dimana nilai delta akan mengikuti arah perubahan weight. Jika perubahan weight kecil, nilai delta akan membesar, sebaliknya, ketika perubahan weight aktif, nilai delta akan mengecil.

30 36 Rprop melaksanakan dua tahap pembelajaran yaitu tahap maju (forward) untuk mendapatkan error output dan tahap mundur (backward) untuk mengubah nilai bobot-bobot. Proses pembelajaran pada algoritma RPROP diawalai dengan definisi masalah, yaitu menentukan matriks masukan (P) dan matriks target (T). kemudian dilakukan proses inisialisasi yaitu menentukan bentuk jaringan, MaxEpoch, Target_Error, delta_dec, delta_inc, delta0, deltamax, dan menetapkan nilai-nilai bobot sinaptik vij dan wjk secara acak. Besarnya perubahan setiap bobot ditentukan oleh suatu faktor yang diatur pada parameter yang disebut delt_inc dan delt_dec. Apabila gradien fungsi error berubah tanda dari satu iterasi ke iterasi berikutnya, maka bobot akan berkurang sebesar delt_dec. Sebaliknya apabila gradien error tidak berubah tanda dari satu iterasi ke iterasi berikutnya, maka bobot akan berkurang sebesar delt_inc. Apabila gradien error sama dengan 0 maka perubahan sama dengan perubahan bobot sebelumnya. Pada awal iterasi, besarnya perubahan bobot diinisalisasikan dengan parameter delta0. Besarnya perubahan tidak boleh melebihi batas maksimum yang terdapat pada parameter deltamax, apabila perubahan bobot melebihi batas maksimum perubahan bobot, maka perubahan bobot akan ditentukan sama dengan maksimum perubahan bobot.