BAB 2 LANDASAN TEORI 2.1 Ginjal Ginjal adalah organ tubuh yang berfungsi untuk mengeluarkan urine, yang merupakan sisa hasil metabolisme tubuh dalam bentuk cairan. Ginjal terletak pada dinding bagian luar rongga perut, yang merupakan rongga terbesar dalam tubuh manusia, tepatnya disebelah kanan dan kiri tulang belakang. Bentuk ginjal seperti biji kacang dengan panjang 6 sampai 7,5 cm dengan ketebalan 1,5 2,5 cm. Ginjal berfungsi untuk mengatur keseimbangan air dalam tubuh, mengatur konsentrasi garam dalam darah, mengatur keseimbangan asam basa darah serta mengatur ekskresi bahan buangan dan kelebihan garam. Apabila ginjal gagal dalam menjalankan fungsinya ini, maka akan terjadi gangguan pada keseimbangan air dan metabolisme dalam tubuh sehingga mengakibatkan terjadinya penumpukan zat-zat berbahaya dalam darah yang dapat mengganggu kerja organ lain yang menyebabkan penderita memerlukan pengobatan segera. 2.2 Jaringan Syaraf Biologi Otak manusia memiliki struktur yang sangat kompleks dan memiliki kemampuan yang luar biasa. Otak terdiri dari neuron-neuron dan penghubung yang disebut sinapsis. Neuron bekerja berdasarkan impuls/sinyal yang diberikan pada neuron. Neuron meneruskannya pada neuron lain. Diperkirakan manusia memiliki 10 12 neuron dan 6x10 18 sinapsis. Dengan jumlah yang begitu banyak, otak mampu mengenali pola, melakukan perhitungan, dan mengontrol organ-organ tubuh dengan kecepatan yang lebih tinggi dibandingkan komputer digital (Puspitaningrum, 2006). Jumlah dan kemampuan neuron berkembang seiring dengan pertumbuhan fisik manusia, terutama pada umur 0-2 tahun. Pada 2 tahun pertama umur manusia, terbentuk 1 juta sinapsis per detiknya.
Gambar 2.1 Susunan Neuron Biologis [Puspitaningrum, 2006] Berikut ini adalah perbedaan terminologis antara jaringan syaraf biologis dan tiruan seperti terlihat pada Tabel 2.1. Tabel 2.1 Perbedaan Jaringan Syaraf Biologis dengan Jaringan Syaraf Tiruan Neuron memiliki 3 komponen penting yaitu dendrit, soma dan axon. Dendrit menerima sinyal dari neuron lain. Sinyal/tersebut berupa impuls elektrik yang dikirim melalui celah sinaptik melalui proses kimiawi. Sinyal tersebut dimodifikasi (diperkuat/diperlemah) di celah sinaptik. Berikutnya, soma menjumlahkan semua sinyal-sinyal yang masuk. Kalau jumlahan tersebut cukup kuat dan melebihi batas ambang (threshold), maka sinyal tersebut akan diteruskan ke sel lain melalui axon. Frekuensi penerusan sinyal berbeda-bedaantara satu sel dengan yang lain. Neuron biologi merupakan sistem yang "fault tolerant" dalam 2 hal. Pertama, manusia dapat
mengenali sinyal input yang agak berbeda dari yang pernah kita terima sebelumnya. Sebagai contoh, manusia sering dapat mengenali seseorang yang wajahnya pernah dilihat dari foto, atau dapat mengenali seseorang yang wajahnya agak berbeda karena sudah lama tidak dijumpainya. Kedua, otak manusia tetap mampu bekerja meskipun beberapa neuronnya tidak mampu bekerja dengan baik. Jika sebuah neuron rusak, neuron lain kadang-kadang dapat dilatih untuk menggantikan fungsi sel yang rusak tersebut. 2.3 Jaringan Syaraf Tiruan (Neural Network (NN)) Jaringan Syaraf Tiruan (JST) adalah suatu metode pembelajaran yang diinspirasi dari jaringan sistem pembelajaran biologis yang terjadi dari jaringan sel syaraf (neuron) yang terhubung satu dengan yang lainnya. Berikut adalah beberapa definisi JST : 1. JST adalah suatu teknik pemrosesan informasi berbasis komputer yang mensimulasikan dan memodelkan sistem syaraf biologis. 2. Suatu model matematik yang mengandung sejumlah besar elemen pemroses yang diorganisasikan dalam lapisan-lapisan. 3. Suatu sistem komputasi yang dibuat dari sejumlah elemen pemroses yang sederhana dan saling diinterkoneksikan untuk memproses informasi melalui masukan dari luar dan mampu inresponsi keadaan yang dinamis. 4. JST adalah suatu teknologi komputasi yang berbasis hanya pada model syaraf biologis dan mencoba mensimulasikan tingkah laku dan kerja model syaraf. 5. JST adalah sistem pemroses informasi yang memiliki karakteristik mirip dengan jaringan syaraf biologi. JST dibentuk sebagai generalisasi model matematika dari jaringan syaraf biologi, dengan asumsi bahwa : a. Pemrosesan informasi terjadi pada banyak elemen sederhana (neuron). b. Sinyal dikirirnkan diantara neuron-neuron melalui penghubungpenghubung. c. Penghubung antar neuron memiliki bobot yang akan memperkuat atau memperlemah sinyal.
d. Untuk menentukan output, setiap neuron menggunakan fungsi aktivasi (biasanyabukan fungsi linier) yang dikenakan pada jumlahan input yang diterima. Besarnya output ini selanjutnya dibandingkan dengan suatu batas ambang. 2.3.1 Arsitektur Jaringan Syaraf Ada beberapa arsitektur jaringan syaraf (Silvia, 2007), antara lain: a. Jaringan dengan Lapisan Tunggal (Single Layer Network) Pada jaringan ini, sekumpulan masukan neuron dihubungkan langsung dengan sekumpulan keluarannya. Sinyal mengalir searah dari layar (lapisan) masukan sampai layar (lapisan) keluaran. Setiap simpul dihubungkan dengan simpul lainnya yang berada diatasnya dan dibawahnya, tetapi tidak dengan simpul yang berada pada lapisan yang sama. Model yang masuk kategori ini antara lain : ADALINE, Hopfield, Perceptron, LVQ, dan lain-lain. Pada gambar berikut diperlihatkan arsitektur jaringan layar tunggal dengan n buah masukan (x1, x2,..., xn) dan m buah keluaran (y1, y2,..., ym) Gambar 2.2 Jaringan Syaraf Tiruan dengan Lapisan Tunggal [Puspitorini, 2008] b. Jaringan dengan Banyak Lapisan (Multiple Layer Network) Jaringan dengan banyak lapisan memiliki 1 atau lebih lapisan yang terletak diantara lapisan input dan lapisan output. Seperti terlihat gambar dibawah ada lapisan lapisan yang terletak diantara 2 lapisan yang bersebelahan. Jaringan
dengan banyak lapisan ini dapat menyelesaikan permasalahan lebih sulit dari pada jaringan lapisan tunggal, tentu saja dengan pembelajaran yang lebih rumit. Namun demikian, pada banyak kasus, pembelajaran pada jaringan dengan banyak lapisan ini lebih sukses dalam menyelesaikan masalah. Model yang termasuk kategori ini antara lain : MADALINE, Backpropagation. Pada Gambar 2.3 diperlihatkan jaringan dengan n buah unit masukan (x1, x2,..., xn), sebuah layar tersembunyi yang terdiri dari m buah unit (z1,z2,...,zm) dan 1 buah unit keluaran. Gambar 2.3 Jaringan Syaraf Tiruan dengan Banyak Lapisan [Puspitorini, 2008] c. Jaringan Reccurent Model jaringan reccurent (reccurent network) mirip dengan jaringan layar tunggal ataupun jamak. Hanya saja, ada simpul keluaran yanng memberikan sinyal pada unit masukan (sering disebut feedback loop). Dengan kata lain sinyal mengalir dua arah, yaitu maju dan mundur. Contoh : Hopfield network, Jordan network, Elmal network. 2.3.2 Keuntungan Menggunakan Komputasi dengan JST Kemampuan dan proses komputasi pada JST memberikan keuntungan-keuntungan sebagai berikut : 1. JST bersifat adaptif terhadap perubahan parameter yang mempengaruhi karakteristik sistem, sehingga pada proses belajar, JST mampu belajar secara
adaptif dan melaksanakan tugas berbasis pada data yang diberikan saat pelatihan. 2. JST memiliki kekebalan atau toleran terhadap kesalahan. Artinya, JST tetap berfungsi walaupun ada ketidak-lengkapan data yang dimasukkan. JST mempunyai kemampuan mengisi bagian masukan yangkurang lengkap sedemikian rupa sehingga tetap diperoleh keluaran yang lengkap. 3. JST dapat dilatih memberikan keputusan dengan memberikan set pelatihan sebelumnya untuk mencapai target tertentu, sehingga JST mampu membangun dan memberikan jawaban sesuai dengan informasi yang diterima pada proses pelatihan. 4. JST mempunyai struktur paralel dan terdistribusi. Artinya, komputasi dapat dilakukan oleh lebih dari satu elemen pemroses yang bekerja secara simultan. 5. JST mampu mengklasiflkasi pola masukan dan pola keluaran. Melalui proses penyesuaian, pola keluaran dihubungkan dengan masukan yang diberikan oleh JST. 6. JST mengurangi derau, sehingga dihasilkan keluaran yang lebih bersih. 7. JST dapat dimanfaatkan pada proses optimisasi penyelesaian suatu masalah. 8. JST dapat digunakan pada proses pengendalian sistem agar masukan memperoleh tanggapan yang diinginkan. 2.4 Algoritma Umum Jaringan Syaraf Tiruan Algoritma pembelajaran/pelatihan jaringan syaraf tiruan adalah sebagai berikut: Dimasukkan n contoh pelatihan ke dalam jaringan saraf tiruan. Lakukan : 1. Inisialisasi bobot-bobot jaringan. Set i = 1. 2. Masukkan contoh ke-i (dari sekumpulan contoh pembelajaran yang terdapat dalam set pelatihan) ke dalam jaringan pada lapisan input. 3. Cari tingkat aktivasi unit-unit output menggunakan algoritma aplikasi. If kinerja jaringan memenuhi standar yang ditentukan sebelumnya (memenuhi syarat berhenti)
then exit. 4. Update bobot-bobot dengan menggunakan aturan pembelajaran jaringan. If i=n, then reset i = 1. Else i = i - 1. Ke langkah 2. Algoritma aplikasi/inferensi jaringan saraf tiruan : Dimasukkan sebuah contoh pelatihan ke dalam jaringan saraf tiruan. Lakukan: 1. Masukkan kasus ke dalam jaringan pada lapisan input. 2. Hitung tingkat aktivasi node-node jaringan. 3. Untuk jaringan koneksi umpan maju, jika tingkat aktivasi dari semua unit output-nya telah dikalkulasi, maka exit. Untuk jaringan koneksi balik, jika tingkat aktivasi dari semua unit output menjadi konstan atau mendekati konstan, maka exit. J jika tidak, kembali ke langkah 2. Jika jaringannya tidak stabil, maka exit dan fail. Fungsi aktivasi Ada beberapa fungsi aktivasi yang sering digunakan dalam jaringan saraf tiruan, antara lain (Puspitorini, 2008): a. Fungsi Undak Biner Hard Limit Jaringan dengan lapisan tunggal sering menggunakan fungsi undak (step function) untuk mengkonversikan input dari suatu variabel yang bernilai kontinu ke suatu output biner (0 atau 1). Fungsi undak biner hard limit dirumuskan sebagai berikut: 0 jika x < 0 y = 1 jika x 0 Gambar 2.4 Fungsi aktivasi: Undak Biner Hard Limit [Puspitorini, 2008]
b. Fungsi Undak Biner Threshold Fungsi undak biner dengan menggunakan nilai ambang sering juga disebut dengan nama fungsi nilai ambang (threshold) atau fungsi Heaviside. Fungsi undak biner (dengan nilai ambang θ) dirumuskan sebagai berikut: 0 jika x < 0 y = 1 jika x 0 Sumber: Puspitorini, 2008 Gambar 2.5 Fungsi aktivasi: Undak Biner Threshold [Puspitorini, 2008] 2.5 Sejarah Jaringan Syaraf Tiruan Jaringan syaraf tiruan sederhana pertama kali diperkenalkan oleh McCulloch dan Pitts di tahun 1943. McCulloch dan Pitts menyimpulkan bahwa kombinasi beberapa neuron sederhana menjadi sebuah sistem neural akan meningkatkan kemampuan komputasinya. Bobot dalam jaringan yang diusulkan oleh McCulloch dan Pitts diatur untuk melakukan fungsi logika sederhana. Fungsi aktivasi yang dipakai adalah fungsi threshold. Tahun 1958, Rosenblatt memperkenalkan dan mulai mengembangkan model jaringan yang disebut Perceptron. Metode pelatihan diperkenalkan untuk mengoptimalkan hasil iterasinya. Widrow dan Hoff (1960) mengembangkan perceptron dengan memperkenalkan aturan pelatihan jaringan, yang dikenal sebagai aturan delta (atau sering disebut kuadrat rata-rata terkecil). Aturan ini akan mengubah bobot perceptron apabila keluaran yang dihasilkan tidak sesuai dengan target yang diinginkan. Apa yang dilakukan peneliti terdahulu hanya menggunakan jaringan dengan layer tunggal (single layer). Rumelhart (1986) mengembangkan perceptron menjadi Backpropagation, yang memungkinkan jaringan diproses melalui beberapa layer. Selain itu, beberapa model jaringan syaraf tiruan lain juga dikembangkan oleh Kohonen (1972), Hopfield (1982) dan lainnya. Pengembangan yang ramai dibicarakan
sejak tahun 1990an adalah aplikasi model-model jaringan syaraf tiruan untuk menyelesaikan berbagai masalah di dunia nyata. Jaringan Syaraf Tiruan ditentukan oleh tiga hal : 1. Pola hubungan antar neuron (disebut arsitektur jaringan) 2. Metode untuk menentukan bobot penghubung (disebut metode learning/training). 3. Fungsi aktivasi 2.6 Paradigma Pembelajaran Berdasarkan cara memodifikasi bobotnya, ada 2 macam pelatihan yang dikenal yaitu dengan supervisi (supervised) dan tanpa supervisi (unsupervised). Dalam pelatihan dengan supervisi, terdapat sejumlah pasangan data (masukan-target keluaran) yang dipakai untuk melatih jaringan hingga diperoleh bobot yang diinginkan. Pasangan data tersebut berfungsi sebagai "guru" untuk melatih jaringan hingga diperoleh bentuk yang terbaik. "Guru" akan memberikan informasi yang jelas tentang bagaimana sistem harus mengubah dirinya untuk meningkatkan unjuk kerjanya. Pada setiap kali pelatihan, suatu input diberikan ke jaringan. Jaringan akan memproses dan mengeluarkan keluaran. Selisih antara keluaran jaringan dengan target (keluaran yang diinginkan) merupakan kesalahan yang terjadi. Jaringan akan memodifikasi bobot sesuai dengan kesalahan tersebut. Jaringan perceptron, ADALINE dan Backpropagation merupakan model-model yang menggunakan pelatihan dengan supervisi. Sebaliknya, dalam pelatihan tanpa supervisi (unsupervised learning) tidak ada "guru" yang akan mengarahkan proses pelatihan. Dalam pelatihannya, perubahan bobot jaringan dilakukan berdasarkan parameter tertentu dan jaringan dimodifikasi menurut ukuran parameter tersebut. Sebagai contoh, dalam model jaringan kompetitif, jaringan terdiri dari 2 layar, yaitu layar input dan layar kompetisi. Layar input menerima data eksternal. Layar kompetitif berisi neuron-neuron yang saling berkompetisi agar memperoleh kesempatan untuk merespon sifat-sifat yangada dalam data masukan. Neuron yang memenangkan kompetisi akan memperoleh sinyal yang berikutnya ia teruskan. Bobot
neuron pemenang akan dimodifikasi sehingga lebih menyerupai data masukan. Sebagai ilustrasi, pelatihan dengan supervisi dapat diandaikan sebagai skripsi yang dibimbing oleh seorang dosen. Pada setiap kali pengumpulan berkas skripsi, dosen akan mengkritik, mengarahkan dan meminta perbaikan agar kualitas skripsi meningkat. Sebaliknya, Dalam pelatihan tanpa supervisi dapat dibayangkan sebagai skripsi tanpa dosen pembimbing. Mahasiswa mengerjakan skripsi sebaik-baiknya berdasarkan ukuran tertentu (misal dibandingkan dengan skripsi yang sudah ada sebelumnya atau dibandingkan dengan hasil skripsi temannya). Berdasarkan hasil yang pernah dilaporkan, model pelatihan dengan supervisi lebih banyak digunakan dan terbukti cocok dipakai dalam berbagai aplikasi. Akan tetapi kelemahan utama pelatihan dengan supervisi adalah dalam hal pertumbuhan waktu komputasinya yang berorde eksponensial. Ini berarti untuk data pelatihan yang cukup banyak, prosesnya menjadi sangat lambat. 2.6.1 Pelatihan Dengan Supervisi Jaringan memberikan tanggapan dengan mendapatkan target tertentu. Sebelum jaringan mengubah sendiri bobotnya untuk mencapai target, bobot interkoneksi diinisialisasi. Proses belajar JST dengan pengawasan adalah proses belajar dengan memberikan latihan untuk mencapai suatu target keluaran yang ditentukan. JST mendapatkan latihan untuk mengenal pola-pola tertentu. Dengan memberikan target keluaran, perubahan masukan akan diadaptasi oleh keluaran dengan mengubah bobot interkoneksinya mengikuti algoritma belajar yang ditentukan. Set pelatihan dipilih dari fungsi keluaran maksimum setiap keadaan parameter yang diubah. Dengan menginisialisasi bobot tiap sel, JST akan mencari error terkecil, sehingga bentuk fungsi keluaran mendekati target yang diinginkan. Berdasarkan proses belajar yang dilakukan, kita perlu memperhatikan beberapa hal dalam menyusun set pelatihan, yaitu: a. Pemberian urutan pola yang akan diajarkan b. Kriteria perhitungan error c. Kriteria proses belajar
d. Jumlah iterasi yang harus dilalui e. Inisialisasi bobot dan parameter awal Pelatihan dilakukan dengan memberikan pasangan pola-pola masukan dan keluaran. Untuk keperluan pengendalian, pasangan pola tidak mengikuti rumusan tertentu. JST harus dapat mengadaptasi masukan yang acak supaya keluaran tetap mengikuti target. Lebih lanjut, proses pelatihan dilakukan dengan memberikan pola yang menggunakan masukan acak dan bobot interkoneksi yang besar. Dengan pemberian bobot yang besar, perbedaan target dan keluaran berkurang lebih cepat, sehingga proses adaptasi akan lebih cepat pula. Salah satu proses belajar dengan pengawasan adalah proses belajar menggunakan algoritma propagasi balik. Proses belajar jaringan umpan balik dituliskan dalam bentuk algoritma propagasi balik yang dikenal sebagai JPB. Jaringan Propagasi Balik (JPB) kadang-kadang dikenal sebagai Multilayer Perceptron (MLP). Anda dapat menggunakan algoritma propagasi balik untuk melatih jaringan lapis banyak. 2.6.2 Pelatihan Tanpa Supervisi Pada pelatihan tanpa supervisi, jaringan tidak mendapatkan target, sehingga JST mengatur bobot interkoneksi sendiri. Belajar tanpa pengawasan kadang-kadang diacu sebagai Self-Organizing Learning, yakni belajar mengklasifikasikan tanpa dilatih. Pada proses belajar tanpa pengawasan, JST akan mengklasifikasikan contoh pola-pola masukan yang tersedia ke dalam kelompok yang berbeda-beda. Contoh JST dengan belajar tanpa pengawasan adalah jaringan Kohonen. 2.7 Algoritma Backpropagation Algoritma pelatihan Backpropagation Neural Network (BPNN) pertama kali dirumuskan oleh Werbos dan dipopulerkan oleh Rumelhart & Mc. Clelland. Pada supervised learning terdapat pasangan data input dan output yang dipakai untuk melatih JST hingga diperoleh bobot penimbang (weight) yang diinginkan.
Pelatihan Backpropagation meliputi 3 fase: a. fase propagsi maju (feedforward) pola pelatihan masukan. Pola masukan dihitung maju mulai dari layer masukan hingga layer keluaran dengan fungsi aktivasi yang ditentukan; b. fase propasi mundur (Backpropagation) dari error yang terkait. Selisih antara keluaran dan target merupakan kesalahan yang terjadi. Kesalahan tersebut dipropagasi mundur, dimulai dari garis yang berhubungan langsung dengan unit-unit dilayar keluaran; c. fase modifikasi bobot. Ketiga tahapan tersebut diulangi terus-menerus sampai mendapatkan nilai error yang diinginkan. Setelah training selesai dilakukan, hanya tahap pertama yang diperlukan untuk memanfaatkan jaringan syaraf tiruan tersebut. Kemudian, dilakukan pengujian terhadap jaringan yang telah dilatih. Pembelajaran algoritma jaringan syaraf membutuhkan perambatan maju dan diikuti dengan perambatan mundur. 2.7.1 Fase Propagasi Maju Selama propagasi maju, sinyal masukan (x 1 ) dipropagasikan ke layer tersembunyi menggunakan fungsi aktivasi yang ditentukan. Keluaran dari unit tersembuyi (Z 1 ) tersebut selanjutnya dipropagasi maju lagi ke layer tersembunyi berikutnya dengan fungsi aktivasi yang telah ditentukan. Dan seterusnya hingga menghasilkan keluaran jaringan (y k ). Berikutnya, keluaran jaringan (yk) dibandingkan dengan target yang harus dicapai (t k ). Selisih (t k -y k )adalah kesalahan yang terjadi. Jika kesalahan ini lebih kecil dari batas toleransi yang ditentukan, maka iterasi dihentikan. Jika kesalahan masih lebih besar dari batas toleransi, maka bobot setiap garis dari jaringan akan dimodifikasi untuk mengurangi kesalahan.
2.7.2 Fase Propagasi Mundur Berdasarkan kesalahan t y dihitung faktor δ (k= 1,..., m) yang dipakai untuk k k k mendistribusikan kesalahan di unit Y ke semua unit tersembunyi yang terhubung k langsung dengan Y. δ juga dipakai untuk mengubah bobot garis yang berhubungan k k langsung dengan unit keluaran. Dengan cara yang sama, dihitung faktor δ j di setiap layer tersembunyi sebagai dasar perubahan bobot semua garis yang berasal dari unit tersembunyi di layer di bawahnya. Dan seterusnya hingga semua faktor δ di unit tersembunyi yang terhubung langsung dengan unit masukan dihitung. 2.7.3 Fase Modifikasi Bobot Setelah semua faktor δ dihitung, bobot semua garis dimodifikasi bersamaan. Perubahan bobot suatu garis didasarkan atas faktor δ neuron di layer atasnya. Sebagai contoh, perubahan bobot garis yang menuju ke layer keluaran didasarkan atas yang ada di unit keluaran Ketiga fase tersebut diulang-ulang hingga kondisi penghentian dipenuhi. Umumnya kondisi penghentian yang sering dipakai adalah jumlah interasi atau kesalahan. Iterasi akan dihentikan jika jumlah iterasi yang dilakukan sudah melebihi jumlah maksimum iterasi yang ditetapkan, atau jika kesalahan yang terjadi sudah lebih kecil dari batas toleransi yang ditetapkan. 2.7.4 Prosedur Pelatihan Langkah 0 : Inisialisasi bobot keterhubungan antara neuron dengan menggunakan bilangan acak kecil (-0.5 sampai +0.5). Langkah 1 : Kerjakan langkah 2 sampai langkah 9 selama kondisi berhenti yang ditentukan tidak dipenuhi. Langkah 2 : Kerjakan langkah 3 sampai langkah 8 untuk setiap pasangan pelatihan.
Propagasi maju Langkah 3 : Setiap unit masukan (x i, i = 1,., n) menerima sinyal masukan x i, dan menyebarkannya ke seluruh unit pada lapisan tersembunyi Langkah 4 : Setiap unit tersembunyi (xi, I = 1,.,p) jumlahkan bobot sinyal masukannya : z _ in j = vo j + n i= 1 x v i ij...(2.1) Langkah 5 v oj = bias pada unit tersembunyi j aplikasikan fungsi aktivasinya untuk menghilangkan sinyal keluarannya, z j = f (z_in j ), dan kirimkan sinyal ini keseluruh unit pada lapisan diatasnya (unit keluaran) : tiap unit keluaran (yk, k = 1,.m) jumlahkan bobot sinyal masukannya : y _ in k = wo k + p j= 1 z j w jk...(2.2) w ok = bias pada unit keluaran k dan aplikasikan fungsi aktivasinya untuk menghitung sinyal keluarannya, y k = f(y_in k ) Propagasi balik Langkah 6 : tiap unit keluaran (yk, k = 1,..,m) menerima pola target yang saling berhubungan pada masukan pola pelatihan, hitung kesalahan informasinya, δ k = ( tk yk ) f '( y _ ink )...(2.3) hitung koreksi bobotnya (digunakan untuk mempengaruhi w jk nantinya), w jk = αδ z k j...(2.4) hitung koreksi biasnya (digunakan untuk mempengaruhi w ok nantinya) wo k = αδ...(2.5) k
dan kirimkan δ k ke unit-unit pada lapisan dibawahnya, Langkah 7 : Setiap unit lapisan tersembunyi (zj, j = 1,..p) jumlah hasil perubahan masukannya (dari unit-unit lapisan diatasnya), δ _ in j = m k = 1 δ w k jk...(2.6) kalikan dengan turunan fungsi aktivasinya untuk menghitung informasi kesalahannya, hitung koreksi bobotnya (digunakan untuk memperbaharui v oj nanti) hitung koreksi bias δ = δ _ in j v ij = αδ x j j f '( z _ in i j )...(2.7) vo j = αδ...(2.8) j Langkah 8 : Update bobot dan bias pada hubungan antar lapisan w jk ( baru) = w jk ( lama) + w jk...(2.9) vij ( baru) = vij ( lama) + vij...(2.10) Langkah 9 : Tes kondisi terhenti Backpropagation secara garis besar terdiri dari dua fase, fase maju dan fase mundur. Selama fase maju algoritma ini memetakan nilai masukan untuk mendapatkan keluaran yang diharapkan. untuk menghasilkan keluaran pola maka didapatkan dari rekapitulasi bobot masukan dan dipetakan untuk fungsi aktivasi jaringan. keluaran dapat dihitung sebagai berikut : oj = dimana, 1... 1+e a netj (2.11)
a net. j = ( i 1 wij Oi) + θj.(2.12) dimana, o j w a θ j ij net,j : input dari j unit : bobot yang dihubungkan dari unit I ke unit j : jaringan keluaran untuk j unit : bias untuk j unit Di dalam fase mundur, pola keluaran (aktual output) kemudian dibandingkan dengan keluaran yang dikehendaki dan sinyal error dihitung untuk masing masing output. sinyal-sinyal kemudian merambat mundur dari lapisan output ke masing-masing unit dalam lapisan lapisan transisi memberikan kontribusi langsung ke output, dan bobot disesuaikan iterasi selama proses pembelajaran, kemudian error diperkecil selama descent direction. fungsi error pada output neuron digambarkan sebagai berikut : E = 1 n ( 2 k=1 t k o k ) 2 (2.13) dimana, n : angka pada modul keluaran didalam lapisan output t k o k : keluaran yang dikendaki dari keluaran unit k : keluaran jaringan dari keluaran unit k Keuntungan dari metode yaitu : 1. Back-Propagation sangat luas digunakan dalam paradigma jaringan saraf, dan berhasil diaplikasikan dalam berbagai bidang. Misalnya : pengenalan pola militer, diagnosa kedokteran, klasifikasi gambar, menerjemahkan kode, dan dalam deteksi jenis penyakit Ginjal. 2. Back-Propagation dapat digunakan untuk dua atau lebih lapisan dengan bobot dan menggunakan aturan pengalaman belajar. 3. Pembelajaran dan penyesuaian prosedur didasari konsep yang relatif sederhana.
4. Dapat memisahkan pola yang terpisah secara linear maupun pola yang terpisah tidak linear. Terpisah linear adalah Dipisahkan 1 garis linear 2 pola tersebut. Adapun kelemahannya yaitu : Waktunya Konvergen, karena pelatihan memerlukan ratusan atau ribuan contoh dalam kumpulan pelatihan, dan mungkin membutuhkan waktu komputasi sepanjang hari (atau lebih) untuk menyelesaikan pelatihan. 2.8 Inisialisasi Pembobotan Nguyen Widrow Berdasarkan penelitian yang dilakukan nilai bobot awal random (berada dalam interval -1 sampai dengan 1) jika digunakan metode Nguyen Widrow sebagai pembobotan awal maka jumlah bobotnya akan disesuaikan. Sehingga bobot awal dapat bertambah maupun berkurang dari nilai awal. Dengan pembobotan awal menggunakan Metode Nguyen Widrow maka jumlah node pada hidden layer akan menentukan besar bias yang akan digunakan dari input layer menuju hidden layer. Bobot dan Bias yang didapat dengan metode Nguyen Widrow sangat dipengaruhi oleh beberapa hal antara lain. Bobot dan Bias yang didapat dengan metode Nguyen Widrow sangat dipengaruhi oleh beberapa hal antara lain: 1. Jumlah node pada Input layer Jumlah node pada input layer juga memberikan pengaruh pada nilai bobot dan bias yang dihasilkan dengan metode Nguyen Widrow. Jumlah node pada input layer adalah tergantung jumlah dari input dari data yang diteliti. 2. Jumlah node pada hidden layer Jumlah node pada hidden layer sangat berpengaruh dalam menentukan nilai bobot dan bias. Untuk mendapatkan jumlah node yang tepat dilakukan secara trial error dengan interval jumlah node hidden layer adalah antara 1 sampai dengan 18 node. Jika jumlah node pada hidden layer semakin besar maka faktor skala juga akan makin besar. Jika faktor skala besar maka nilai bobot juga akan bertambah dan interval bias dari input layer menuju hidden layer akan semakin besar juga.
Penambahan bias pada pembelajaran dengan metode back propagation akan meningkatkan jumlah keluaran (sinyal keluaran) dari sebuah lapisan. 3. Nilai awal yang digunakan Nilai awal yang digunakan dalam metode Nguyen Widrow dapat bertambah atau berkurang. Nilai awal yang dimaksut adalah nilai yang berada pada interval -0,5-0,5. Hal ini disebabkan karena metode Nguyen Widrow akan menyesuaikan untuk pengenalan pola. Untuk mendapatkan bias dari input layer menuju hidden layer yang akan digunakan maka terlebih dahulu dicari faktor skala. Untuk Jumlah Hidden layer = 1 maka faktor skalanya adalah: β = faktor skala = (0.7(p) β = 0.7 (p) = 0.7 (1) 1/n 1/8 1/n = 0,7 Jumlah Hidden layer = 2 maka faktor skalanya adalah: β = faktor skala = (0.7(p) 1/n ) β = 0.7 (p) 1/n = 0.7 (2) 1/z = 0,7634 ) Sebagai contoh jaringan dengan sebuah 3 unit layer tersembunyi dibangun untuk mengenali fungsi logika XOR dengan 2 masukan X 1 dan X 2. Iterasi untuk menghitung bobot jaringan untuk pola pertama (X 1 =1, X 2 =1 dan t=0) dan learning rate α = 0.2.
1 V 10 1 V 30 V 20 Z1 W 10 V 11 X 1 W 11 V31 V 21 V 12 X 2 V Z 2 Y 22 W 1 12 V 32 W 12 Z 3 Gambar 2.6 Jaringan dengan 3 unit hidden layer Bobot-bobot diberikan nilai acak dengan range -1 sampai dengan 1. Misal bobot dari layer input (X i ) ke layer tersembunyi (Z i ) seperti pada Tabel 3.2 dan bobotbobot dari layer tersembunyi ke layer output seperti pada Tabel 3.3. Langkah 0 Untuk algoritma Backpropagasi Inisialisasi Standard: semua bobot dengan bilangan acak kecil. Tabel 3.2 Bobot dari layer input (X i ) ke layer tersembunyi (Z i ) Z1 Z Z 2 3 X1 0.2 0.3-0.1 X2 0.3 0.1-0.1
1-0.3 0.3 0.3 Tabel 3.3 Bobot-bobot dari layer tersembunyi ke layer output Y Z1 0.5 Z2-0.3 Z3-0.4 1-0.1 Untuk algoritma Backpropagasi Inisialisasi Nguyen Widrow: hitung semua bobot dengan faktor skala Hitung faktor skala (ß) = 0.7(p) 1/n β = 0,7 3 = 1,21 Jadi bias yang dipakai adalah faktor skala yang merupakan bilangan acak antara -1,21 hingga 1,21 V 1 = V 2 11 + V 2 21 = 0.2 2 + 0.3 2 = 0.36 V 2 = V 2 12 + V 2 22 = 0.3 2 + 0.1 2 = 0.32 V 3 = V 2 13 + V 2 23 = 0.1 2 + ( 0.1) 2 = 0.14 Persamaan berikut merupakan bobot yang dipakai sebagai insialisasi dengan rumus: V j = ßvij(lama) Vj
V 11 = 1.21 0.2 = 0.67 0.36 V 12 = 1.21 0.3 0.32 V 13 = 1.21 0.1 0.14 V 21 = 1.21 0.3 0.36 V 22 = 1.21 0.1 0.32 = 1.13 = 0.86 = 1 V 23 = 1.21 ( 0.1) 0.14 = 0.38 = 0.86 Tabel 3.4 Bobot dari layer input (X i ) ke layer tersembunyi (Z i ) Z1 Z Z 2 3 X (1,21*0,2)/0,36 1 = 0,67 X (1,21*0,3)/0,36 2 = 1 (1,21*0,3)/0,32 = 1,13 (1,21*0,1)/0,32 = 0,38 (1,21*-0,1)/0.14 = 0.86 (1,21*-0,1)/0.14 = 0.86 Untuk perhitungan bobot-bobot dari layer tersembunyi ke layer output sama dengan standard yaitu secara acak bilangan yang kecil Langkah 1 Jika kondisi penghentian belum terpenuhi, lakukan langkah 2 sampai dengan 8 Langkah 2 Untuk setiap pasang data pelatihan, lakukan langkah 3 sampai dengan 8 Fase I: Propagasi Maju
Langkah 3 Tiap unit masukkan menerima sinyal dan meneruskan ke unit tersembunyi Langkah 4 Hitung semua keluaran di unit tersembunyi (Z j ): Untuk pola pertama (X1=1, X 2 =1 dan t=0). n z net j = v j0 + x i v ji i=1 z net 1 = v 10 + x i v ji 2 i=1 2 z net 2 = v 10 + x i v ji i=1 2 z net 3 = v 10 + x i v ji i=1 = 0,1 = v 10 + x 1 v 11 + x 2 v 12 = 0,3 + 1 0,2 + 1 0,3 = 0,2 = v 10 + x 1 v 21 + x 2 v 22 = 0,3 + 1 0,3 + 1 0,1 = 0,7 = v 10 + x 1 v 31 + x 2 v 32 = 0,3 + 1 ( 0,1) + 1 ( 0,1) z j = f z net j = 1 1 + e z_net j z 1 = f z net 1 = 1 1 + e z_net = 1 = 0,55 1 1 + e 0,2 z 2 = f z net 2 = 1 1 + e z_net = 1 = 0,67 2 1 + e 0,7 z 3 = f z net 3 = 1 1 + e z_net = 1 = 0,52 3 1 + e 0,1
Langkah 5 Hitung semua jaringan di unit keluaran (y k) y_net k = w k0 + z j w kj p j=1 p y net 1 = w 10 + z j w kj j=1 = w 10 + z 1 w 11 + z 2 w 12 + z 3 w 13 = 0,1 + 0,55.0,5 + 0,67. ( 0,3) + 0,52. ( 0,4) = 0,24 1 y k = f(y_net k ) = 1 + e y_net = 1 = 0,44 k 1 + e 0,24 Fase II : Propagasi Maju Langkah 6 δ k =(t k -y k ) f (y_net k )= (t k -y k ) y k (1-y k ) δ1=(t 1 -y 1 ) f (y_net 1 )= (t 1 -y 1 ) y 1 (1-y 1 )=(0-0,44)*0,44*(1-0,44) = -0,11 Δwkj= α δ k z j Δw 10 = α δ 1 (1)=0,2. (-0,11). (1) = -0,022 Δw11= α δ 1 (z 1 )=0,2. (-0,11). (0,55) = -0,01 Δw12= α δ 1 (z 2 )=0,2. (-0,11). (0,67) = -0,01 Δw13= α δ 1 (z 3 )=0,2. (-0,11). (0,52) = -0,01
Langkah 7 Hitung factor δ unit tersembunyi berdasarkan kesalahan di setiap unit tersembunyi z j (j=1,2,3,,p) m δ_net j = δ k w kj k=1 δ_net 1 = δ 1. w 11 = ( 0,11). 0,5 = 0,055 δ_net 2 = δ 1. w 12 = ( 0,11). ( 0,3) = 0,033 δ_net 3 = δ 1. w 13 = ( 0,11). ( 0,4) = 0,044 Faktor kesalahan δ unit tersembunyi δ j = δ_net j f (z_net j ) = δ_net z j (1-z j ) δ1 = δ_net 1 z 1 (1-z 1 ) = (-0.055).0,55.(1-(0,55)) = -0,01 δ2 = δ_net 2 z 2 (1-z 2 ) = (0.033).0,67.(1-(0,67)) = 0,01 δ3 = δ_net 3 z 3 (1-z 3 ) = (0.044).0,52.(1-(0,52)) = 0,01 Δv ji = α δ j x i Δv10 = α δ1 = 0,2*(-0,01)*1 = -0,002 Δv20 = α δ2 = 0,2*(0,01)*1 = 0,002 Δv30 = α δ3 = 0,2*(0,01)*1 = 0,002 Δv11 = α δ1x1 = 0,2*(-0,01)*1 = -0,002
Δv21 = α δ2x1 = 0,2*(0,01)*1 = 0,002 Δv31 = α δ3x1 = 0,2*(0,01)*1 = 0,002 Δv12 = α δ1x2 = 0,2*(-0,01)*1 = -0,002 Δv22 = α δ2x2 = 0,2*(0,01)*1 = 0,002 Δv32 = α δ3x2 = 0,2*(0,01)*1 = 0,002 Fase III : Perubahan Bobot Langkah 8 Perubahan bobot garis yang menuju unit keluaran wkj (baru) = wkj (lama) + Δwkj w10 (baru) = w10 (lama) + Δw10 = -0,1-0,022 = -0,122 w11 (baru) = w11 (lama) + Δw11 = 0,5-0,01 = 0,49 w12 (baru) = w12 (lama) + Δw12 = -0,3-0,01 = 0,31 w13 (baru) = w13 (lama) + Δw13 = -0,4-0,01 = 0,41 Vji (baru) = vji (lama) + Δvji V10 (baru) = v10 (lama) + Δv10 = -0,3-0,002 = -0,302 V20 (baru) = v20 (lama) + Δv20 = 0,3+0,002 = 0,302 V30 (baru) = v30 (lama) + Δv30 = 0,3+0,002 = 0,302 V11 (baru) = v11 (lama) + Δv11 = 0,2-0,002 = 0,198 V21 (baru) = v21 (lama) + Δv21 = 0,3+0,002 = 0,302
V31 (baru) = v31 (lama) + Δv31 = -0,1+0,002 = -0,098 V12 (baru) = v12 (lama) + Δv12 = 0,3-0,002 = 0,298 V22 (baru) = v22 (lama) + Δv22 =0,1+0,002 = 0,102 V32 (baru) = v32 (lama) + Δv32 =-0,1+0,002 = -0,098 Untuk pola yang kedua, X 1 =1, X 2 =0 dan t=1 Fase I: Propagasi Maju Langkah 3 Tiap unit masukkan menerima sinyal dan meneruskan ke unit tersembunyi Langkah 4 Hitung semua keluaran di unit tersembunyi (Z j ): n z net j = v j0 + x i v ji i=1 z net 1 = v 10 + x i v ji 2 i=1 2 z net 2 = v 10 + x i v ji i=1 2 z net 3 = v 10 + x i v ji i=1 = 0,2 = v 10 + x 1 v 11 + x 2 v 12 = 0,3 + 1 0,2 + 0 0,3 = 0,1 = v 10 + x 1 v 21 + x 2 v 22 = 0,3 + 1 0,3 + 0 0,1 = 0,6 = v 10 + x 1 v 31 + x 2 v 32 = 0,3 + 1 ( 0,1) + 0 0,1) z j = f z net j = 1 1 + e z_net j z 1 = f z net 1 = 1 1 + e z_net = 1 = 0,55 1 1 + e 0,1
z 2 = f z net 2 = 1 1 + e z_net = 1 = 0,67 2 1 + e0,6 z 3 = f z net 3 = 1 1 + e z_net = 1 = 0,52 3 1 + e 0,2 Langkah 5 Hitung semua jaringan di unit keluaran (y k) y_net k = w k0 + z j w kj p j=1 p y net 1 = w 10 + z j w kj j=1 = w 10 + z 1 w 11 + z 2 w 12 + z 3 w 13 = 0,1 + 0,55 0,5 + 0,67 ( 0,3) + 0,52 ( 0,4) = 0,24 1 y k = f(y_net k ) = 1 + e y_net = 1 = 0,44 k 1 + e 0,24 Fase II : Propagasi Maju Langkah 6 δ k =(t k -y k ) f (y_net k )= (t k -y k ) y k (1-y k ) δ1=(t 1 -y 1 ) f (y_net 1 )= (t 1 -y 1 ) y 1 (1-y 1 )=(0-0,44) * 0,44 * (1-0,44) = -0,11 Δw kj = α δ k z j Δw 10 = α δ 1 (1) = 0,2 * (-0,11) * (1) = -0,022 Δw11 = α δ 1 (z 1 ) = 0,2 * (-0,11) * (0,55) = -0,01 Δw12 = α δ 1 (z 2 ) = 0,2 * (-0,11) * (0,67) = -0,01
Δw 13 = α δ 1 (z 3 ) = 0,2 * (-0,11) * (0,52) = -0,01 Langkah 7 Hitung factor δ unit tersembunyi berdasarkan error di setiap unit tersembunyi z j (j=1,2,3,,p) m δ_net j = δ k w kj k=1 δ_net 1 = δ 1 w 11 = ( 0,11) 0,5 = 0,055 δ_net 2 = δ 1 w 12 = ( 0,11) ( 0,3) = 0,033 δ_net 3 = δ 1 w 13 = ( 0,11) ( 0,4) = 0,044 Faktor error δ unit tersembunyi δ j = δ_net j f (z_net j ) = δ_net z j (1-z j ) δ1 = δ_net z 1 (1-z 1 ) = (-0.055) * 0,55 * (1-(0,55)) = -0,01 δ2 = δ_net z 2 (1-z 2 ) = (0.033) * 0,67 * (1-(0,67)) = 0,01 δ3 = δ_net z 3 (1-z 3 ) = (0.044) * 0,52 * (1-(0,52)) = 0,01 Δvji = α δjxi Δv10 = α δ1 = 0,2 * (-0,01)*1 = -0,002 Δv20 = α δ2 = 0,2 * (0,01)*1 = 0,002 Δv30 = α δ3 = 0,2 * (0,01)*1 = 0,002 Δv11 = α δ1x1 = 0,2 * (-0,01)*1 = -0,002
Δv21 = α δ2x1 = 0,2 * (0,01)*1 = 0,002 Δv31 = α δ3x1 = 0,2 * (0,01)*1 = 0,002 Δv12 = α δ1x2 = 0,2 * (-0,01)*1 = -0,002 Δv22 = α δ2x2 = 0,2 * (0,01)*1 = 0,002 Δv32 = α δ3x2 = 0,2 * (0,01)*1 = 0,002 Fase III : Perubahan Bobot Langkah 8 Perubahan bobot garis yang menuju unit keluaran w kj (baru) = w kj (lama) + Δw kj w 10 (baru) = w 10 (lama) + Δw 10 = -0,1-0,022 = -0,122 w11 (baru) = w 11 (lama) + Δw 11 = 0,5-0,01 = 0,49 w12 (baru) = w 12 (lama) + Δw 12 = -0,3-0,01 = 0,31 w13 (baru) = w 13 (lama) + Δw 13 = -0,4-0,01 = 0,41 V ji (baru) = v ji (lama) + Δv ji V 10 (baru) = v 10 (lama) + Δv 10 = -0,3-0,002 = -0,302 V20 (baru) = v 20 (lama) + Δv 20 = 0,3+0,002 = 0,302 V30 (baru) = v 30 (lama) + Δv 30 = 0,3+0,002 = 0,302 V11 (baru) = v 11 (lama) + Δv 11 = 0,2-0,002 = 0,198
V 21 (baru) = v 21 (lama) + Δv 21 = 0,3+0,002 = 0,302 V31 (baru) = v 31 (lama) + Δv 31 = -0,1+0,002 = -0,098 V12 (baru) = v 12 (lama) + Δv 12 = 0,3-0,002 = 0,298 V22 (baru) = v 22 (lama) + Δv 22 = 0,1+0,002 = 0,102 V32 (baru) = v 32 (lama) + Δv 32 = -0,1+0,002 = -0,098 Lanjutkan dengan pola yang lainnya: Pola ke 2 X1=1, X2=0, t=1 Pola ke 3 X1=0, X2=1, t=1 Pola ke 4 X1=0, X2=0, t=0