BAB 2 LANDASAN TEORI 2.1 Jaringan Syaraf Tiruan Jaringan saraf tiruan bisa dibayangkan seperti otak buatan di dalam cerita-cerita fiksi ilmiah. Otak buatan ini dapat berpikir seperti manusia, dan juga sepandai manusia dalam menyimpulkan sesuatu dari potongan-potongan informasi yang diterima. Khayalan manusia tersebut mendorong para peneliti untuk mewujudkannya. Komputer diusahakan agar bisa berpikir sama seperti cara berpikir manusia. Caranya adalah dengan melakukan aktivitas-aktivitas yang terjadi di dalam sebuah jaringan saraf biologis [13]. Jaringan saraf biologis merupakan kumpulan sel-sel saraf (neuron). Neuron mempunyai tugas mengolah informasi yang bekerja berdasarkan impuls/sinyal yang diberikan pada neuron. Komponen-komponen utama neuron dikelompokkan menjadi tiga yaitu dendrit bertugas menerima informasi, badan sel (soma) berfungsi sebagai tempat pengolahan informasi, dan akson (neurit) berfungsi mengirimkan impulsimpluls ke sel saraf lainnya. Impuls dikirimkan melalui sinapsis-sinapsis. Sinapsis merupakan koneksi antara neuron yang satu dengan neuron lainnya. Pengembangan jaringansaraf tiruanpada awalnyatermotivasi olehpenelitiansistem sarafbiologisyangterdiri darijaringanneuron-neuron yang saling terhubung.
2.1.1 Pengertian Jaringan Syaraf Tiruan Jaringan syaraf tiruan (JST) adalah sistem pemroses informasi yang memiliki karakteristik mirip dengan jaringan syaraf biologi [15]. Menurut Kusumadewi [7],jaringan saraf tiruanadalah salah satu representasi buatan dari otak manusia yang selalu mencoba untuk mensimulasikan proses pembelajaran pada otak manusia tersebut. JST merupakan suatu model kecerdasan yang diilhami dari struktur otak manusia dan kemudian diimplementasikan menggunakan program komputer yang mampu menyelesaikan sejumlah proses perhitungan selama proses pembelajaran berlangsung [2]. Jaringan syaraf tiruan akan mentransformasikan informasi dalam bentuk bobot dari satu neuron ke neuron yang lainnya, informasi tersebut akan diproses oleh suatu fungsi perambatan dan semua bobot input/masukan yang datang dijumlahkan kemudian dibandingkan dengan suatu nilai ambang tertentu melalui fungsi aktivasi setiap neuron. Bila nilai melampaui nilai ambang maka neuron akan diaktifkan dan informasi keluaran diteruskan ke neuron yang tersambung dengannya [8]. 2.1.2 Komponen Jaringan Syaraf Tiruan Dalam meniru sistem jaringan biologis maka sistem jaringan saraf tiruan memiliki 3 karakteristik utama, yaitu: 1. Arsitektur jaringan: merupakan pola keterhubungan antara neuron. Keterhubungan neuron-neuron inilah yang membentuk suatu jaringan. 2. Algoritma jaringan: merupakan metode untuk menentukan bobot hubungan. 3. Fungsi aktivasi: merupakan fungsi untuk menentukan nilai keluaran berdasarkan nilai total masukan pada neuron.
Seperti halnya otak manusia, jaringan syaraf tiruan juga terdiri dari beberapa neuron [7]. Neuron adalah unit pemrosesan informasi yang menjadi dasar dalam pengoperasian jaringan syaraf tiruan [15]. Neuron terdiri dari tiga elemen pembentuk: 1. Himpunan unit-unit yang dihubungkan dengan jalur koneksi. Jalur-jalur tersebut memiliki bobot/kekuatan yang berbeda-beda. Bobot yang bernilai positif akan memperkuat sinyal dan yang bernilai negatif akan memperlemah sinyal yang dibawanya. 2. Suatu unit penjumlahan yang akan menjumlahkan input-input sinyal yang sudah dikalikan dengan bobotnya. 3. Fungsi aktivasi yang akan menentukan apakah sinyal dari input neuron akan diteruskan ke neuron lain atau tidak. Neuron buatan (artificial neuron) dirancang untuk menirukan karakteristik neuron biologis [2]. x 1 w k1 x 2 w k2 u k Input... x n... w kn Fungsi Penjumlahan Bobot sinapsis Keterangan: x 1, x 2,..., x n w k1, w k2,..., w kn Gambar 2.1 Neuron buatan sederhana = input berupa sinyal yang masuk kedalam sinapsis neuron = bobot penghubung sinapsis yang menyimpan pola pembelajaran
= blok penjumlahan u k = output Dari gambar 2.1 terlihat serangkaian input yang dilakukan pada suatu neuron buatan. Setiap sinyal dikalikan dengan bobot (weight), sebelum masuk ke blok penjumlahan yang kurang lebih bersesuaian dengan badan sel syaraf biologis, fungsi ini menjumlahkan semua input terboboti (perkalian semua input dengan bobotnya) secara aljabar dan menghasilkan sebuah output (keluaran). Dalam unit keluaran, variabel x dimasukkan ke dalam suatu fungsi f tertentu untuk menghasilkan keluaran akhir. Input dari neuroneuron yang lain bobot Fungsi aktivasi Output bobot Output ke neuroneuron yang lain Gambar 2.2 Struktur neuron jaringan syaraf tiruan Keterangan: = fungsi penjumlahan Jaringan syaraf tiruan terdiri dari neuron-neuron, dan ada hubungan antara neuron-neuron tersebut. Neuron-neuron tersebut akan mentransformasikan informasi yang diterima melalui sambungan keluar menuju neuron-neuron yang lain. Pada jaringan syaraf, hubungan ini dikenal dengan nama bobot. Informasi tersebut disimpan pada suatu nilai tertentu pada bobot tersebut. Informasi (disebut dengan input) akan dikirimkan ke neuron dengan bobot kedatangan tertentu. Input ini akan diproses oleh suatu fungsi perambatan yang akan menjumlahkan nilai-nilai semua bobot yang
datang. Hasil penjumlahan ini kemudian akan dibandingkan dengan suatu nilai ambang (threshold) tertentu melalui fungsi aktivasi setiap neuron. Apabila input tersebut melewati suatu nilai ambang tertentu, maka neuron tersebut akan diaktifkan, tapi kalau tidak, maka neuron tersebut tidak akan diaktifkan. Apabila neuron tersebut diaktifkan, maka neuron tersebut akan mengirimkan output melalui bobot-bobot outputnya ke semua neuron yang berhubungan dengannya. Demikian seterusnya. Pada jaringan syaraf, neuron-neuron akan dikumpulkan dalam lapisan-lapisan (layer) yang disebut dengan lapisan neuron (neuron layers). Biasanya neuron-neuron pada satu lapisan akan dihubungkan dengan lapisan-lapisan sebelum dan sesudahnya (kecuali lapisan input dan lapisan output). Informasi yang diberikan pada jaringan syaraf akan dirambatkan lapisan ke lapisan, mulai dari lapisan input sampai ke lapisan output melalui lapisan yang lainnya, yang sering dikenal dengan nama lapisan tersembunyi (hidden layer). Tergantung pada algoritma pembelajarannya [6]. Jaringan saraf tiruan bekerja berdasarkan asumsi awal yang diberikan sebagai titik tolak pembanding pada proses selanjutnya. Proses belajar pada jaringan saraf tiruan ditunjukkan dengan perubahan bobot penghubung antar-sel jaringan saraf [4]. Ciri utama yang dimiliki oleh jaringan saraf tiruan adalah kemampuannya untuk belajar. Belajar (learning) pada JST dapat diartikan sebagai proses penyesuaian parameter pembobot karena keluaran yang diinginkan tergantung pada harga pembobot interkoneksi yang dimiliki oleh sel. Proses belajar akan dihentikan jika nilai kesalahan atau error sudah dianggap cukup kecil untuk semua pasangan data latihan. Jaringan yang sedang melakukan proses belajar disebut berada dalam tahap latihan (training) [17]. Kemampuan JST untuk belajar dan memperbaiki dirinya telah menghasilkan banyak algoritma atau aturan belajar alternatif yang dapat digunakan, dari sekian banyak aturan yang ada, yang paling sering digunakan adalah aturan belajar backpropagation yang termasuk kategori supervised learning yang dapat digunakan memperbaiki kinerja jaringan saraf tiruan [1].
2.1.3 Manfaat dan Aplikasi Jaringan Syaraf Tiruan Dengan tingkat kemampuan yang sangat baik, beberapa aplikasi jaringan saraf tiruan sangat cocok untuk diterapkan pada: 1. Klasifikasi, memilih suatu input data ke dalam satu kategori tertentu yang ditetapkan 2. Asosiasi, menggambarkan suatu objek secara keseluruhan hanya dengan sebuah bagian dari objek lain 3. Self organizing, kemampuan untuk mengolah data-data input tanpa harus memiliki data sebagai target 4. Optimasi, menemukan suatu jawaban atau solusi yang paling baik sehingga seringkali dengan meminimalisasikan suatu fungsi biaya (optimizer) Berikut ini beberapa aplikasi jaringan syaraf tiruan [14]: 1. Detektor virus komputer Jaringan saraf tiruan digunakan untuk mendeteksi dan mengoreksi virus komputer. Contohnya, program anti virus IBM yang selain mendeteksi juga mengeradikasi virus-virus baru secara otomatis. Virus baru yang ditemukan kemudian digunakan sebagai set pelatihan untuk versi antivirus berikutnya yang jauh lebih cerdas. Jaringan saraf yang digunakan adalah propagasi balik. 2. Pendeteksian kanker kulit Jaringan saraf tiruan digunakan untuk mendiagnosis malignant melanoma. 3. Pengidentifikasian pola-pola data pasar saham Jaringan saraf digunakan untuk memproses informasi dari basis data yang besar untuk mencari pola dan kecenderungan. Hasil pengolahan ini digunakan dalam keputusan investasi. 4. Pendeteksi bom Jaringan saraf tiruan dilatih untuk mengenali bentuk-bentuk bom dalam tampilan sinyal-sinyal spektrograf yang mengindikasikan muatan nitrogen tinggi pada barang-barang.
5. Pengontrol gerakan dan penglihatan robot Jaringan saraf tiruan digunakan untuk koordinasi mata-tangan robot memegang objek melalui pelatihan robot. 6. Pendukung pengolahan bahasa alami Pada pengenalan suara, jaringan saraf tiruan melalui pelatihan menyimpan informasi-informasi bagian-bagian pembicaraan untuk nantinya dicocokkan secara cepat dengan pola-pola input. 7. Pendukung Decision Support System (DSS) Optimasi: jaringan saraf tiruan dapat digunakan untuk menentukan solusi optimal dari masalah-masalah yang melibatkan banyak parameter, misalnya masalah TSP (Traveling Salesperson Problem). Alokasi sumber daya: alokasi ditentukan berdasarkan data historis. Sistem hibrid: sistem yang melakukan analisis statistikal standar pada kumpulan data yang telah diseleksi oleh jaringan saraf tiruan. Basis data cerdas (intelligent databases): tujuan dari basis data cerdas adalah untuk menangani informasi dan pembuatan keputusan dengan cara yang lebih mirip manusia. Jaringan saraf berperan penting dalam penemuan pola-pola data, menemukan pendekatan yang cocok, dan perkiraan terbaik. 2.1.4 Arsitektur Jaringan Syaraf Tiruan Penyusunan neuron pada lapisan-lapisan dan pola koneksinya dalam dan antarlapisan disebut arsitektur jaringan [9]. Dalam menentukan jumlah dari lapisan, unit input tidak terhitung sebagai lapisan karena unit tersebut tidak melakukan proses komputasi. Atau bisa dikatakan bahwa jumlah lapisan pada jaringan ditentukan berdasarkan lapisan yang berisikan bobot antar koneksi dari kumpulan neuron-neuron. Beberapa arsitektur jaringan syaraf tiruan, yaitu: 1. Jaringan dengan lapisan tunggal (single layer network) Jaringan dengan lapisan tunggal hanya memiliki satu lapisan dengan bobotbobot terhubung. Jaringan ini hanya menerima input kemudian secara langsung
akan mengolahnya menjadi output tanpa harus melalui lapisan tersembunyi. Pada Gambar 2.3, neuron-neuron pada lapisan input terhubung langsung dengan neuron-neuron pada lapisan output. W11 X1 Wi1 Y1 Wn1 W1j Xi Wij Yj Wnj W1m Xn Wim Ym Wnm Gambar 2.3 Arsitektur jaringan syaraf tiruan dengan lapisan tunggal Keterangan: X1, Xi,..., Xn = neuron-neuron pada lapisan input Y1, Yj,..., Ym = neuron-neuron pada lapisan output w 11,..., w nm = bobot dari lapisan input ke lapisan output 2. Jaringan dengan banyak lapisan (multilayer network) Jaringan dengan banyak lapisan memiliki satu atau lebih lapisan yang terletak di antara lapisan input dan lapisan output. Lapisan tersebut disebut lapisan tersembunyi (hidden layer). Jaringan dengan banyak lapisan ini dapat menyelesaikan permasalahan yang lebih sulit daripada lapisan dengan lapisan
tunggal, tentu saja dengan pembelajaran yang lebih rumit. Namun demikian, pada banyak kasus, pembelajaran pada jaringan dengan banyak lapisan ini lebih sukses dalam menyelesaikan masalah. X1 Vi1 V11 Wj1 W11 Y1 Vn1 Z1 Wp1 V1j W1k Xi Vij Zj Wjk Yk Wpk Vip V1p Zp W1m Xn Vnj Vnp Wpm Wjm Ym Gambar 2.4 Arsitektur jaringan syaraf tiruan dengan banyak lapisan Keterangan: X1, Xi,..., Xn = neuron-neuron pada lapisan input Z1, Zj,..., Zp = neuron-neuron pada lapisan tersembunyi Y1, Yk,..., Ym = neuron-neuron pada lapisan output v 11,..., v np w 11,..., w pm = bobot dari lapisan input ke lapisan tersembunyi = bobot dari lapisan tersembunyi ke lapisan output 3. Jaringan dengan lapisan kompetitif (competitive layer network) Hubungan antarneuron pada lapisan kompetitif ini tidak diperlihatkan pada diagram arsitektur seperti jaringan yang lain. Pada jaringan kompetitif neuron
saling berkompetisi sehingga hanya satu diantaranya yang aktif, prinsip ini disebut winner-takes-all atau yang menanglah yang mengambil bagiannya. 1 1 A 1 -ɛ A m -ɛ -ɛ -ɛ -ɛ A i -ɛ A j 1 1 Gambar 2.5 Arsitektur jaringan syaraf tiruan dengan lapisan kompetitif Keterangan: A 1, A i,a j, A m = neuron-neuron -εε = bobot antara neuron yang satu dengan neuron yang lainnya 1 = bobot pada neuron ke neuron itu sendiri 2.1.5 Fungsi Aktivasi Jaringan Syaraf Tiruan Dalam jaringan syaraf tiruan, fungsi aktivasi dipakai untuk menentukan keluaran suatu neuron. Ada beberapa fungsi aktivasi yang sering digunakan dalam jaringan syaraf tiruan, antara lain: 1. Fungsi Undak Biner (Hard Limit) Jaringan dengan lapisan tunggal sering menggunakan fungsi undak (step function) untuk mengkonversikan input dari suatu variabel yang bernilai kontinu ke suatu output biner (0 atau 1).
Fungsi undak biner (hard limit) dirumuskan sebagai: 0, jika x 0 y = 1, jika x>0 y 1 0 x Gambar 2.6 Fungsi aktivasi: Undak Biner (hard limit) 2. Fungsi Undak Biner (Threshold) Fungsi undak biner dengan menggunakan nilai ambang sering juga disebut dengan nama fungsi nilai ambang (threshold) atau fungsi Heaviside. Fungsi undak biner (dengan nilai ambang θθ) dirumuskan sebagai: y = 0, jika x< θθ 1, jika x θθ y 1 0 θ x Gambar 2.7 Fungsi aktivasi: Undak Biner (threshold) 3. Fungsi Bipolar (Symetric Hard Limit) Fungsi bipolar sebenarnya hampir sama dengan fungsi undak biner, hanya saja output yang dihasilkan berupa 1, 0, atau 1.
Fungsi Symetric Hard Limit dirumuskan sebagai: 1, jika x>0 y = 0, jika x= 0-1, jika x< 0 y 1 0 x -1 Gambar 2.8 Fungsi aktivasi: Bipolar (symetric hard limit) 4. Fungsi Bipolar (dengan threshold) Fungsi bipolar sebenarnya hampir sama dengan fungsi undak biner dengan threshold, hanya saja output yang dihasilkan berupa 1, 0 atau 1. Fungsi bipolar (dengan nilai ambangθθ) dirumuskan sebagai: y = 1, jika x θθ -1, jika x< θθ y 1 0 θ x -1 Gambar 2.9 Fungsi aktivasi: Bipolar (threshold) 5. Fungsi Linear (identitas) Fungsi linear memiliki nilai output yang sama dengan nilai inputnya.
Fungsi linear dirumuskan sebagai: y = x y 1-1 0 1 x -1 Gambar 2.10 Fungsi aktivasi: Linear (identitas) 6. FungsiSaturating Linear Fungsi ini akan bernilai 0 jika inputnya kurang dari ½, dan akan bernilai 1 jika inputnya lebih dari ½. Sedangkan jika nilai input terletak antara ½ dan ½, maka outpunya akan bernilai sama dengan nilai input ditambah ½. Fungsi saturating linear dirumuskan sebagai: 1; jika x 0,5 y = x+0,5; jika 0,5 x 0,5 0; jika x 0,5 y 1-0,5 0 0,5 x Gambar 2.11 Fungsi aktivasi: Saturating Linear
7. Fungsi Symetric Saturating Linear Fungsi ini akan bernilai -1 jika inputnya kurang dari 1, dan akan bernilai 1 jika inputnya lebih dari 1. Sedangkan jika nilai input terletak antara 1 dan 1, maka outpunya akan bernilai sama dengan nilai inputnya. Fungsi symetric saturating linear dirumuskan sebagai: 1; jika x 1 y = x; jika 1 x 1-1; jika x 1 y 1-1 0 1 x -1 Gambar 2.12 Fungsi aktivasi: Symetric Saturating Linear 8. Fungsi Sigmoid Biner Fungsi ini digunakan untuk jaringan syaraf yang dilatih dengan menggunakan metode backpropagation. Fungsi sigmoid biner memiliki nilai pada range 0 sampai 1. Oleh karena itu, fungsi ini sering digunakan untuk jaringan syaraf yang membutuhkan nilai output yang terletak pada interval 0 sampai 1. Namun, fungsi ini bisa juga digunakan oleh jaringan syaraf yang nilai outputnya 0 atau 1. Fungsi sigmoid biner dirumuskan sebagai: 1 y = ff(xx)= 1+ ee xx dengan ff (xx) = ff(xx)[1 ff(xx)]
Gambar 2.13 Fungsi aktivasi: Sigmoid Biner 9. Fungsi Sigmoid Bipolar Fungsi sigmoid bipolar hampir sama dengan fungsi sigmoid biner, hanya saja output dari fungsi ini memiliki range antara 1 sampai 1. Fungsi sigmoid bipolar dirumuskan sebagai: y = ff(xx)= 2 1 + ee xx 1 dengan ff (xx) = [1+ff(xx)][1 ff(xx)] 2 Gambar 2.14 Fungsi aktivasi: Sigmoid Bipolar 10. Fungsi Hyperbolic Tangent Memiliki range antara 1 sampai 1. Untuk fungsi hyperbolic tangent, dirumuskan sebagai: y = ff(xx)= ee xx ee xx 1 ee xx ee xx + ee xxatauy = ff(xx)= 1 + ee xx dengan ff (xx) =[1 + ff(xx)][1 ff(xx)]
2.1.6 Bias dan Threshold Kadang-kadang dalam jaringan ditambahkan sebuah unit masukan yang nilainya selalu sama dengan 1. Unit yang sedemikian disebut bias. Bias dapat dipandang sebagai input yang nilainya sama dengan 1. Bias berfungsi mengubah nilai thresholdmenjadi sama dengan 0 [15]. 2.1.7 Pelatihan Jaringan Syaraf Tiruan Sebelum digunakan, JST dilatih untuk mengenal fungsi pemetaan. Pelatihan merupakan proses belajar JST yang dilakukan dengan menyesuaikan bobot interkoneksi jaringan [10]. Proses belajar JST diklasifikasikan menjadi dua: 1. Belajar dengan pengawasan (supervised learning) Jaringan memberikan tanggapan dengan mendapatkan target tertentu. Sebelum jaringan mengubah sendiri bobotnya untuk mencapai target, bobot interkoneksi diinisialisasi. Proses belajar JST dengan pengawasan adalah proses belajar dengan memberikan latihan untuk mencapai suatu target keluaran yang ditentukan. JST mendapatkan latihan untuk mengenal pola-pola tertentu. Dengan memberikan target keluaran, perubahan masukan akan diadaptasi oleh keluaran dengan mengubah bobot interkoneksinya mengikuti algoritma belajar yang ditentukan. Set pelatihan dipilih dari fungsi keluaran maksimum setiap keadaan parameter yang diubah. Dengan menginisialisasi bobot tiap sel, JST akan mencari errorterkecil, sehingga bentuk fungsi keluaran mendekati target yang diinginkan. Berdasarkan proses belajar yang dilakukan, kita perlu memperhatikan beberapa hal dalam menyusun set pelatihan, yaitu: 1) Pemberian urutan pola yang akan diajarkan 2) Kriteria perhitungan error 3) Kriteria proses belajar
4) Jumlah iterasi yang harus dilalui 5) Inisialisasi bobot dan parameter awal Pelatihan dilakukan dengan memberikan pasangan pola-pola masukan dan keluaran. Salah satu contoh JST yang menggunakan pembelajaran dengan pengawasan adalah jaringan bakpropagation. 2. Belajar tanpa pengawasan (unsupervised learning) Pada belajar tanpa pengawasan jaringan tidak mendapatkan target, sehingga JST mengatur bobot interkoneksi sendiri. JST akan mengklasifikasikan contoh polapola masukan yang tersedia ke dalam kelompok yang berbeda-beda. Menurut [6], selama proses pembelajaran, nilai bobot disusun dalam suatu range tertentu tergantung pada nilai input yang diberikan. Tujuan pembelajaran ini adalah mengelompokkan unit-unit yang hampir sama dalam suatu area tertentu. Hal yang ingin dicapai dengan melatih/mengajari jaringan saraf tiruan adalah untuk mencapai keseimbangan antara kemampuan memorisasi dan generalisasi. Yang dimaksud kemampuan memorisasi adalah kemampuan untuk memanggil kembali secara sempurna sebuah pola yang telah dipelajari. Kemampuan generalisasi adalah kemampuan jaringan saraf tiruan untuk menghasilkan respon yang bisa diterima terhadap pola-pola input yang serupa (namun tidak identik) dengan pola-pola yang sebelumnya telah dipelajari. Hal ini sangat bermanfaat bila pada suatu saat ke dalam jaringan saraf tiruan itu diinputkan informasi baru yang belum pernah dipelajari, maka jaringan saraf tiruan itu masih tetap dapat memberikan tanggapan yang baik, memberikan keluaran yang paling mendekati [14]. 2.1.8 Aturan Pembelajaran Jaringan Syaraf Tiruan Aturan pembelajaran adalah aturan kerja secara umum dari teknik/algoritma jaringan saraf tiruan [14]. Ada empat tipe dasar aturan pembelajaran, yaitu:
1. Aturan Pengkoreksian Error Prinsip dasar dari aturan pembelajaran pengkoreksian erroradalah memodifikasi bobot-bobot koneksi dengan menggunakan sinyal kesalahan (output targetoutput aktual) untuk mengurangi kesalahan secara bertahap. 2. Aturan Pembelajaran Boltzmann Aturan pembelajaran boltzmann juga dapat dikatakan sebagai kasus lain dari pembelajaran pengkoreksian error. Bedanya, kesalahan (error) diukur bukan sebagai perbedaan langsung antara output aktual dengan output yang diinginkan, melainkan perbedaan antara korelasi output-output dari 2 buah neuron dalam kondisi operasi clamped dan free-running. Pada clamped, neuron-neuron visibel ditahan pada keadaan-keadaan tertentu. Pada free-running, baik neuron visibel maupun hiddendapat beroperasi dengan bebas. 3. Aturan Hebbian Kekuatan koneksi antara 2 buah neuron akan meningkat jika kedua neuron memiliki tingkah laku yang sama (keduanya memiliki aktivasi positif atau keduanya memiliki aktivasi negatif). 4. Aturan Pembelajaran Kompetitif Unit-unit output pada aturan pembelajaran kompetitif ini harus saling bersaing untuk beraktivasi. Jadi hanya satu unit ouput yang aktif pada satu waktu (winner-take-all). Bobot-bobotnya diatur setelah satu node pemenang terpilih. 2.2Multilayer Perceptron Perceptron merupakan algoritma pembelajaran yang menjadi dasar algoritma backpropagation. Arsitektur perceptron belajar mengenali pola dengan metode pembelajaran terbimbing [4]. Perceptron memiliki jaringan lapis tunggal [2]. Jaringan terdiri dari beberapa unit masukan (ditambah sebuah bias), dan memiliki sebuah unit keluaran. Fungsi aktivasi bukan merupakan fungsi biner (atau bipolar), tetapi memiliki kemungkinan -1, 0, atau 1 [15].
x 1 w 1 Input x 2.. x n w 2... w n xxxx + bb Fungsi Penjumlahan y_in F(y_in) y Bobot sinapsis Gambar 2.15 Arsitektur jaringan perceptron Keterangan: x 1, x 2,..., x n w 1, w 2,..., w n xw + b F(y_in) y = sinyal-sinyal input = bobot-bobot sinapsis = fungsi penjumlahan = fungsi aktivasi = sinyal output Arsitektur jaringan dengan banyak lapisan (multilayer) merupakan perluasan dari arsitektur lapisan tunggal (single layer). Jaringan dengan banyak lapisan memiliki 1 atau lebih lapisan yang terletak diantara lapisan input dan lapisan output (memiliki 1 atau lebih lapisan tersembunyi) [6]. Jumlah lapisan menentukan jumlah matriks bobot [9].
V11 W11 X 1 V1p V1j Z 1 W1m W1k Y 1 Vi1 Wj1 Xi Vij Vip Zj Wjk Wjm Yk Xn Vn1 Vnj Vnp Zp Wp1 Wpk Wpm Ym Lapisan Input Lapisan Tersembunyi Lapisan Output Gambar 2.16 Arsitektur jaringan lapis banyak (multilayer) Keterangan: X 1, X i,..., X n Z 1, Z j,..., Z p Y 1, Y k,..., Y m v 11,..., v np w 11,..., w pm = neuron-neuron pada lapisan input = neuron-neuron pada lapisan tersembunyi = neuron-neuron pada lapisan output = bobot dari lapisan input ke lapisan tersembunyi = bobot dari lapisan tersembunyi ke lapisan output Perceptron multilapis adalah jaringan saraf tiruan umpan maju (feedforward neural network) dan merupakan jaringan yang pembelajarannya terawasi sehingga ke dalam jaringan perlu dimasukkan contoh-contoh respon untuk dikenali. Seperti halnya teknik jaringan saraf lainnya yang memiliki jenis pembelajaran terawasi, perceptron multilapis belajar mentransformasikan data input sedemikian rupa sehingga menghasilkan keluaran/ respon seperti yang diingini [13]. Jaringan dengan perceptron lapis banyak dengan metode back-propogation (Backpropogation Multi Layer Perceptron) merupakan satu jenis JST yang sering digunakan dalam berbagai aplikasi [16].
2.3 Backpropagation Metode backpropagation (propagasi balik) merupakan metode pembelajaran lanjut yang dikembangkan dari aturan perceptron. Hal yang ditiru dari perceptron adalah tahapan dalam algoritma jaringan. Metode ini terdiri dari dua tahap, yaitu tahap feedforward yang diambil dari perceptron dan tahap backpropagationerror [13]. Arsitektur jaringan backpropagation merupakan jaringan lapis banyak (multilayer). Backpropagation merupakan algoritma pembelajaran yang terawasi dan biasanya digunakan oleh perceptron dengan banyak lapisan untuk mengubah bobotbobot yang terhubung dengan neuron-neuron yang ada pada lapisan tersembunyinya. Algoritma backpropagation menggunakan error output untuk mengubah nilai bobotbobotnya dalam arah mundur (backward). Untuk mendapatkan error ini, tahap perambatan maju (forward propagation) harus dikerjakan terlebih dahulu [6]. Menurut Haykin [3], backpropagation adalah sebuah teknik spesifik untuk implementasi penurunan gradien bobot pada multilayer perceptron. Training sebuah jaringan dengan backpropagation meliputi tahap berikut: feedforward untuk training pola input, backpropagation untuk asosiasi error, dan penyesuaian bobot.
2.3.1 Arsitektur Jaringan Backpropagation Y 1...... Y k Y m w 11 w 01 1 w 0k w 0m Z 1 w 1k wjk w 1m w j1 w jm...... Z j w p1 w pk Z p w pm v 11 v 01 v 0j v 1j v 0p X 1 v ij v 1p v i1 v ip... X i... v nj v np v n1 1 X n Gambar 2.17 Arsitektur Jaringan Backpropagation dengan Satu Lapisan Tersembunyi Keterangan: X 1, X i..., X n Z 1, Z j...,z p Y 1, Y k...,y m v 11,...,v np W 11,...,w pm = unit input = unit lapisan tersembunyi (hidden layer) = unit output = bobot dari lapisan input ke lapisan tersembunyi = bobot dari lapisan tersembunyi ke lapisan output 1 = bias v 01,v 0j,...,v 0p w 01, w 0k,...,w 0m = bias dari lapisan input ke lapisan tersembunyi = bias dari lapisan tersembunyi ke lapisan output Selama feedforward setiap unit input menerima sinyal input dan mengirimkan sinyal tersebut ke tiap unit tersembunyi. Tiap unit tersembunyi kemudian menghitung aktivasinya dan mengirim sinyal tersebut (z j ) ke tiap unit output. Tiap unit output (Y k ) menghitung aktivasinya (y k ) untuk membentuk respon dari net untuk pola input yang diberikan. Selama training, tiap unit output membandingkan aktivasi yang telah dihitung y k dengan nilai target t k untuk medeterminasi asosiasi eror untuk pola dan unit tersebut.
Berdasarkan eror ini, faktor δ k (k = 1,...,m) dihitung. δ k digunakan untuk distribusi erortersebut pada unit output Y k kembali ke semua unit pada lapisan sebelumnya (unitunit tersembunyi yang terhubung ke Y k ). Ini juga digunakan (nantinya) untuk mengupdatebobot-bobot diantara lapisan output dan lapisan tersembunyi. Dengan cara yang sama, faktor δ j (j = 1,...,p) dihitung untuk tiap unit tersembunyi Z j. Tidak perlu merambatkan eror kembali ke lapisan input, tetapi δ j digunakan untuk meng-update - bobot-bobot diantara lapisan tersembunyi dan lapisan input. Setelah semua faktor δ dideterminasi, bobot-bobot untuk semua lapisan disesuaikan secara simultan. Penyesuaian ke bobot w jk (dari unit tersembunyi Z j ke unit ouput Y k ) didasarkan pada faktor δ k dan aktivasi z j dari unit tersembunyi. Penyesuaian bobot ke v ij (dari unit input X i ke unit tersembunyi Z j ) didasarkan pada faktor δ j dan aktivasi x i dari unit input. 2.3.2 Fungsi Aktivasi Dalam backpropagation, fungsi aktivasi yang dipakai harus memenuhi syarat yaitu: kontinu, terdiferensial dengan mudah, dan merupakan fungsi yang tidak turun. Salah satu fungsi yang memenuhi syarat tersebut sehingga sering dipakai adalah fungsi sigmoid bipolar yang memiliki range (-1,1). y = ff(xx)= 2 1 + ee xx 1 dengan ff (xx) = [1+ff(xx)][1 ff(xx)] 2 Fungsi sigmoid memiliki nilai maksimum = 1. Maka untuk pola yang targetnya lebih besar dari 1, pola masukan dan keluaran harus terlebih dahulu ditransformasi sehingga semua polanya memiliki range yang sama seperti fungsi sigmoid yang dipakai. Alternatif lain adalah menggunakan fungsi aktivasi sigmoid hanya pada layar yang bukan layar keluaran. Pada layar keluaran fungsi aktivasi yang dipakai adalah fungsi identitas: f(x) = x
Gambar 2.18 Fungsi aktivasi sigmoid bipolar 2.3.3 Algoritma Backpropagation Algoritma pelatihan jaringan backpropagation: 1. Langkah 0 : Inisialisasi semua bobot dengan bilangan acak kecil 2. Langkah 1 :Selama kondisi berhenti tidak terpenuhi (bernilai salah), kerjakan langkah-langkah berikut: a. Untuk tiap-tiap pasangan pelatihan, lakukan: Feedforward: 1) Tiap-tiap unit input (X i, i = 1,2,3,,n) menerima sinyal x i dan meneruskan sinyal tersebut ke semua unit pada lapisan yang ada diatasnya (lapisan tersembunyi). 2) Tiap-tiap unit tersembunyi (Z j, j = 1,2,3,..,p) menjumlahkan sinyalsinyal input berbobot: nn zz_iiii jj = vv 0jj + ii=1 xx ii vv iiii...(2.1) dimana v 0 =bias dan v = bobot. Gunakan fungsi aktivasi untuk menghitung sinyal outputnya: z j = ff(zz_iiii jj )...(2.2) dan kirimkan sinyal tersebut ke semua unit lapisan atasnya (unitunit output). 3) Tiap-tiap unit output (Y k, k=1,2,3,,m) menjumlahkan sinyalsinyal input berbobot:
pp yy_iiii kk = ww 0kk + jj =1 zz jj ww jjjj (2.3) dimana w 0 = bias dan v = bobot. Gunakan fungsi aktivasi untuk menghitung sinyal outputnya: y k = ff(yy_iiii kk ) (2.4) Dan kirimkan sinyal tersebut ke semua unit di lapisan sisanya (unitunit output). b. Untuk tiap-tiap pasangan pelatihan, lakukan: Backpropagation: 1. Tiap-tiap unit output (Y k,k = 1,2,3,,m) menerima target pola yang berhubungan dengan pola input pembelajaran, hitung informasi erornya δ k = (t k Y k ) ff (yy_iiii kk )...(2.5) dimana t = target output. Kemudian hitung koreksi bobot (yang nantinya akan digunakan untuk memperoleh nilai w jk ): Δw jk = αδ k z j...(2.6) dimana α = learning rate Hitung juga koreksi bias (yang nantinya akan digunakan untuk memperbaiki nilai w 0k ): Δw 0k = αδ k...(2.7) Kirimkanδ k ini ke unit-unit yang ada di lapisan bawahnya. 2. Tiap-tiap unit tersembunyi (Z j, j=1,2,3,,p) menjumlahkandelta inputnya (dari unit-unit yang berada pada lapisan diatasnya): mm δδ_iiii jj = kk=1 δδ kk ww jjjj...(2.8) Kalikan nilai ini dengan turunan dari fungsi aktivasinya untuk menghitung informasi eror: δδ jj = δδ_iiii jj ff (zz_iiii jj )...(2.9)
Kemudian hitung koreksi bobot (yang nantinya akan digunakan untuk memperbaiki nilai v ij ): Δvij = αδ j x i...(2.10) Hitung juga koreksi bias (yang nantinya akan digunakan untuk memperbaiki nilai v ij ) Δv 0j = αδ j...(2.11) c. Perbaharui bobot dan biasnya: 1. Tiap-tiap unit output (Y k, k=1,2,3, m) memperbaiki bias dan bobotnya (j = 0,1,2,,p): w jk (baru) = w jk (lama) + Δw jk (bobot)... (2.12) w 0k (baru) = w 0k (lama) + Δw 0k (bias)... (2.13) 2. Tiap-tiap unit tersembunyi (Z j, j=1,2,3, p) memperbaiki bias dan bobotnya (i = 0,1,2,,n): v ij (baru) = v ij (lama) + Δv ij (bobot)...(2.14) v 0j (baru) = v 0j (lama) + Δv 0j (bias)...(2.15) d. Tes kondisi berhenti. Setelah algoritma pelatihan jaringan backpropagationdilakukan dan diperoleh output yang paling mendekati target maka bobot dan bias akhir dari hasil pelatihan disimpan kemudian dilakukan proses pengujian dengan algoritma pengujian. Pada algoritma pengujian yang digunakan hanyalah tahap umpan maju (feedforward) saja. Algoritma pengujian jaringan backpropagation: 0. Langkah 0: Inisialisasi bobot. Bobot ini diambil dari bobot-bobot terakhir yang diperoleh dari algoritma pelatihan. 1. Langkah 1: untuk setiap vektor input, lakukan langkah ke-2 sampai ke-4. 2. Langkah 2: setiap unit input x i (dari unit ke-1 sampai unit ke-n pada lapisan input; i=1,...,n) menerima sinyal input pengujian x i ke semua unit pada lapisan di atasnya (unit-unit tersembunyi).
3. Langkah 3: Setiap unit di lapisan tersembunyi z j (dari unit ke-1 sampai unit ke-p; i=1,...,p) menghitung sinyal outputnya dengan menerapkan fungsi aktivasi terhadap penjumlahan sinyal-sinyal input x i. Sinyal output dari lapisan tersembunyi kemudian dikirim ke semua unit pada lapisan di atasnya. zz_iiii jj = vv 0jj + nn jj =1 xx ii vv iiii Z j = ff(zz_iiii jj ) 4. Langkah 4: Setiap unit output y k (dari unit ke-1 sampai unit ke-m; j=1,...,p; k=1,...,m) menghitung sinyal outputnya dengan menerapkan fungsi aktivasi terhadap penjumlahan sinyal-sinyal input bagi lapisan ini, yaitu sinyal-sinyal input z j dari lapisan tersembunyi. pp yy_iiii kk = ww 0kk + jj =1 zz jj ww jjjj Y k = ff(yy_iiii kk ) 5. Langkah 5:Menentukan nilai keluaran berdasarkan threshold(nilai ambang) yang telah ditetapkan (merupakan langkah tambahan). Dalam penelitian ini digunakan thresholddan output: if Y k < -0,5 then Y k = -1, else Y k = 1 elseif-0,5 Y k 0,5 then Y k = 0, Siklus dari satu kali pola pelatihan disebut epoch. Dalam penelitian bayaknya epochmaksimal pada jaringan bisa diatur sebagai batasan pelatihan dimana pelatihan jaringan boleh dihentikan. Keterangan: 1. Xi (i = 1,2,...,n) : unit input 2. x i : sinyal input 3. Zj (j = 1,2,...,p) : unit tersembunyi 4. z j : sinyal dari lapisan tersembunyi ke lapisan output 5. Yk (k=1,2,...,m) : unit output 6. y k : sinyal output
7. v oj : bias dari lapisan input ke lapisan tersembunyi 8. w 0k : bias dari lapisan tersembunyi ke lapisan output 9. t k :target output 10. δ k : informasi error yang diperoleh pada lapisan output yang akan dirambatkan ke lapisan tersembunyi 11. δ j : informasi error yang diperoleh pada lapisan tersembunyi 12. α : laju pemahaman(learning rate) 2.3.4 Pemilihan Bobot dan Bias Awal Bobot awal akan mempengaruhi apakah jaringan mencapai titik minimum lokal atau global, dan seberapa cepat konvergensinya. Bobot yang menghasilkan nilai turunan aktivasi yang kecil sedapat mungkin dihindari karena akan menyebabkan perubahan bobot menjadi sangat kecil. Demikian pula bobot awal tidak boleh terlalu besar karena nilai turunan aktivasinya menjadi sangat kecil juga. Oleh karena itu dalam standar backpropagation, bobot dan bias diisi dengan bilangan acak kecil [15]. Nguyen dan Windrow mengusulkan cara membuat inisialisasi bobot dan bias ke unit tersembunyi sehingga menghasilkan iterasi lebih cepat. Dimana: n = jumlah unit masukan p = jumlah unit tersembunyi nn ββ = faktor skala = 0.7 pp Algoritma Nguyen Windrow untuk setiap unit tersembunyi (j = 1,...,p) adalah sebagai berikut: 1. Inisialisasi semua bobot dengan (v ji (lama)) dengan bilangan acak dalam interval [-0.5, 0.5] 2. Hitung v j = vv 2 jj 1 + vv 2 2 jj 2 + + vv jjjj 3. Bobot yang dipakai sebagai inisialisasi = v ji = ββ vv jjjj (llllllll ) vv jj
4. Bias yang dipakai sebagai inisialisasi = v j0 = bilangan acak antara ββ dan ββ 2.3.5 Lapisan Tersembunyi Hasil teoritis yang didapat menunjukkan bahwa jaringan dengan sebuah layar tersembunyi sudah cukup bagi backpropagation untuk mengenali sembarangan perkawanan antara masukan dan target dengan tingkat ketelitian yang ditentukan. Akan tetapi penambahan jumlah layar tersembunyi kadangkala membuat pelatihan lebih mudah [15]. Menurut Diyah [14], tidak ada aturan yang pasti untuk mengetahui seberapa banyak lapisan tersembunyi yang sebenarnya diperlukan. Ada 2 ide yang bisa dipakai. Pertama adalah dengan menerapkan jaringan yang besar kemudian memangkas yang tidak perlu, atau sebaliknya, bergerak dari jaringan yang kecil kemudian bergerak melakukan penambahan yang dipandang perlu. 1. Dari jaringan besar ke kecil Arsitektur jaringan dibangun berdasarkan data, membentuk jaringan yang besar dan kemudian memangkas node-node dan koneksi-koneksi sampai menjadi jaringan terkecil yang bisa melakukan aplikasi. 2. Dari jaringan kecil ke besar Dimulai dari pembangunan sebuah jaringan kecil kemudian secara bertahap dilakukan penambahan node-node tersembunyi.