Architecture Net, Simple Neural Net 1
Materi 1. Perceptron 2. ADALINE 3. MADALINE 2
Perceptron Perceptron lebih powerful dari Hebb Pembelajaran perceptron mampu menemukan konvergensi terhadap bobot yang benar Fungsi aktivasi : Update bobot = learning rate 3
Arsitektur Perceptron Output : vektor biner Goal : klasifikasi setiap input ke dalam kelas +1 atau -1 4
Algoritma Perceptron Inisialisasi bobot dan bias (w=b=0) dan 0 < <= 1 (=1) Ulangi sampai sesuai kondisi kriteria berhenti Untuk setiap pasangan s:t, lakukan Set aktivasi input x i = s i Hitung Update bobot dan bias jika terjadi kesalahan Evaluasi kriteria berhenti Jika bobot tidak berubah maka berhenti, jika tidak maka lanjutkan 5
Fungsi AND (biner input & bipolar target) Inisialisasi: = 1, w=b=0, = 0.2 Epoch = 1 Epoch = 2 6
Fungsi AND (bipolar input & target) Inisialisasi: = 1, w=b==0 Epoch = 1 Epoch = 2 7
Latihan 8
Arsitektur Pengenalan 7 Huruf 9
ADALINE (Adaptive Linear Neuron) Biasanya menggunakan bipolar dan bias Random bobot awal dengan bilangan kecil Dilatih menggunakan aturan delta/lms dengan meminimalkan MSE antara fungsi aktivasi dan target Fungsi aktivasi : identitas / linier Update bobot = learning rate 10
Arsitektur ADALINE Output : vektor biner Goal : klasifikasi setiap input ke dalam kelas +1 atau -1 11
Algoritma Training ADALINE Inisialisasi bobot Biasanya digunakan nilai random yang kecil Inisialisasi learning rate () Biasanya digunakan nilai yang relatif kecil, yaitu 0.1 Jika nilai terlalu besar, proses learning tidak mencapai konvergen Jika nilai terlalu kecil, proses learning akan berjalan sangat lambat Secara praktis, nilai learning rate ditentukan antara 0.1 n 1.0, dimana n adalah jumlah input unit Ulangi sampai sesuai kondisi kriteria berhenti Untuk setiap pasangan s:t, lakukan Set aktivasi input x i = s i Hitung Update bobot dan bias 12
Algoritma Testing ADALINE Inisialisasi bobot Dapatkan bobot dari proses learning Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x Hitung nilai jaringan dari input ke output Terapkan fungsi aktivasi 13
Fungsi AND (biner input & bipolar target) ADALINE didesain untuk menemukan bobot yang bertujuan meminimalkan total error net input to output target 14
MADALINE (Many Adaptive Linear Neuron) Konsep ADALINE yang menggunakan jaringan multilayer Arsitektur MADALINE tergantung pada kombinasi ADALINE yang digunakan MADALINE dengan 1 hidden layer (terdiri dari 2 hidden unit ADALINE) dan 1 output unit ADALINE Fungsi aktivasi untuk hidden dan output layer: 15
Arsitektur MADALINE Y merupakan fungsi nonlinier dari input vektor (x 1 dan x 2 ) 16
Algoritma Training MADALINE MRI (Widrow dan Hoff) Inisialisasi bobot v 1 = 1 2, v 2 = 1 2, b 3 = 1 2 Bobot yang lain menggunakan bilangan random yang kecil nilai learning rate ditentukan antara 0.1 n 1.0 Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x Hitung masukan jaringan ke setiap hidden unit z in 1 = b 1 + x 1 w 11 + x 2 w 21 z in 2 = b 2 + x 1 w 12 + x 2 w 21 Tentukan output dari setiap hidden unit z 1 = f(z in i ) z 2 = f(z in i ) 17
Algoritma Training MADALINE MRI (Widrow dan Hoff) Untuk setiap bipolar input pada vektor x Tentukan keluaran dari jaringan y in = b 3 + z 1 v 1 + z 2 v 2 y = f y in Hitung error dan update bobot, jika t=y maka bobot tidak di-update Jika t=1, update bobot pada Zj b J (new) = b J (old) + (1 z in J ) w ij new = w ij old + 1 z in J x i Jika t=-1, update bobot pada semua unit Zk yang punya input positif b k (new) = b k (old) + ( 1 z in k ) w ik (new) = w ik (old) + 1 z in k x i 18
Algoritma Training MADALINE MRII (Widrow, Winter dan Baxter) Inisialisasi bobot v 1 = 1 2, v 2 = 1 2, b 3 = 1 2 Bobot yang lain menggunakan bilangan random yang kecil nilai learning rate ditentukan antara 0.1 n 1.0 Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x Hitung masukan jaringan ke setiap hidden unit z in 1 = b 1 + x 1 w 11 + x 2 w 21 z in 2 = b 2 + x 1 w 12 + x 2 w 21 Tentukan output dari setiap hidden unit z 1 = f(z in i ) z 2 = f(z in i ) 19
Algoritma Training MADALINE MRII (Widrow, Winter dan Baxter Untuk setiap bipolar input pada vektor x Tentukan keluaran dari jaringan Hitung error dan update bobot, jika t y maka laukan update bobot untuk setiap hidden unit dengan input mendekati 0 y in = b 3 + z 1 v 1 + z 2 v 2 y = f y in Ubah keluaran unit (dari +1 menjadi 1, atau sebaliknya) Hitung kembali respon dari jaringan. Jika kesalahan berkurang: Sesuaikan bobot pada unit ini (gunakan nilai keluaran yang baru sebagai target dan lakukan aturan Delta) b J (new) = b J (old) + (1 z in J ) w ij new = w ij old + 1 z in J x i b k (new) = b k (old) + ( 1 z in k ) w ik (new) = w ik (old) + 1 z in k x i 20
Algoritma Testing MADALINE Inisialisasi bobot Dapatkan bobot dari proses learning Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x Hitung nilai jaringan dari input ke output Terapkan fungsi aktivasi 21
Contoh Aplikasi fungsi Xor Inisialisasi Bobot dg random, learning rate = 0.5 22
Contoh Aplikasi fungsi Xor 23
Contoh Aplikasi fungsi Xor 24