Architecture Net, Simple Neural Net

Transkripsi

1 Architecture Net, Simple Neural Net 1

2 Materi 1. Model Neuron JST 2. Arsitektur JST 3. Jenis Arsitektur JST 4. MsCulloh Pitts 5. Jaringan Hebb 2

3 Model Neuron JST X1 W1 z n wi xi; i1 y H ( z) Y1 X2 Y2 W2 Fungsi aktivasi X3 W3 Bobot Y3 Masukkan Keluaran Y1 = X1.W1 + X2.W2 + X3.W3; dst 3

4 Model Neuron JST Pada JST, neuron-neuron akan dikumpulkan dalam lapisan lapisan yang disebut dengan layers Neuron dalam satu lapisan akan dihubungkan dengan neuron pada lapisan lainnya Kadang muncul juga layer tersembunyi (hidden layer) untuk menambah keakuratan pelatihan Informasi tersebut bisa dirambatkan secara forward ataupun backward 4

5 Istilah dalam JST Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling berhubungan dan membentuk lapisan Input: sebuah nilai input yang akan diproses menjadi nilai output Output: solusi dari nilai input Hidden layer: lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output, memperluas kemampuan JST Bobot: nilai matematis dari sebuah koneksi antar neuron Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai bobot per-iterasi dari semua nilai input. Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma) Berbentuk linier atau tidak linier, dan sigmoid Paradigma pembelajaran: bentuk pembelajaran, 5 supervised learning, atau unsupervised learning

6 JST dengan 3 Layer 6

7 Arsitektur Jaringan Pola di mana neuron-neuron pada JST disusun berhubungan erat dengan algoritma belajar yang digunakan untuk melatih jaringan. Secara umum arsitektur jaringan dapat dibagi menjadi empat, yaitu: Single layer feedforward networks Multi layer feedforward networks Recurrent Networks Lattice Structure 7

8 Single layer Feedforward Net Suatu JST biasanya diorganisasikan dalam bentuk lapisan-lapisan (layer). Pada bentuk paling sederhana hanya terdapat input layer dan output layer, seperti pada gambar di samping 8

9 Multilayer Feedforward Net Kelas kedua dari feedforward neural network adalah jaringan dengan satu atau lebih lapis tersembunyi (hidden layer). 9

10 Recurrent Networks Recurrent neural network adalah jaringan yang mempunyai minimal satu feedback loop. Sebagai contoh, suatu recurrent network bisa terdiri dari satu lapisan neuron tunggal dengan masing-masing neuron memberikan kembali outputnya sebagai input pada semua neuron yang lain 10

11 Recurrent Networks 11

12 Recurrent Networks 12

13 Lattice Structure Sebuah lattice (kisi-kisi) terdiri dari array neuron berukuran satu dimensi, atau dua dimensi, atau lebih. Berikut adalah lattice satu dimensi dengan 3 neuron yang mendapatkan masukan dari 3 node sumber. 13

14 Lattice Structure Berikut adalah lattice dua dimensi dengan 3 kali 3 neuron yang mendapatkan masukan dari 3 node sumber 14

15 Pengelompokan JST JST Feed Forward Tidak mempunyai loop Contoh: single layer perceptron, mutilayer perceptron, radial basis function JST Feed Backward (Recurrent) Memiliki loop, lapisan output akan memberi input lagi bagi lapisan input Contoh: competitive networks, kohonen, hopfield, ART 15

16 McCulloch Pitts Fungsi aktivasi biner Besar bobotnya sama Memiliki threshold yang sama Contoh buat fungsi logika and, input X1 dan X2, dan Y = 1 jika dan hanya jika inputan 1 X1 X2 Y z n i1 w x i i ; y H ( z) 16

17 McCulloch Pitts Contoh buat fungsi logika or, input X1 dan X2, dan Y = 0 jika dan hanya jika inputan 0 X1 X2 Y z n i1 w x i i ; y H ( z) 17

18 Learning Proses belajar dalam konteks JST dapat didefinisikan sebagai berikut: Belajar adalah suatu proses di mana parameterparameter bebas JST diadaptasikan melalui suatu proses perangsangan berkelanjutan oleh lingkungan di mana jaringan berada. Metode belajar, yaitu: Supervised learning (belajar dengan pengawasan) Unsupervised learning (belajar tanpa pengawasan) Hibrida learning (Gabungan Supervised dan Unsupervised) 18

19 Supervised Learning Supervised learning adalah proses belajar yang membutuhkan guru, yaitu sesuatu yang memiliki pengetahuan tentang lingkungan. Guru bisa direpresentasikan sebagai sekumpulan sampel input-output. Pembangunan pengetahuan dilakukan oleh guru dengan memberikan respons yang diinginkan kepada JST. Parameter-parameter jaringan berubah-ubah berdasarkan vektor latih dan sinyal kesalahan, yaitu perbedaan antara keluaran JST dan respons yang diinginkan. Proses perubahan dilakukan dalam bentuk iterasi. 19

20 UnSupervised Learning Unsupervised Learning atau self-organized learning tidak membutuhkan guru untuk membantu proses belajar. Dengan kata lain, tidak ada sekumpulan sampel input-output atau fungsi tertentu untuk dipelajari oleh jaringan. JST mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu Salah satu contoh unsupervised learning adalah competitive learning, di mana neuron-neuron saling bersaing untuk menjadi pemenang. 20

21 Algoritma Pembelajaran Umum Dimasukkan n data pelatihan Inisialisasi bobot-bobot jaringan, set i = 1 Masukkan contoh ke-i ke dalam input Cari tingkat aktivasi unit output menggunakan algoritma yang ditetapkan Jika memenuhi kriteria output then exit else: Update bobot2 menggunakan fungsi galat error, Bobot baru = bobot lama + delta If i=n then reset i=1, else i=i+1 21

22 Simple Neuron Arsitektur dasar dari semua kemungkinan model JST sederhana (single-layer) ditunjukkan pada gambar disamping Terdiri dari sebuah layer input dan sebuah output 22

23 Bias dan Threshold Bias Threshold 23

24 Linear Separability Output yes 1 Output no -1 Decision Boundary 24

25 Hebb Net Hebb mengusulkan pembelajaran dengan memodifikasi bobot sedemikian shg dua hubungan neuron on dalam waktu yang bersamaan, kemudian bobot diantara kedua neuron tersebut bertambah 25

26 Algoritma Hebb Net 1. Inisialisasi bobot 2. Untuk setiap input training dan target output, s:t 1. Set aktifasi untuk input 2. Set aktifasi untuk output 3. Hitung bobot dan bias dengan 26

27 Fungsi AND (biner input & target) State Perhitungan bobot Decision Boundary Proses 27

28 Fungsi AND (biner input & bipolar target) State Perhitungan bobot Decision Boundary Proses Pemilihan pola pembelajaran memberikan peranan penting! 28

29 Fungsi AND (bipolar input & target) State Perhitungan bobot Decision Boundary Proses 29

30 Latihan Buatlah manual atau implementasi dari pengenalan kedua pola berikut: 30