TEORI DASAR NEURAL NETWORK (2) Pengantar Deep Learning

TEORI DASAR NEURAL NETWORK (2) Pengantar Deep Learning

Paradigma Pembelajaran Pelatihan jaringan syaraf tiruan dibagi menjadi dua yaitu, pelatihan dengan supervisi (pembimbing) dan pelatihan tanpa supervisi. Tujuan dari pelatihan ini adalah memodifikasi bobot hingga diperoleh bobot yang bisa membuat keluaran jaringan sama dengan target yang diinginkan.

Backpropagation Backpropagation adalah metode penurunan gradien untuk meminimalkan kuadrat error keluaran. Ada tiga tahap yang harus dilakukan dalam pelatihan jaringan, yaitu : Tahap perambatan maju (forward propagation), Tahap perambatan-balik, Tahap perubahan bobot dan bias.

Backpropagation Arsitektur jaringan ini terdiri dari input layer, hidden layer dan output layer seperti

Algoritma Backpropagation 5 Error - + Output aktual Output target LAPISAN OUTPUT Tahap Umpan Maju Tahap pemropagasibalikan error LAPISAN TERSEMBUNYI LAPISAN INPUT Input

Algoritma Backpropagation Inisialisasi bobot (ambil nilai random yang cukup kecil). Selama kondisi berhenti bernilai salah, kerjakan : Tahap Perambatan Maju (forward propagation) a) Setiap unit input (X i, i=1,2,3,...,n) menerima sinyal x i dan meneruskan sinyal tersebut ke semua unit pada lapisan tersembunyi. b) Setiap unit tersembunyi (Z i, j=1,2,3,...,p) menjumlahkan bobot sinyal input dengan persamaan berikut: z _ in j = v 0j + n å i= 1 x v i ij

Algoritma Backpropagation n Dan menerapkan fungsi aktivasi untuk menghitung sinyal outputnya : n zj = f(z_inj) n Biasanya fungsi aktivasi yang digunakan adalah fungsi sigmoid. n Kemudian mengirimkan sinyal tersebut ke semua unit output. c) Setiap unit output (Yk, k=1,2,3,...,m) menjumlahkan bobot sinyal input y _ in k = w 0k + p å i= 1 z w i jk

Algoritma Backpropagation n Dan menerapkan fungsi aktivasi untuk menghitung n sinyal outputnya : yk = f(y_ink) d) Setiap unit output (Yk, k=1,2,3,...,m) menerima pola target yang sesuai dengan pola input pelatihan, kemudian hitung error dengan persamaan berikut: n d k = (tk yk) f (y_ink) n f adalah turunan dari fungsi aktivasi n kemudian hitung koreksi bobot dengan persaamaan berikut: ndw jk = a d k z j n Dan menghitung koreksi bias dengan persamaan berikut : ndw 0k = a d k n Sekaligus mengirimkan d k ke unit-unit yang ada di lapisan paling kanan.

Algoritma Backpropagation e) Setiap unit tersembunyi (Z j, j=1,2,3,...,p) menjumlahkan delta inputnya (dari unit-unit yang berada pada lapisan di kanannya) m å d _ in j = d w k = 1 k Untuk menghitung informasi error, kalikan nilai ini dengan turunan dari fungsi aktivasinya: d j = d_in j f (z_in j ) Kemudian hitung koreksi bobot dengan persamaan berikut: Dv jk = a d j x i Setelah itu hitung juga koreksi bias dengan persamaan berikut: Dv 0j = a d j jk

Tahap Perubahan Bobot dan Bias f) Setiap unit output (Yk, k=1,2,3,...,m) dilakukan perubahan bobot dan bias (j=0,1,2,...,p) dengan persamaan berikut n w jk (baru) = w jk (lama) + Δw jk n Setiap unit tersembunyi (Zj, j=1,2,3,...,p) dilakukan perubahan bobot dan bias (i=0,1,2,...,n) dengan persamaan berikut: n v ij (baru) = v ij (lama) + Δv ij g) Tes kondisi berhenti

Heteroassociative Memory Jaringan syaraf heteroassociative memory adalah jaringan yang dapat menyimpan kumpulan pengelompokan pola, dengan cara menentukan bobot-bobotnya sedemikian rupa. Setiap kelompok merupakan pasangan vektor (s(n), t(n)) dengan n=1,2,...,n. Algoritma pelatihan yang biasa digunakan adalah Hebb rule Algoritma: 1. Inisialisasi semua bobot = 0. 2. Perbaiki bobot dengan persamaan berikut : n W ij (baru) = w ij (lama) + x i *t j 3. Untuk setiap vektor input, kerjakan: n Set input dengan nilai sama dengan vektor input: n Hitung input jaringan ke unit output: y _ inj = å i xi * wij

Bidirectional Associative Memory (BAM) Bidirectional Associative Memory (BAM) adalah model jaringan syaraf yang memiliki 2 lapisan, yaitu : Lapisan input dan Lapisan output yang mempunyai hubungan timbal balik antara keduanya. Hubungan ini bersifat bidirectional artinya jika bobot matrik dari sinyal yang dikirim dari lapisan input X ke lapisan output Y adalah W, maka bobot matrik dari sinyal yang dikirim dari lapisan output Y ke lapisan input X adalah WT.

Bidirectional Associative Memory (BAM) Arsitektur jaringan untuk 3 neuron pada lapisan input dan 2 neuron pada lapisan output seperti terlihat pada Gambar berikut.

Learning Vector Quantization (LVQ) Learning Vector Quantization (LVQ) adalah suatu metode pelatihan pada lapisan kompetitif terawasi yang akan belajar secara otomatis untuk mengklasifikasikan vektor-vektor input ke dalam kelas-kelas tertentu. Kelas-kelas yang dihasilkan tergantung pada jarak antara vektor-vektor input. Jika ada 2 vektor input yang hampir sama, maka lapisan kompetitif akan mengklasifikasikan kedua vektor input tersebut ke dalam kelas yang sama.

Pembelajaran Tanpa Supervisi (Jaringan Kohonen) Pertama kali yang memperkenalkan jaringan kohonen adalah Prof. Teuvo Kohonen pada tahun 1982. Pada jaringan ini, neuron-neuron pada suatu lapisan akan menyusun dirinya sendiri berdasarkan input nilai tertentu dalam suatu cluster. Dalam proses penyusunan diri, cluster yang dipilih sebagai pemenang adalah cluster yang mempunyai vektor bobot paling cocok dengan pola input (memiliki jarak yang paling dekat).

Regularisasi Pada aplikasi praktis, kita sering menemukan kondisi dimana untuk persoalan yang kompleks ketersediaan datapembelajaran terbatas. Salah satu teknik yang digunakan untuk mengkontrol fenomena over-fitting adalah regularisasi (regularization), yaitu dengan cara menambah finalti ke fungsi error.

Regularisasi

Regularisasi Penghalusan Kurva

Regularisasi Pengecilan Nilai Bobot

Regularisasi Mengatasi Over-fitting

Regresi Linear Umum

Regresi Linear Umum

Dropout Secara sederhana, dropout mengacu pada mengabaikan unit (yaitu neuron) selama fase pelatihan seperangkat neuron tertentu yang dipilih secara acak. Dengan "mengabaikan", unit-unit ini tidak dipertimbangkan selama umpan maju atau mundur tertentu. Dropout adalah pendekatan regularisasi pada jaringan syaraf tiruan yang membantu mengurangi pembelajaran interdependen di antara neuron

Dropout Tahap Pelatihan Untuk setiap lapisan tersembunyi, untuk setiap sampel pelatihan, untuk setiap iterasi, abaikan (nilai 0 dikeluarkan) pecahan acak, p, simpul (dan aktivasi yang sesuai). Tahap Pengujian Gunakan semua aktivasi, namun kurangi mereka dengan faktor p (untuk memperhitungkan aktivasi yang hilang selama latihan).

Dropout

TERIMA KASIH