BAB 3. JARINGAN MEMORI ASOSIATIF Jaringan memori asosiatif adalah jaringan satu lapis dengan bobot ditentukan sedemikian rupa sehingga jaringan dapat menyimpan himpunan asosiasi pola. Setiap asosiasi adalah pasangan vektor masukan-keluaran s: t. Bila s = t, jaringan disebut memori autoasosiatif, sedangkan bila s t, jaringan disebut memori heteroasosiatif 3.1 ALGORITMA PELATIHAN UNTUK ASOSIASI POLA Terdapat dua jenis algoritma pelatihan, yaitu: a) Aturan Hebb b) Aturan delta 3.1.1 Aturan Hebb untuk Asosiasi Pola Aturan Hebb dapat digunakan untuk pola yang disajikan sebagal vector biner atau bipolar. Berikut diberikan prosedur umum untuk mencari bobot dengan outer product. Algoritma Langkah 0. Inisialialisasi semua bobot (i = 1,. n; j = 1. m): wij =0, Langkah 1. Untuk setiap pasangan vector masukan pelatihan-keluaran target s : t, lakukan langkah 2-4. Langkah 2. Tetapakan aktivasi unit masukan dengan rnasukan pelatihan (i=1,, n): xi = si Langkah 3. Tetapkan aktivasi unit keluaran dengan keluaran target (j = 1,, m): yj = tj Langkah 4. Atur bobot (j = 1,, n : j = 1,, m), wij (baru) = wij (lama)+xi yj. Outer pruduct untuk dua vector berikut: s=[s1... si..sn] dan t= [tl tj,tm ] Universitas Gadjah Mada 1
Untuk menyimpan asosiasi s(p) : t (p) dengan p = 1,., P Dengan s(p) = [ s1 (p)... si(p)... sn(p)] dan t(p) = [ti (p).. tj(p).., tm(p) ] matriks bobot W untuk bobot awal = 0 diberikan oleh W P p 1 s T (p)t(p) Crosstalk Bila vektor-vektor masukan tidak terkorelasi atau vektor saling orthogonal maka Hebb akan menghasilkan bobot yang benar. Tanggapan jaringan yang diuji vektor pelatihan merupakan ingatan dari target yang terasosiasi dengan vector yang diskalakan dengan kuadrat norm dan vector masukan yang dicari. Bila vektor-vektor masukan tidak orthogonal, maka tanggapan akan berisi bagian nilai target yang disebut crosstalk (cakap-silang). Dua vector s(k) dan s(p), k p adalah orthogonal bila produk titik (dot product) nya sama dengan nol. s(k) s T (p)=o atau si(k) si(p) = 0 i Tanggapan jaringan terhadap pemberian pola ke k dari vector masukan s(k) adalah (dengan fungsi aktivasi identitas ) adalah: Bila s(k) orthogonal terhadap s(p) untuk p k, maka tidak ada kontribusi ke tanggapan dari setiap suku penjumlahan. Tanggapannya adalah vector target t(k) yang kalakan oleh kuadrat norm vector masukan, yaitu s(k) s T (k). Universitas Gadjah Mada 2
Tetapi bila s(k) tidak orthogonal terhadap vector s yang lain, maka akan ada kontribusi ke tanggapan yang terlibat dengan nilai target untuk setiap vector yang mana s(k) tidak orthogonal. 3.1.2 Aturan Delta (Widrow-Hoff) Aturan ini dapat digunakan untuk pola masukan yang independen linear, tetapi tidak Ihogorial. Pemetaan untuk vector masukan yang independen linear dapat diselesaikan dengan jaringan satu lapis. Aturan delta diperlukan untuk menghindarkan cakap silang pacta aturan Hebb. Lagi pula aturan delta äkan menghasilkan solusi least squares bila pola masukan tidak independen linear. Dalam bentuk asli aturan delta yang diasumsikan mempunyai fungsi aktivsi identitas untuk unit keluaran. Perluasan sederhana memungkinkan penggunaan fungsi aktivasi terdiferensialkan (aturan delta yang diperluas). Atuan Delta Asli Aturan delta asli mempunyai fungsi aktivasi identitas. Perbaruan bobotnya dapat ditulis sebagai berikut: wij(baru)=wij(lama)+α (tj yj)xi ; (i=1,n;j = 1, m) Dinyatakan dalam perubahan bobot: Δ wij = α (tj yj ) xi Aturan Delta yang Diperluas Aturan delta yang diperluas mempunyai fungsi aktivasi yang terdiferensialkan. Δ wij = α (tj yj ) xi f ( inj ) Universitas Gadjah Mada 3
3.2 Jaringan Neural Memori Heteroasosiatif Bobot jaringan ini dapat diperoleh dengan aturan Hebb atau aturan delta. Untuk jaringan dengan aturan Hebb, jaringan akan memperoleh vektor keluaran y yang sesuai dengan vector masukan x, yang merupakan salah satu dan pola tersimpan s(p) atau polabaru. Arsitektur Arsitektur jaringan neural memori heteroasosiatif terlihat pada Gambar 3.1 Gambar 3.1 Jaringan memori heteroasosiatif Masukan neto untuk neuron Yj adalah: untuk target bipolar Vektor kelurn y memberikan pola yang tersosiasi dengan vector masukan x. Memori heteroasosiatif ini tidak iterative. Bila tanggapan jaringan biner, maka fungsi aktivasi yang sesuai adalah: Bentuk umum fungsi aktivasi yang mengandung ambang θ yang digunakan pada pada asosiatif bidireksional (Bidirectional Assosiative Memory, BAM) adalah sebagai t (jaringan iterative): Universitas Gadjah Mada 4
Pemilihan tanggapan yang diinginkan untuk neuron, bila masukan netonya tepat sama dengan ambang adalah sembarang. Untuk jaringan heteroasosiatifumpan maju, diperlukan definisi awal aktivasi untuk semua unit, misalnya ditetapkan sama dengan nol Juga dimungkinkan menggunakan fiingsi aktivasi Perceptron yang memerlukan masukan neto lebih besar dari pada θj agar keluaran sama dengan 1 dan masukan neto kurang dan θj agar keluaran sama dengan -1. Bila aturan delta digunakan untuk pengaturan bobot, maka fungsi aktivasi yang lain seperti sigmoid juga dapat digunakan. 3.3 Jaringan Autoasosiatif Jaringan autoasosiatif merupakan kasus khusus jaringan heteroasosiatif. Vektor masukan pelatihan keluaran target adalah identik. Proses pelatihan disebut penyimpanan vector yang dapat biner atau bipolar. Vektor yang tersimpan dapat diperoleh kembali meskipun masukan yang dibenikan cacat. Kinerja jaringan ditinjau oleh kemampuannya mereproduksi pola tersimpan dan masukan yang berderau. Kinerjanya umumnya lebih baik untuk vector bipolar dan pada vector biner. Untuk jaringan autoasosiatif kadang-kadang bobot diagonal (yang menghubungkan komponen pola masukan ke komponen pola keluaran yang sesuai) ditetapkan menjadi nol. Penetapan bobot menjadi nol ini memperbaiki kemampuan jaringan untuk perampatan (generalisasi). Khususnya bila lebih dari satu vector disimpan di dalamnya. Hal ini juga perlu untuk kasus iterative, atau bila digunakan aturan delta untuk mencegab pelatihan menghasilkan matriks bobot identitas. Arsitektur. Arsitektur jaringan autoasosiatif terlihat pada Gambar 3.2 dengan aktivasi setiap unit masukan xi = si dan setiap unit keluaran j = sj. Cacah unit masukan sama dengan unit keluaran. Universitas Gadjah Mada 5
Gambar 3.2 Jaringan autoasosiatil dengan xi = si dan y sj serta cacah unit masukan sama dengan unit keluaran Algoritma Untuk jaringan yang saling orthogonal dapat digunakan aturan Hebb untuk menetapkan bobot, karena vector masukan dan vector keluaran terkorelasi sempuma komponen per komponen. Langkah 0. Inisialisasi semua bobot, i = 1,. n ; j = 1,., m. wij=0. Langkah 1. Untuk setiap vector yang tersimpan, kerjakan Langkah 2 4 Langkah 2. Tetapkan aktivasi setiap unit masukan xi=si; i=1,., n Langkah 3. Tetapkan aktivasi setiap unit keluaran. yj=sj; j=1,...,m. Langkah 4. Atur bobot wij (baru) = wij (lama) + xi yj i=1,n;j=1,...,m. Dalam praktek bobot ditetapkan dengan formula: W P p 1 T s ( p) s( p) Universitas Gadjah Mada 6