Artificial Intelligence - STTS 1 of 9 ANN : Beberapa Definisi Valluru B. Rao dan Hayagriva V. Rao 1 : sebuah kelompok unit pengolah (group processing units) yang mana tiap subgrup mengerjakan perhitungannya secara independen dan memberikan hasilnya kepada sebuah subgroup lain, dan demikian seterusnya sehingga pada akhirnya, sebuah subgrup dari satu atau lebih processing unit menentukan nilai output dari kelompok / network tersebut. Bart Kosko (University of Southern California) 2 : terdiri dari sekumpulan, unit-unit pengolahan sederhana (simple processing units) atau "neurons" yang dapat kita program untuk melakukan proses komputasi. Li-Min Fu 3 : sebuah arsitektur paralel terdistribusi dengan banyak node dan connection (hubungan). Tiap connection menghubungkan sebuah node ke node lainnya dan tiap connection mempunyai nilai bobot. Laurene Fausett (Florida Institute of Technology) 4 : sebuah sistem pengolahan informasi (oleh komputer) dengan sejumlah karakteristik performansi khusus yang biasanya hanya terdapat / dimiliki oleh jaringan syaraf biologis. 1 Rao, Valluru B. dan Rao, Hayagriva V., C++ Neural Networks and Fuzzy Logic, (New York: MIS:Press, 1993), p. 2. 2 Kosko, Bart, Neural Networks and Fuzzy Systems a Dynamical System Approach to Machine Intelligence, (Englewodd Cliffs: Prentice-Hall International, Inc., 1992), p. 13. 3 Li Min Fu, Neural Networks in Computer Intelligence, (McGraw-Hill International, 1994), p. 18. 4 Fausset, Laurene, Fundamentals of Neural Networks Architectures, Algorithms, and Applications, (Englewood Cliffs: Prentice-Hall International, Inc., 1994), p. 3.
Artificial Intelligence - STTS 2 of 9 DARPA Neural Network Study 5 : sebuah sistem yang terdiri dari banyak elemen sederhana dan bekerja secara paralel, yang fungsinya ditentukan oleh: struktur jaringan tersebut; bobot dari garis-garis penghubungnya; dan mekanisme pengolahan dalam unit-unit tersebut. Nigrin, A. 6 : sebuah jaringan yang terdiri dari elemen-elemen sederhana dengan jumlah yang banyak dan mirip dengan jaringan saraf manusia. Tiap unit tersebut bekerja hanya pada informasi lokal yang didapatnya. Bahkan setiap elemen tersebut bekerja secara asynchronous, sehingga secara global tidak dalam waktu sistem yang sama. Simon Haykin 7 : sejumlah besar unit yang tersebar secara paralel dan memiliki kemampuan alamiah untuk menyimpan pengetahuan hasil dari percobaan dan kemudian akan menggunakannya di kemudian hari untuk memecahkan masalah, sehingga sistem ini dapat dianggap mirip dengan otak manusia, terutama jika dilihat dari dua aspek berikut: (1). Pengetahuan yang didapatkan oleh network tersebut adalah melalui proses belajar; dan (2). Bobot garis-garis penghubung antar neuron yang dikenal sebagai bobot sypnatic berfungsi untuk menyimpan pengetahuan yang diinginkan. Jacek M. Zurada 8 : sistem seluler fisik yang secara fisik dapat memperoleh, menyimpan dan kemudian menggunakan pengetahuan dari pengalamannya. 5 1988, AFCEA International Press, p. 60. 6 1993, Neural Networks for Pattern Recognition, Cambridge, MA: The MIT Press, p. 11. 7 1994, Neural Networks: A Comprehensive Foundation, New York: Macmillan, p. 2. 8 1992, Introduction To Artificial Neural Systems, Boston: PWS Publishing Company, p. xv.
Artificial Intelligence - STTS 3 of 9 ANN : Overview NN telah dan terus dikembangkan sebagai generalisasi dari model-model matematika dari kognitif manusia atau syaraf biologis, berdasar asumsi-asumsi berikut: 1. Pengolahan informasi terjadi dalam sejumlah elemen sederhana, yang disebut neurons. 2. Sinyal diterima/dikirim antar neuron melalui connection links (link-link penghubung). 3. Setiap connection links memiliki weights (bobot) masing-masing, yang dalam kebanyakan NN dikalikan dengan nilai sinyal yang ditransmisikan. 4. Setiap neurons menerapkan sebuah activation function (fungsi aktivasi, yang biasanya non-linier) pada inputnya (jumlah dari nilai sinyal input yang telah diberi bobot oleh semua connection links yang menuju dirinya) untuk menentukan sinyal outputnya. Sebuah NN characterized by (dicirikan / ditera dari): 1. Pola connections antara neuron-neuron di dalamnya (arsitekturnya). 2. Metode untuk menentukan bobot-bobot dalam connectionsnya (algoritma learning atau algoritma trainingnya). 3. Fungsi Aktivasi yang digunakannya. Neuron lebih lambat lima sampai enam kali lipat dari gerbang logika silikon: suatu event dalam sebuah chip silikon terjadi pada range nanodetik (10-9 detik) sedangkan event dalam suatu neural terjadi dalam millidetik (10-3 detik). 9 Dalam otak manusia diperkirakan terdapat: 10 milliar neurons, dan 60 trilyun synapses atau koneksi antara neuron. 9 Haykin, Simon, NN : A Comprehensive Foundation, Macmillan 1994, p. 1.
Artificial Intelligence - STTS 4 of 9 ANN : Sejarah Singkat Jauh hari sebelumnya, Ramon y Cajal (1911) telah berupaya untuk mengetahui struktur dan cara kerja otak, dan memperkenalkan ide tentang neuron sebagai suatu struktur dari otak. Tahun 1940-an: The Beginning of Neural Nets McCulloch-Pitts Neurons, oleh Warren McCulloch dan Walter Pitts (1943). Hebbian Learning Rule, yang ditawarkan oleh Donald O. Hebb, seorang psychologist dari McGill University (1949). Tahun 1950-an dan 1960an: The First Golden Age of Neural Networks Perceptrons, yang ditawarkan oleh Frank Rosenblatt (1958). Adaline, yang ditawarkan oleh Bernard Widrow dan mahasiswanya Marcian (Ted) Hoff (1960) dengan The Widrow-Hoff Learning Rule (untuk single-layer NN) yang menjadi cikal bakal Backpropagation Rule (untuk multi-layer NN). 10 Madaline, yang adalah perluasan multi-layer dari Adaline (1960). Tahun 1970-an: The Quiet Years Self-Organizing Maps/NN (SOM) atau Kohonen Map, suatu model Associative Memory NN dari Teuvo Kohonen (1972). Karya-karya Penelitian yang luar biasa banyaknya dari Stephen Grossberg, direktur dari Center for Adaptive Systems at Boston University. Tercatat ia menulis 146 publikasi dari tahun 1967 s.d. 1988. 10 Fausett, op.cit., pp. 24. Nama ADALINE tidak jelas berasal dari mana, ADAptive LInear NEuron, atau ADAptive LINEar System.
Artificial Intelligence - STTS 5 of 9 "Brain-State-in-a-Box", suatu penelitian lanjut dari Associative Memory NN, oleh James Andreson, Brown University (1977). Adaptive Resonance Theory 1 dan 2 (ART1 dan ART2), oleh Gail Carpenter dan Stephen Grossberg (1985, 1987, 1990) adalah pengembangan lanjut teori Self-Organizing NN dari Kohonen. Tahun 1980-an: Renewed Enthusiasm Back Propagation, oleh David Parker (1985) dan LeCun (1986), keduanya menawarkan secara independen, sebelum model ini menjadi sangat dikenal seperti pada saat ini. Hopfield Nets, oleh John Hopfield (1982), penerima hadiah Nobel bidang Fisika dari California Institute of Technology. Hopfield Nets merupakan Associative Memory Nets yang dapat menyelesaikan constraints satisfactions problems, seperti Traveling Salesman Problem. Neocognitron, oleh Kunihiko Fukushima (1983) dari NHK Laboratories, Tokyo, yang adalah NN khusus untuk character recognition. Arsitektur ini dianggap sebagai "state-of-the-art"nya handwritten recognition. Boltzman Machine, non-deterministic NN yang perubahan nilai bobot dan aktivasinya berdasarkan fungsi probabilitas, oleh sejumlah peneliti (1983-1987). Ide dasarnya adalah Simulated Anealling dan Teori Pengambilan Keputusan Bayesian. Implementasi Hardware, yang tekanannya adalah improvisasi kapabilitas komputasinya. Dua contoh konkrit dalam aspek ini adalah Optical Neural Nets (1985) dan VLSI Implementation (1987).
Artificial Intelligence - STTS 6 of 9 ANN : McCulloch-Pitts Neurons Konsep Umum Model yang diperkenalkan oleh Warren McCulloch dan Walter Pitts (1943) dikenal sebagai arsitektur NN pertama. Secara umum sebuah neuron McCulloch-Pitts Y menerima sinyal dari sejumlah neuron lainnya. Setiap connections, selain excitatory (dengan bobot w>0), bisa juga inhibitory (dengan bobot -p yang nilainya <0). 11 Pada arsitektur neuron tunggal McCulloch-Pitts Y (Gambar 1), diasumsikan terdapat n unit, X 1, X 2,..., X n, yang mengirim sinyal excitatory ke unit Y, dan terdapat m unit, X n+1, X n+2,..., X n+m, yang mengirim sinyal inhibitory ke unit Y. Fungsi aktivasi untuk unit Y adalah: { 1, jika y_in>=θ f(y_in) = 0, jika y_in<θ dimana y_in adalah total sinyal input yang diterima dan q adalah thresholdnya. Gambar 1 -- Arsitektur neuron tunggal McCulloch-Pitts, Y 11 dalam pengertian sederhana excitatory adalah penguat, perangsang, pembangkit; sedangkan inhibitory adalah perintang, pelemah.
Artificial Intelligence - STTS 7 of 9 Fungsi-fungsi Logika Fungsi-fungsi Logika banyak digunakan sebagai contoh sederhana pada berbagai arsitektur NN, misalnya AND, OR, dan AND NOT. Gambar 2 -- Sebuah neuron tunggal McCulloch-Pitts untuk mewujudkan fungsi logika AND. Gambar 3 -- Sebuah neuron tunggal McCulloch-Pitts untuk mewujudkan fungsi logika OR. Gambar 4 -- Sebuah neuron tunggal McCulloch-Pitts untuk mewujudkan fungsi logika AND NOT. Ini adalah contoh dimana kedua nilai inputnya tidak simetris (pada kasus x 1 =1, x 2 =0, dan x 1 =0, x 2 =1, hasilnya berbeda).
Artificial Intelligence - STTS 8 of 9 Isyu Utama Arsitektur ini Jauh hari telah memberikan "Ide Dasar" untuk pengembangan sejanjutnya pada: Penentuan nilai yang tepat untuk bobot dan thresholdnya. Inilah prinsip utama mengapa arsitektur ini harus dipelajari. Sama sekali belum membicarakan training. Kombinasi lebih banyak neuron-neuron sederhana ke dalam sebuah sistem neural adalah sumber dari kekuatan komputasinya (akan meningkatkan performasinya). Terbukti bahwa dengan menggunakan neuron-neuron sederhana untuk fungsi logika sederhana sebagai blok dasar pembentuknya (building blocks), fungsi/aplikasi lainnya yang sedikit lebih kompleks, seperti XOR dan "Hot and Cold Model" dapat diwujudkan. Aplikasi 1 : Fungsi Logika XOR Gambar 5 -- Sebuah NN (neural network) McCulloch-Pitts (banyak neuron) untuk mewujudkan fungsi logika XOR. Network pada gambar 5 mewujudkan fungsi logika XOR yang dapat diekspresikan sebagai: x 1 XOR x 2 <----> (x 1 AND NOT x 2 ) OR (x 2 AND NOT x 1 )
Artificial Intelligence - STTS 9 of 9 Dengan demikian x1 XOR x2 dapat diwujudkan dengan network 2-layer. Layer pertama (layer-1) mewujudkan z 1 = x 1 AND NOT x 2 dan sekaligus z 2 = x 1 AND NOT x 2. Sedangkan layer-2 hanya berisi y = z 1 OR z 2. Unit z 1, z 2, dan y, masing-masing memiliki nilai threshold 2. Aplikasi 2 : Hot and Cold Dikenal baik dan merupakan physiological phenomenon (fenomena fisik) yang menarik, bahwa jika sebuah stimulus dingin diberikan pada kulit manusia dalam periode waktu yang sangat singkat, manusia justru akan merasakan panas. Namun demikian, bila stimulus dingin yang sama diberikan dalam periode waktu yang lebih lama, manusia akan merasakan dingin. Gambar 6, neuron-neuron X1 dan X2 menyajikan receptors (input) untuk panas dan dingin, sedangkan Y1 dan Y2 adalah perceptorsnya (output). 12 Z1 dan Z2 adalah neuron-neuron pembantu yang diperlukan pemodelannya. Contoh ini secara original disajikan oleh McCulloch dan Pitts. 12 receptors adalah penerima (input), sedangkan perceptors adalah perasa, yang mempersepsikan (output).