Nico Saputro Perbandingan Arsitektur Multilayer Feedforard Netork dengan memakai Topologi Multiprosesor Ring Array Dan Linear Array Abstrak Jaringan Syaraf Tiruan dapat diimplementasikan secara perangkat lunak maupun perangkat keras. Perangkat keras lebih cepat dibandingkan perangkat lunak sehingga dapat dipergunakan untuk pemrosesan aktu nyata. Implementasi perangkat keras dari Jaringan Syaraf Tiruan dapat dilakukan memakai sistem multiprosesor. Ada beragam topologi multiprosesor, dalam makalah ini akan diperbandingkan 2 topologi yaitu topologi Linear Array dan Ring Array. Abstract Neural Netork implementations could be done ith softare or hardare. Hardare is faster than softare and can be used in real time processing. Hardare implementation of neural netork could be done using multiprocessor system. Multiprocessor topologies used in this paper are Linear Array and Ring Array. Diterima : 12 Agustus 2002 Disetuui untuk dipublikasikan : 19 Agustus 2002 1. Pendahuluan Jaringan Syaraf Tiruan (JST) telah banyak digunakan untuk beragam aplikasi seperti pengenalan karakter atau suara, pemrosesan citra, prediksi harga saham, prediksi kurs mata uang, dsb. Pada umumnya aplikasi-aplikasi tersebut membutuhkan pemrosesan secara aktu nyata (real time). Jaringan Syaraf Tiruan selain dapat diimplementasikan dengan perangkat lunak, uga dengan perangkat keras. Perangkat keras memiliki keunggulan dibandingkan perangkat lunak pada kecepatannya. Operasi yang dilakukan perangkat keras lebih cepat dibandingkan perangkat lunak. Oleh karena itu, perangkat keras aringan syaraf tiruan dapat dipakai untuk melayani aplikasiaplikasi aktu nyata. Jaringan Syaraf Tiruan terdiri dari beberapa unit pemroses yang melakukan akumulasi (penumlahan) dari masukanmasukan berbobot dan menghasilkan suatu keluaran dengan fungsi aktivasi tertentu. Sifat-sifat aringan ditentukan oleh topologi aringan, bobot-bobot interkoneksi, dan fungsi aktivasi. 2. Jaringan Syaraf Tiruan Jaringan Syaraf Tiruan secara formal, didefinisikan sebagai generalisasi model matematika sistem syaraf biologis 1. Sebagai sebuah model, Jaringan Syarat INTEGRAL, Vol. 7, No. 2, Oktober 2002 107
Tiruan harus memiliki kemampuan sebagai berikut 2 : 1. Kemampuan memodelkan transmisi sinyal antarneuron tiruan melalui saluran satu arah yang disebut koneksi. Setiap koneksi masukan hanya berhubungan dengan satu koneksi keluaran neuron tiruan lainnya. Setiap koneksi keluaran dapat berhubungan dengan beberapa koneksi masukan neuron tiruan lainnya. 2. Kemampuan memodelkan pembobotan pada tiap-tiap koneksi. Pada sebagian besar tipe aringan syaraf, nilai bobot koneksi akan dikalikan dengan sinyal-sinyal transmisi. 3. Kemampuan memodelkan fungsi aktivasi pada setiap neuron tiruan untuk menentukan sinyal keluarannya. 4. Kemampuan memodelkan struktur informasi terdistribusi. Artinya, proses pengolahan informasi disebarkan pada beberapa neuron tiruan sekaligus. Setiap neuron tiruan harus memiliki memori lokal dan mampu melakukan pengolahan informasi secara lokal. 2.1 Pemodelan Neuron McCulloch-Pits, pada tahun 1943 membuat lima asumsi dasar tentang sistem syaraf biologis, yaitu 2 : 1. Aktivitas neuron bersifat all-ornone. 2. Untuk membuat neuron memancarkan sinyal (aktif) diperlukan seumlah sinapsis yang mengeksitasi neuron dalam angka aktu tertentu. 3. Seumlah sinapsis mampu menghambat neuron untuk aktif (inhibitory). 4. Adanya delay dalam sistem syaraf yang disebabkan oleh sinapsis delay. 5. Struktur interkoneksi aringan tidak berubah sepanang aktu. Berdasarkan asumsi ini, McCulloch-Pitts membangun model neuron tiruan yang meniru cara kera neuron biologis. W 1 X 1 X 2 W 2 net fungsi aktivasi f(net) X n-1 W n-1 X n W n Model neuron mempunyai n sinyal masukan, yaitu x1, x2,, xn dengan x {0,1}. Masing-masing sinyal tersebut kemudian dimodifikasi oleh bobot sinapsis 1, 2,, n sehingga sinyal Gambar 2.1 Model Neuron yang masuk ke neuron adalah xi 1 = xii, i = 1,2,,n. Selanutnya neuron akan menghitung hasil penumlahan seluruh sinyal masukan yang telah dimodifikasi : net = x11 + x2 2 + + xnn atau (2.1) net = n i = 1 x i i (2.2) Fungsi aktivasi yang terdapat dalam neuron tiruan umumnya berupa fungsi non-linier. Fungsi aktivasi ini yang menentukan apakah neuron akan 108 INTEGRAL, Vol. 7, No. 2, Oktober 2002
mengalami aktivasi atau tidak. Tingkat aktivasinya diuudkan dalam suatu nilai ambang (threshold). Fungsi aktivasi yang biasanya digunakan adalah fungsi tangga (step function), fungsi lereng (slope function), dan fungsi sigmoid. Pada model McCulloch-Pitts, fungsi aktivasinya adalah fungsi tangga sehingga : 1, ikanet θ f ( net) =,dim ana θ = nilai ambang (2.3) 0, ikanet < θ 2.2 Arsitektur Jaringan Syaraf Tiruan Pemodelan struktur pemrosesan informasi terdistribusi dilakukan dengan menentukan pola hubungan antar neuron tiruan (arsitektur). Pola hubungan yang umum adalah hubungan antar lapisan (layer). Setiap lapisan terdiri dari sekumpulan neuron tiruan (unit) yang memiliki fungsi tertentu, misalnya fungsi masukan atau fungsi keluaran. Ada tiga tipe arsitektur aringan syaraf tiruan : 1. Single-layer Feedforard Netork Tipe aringan paling sederhana, dibangun oleh lapisan masukan yang berkoneksi dengan lapisan keluaran yang beralan satu arah (feedforard). Proses komputasi hanya teradi pada lapisan keluaran. Lapisan Masukan Lapisan Keluaran Lapisan Masukan Gambar 2.2 Single-layer Feedforard Netork Lapisan Tersembunyi Lapisan Keluaran Gambar 2.3 Multilayer Feedforard Netork 2. Multilayer Feedforard Netork Pada tipe ini, di antara lapisan masukan dan keluaran, terdapat satu atau lebih lapisan tersembunyi (hidden layer). Hubungan antar lapisan berlangsung satu arah. 3. Reccurent Netork Tipe recurrent berbeda dengan kedua tipe sebelumnya. Pada recurrent, sedikitnya memiliki satu koneksi umpan balik (feedback ). INTEGRAL, Vol. 7, No. 2, Oktober 2002 109
Gambar 2.4 Recurrent Netork 2.3 Algoritma Belaar Back Propagation Algoritma ini diciptakan dengan melakukan generalisasi hukum pembelaaran Widro-Hoff yang dikenal sebagai delta rule atau metode Least Mean Square (LMS). LMS melibatkan teknik gradient descent, teknik dimana parameter setiap bobot bergerak dalam arah yang berlaanan dengan error gradient. Setiap langkah menuruni gradient menghasilkan error yang lebih kecil sampai suatu error minimum tercapai. Fungsi aktivasi yang dipergunakan pada JST dengan memakai algoritma Back Propagation (BP) harus fungsi yang dapat diturunkan. Umumnya fungsi aktivasi yang dipergunakan adalah fungsi Sigmoid. Pada algoritma BP, bobot-bobot interkoneksi diperbaharui sebagai berikut : ( t ) = η δ x + α ( t 1) (2.4) i i i dengan δ pada persamaan (2.4) antara lapisan hidden dan keluaran adalah: [ lapisan hidden keluaran] (2.5) δ = ( s x ) x 1 x ( ) dan δ pada persamaan (2.4) antara lapisan masukan dan hidden adalah: [ lapisan masukan hidden] δ = x (1 x ) δ (2.6) i i dengan : i i hdn out t = umlah iterasi s = data belaar untuk unit sel ke- η = kecepatan belaar α = momentum 3. Topologi Linear Array dan Ring Array. Arsitektur Multilayer Feedforard mempunyai struktur paralel dan pemrosesan informasi terpisah, yang terdiri dari unit-unit pemroses (processing element = PE) yaitu neuronneuron. Unit-unit ini saling berhubungan satu sama lain. Untuk mengimplementasikan arsitektur ini dengan perangkat keras, setiap unit pemroses ini adalah prosesor. Akibatnya karena di dalam satu aringan terdapat beberapa unit -unit pemroses maka arsitektur perangkat kerasnya uga terdapat beberapa prosesor. Tiap prosesor harus dapat melakukan komunikasi data dengan prosesor lainnya. Agar dapat dihasilkan kinera perangkat keras yang efektif maka topologi atau arsitektur aringan prosesor tersebut harus benar - benar diperhatikan. 110 INTEGRAL, Vol. 7, No. 2, Oktober 2002
3.1. Topologi linear array Topologi linear array dapat dilihat pada gambar 3.1. M isalkan tiap PE melakukan perkalian dan penumlahan seperti terlihat pada gambar 3.2. PE PE PE Gambar 3.1 Topologi linear array a x PE xy + a y Gambar 3.2 Operasi PE Masukan x dikalikan dengan masukan y dan kemudian diumlahkan dengan masukan a dalam 1 siklus aktu (clock). Keluaran PE adalah xy+a. Masukan x dan y ini berasal dari memori lokal tiap PE. 3.2. Topologi ring array Topologi ring array merupakan pengembangan dari topologi linear array. Topologi ring array dapat dilihat pada gambar 3.3. Operasi perkalian dan penumlahan pada topologi ring array sama seperti linear array. PE PE PE Gambar 3.3 Topologi ring array 4. Cara kera Arsitektur Multilayer Feedforard Netork dengan topologi Linear Array dan topologi Ring Array X3 Untuk menyederhanakan pembahasan, misalkan terdapat sebuah arsitektur multilayer yang hanya terdiri dari tiga buah lapisan dengan 3 unit masukan, 3 unit hidden, dan 3 unit keluaran seperti ter lihat pada gambar 4.1. X0 X1 X2 0 1 2 3 X4 4 X5 5 Lapisan Lapisan Lapisan Masukan Tersembunyi Keluaran Gambar 4.1 Sebuah aringan syaraf tiruan tiga lapisan 6 7 8 X6 X7 X8 INTEGRAL, Vol. 7, No. 2, Oktober 2002 111
4.1 Cara kera untuk Propagasi ke depan (Feedforard) Propagasi ke depan dari aringan pada gambar 4.1 dapat dirumuskan sebagai berikut : x3 x4 = f x5 30 40 50 31 41 51 32 42 52 x x x 0 1 2 dimana 30 di baca bobot antara koneksi antara neuron 0 ke neuron 3. x6 x7 = f x8 63 73 83 64 74 84 65 75 85 x x x 3 4 5 (4.1) (4.2) Arsitektur multilayer di atas dapat dibuatkan perangkat kerasnya dengan 3 unit prosesor, setiap unit prosesor mempunyai memori lokal seperti terlihat pada gambar 4.2. dan 4.3. PE 1 PE 2 PE 3 M 1 M 2 M 3 M M M Gambar 4.2 Arsitektur Perangkat Keras Topologi Linear Array Pada pembahasan berikut, di asumsikan baha proses penempatan data ke setiap PE memerlukan aktu 1 clock, operasi perkalian dan operas i penumlahan dapat dilakukan dalam 1 clock, dan perhitungan fungsi aktivasi memerlukan 1 clock. Gambar 4.3 Arsitektur Perangkat Keras Topologi Ring Array 4.1.1 Cara kera Propagasi ke depan Topologi Linear Array Untuk menyelesaikan persamaan (4.1), komponen-komponen kolom dari matrik bobot di simpan di dalam memori lokal tiap PE, kemudian data masukan (x 0, x 1, x 2 ) di salurkan ke masing-masing PE seperti terlihat pada gambar 4.4. 112 INTEGRAL, Vol. 7, No. 2, Oktober 2002
Gambar 4.4 Penyimpanan dan penyaluran data feedforard Linear Array Keluaran aktivasi dari tiap unit masukan atau hidden diinputkan ke dalam masukan x dan komponen dari matrik bobot dimasukkan ke dalam masukan y tiap PE. Keluaran dari PE1 di transfer ke PE2, dst. Urutan proses penyelesaian persamaan (4.1) dapat dilihat pada tabel 4.1. Clock PE 1 PE 2 PE 3 1 X 0 2 X 1 3 X 2 4 x 0 30 5 x 0 40 x 0 30 + x 1 31 6 x050 x040 + x141 x030 + x131 + x232 7 x050 + x151 x040 + x141 + x242 8 x050 + x151 + x252 Tabel 4.1 Urutan proses perhitungan persamaan (4.1) topologi Linear Array Perhitungan persamaan (4.1) memerlukan 9 clock, dengan rincian : 3 clock penempatan data, 5 clock operasi perkalian dan penumlahan, dan 1 clock perhitungan aktivasi. Hasil perhitungan diperoleh setelah clock keenam (x 3 ), clock ketuuh (x 4 ), dan clock kedelapan (x 5 ). Hasil ini kemudian didistribusikan kembali ke masing-masing PE untuk menyelesaikan persamaan (4.2). Komponen-komponen kolom dari matriks bobot uga di simpan di dalam memori lokal tiap PE. Perhitungan persamaan (4.2) uga memerlukan 9 clock. 4.1.2 Cara kera Propagasi ke depan Topologi Ring Array Komponen-komponen kolom dari matrik bobot di simpan di dalam memori lokal tiap PE dengan urutan penempatan seperti terlihat pada gambar 4.5. Kemudian data masukan (x0, x1, x2) di salurkan ke masing-masing PE. X X X Gambar 4.5 Penyimpanan dan penyaluran data feedforard Ring Array INTEGRAL, Vol. 7, No. 2, Oktober 2002 113
Keluaran aktivasi dari tiap unit masukan atau hidden diinputkan ke dalam masukan x dan komponen dari matrik bobot dimasukkan ke dalam masukan y tiap PE. Keluaran dari PE1 di transfer ke PE2, keluaran dari PE2 ditransfer ke PE3 dan keluaran dari PE 3 ditransfer ke PE 1 sehingga terlihat membentuk sebuah putaran. Urutan proses penyelesaian persamaan (4.1) dapat dilihat pada tabel 4.2. Clock PE1 PE2 PE3 1 X0 2 X 1 3 X 2 4 x 0 30 x 1 51 x 2 42 5 x 0 40 +x 2 42 x 1 31 +x 0 30 x 2 52 +x 1 51 6 x 0 50 + x 2 52 +x 1 51 x 1 41 + x 0 40 +x 2 42 x 2 32 +x 1 31 +x 0 30 Tabel 4.2 Urutan proses perhitungan persamaan (4.1) topologi Ring Array Persamaan (4.1), dapat diselesaikan dalam 7 clock, dengan perincian : 3 clock untuk penempatan data (X0, X1, X2) ke masing-masing PE, 3 clock untuk operasi perkalian dan penumlahan, dan 1 clock perhitungan aktivasi. Hasil perhitungan akan diperoleh setelah clock ke enam yaitu x 3 berada di PE 3, x 4 pada PE 2, dan x 5 pada PE 1. Hasil perhitungan ini dapat didistribusikan kembali ke masingmasing input x dari PE untuk menghitung persamaan (4.2). Perlu diperhatikan, hasil yang tersimpan di PE 3 (x 3 ) akan dimasukkan ke input x dari PE 1, hasil yang tersimpan di PE 2 (x 4 ) dimasukkan kembali ke input x dari PE 2, dan hasil yang tersimpan di PE 1 (x 5 ) dimasukkan kembali ke input x dari PE3. Perhitungan persamaan (4.2) uga memerlukan 7 clock. 4.2 Cara kera untuk Back Propagation pada topologi Linear Array dan Ring Array Untuk menperbaharui bobot-bobot antara lapisan tersembunyi dengan lapisan output dengan persamaan (2.4), terlebih dahulu dilakukan perhitungan persamaan (2.5). Persamaan (2.5) dapat dihitung dengan memakai salah satu PE saa atau setiap δ di hitung oleh masing-masing PE (karena umlah δ sama dengan umlah PE). Persamaan (2.4) dapat di hitung dengan cara yang sama seperti persamaan (2.5). Untuk memperbaharui bobot-bobot antara lapisan tersembunyi dengan lapisan input dengan persamaan (2.4), terlebih dahulu dilakukan perhitungan persamaan (2.6). Seperti terlihat pada persamaan (2.6), perkalian dan penumlahan dibaah ini dibutuhkan untuk memperbaharui harga-harga tiap bobot interkoneksi antar lapisan masukan dan hidden. δ δ δ 3 4 5 = 63 64 65 73 74 75 83 84 85 δ δ δ 6 7 8 (4.3) 114 INTEGRAL, Vol. 7, No. 2, Oktober 2002
Matriks bobot pada persamaan (4.3) ini merupakan transpos e matriks bobot pada persamaan (4.2). Komponen-komponen kolom dari persamaan (4.3) di simpan di memori lokal tiap PE dengan urutan sama seperti penyimpanan matrik bobot untuk persamaan (4.2), seperti terlihat pada gambar 4.6 dan gambar 4.7. Setiap di masukkan ke input x dari PE. Proses operasinya sama seperti untuk perhitungan persamaan (4.1) dan (4.2). Gambar 4.6 Penyimpanan dan penyaluran data backpropagation topologi Linear Array Gambar 4.7 Penyimpanan dan penyaluran data backpropagation topologi Ring Array Operasi matrik yang dilakukan oleh ring array ternyata lebih cepat dibandingkan dengan operasi matrik ika menggunakan topologi linear array. Pada linear array dengan arsitektur multilayer yang sama, untuk melakukan operasi matrik diperlukan 5 clock sementara dengan ring array ini hanya 3 clock. Sementara umlah transfer data input ke masingmasing PE-nya sama yaitu 3 clock. 5. Kesimpulan 1. Jaringan syaraf tiruan multilayer dengan umlah neuron yang sama di setiap lapisan dapat diimplementasikan dengan sistem multiprosesor baik dengan topologi linear array maupun ring array dimana umlah prosesor sama dengan umlah neuron di setiap lapisan. 2. Pada topologi linear array, secara umum ika terdapat n neuron di setiap lapisnya, umlah clock yang diperlukan untuk menyelesaikan satu operasi matrik lengkap adalah 3n, dengan rincian n clock penempatan data ke input x setiap PE, 2n-1 clock untuk operasi matrik, dan 1 clock untuk operasi fungsi aktivasi. INTEGRAL, Vol. 7, No. 2, Oktober 2002 115
3. Pada topologi ring array, secara umum ika terdapat n neuron di setiap lapisnya, umlah clock yang diperlukan untuk menyelesaikan satu operasi matrik lengkap adalah 2n+1, dengan rincian n clock untuk penempatan data ke input x setiap PE, n clock untuk melakukan operasi matrik, dan 1 clock untuk operasi fungsi aktivasi. 4. Arsitektur multilayer feedforard netork dengan topologi multiprosesor ring array kineranya lebih cepat dibandingkan topologi multiprosesor linear array. 5. Rangkaian multilayer feedforard netork dengan topologi multiprosesor ring array lebih rumit dibandingkan dengan topologi multiprosesor linear array karena hasil akhir perhitungan untuk setiap elemen matrik ter sebar di setiap PE, sementara pada linear array selalu diperoleh dari PE terakhir (PE n ). 6. Daftar Pustaka 1. Fausett, L., Fundamentals of Neural Netork, Prentice-Hall, 1994. 2. Freeman, J.A., Skapura, D.M., Neural Netorks : Algorithms, Applications, and Programming Techniques, Addison-Wesley, 1991. 3. Hang, K., Briggs, F.A., Computer Architecture and Parallel Processing, McGra - Hill, 1984. 4. Przytula, K. Wotek dan Viktor K. Prasanna, Parallel Digital Implementations of Neural Netorks, Prentice Hall International, Inc., 1993. 7. Penulis Nico Saputro adalah dosen Jurusan Ilmu Komputer FMIPA, Universitas Katolik Parahyangan, Bandung. 116 INTEGRAL, Vol. 7, No. 2, Oktober 2002