RANDOM NUMBER GENERATOR UNTUK BOBOT METODE CONJUGATE GRADIENT NEURAL NETWORK

Transkripsi

1 RANDOM NUMBER GENERATOR UNTUK BOBOT METODE CONJUGATE GRADIENT NEURAL NETWORK Yudistira Arya Saoetra, 2 Azwar Riza Habibi, dan 3 Luman Haim,2,3 Teni Informatia, STMIK ASIA Malang yuditstiraarya@gmail.com, 2 riza.b@gmail.com, 3 bledeluman@gmail.com Abstract This research develos theory of NN neural networ by using CG conugate gradient to seed u the rocess of convergence on a networ of NN. CG algorithm is an iterative algorithm to solve simultaneous linear equations on a large scale and it is used to otimize the rocess of the networ on bacroagation. In the rocess a Neural netwo doing random weighting on the weight of v and w and this weight wil have an effect on the seed of convergence of an algorithm for NN by the method of CG. Furthermore, generating the random numbers to tae a samle as generator in this research of neural networ by using uniform distribution 0, methods. Therefore, the aims of this research is to imrove the convergence on NN weighting using numbers which are generated randomly by generator and the will be corrected with the CG method. Keywords: neural networ, bacroagation, weighting, conugate gradient. PENDAHULUAN Secara rinsi NN ini dibangitan oleh serangaian inut data yang masing-masing menggambaran eluaran neuron yang lain. Menurut Sheihan 202:86 Setia masuan dialian dengan suatu fator embobot tertentu dan emudian semua masuan terbobot itu diumlahan untu menentuan tingat ativitas suatu neuron. Pembobotan dinyataan berua elemen-elemen matris bobot dengan dimensi matris adalah m baris dan n olom, di mana m meruaan umlah masuan dan n menunuan umlah neuron. Misalnya, embobot dengan yang menghubungan masuan eemat e neuron etiga dinyataan dengan w. Al- Bayati 2009:849 mengembangan metode NN dengan mengabungan conugate gradietn. Metode conugate gradient meruaan salah satu metode yang digunaan untu memeroleh nilai otimum suatu fungsi. Pada umumnya metode conugate gradient daat digunaan untu menyelesaian ermasalahan otimasi linear mauun otimasi nonlinear. Dari hasil Nawi 2008:905, enulis mengembangan conugate gradient neural networ CGNN dengan menambahan bobot yang menggunaan random number generator berbasis distribusi uniform. Rahman 203:E-06, mengembangan random samling dengan menggunaan distribusi hiergeometri, dalam metode samling, terdaat tiga macam esalahan yang mungin teradi, yaitu random error, systematic error dan illegitimate error. Random error adalah esalahan dalam menentuan eacaan, sehingga distribusi 9

2 Random Number Generator Untu Bobot Metode Conugate Gradient Neural Networ Yudistira Arya Saoetra, Azwar Riza Habibi, Luman Haim samel urang sesuai dengan distribusi oulasi. Systematic error adalah esalahan metode engambilan samel, sehingga samel masih urang atau terumul di sebagian oulasi. Illegitimate error adalah esalahan aibat elalaian saat samling, misalnya mengambil samel dari buan oulasinya. Kesalahan samling memberian hasil bias dan tida valid, sehingga tida daat mewaili oulasi untu digunaan analisa lebih lanut. Salah satu metode samling yang banya digunaan adalah simle random samling yang mengasumsian beberaa hal. Diasumsian oulasi telah dietahui secara eseluruhan. Samel diasumsian ditari secara aca dari oulasi. Masingmasing anggota oulasi diasumsian memunyai eluang sama terilih sebagai samel. Diasumsian alat engacaan atau randomisasi daat menduung dalam dietahui, b adalah vetor yang dietahui dan A adalah matris simetris. Metode CG daat uga digunaan untu 20 roses melauan trial saat samling, Levy 2009:34. Peer ini menggembangan CGNN conugate gradient neural networ dengan menggunaan random number generator distribusi uniform 0,. Random number ini digunaan untu meminimuman error ada bilangan aca yang terdaat ada embobotan v dan w, sehingga hasil dari embangitan random number ini memerceat onvergen dalam elatihan aringan.. KAJIAN TEORI Data yang digunaan adalah data curah huan untu training diambil dari BPS Badan Pusat Statisti. Parameter yang digunaan untu CGNN random number generator daat dilihiat ada tabel. Tabel Parameter yang digunaan CGNN random number generator No Parameter Nilai Parameter Hidden layer 2 note 2 Error Toleransi 3 Learning rate Conugate Gradient menyelseian suatu sistem ersamaan Merode conugate gradient linier walauun A buan matri simetris. ertamaali digunaan untu Metode conugate gradien ini digunaan menyeleseian ersamaan linier, metode ini efetif untu sistem ersamaan linier untu mecari arah encarian arah dengan metode enurunan dengan uuran besar, yaitu: 0 g Ax b 0 Dengan adalah fetor yang tida Dari encarian arah tersebut maa erubahan gradient untu yaitu: x x a x

3 Jurnal Derivat Volume 4 No. uli 207 ISSN: Halaman 9 25 Dengan a diilh untu meminimuman fungsi seanang arah encarian, untu fungsi uadratis daat digunaan enyesuaian bobot. Model aringan bacroagation sebagai beriut: a T F x F x t xx xx g T T A Selanutnya ilih arah encarian dengan menggunaan g Dengan daat dihitung dengan metode yang memberian hasil yang sama untu fungsi uadratis Neural Networ Bacroagation Jaringan bacroagation adalah aringan lais ama yang dilatih dengan algoritma erambatan galat bali bac Error Proagation atau sering disebut bacroagation. Tuuan aringan ini adalah untu melatih aringan agar mamu menanggai secara benar ola ola masuan yang digunaan saat elatihan dan mamu memberian tanggaan yang bai untu ola ola yang miri tetai tida sama dengan olaola elatihan, Kumar204:56. Pelatihan aringan bacroagation terdiri dari 3 taha, taha ertama adalah langah mau feedforwad untu inut ola elatihan, edua adalah erhitungan dan erambatan bali bacroagation dari galat yang bersangutan dan taha etiga adalah Gambar Jaringan Bacroagation 2.3. Random Number generator Langah-langah dari algoritma random number dengan menggunaan endeata inverse-transformasi random generator berbasis distribusi uniform0, sebagai beriut, Thomson 992:45:. Menentuan umlah oulasi N, Menentuan eadian susses, dalam oulasi berdasaran uuran samel Ns. N N, Ns 2. Menentuan banyanya gru dan uuran seragam tia gru n, berdasaran umlah oulasi N. N n gru 3. Memeroleh bilangan aca, U antara 0 dan, yang dieroleh dari seudo random number generator distribusi Uniform0, U uniform0, 4. Membangitan variabel aca X, dengan cara memasuan nilai U e dalam inverse dari fungsi distribusi umulatif. Karena adalah 2

4 Random Number Generator Untu Bobot Metode Conugate Gradient Neural Networ Yudistira Arya Saoetra, Azwar Riza Habibi, Luman Haim 22 bilangan bulat dengan nilai eatas, maa dieroleh dari embulatan X F U, X 5. Menentuan banyanya samel e-i S i X 6. Hitung banyanya samel Ns grub S i i 2. METODE PENELITIAN CGNN dengan menggunaan random number generator dengan tuuan untu meminimuman enggunaan nilai random ada bobot yang digunaan untu membangitan bobot ada neural networ. Langah-langah conugate gradient neural networ dengan random number generator untu menyelesaian data training daat dielasan sebagai beriut: Langah : Menginutan data training. Langah 2 : Menginisialisasi semua bobot yang digunaan sebagai nilai awal metode feedforward. Langah 3 : Random generator berbasis distribusi uniform0,, U v, U w Taha Feedforward i i Langah 4 : Tia unit masuan X i menerima sinyal inut dan mengirim ssinyal e semua unit ada laisan beriutnya. Langah 5 : tia unit tersembunyi z menumlah sinyal inut bobot z _ in emudian dieluaran dengan menggunaan fungsi atifasi z f z _ in Langah 6 : tia unit eluaran y menumlahan sinyal masuan bobot y _ in emudian dieluaran dengan menggunaan fungsi atifasi y f y _ in Tahaan Bacroagation Langah 7 : tia unit eluaran y menerima ola target yang sesuai dengan ola masu elatihan, hitung galat t y f ' y _ in, hitung gradien ada laisan outut G2 z, irim ada lais sebelumnya. Langah 8 : tia unit tersembunyi z menumlahan delta masuannya _ in alian dengan turunan atifasinya _ in f ' z _ in hitung gradient ada laisan tersembunyi G x Langah 9 : tia unit eluaran y menghitung rata-rata gradien i G2 n, m N i 0, 0 G2

5 23 tia unit tersembunyi menghitung, n i0, 0 Jurnal Derivat Volume 4 No. uli 207 ISSN: Halaman 9 25 z rata-rata G gradien Gi N, N adalah umlah ola elatihan. Langah 0 : tentuan q Langah : Hitung arah encarian lais tersembunyi G,hitung arah i i encarian lais tersembunyi 2 G2 i Langah 2 : hitung a ada lais tersembunyi dan a2 ada lais eluaran dengan metode golden search dengan fungsi yang diminimalan f w t y w 2N Langah 3 : tia unit eluaran y menyesuaian bobot w baru w lama a2 2 n i tia unit eluaran z menyesuaian bobot v baru v lama a t i i i Langah 4 : ondisi berhenti ia galat < toleransi, dan ia galat toleransi lanutan e langah 4 Langah 5 : Untu masing-masing asangan data elatihan, ulangi langah 2 hingga 3 2 samai ondisi galat terenuhi 3. HASIL DAN PEMBAHASAN Data yang digunaan untu data training dieroleh dari Badan Pusat Statistia BPS. Pada DATA 2 menggunaan umlah curah huan sebanya 25 Stasiun BMKG Badan Meteorologi, Klimatologi dan Geofisia di Indonesia ada tahun Gambar 2 Persebaran bobot tana random Number Genetator Parameter yang digunaan ada algoritma CGNN-Random Number Genetator mauun metode yang digunaan untu embanding daat dilihat ada Tabel. Pada eer ini menggunaan oulasi sebanya umlah hidden layer ada NN dan masimum iterasi maxiter=00 untu menyiman watu omutasi. Parameter tersebut digunaan untu membandingan tingat eauratan dan minimum error.

6 Random Number Generator Untu Bobot Metode Conugate Gradient Neural Networ Yudistira Arya Saoetra, Azwar Riza Habibi, Luman Haim bobot dengan nilai random dan dilihat ersebaran dari data random tersebut menghasilan gambar 2. Persebaran ada gambar 2 menunuan bahwa ersebaran data semain menauhi titi normal sehingga memengaruhi hasil dari elatihan ada CGNN Gambar 3 Persebaran data random Number Genetator Setelah 20 ali running rogram ada algoritma CGNN, didaatan nilai Dengan menggunaan Random Number Generator ersebaran data menadi lebih mendeati garis normal, sehingga daat memerbaii bobot ada CGNN Table 2 Hasil Perbandingan ada metode CGNN No Metode MSE Watu s Itrasi e- CG-NN 6 2 CG-NN Random number generator 3 Dari hasil erbandingan antara CGNN dan CGNN Random number generator menghasilan eceatan dalam mendaatan hasil yang terbai dari umlah itrasi untu mendaatan hasil onvergen dan MSE untu edua algoritma 4. KESIMPULAN Metode CGNN Random number generator mamu mendaatan bobot yang bai untu mendaatan hasil onvergen dari elatihan aringan NN. Pembobotan awal dibangitan dengan menggunaan random number generator emudian bobot dilauan erbaian dengan menggunaan conugate gradient untu mendaatan bobot yang otimal. Hal ini diarenaan Random number generator daat memberian ersebaran 24 dari nilai bobot yang merata, sehingga embobotan dari random number generator daat memerceat roses itrasi dan error yang lebih ecil. 5. DAFTAR PUSTAKA Al-Bayati, A.Y., N.A. Sulaiman, dan G.W. Sadiq A Modified Conugate Gradient Formula for Bacroagation Neural Networ Algorithm. Jurnal of Cumuter Science Kumar, D.A., dan S. Murugan Performance Analysis of MLPFF Neural Networ Bac roagatioan raining Algorithm for Time Series Data. World Congress on Comuting and Communication Technologies

7 Jurnal Derivat Volume 4 No. uli 207 ISSN: Halaman 9 25 Levy, P.S. & Lemeshow, S.999. Samling of Poulations: Methods and Alications. US: John Wiley & Sons Nawi, N.M., M.R. Ransing, dan R.S. Ransing An Imroved Learning Algorithm based on the conugate Gradien Method for Bac Proagation Neural Networs. World Academy of Science, Engineering and Technology Rahman, Arif Pengacaan Random Samling Dengan Pendeatan Inverse-Transform Random Variate Generator Berbasis Distribusi Hiergeometri. Prosiding Seminar Nasional Tenoin. Vol E-06- E- Sheihan, M., dan N. Mohammadi Time Series Prediction Using PSO- Otimized Neural Networ and Hybrid Feature Selection Algoritm for IEEE Load Data. Neural Comut & Alic Thomson, S.K Samling. UB: John Wiley & Sons 25