PREDIKSI CURAH HUJAN KOTA SEMARANG DENGAN FEEDFORWARD NEURAL NETWORK MENGGUNAKAN ALGORITMA QUASI NEWTON BFGS DAN LEVENBERG-MARQUARDT

Transkripsi

1 PREDIKSI CURAH HUJAN KOA SEMARANG DENGAN FEEDFORWARD NEURAL NEWORK MENGGUNAKAN ALGORIMA QUASI NEWON BFGS DAN LEVENBERG-MARQUARD Budi Warsio *), Sri Sumiyai **) ABSRAC his paper sudy he rainfall predicion a Semarang Ciy as ime series daa wih Feed Forward Neural Nework (FFNN) model. he learning algorihm ha be used are he Quasi Newon BFGS and Levenberg-Marquard algorihm. he inpu uni is deermined based on he bes of ARIMA model. he compuaion is done wih use Malab 7. program wih 000 epoch, five uni of hidden layer, 00 replicaion and use inpu a lag variabel, 2 and 3, respecively. he resul shows ha he predicion is good in relaively, where Quasi Newon BFGS algorihm resul he Mean Square Error (MSE) ha more accurae. Keywords : FFNN, Quasi Newon BFGS, Levenberg-Marquard, rainfall PENGANAR Curah huan mempunyai peran yang sanga pening. Berdasarkan daa curah huan dapa dilakukan penggolongan iklim menuru perbandingan anara umlah raa-raa bulan kering dengan umlah raa-raa bulan basah. Bulan kering eradi ika curah huan bulanan kurang dari 60 mm/bulan, sedangkan bulan basah eradi ika curah huan bulanan diaas 00 mm/bulan. Dianara bulan kering dan bulan basah ersebu erdapa bulan lembab yang eradi apabila curah huan bulanan anara mm/bulan. Kondisi opografi koa Semarang yang erbagi aas Semarang aas dan Semarang bawah menadikan huan sebagai hal yang sanga vial eruama curah huan yang inggi dapa memberikan efek yang besar eruama pada Semarang bagian bawah. Unuk iu diperlukan prediksi curah huan dengan presisi inggi berdasarkan daa masa lampau sehingga efek negaifnya dapa dicegah dengan indakan prevenif. Pada ulisan ini prediksi curah huan sebagai daa ime series dilakukan dengan Feed Forward Neural Nework (FFNN). Pada ulisan ini proses pelaihan unuk menenukan bobo-bobo koneksi pada model FFNN digunakan algorima Quasi Newon BFGS dan Levenberg-Marquard dengan pake program Malab 7.. Sisemaika penulisan dilakukan sebagai beriku. Pada bagian kedua membahas algorima propagasi balik pada model FFNN, bagian keiga enang algorima BFGS, bagian keempa enang algorima Levenberg Marquard. Bagian kelima aplikasi pada daa curah huan koa Semarang dan bagian erakhir penuup. BACKPROPAGAION Pada dasarnya, Neural Nework (NN) merupakan suau kumpulan elemen-elemen pemrosesan sederhana yang saling berhubungan, yang disebu neuron (uni, sel aau node). Seiap neuron dihubungkan dengan neuron lain dengan link komunikasi langsung melalui pola hubungan yang disebu arsiekur aringan [5]. iap-iap hubungan ersebu mempunyai bobo koneksi (weigh) yang dilaih unuk mencapai respon yang diinginkan. Sehingga dengan pelaihan erhadap daa berdasarkan bobo-bobo koneksi ersebu diharapkan memperoleh oupu yang diinginkan. Meode yang digunakan unuk menenukan bobo koneksi ersebu dinamakan algorima pelaihan (raining algorihm). iap-iap hubungan anar neuron mempunyai bobo koneksi yang dilaih unuk mencapai respon yang diinginkan dengan melakukan suau proses pelaihan (raining). Selama proses pelaihan, eradi perubahan yang cukup berari pada bobo-bobo yang menghubungkan anar neuron. Apabila ada rangsangan yang sama dengan rangsangan yang elah dierima oleh neuron sebelumnya, maka neuron akan memberikan reaksi dengan cepa. Akan eapi apabila ada rangsangan yang 46 *) Program Sudi eknik Lingkungan F Undip Jl. Prof. H. Sudaro, SH embalang Semarang

2 Budi Warsio, Sri Sumiyai Prediksi Curah Huan Koa Semarang berbeda dengan apa yang elah dierima oleh neuron, maka neuron akan segera beradapasi unuk memberikan reaksi yang sesuai. Nilai bobo akan berambah, ika informasi yang diberikan oleh neuron yang bersangkuan ersampaikan, sebaliknya ika informasi idak disampaikan oleh suau neuron ke neuron yang lain, maka nilai bobo yang menghubungkan keduanya akan dikurangi. Pada saa pelaihan dilakukan pada inpu yang berbeda, maka nilai bobo akan diubah secara dinamis hingga mencapai suau nilai yang cukup seimbang. Apabila nilai ini elah ercapai mengindikasikan bahwa iap-iap inpu elah berhubungan dengan oupu yang diharapkan. Selama proses pelaihan, masing-masing bobo koneksi dipropagasikan ke seluruh uni aau node dengan meode pelaihan perambaan balik (backpropagaion). Bobobobo diaur secara ieraif unuk meminimumkan fungsi kinera aringan. Fungsi kinera yang sering digunakan adalah MSE, dimana fungsi ini akan mengambil kuadra error yang eradi anara oupu dan arge. Ada beberapa meode pembelaaran yang dapa digunakan unuk mengaur bobo dalam rangka meminimumkan MSE. Pada ulisan ini dibaasi hanya unuk BFGS quasi Newon dan Levenberg_Marquard. Seluruh proses pelaihan ersebu dapa langsung dikerakan oleh kompuer menggunakan aplikasi program MALAB versi 7. dengan synax rainbfg dan rainlm. Pelaihan backpropagaion dilakukan dalam rangka pengauran bobo, sehingga pada akhir pelaihan akan diperoleh bobobobo yang opimal. Hal ini dapa dipenuhi dengan melakukan proses pelaihan dengan menyesuaikan parameer-parameer aau bobo dan bias koneksi sehingga unuk suau inpu erenu, aringan dapa menghasilkan oupu yang sesuai dengan arge. Proses penyesuaian dilakukan dengan memberikan sebuah raining se (berupa suau himpunan yang erdiri dari pasangan inpu dan oupu) pada aringan. raining se ersebu dievaluasi dengan suau algorima pelaihan erenu. Gambar 2 Selama proses pelaihan berlangsung, raining se akan dievaluasi berkali-kali secara ieraif unuk meminimumkan fungsi kuadra errornya. Fungsi ini akan mengambil kuadra error yang eradi anara oupu dan arge. Dengan meode ini kesalahan lokal iap sel dapa diliha sebagai bagian yang erkonribusi dalam menghasilkan kesalahan oal pada lapisan oupu. Apabila kesalahan pada lapisan oupu dapa dipropagasikan kembali masuk ke lapisan ersembunyi, maka kesalahan lokal sel-sel pada lapisan ersebu dapa dihiung unuk mendapakan perubahan bobo. Backpropagaion merupakan algorima pelaihan erawasi dan biasanya digunakan oleh percepron dengan banyak lapisan unuk mengubah bobo-bobo yang erhubung dengan neuron-neuron pada lapisan ersembunyi. Algorima ini menggunakan error oupu unuk mengubah nilai bobo-bobonya dalam arah mundur (backward). Unuk mendapakan error ini, ahap perambaan mau (forward propagaion) harus dikerakan erlebih dahulu. Conoh arsiekur aringan backpropagaion seperi erliha pada Gambar, dimana aringan erdiri dari 3 neuron pada lapisan inpu yaiu x, x 2, dan x 3; lapisan ersembunyi dengan 2 neuron, yaiu z dan z 2 ; sera uni pada lapisan oupu, yaiu y. v i adalah bobo yang menghubungkan neuron inpu ke-i ke neuron ke- pada lapisan ersemunyi dan b adalah bobo bias yang menuu ke neuron ke- pada lapisan ersembunyi. Bobo yang menghubungkan z dan z 2 dengan neuron pada lapisan oupu adalah w dan w 2 dan bobo bias b2 menghubungkan lapisan ersembunyi dengan lapisan oupu. Gambar. Arsiekur aringan Backpropagaion dengan sau lapisan ersembunyi, 3 uni inpu, 2 uni ersembunyi dan sau uni oupu. Algorima Pelaihan Backpropagaian Pelaihan backpropagaion menggunakan meode pancarian iik minimum unuk mencari bobo dengan error minimum. Algorima 47

3 Jurnal PRESIPIASI Vol. 3 No.2 Sepember 2007, ISSN X backpropagaion menggunakan error oupu unuk mengubah nilai bobo-bobonya dalam arah mundur (backward) [5]. Pelaihan backpropagaion melipui 3 fase yaiu fase mau, fase mundur dan fase perubahan bobo. Fase I : Forward Propagaion (Propagasi mau) Selama propagasi mau, sinyal inpu (x i ) dipropagasikan ke lapisan ersembunyi. Sinyal-sinyal inpu erboboi yang masuk keiap-iap uni pada lapisan ersembunyi (Z, =,2,..,p), dienukan dengan persamaan: n z_in = b + x iv i () i= Sinyal oupu dari lapisan ersembunyi (z ) dienukan menggunakan fungsi akivasi yang elah dienukan. z = f ( z_in ) (2) Karena fungsi akivasi yang digunakan BP pada lapisan ersembunyi adalah fungsi logisik sigmoid maka persamaan (2) menadi: z = ( z in ) + e = n b + + e i= x i v i Selanunaya z ersebu dipropagasikan mau lagi kelapisan oupu dengan persamaan : p y_in = b2 + z w = Sinyal oupunya dienukan dengan : y = f ( y_in ) Karena fungsi akivasi yang digunakan BP pada lapisan oupu adalah fungsi idenias, maka persamaan ( ) menadi : y = f ( y_in ) =y_in = b2 + z w p = Berikunya, oupu aringan (y) dibandingkan dengan arge yang harus dicapai (). Selisih ( y) adalah kesalahan (error) yang eradi. Jika kesalahan ini lebih kecil dari baas oleransi yang dienukan, maka epoch dihenikan. Akan eapi apabila kesalahan masih lebih besar dari baas oleransinya, maka bobo seiap garis dalam aringan akan dimodifikasi unuk mengurangi kesalahan yang eradi. Fase II : Back Propagaion (Propagasi mundur). Kesalahan (error) yang eadi dipropagasikan mundur, dimulai dari garis yang berhubungan langsung dengan uni pada lapisan oupu. Fase III : Weigh Updae (Perubahan bobo ) Modifikasi bobo dan bias unuk menurunkan kesalahan yang eradi. Perubahan bobo dan bias pada garis yang menuu uni oupu: w (baru) = w (lama ) + w b2 (baru) = b2(lama ) + b2 Perubahan bobo dan bias pada garis menuu uni ersembunyi: v i (baru) = v i (lama ) + v i b (baru) = b (lama ) + b Keiga fase ersebu diulang-ulang erus hingga kondisi penghenian dipenuhi. Umumnya kondisi penghenian yang sering dipakai adalah umlah epoch aau kesalahan. Epoch akan dihenikan ika umlah epoch yang dilakukan sudah melebihi umlah maksimum epoch yang dieapkan, aau ika kesalahan yang eradi sudah lebih kecil dari baas oleransi yang diiinkan. Inisialisasi Bobo Inisialisasi nilai bobo awal sanga mempengaruhi aringan saraf dalam mencapai minimum global (aau mungkin hanya lokal saa) erhadap nilai error, sera cepa idaknya proses pelaihan menuu konvergen. Apabila nilai bobo awal erlalu besar, maka inpu ke seiap lapisan ersembunyi aau lapisan oupu akan auh pada daerah dimana urunan fungsi sigmoidnya akan sanga kecil. Sebaliknya, apabila nilai bobo awal erlalu kecil, maka inpu ke seiap lapisan ersembunyi aau lapisan oupu akan sanga kecil, yang akan menyebabkan proses pelaihan akan beralan sanga lamba. Pelaihan BP dilakukan dalam rangka pengauran bobo, sehingga pada akhir pelaihan akan diperoleh bobo-bobo yang opimal. uuannya adalah agar aringan dapa menalankan operasi sesuai dengan yang diinginkan. Hal ini dapa dipenuhi dengan melakukan proses pelaihan dengan menyesuaikan parameer-parameer aau bobo dan bias koneksi sehingga 48

4 Budi Warsio, Sri Sumiyai Prediksi Curah Huan Koa Semarang unuk suau inpu erenu, aringan dapa menghasilkan oupu yang sesuai dengan yang elah diargekan. Proses penyesuaian dilakukan dengan memberikan sebuah raining se (berupa suau himpunan yang erdiri dari pasangan inpu dan oupu). raining se ersebu dievaluasi dengan suau algorima pelaihan erenu. Selama proses pelaihan berlangsung, raining se akan dievaluasi berkali-kali secara ieraif, uuannya adalah unuk meminimumkan fungsi kuadra errornya. Fungsi ini akan mengambil kuadra error yang eradi anara oupu dan arge. Dengan meode ini kesalahan lokal iap sel dapa diliha sebagai bagian yang erkonribusi dalam menghasilkan kesalahan oal pada lapisan oupu. Apabila kesalahan pada lapisan oupu dapa dipropagasikan kembali masuk ke lapisan ersembunyi, maka kesalahan lokal sel-sel pada lapisan ersebu dapa dihiung unuk mendapakan perubahan bobo. ALGORIMA QUASI NEWON BFGS Misalkan w adalah vekor bobo yang mengandung w (), b2(), v i () dan b (), konsep dasar meode Newon adalah : - w + = w H. g () dengan w : vekor bobo dan bias koneksi. g : vekor gradien yang berisi g (), g b2(), g i() dan g b(). H : mariks Hessian. Mariks Hessian merupakan urunan kedua dari indeks kinera erhadap bobo-bobo dan bias koneksi aringan pada nilai ke-, sehingga mariks Hessian didapakan dengan cara yang lebih kompleks. Unuk menghindari penghiungan yang lebih kompleks ersebu mariks Hessian dapa dienukan secara ieraif pada masing-masing epoch dengan memberikan inisial mariks Hessian pada awal pelaihan. Inisial mariks Hessian pada awal epoch harus bersifa simerik dan defini posiif. Mariks yang biasanya digunakan sebagai inisial mariks Hessian adalah mariks idenias. Hal ini disebabkan mariks idenias mudah didefinisikan sera merupakan mariks simerik dan defini posiif []. Salah sau algorima perubahan bobo dengan meode newon adalah algorima BFGS yang diperkenalkan oleh Broyden, Flecher, Goldfarb dan Shanno. Algorima pelaihan dengan meode quasi Newon adalah sebagai beriku [3]: Langkah 0 : a. Inisialisasi bobo awal dengan bilangan acak kecil b. Inisialisasi Epoch 0, MSE 0 c. Inisialisasi H 0 yang merupakan marik defini posoif simerik. d. eapkan Maksimum Epoch dan arge Error. Langkah : Jika kondisi penghenian belum erpenuhi ( Epoch < Maksimum Epoch aau MSE > arge Error ), lakukan langkah berikunya. Langkah 2 : Uni oupu Y menerima arge pola yang berhubungan dengan pola inpu pelaihan. Kesalahan pada uni oupu didefinisikan sebagai : e = ( - y ) Dengan : e : Kesalahan pada uni oupu : Keluaran yang diinginkan (acuan/ arge) y : Keluaran akual Fungsi umlah kuadra error didefinisikan dengan : 2 E = ( y) 2 Misalkan w adalah vekor bobo yang mengandung w (), b2(), v i () dan b (). Gradien fungsi kinera erhadap nilai bobo dan bias koneksi pada waku ke- didefinisikan dengan : g () = - δ2 (). z () g b2() = -δ2 () g i() = - δ ( ) x i g b() = - δ ( ) g merupakan vekor gradien yang berisi g (), g b2(), g i() dan g b(). Jika g = 0 maka algorima berheni, ika idak maka hiung : d = - H.g Langkah 3 : empakan nilai α dengan menggunakan fungsi line search. uuannya adalah unuk meminimumkan error yang akan eradi. f w + α = arg min [ ( α )] α d Perubahan vekor bobo dan bias yang eradi adalah : w + = w + α. d 49

5 Jurnal PRESIPIASI Vol. 3 No.2 Sepember 2007, ISSN X Langkah 4 : Hiung perubahan bobo dan bias dengan persamaan beriku : w = α.d Sedangkan perubahan arah pencarian adalah sebagai beriku : g = g + - g Maka didapakan persamaan : H + =H + g. H. g w. w +. g. w w. g H. g. w g Langkah 5 : epoch = epoch + Kembali ke langkah 2. ALGORIMA MARQUARD + ( H. g. w. w ) LEVENBERG- Langkah dasar algorima Levenberg_Marquard adalah penenuan mariks Hessian unuk mencari bobo-bobo dan bias koneksi yang digunakan []. Mariks Hessian merupakan urunan kedua dari fungsi kinera erhadap masing-masing komponen bobo dan bias. Unuk memudahkan proses kompuasi, mariks Hessian diubah dengan pendekaan secara ieraif pada masingmasing epoch selama algorima pelaihan beralan. Proses perubahannya dilakukan dengan menggunakan fungsi gradien. Jika fungsi kinera yang digunakan berbenuk umlah kuadra error (SSE), maka mariks Hessian dapa diesimasi dengan persamaan beriku: H = J J+η I (2) dimana : η : parameer Marquard I J : mariks idenias : mariks Jakobian yang erdiri dari urunan perama error aringan erhadap masing-masing komponen bobo dan bias. Mariks Jakobian dapa dikompuasikan melalui eknik backpropagaion sandar [4]. Mariks Jakobian ersusun dari urunan perama fungsi error erhadap masing-masing komponen bobo dan bias koneksi aringan. Nilai parameer Marquard (η ) dapa berubah pada seiap epoch. Jika seelah beralan sau epoch nilai fungsi error menadi lebih kecil, nilai η akan dibagi oleh fakorτ. Bobo dan bias baru yang diperoleh akan diperahankan dan pelaihan dapa dilanukan ke epoch berikunya. Sebaliknya, ika seelah beralan sau epoch nilai fungsi error menadi lebih besar maka nilai η akan dikalikan dengan fakor τ. Nilai perubahan bobo dan bias dihiung kembali sehingga menghasilkan nilai yang baru. Algorima pelaihan dengan meode Levenberg_Marquard dapa diabarkan sebagai beriku : Langkah 0 : Inisialisasi bobo awal dengan bilangan acak kecil Inisialisasi Epoch 0, MSE 0 eapkan Maksimum epoch, parameer Levenberg_Marquard (η > 0 ), fakor τ dan arge Error Langkah : Jika kondisi penghenian belum erpenuhi (epoch < Maksimum epoch aau MSE > arge Error), lakukan langkah berikunya. Langkah 2 : Epoch = epoch + Unuk seiap pasangan daa pelaihan, lakukan langkah 3 4. Langkah 3 : Uni oupu Y menerima arge pola yang berhubungan dengan pola inpu pelaihan. Jika diberikan N pasangan inpu daa pelaihan (x r, r ), r =,2,...,N, dengan x r adalah inpu dan r arge yang akan dicapai. Kesalahan pada suau daa pelaihan ke-r didefinisikan sebagai: e r = r - y r dengan : e r : Kesalahan pada uni oupu r : Keluaran yang diinginkan (acuan/ arge) y r : Keluaran akual. e adalah vekor kesalahan berukuran Nx yang ersusun dari e r, r =,2,...,N. e dapa diuliskan sebagai : e e K e N e = [ ] 2 Misal bobo dan bias koneksi dinyaakan dalam vekor w, w merupakan vekor berukuran ((2+n)p+)x dapa diuliskan sebagai : w b2 v b w = [ ] i 50

6 Budi Warsio, Sri Sumiyai Prediksi Curah Huan Koa Semarang Kesalahan suau pelaihan aringan oleh vekor bobo dan bias koneksi w pada suau daa pelaihan ke-r menadi : e r (w) = ( r y r ) = ( r - f ( x r, w ) ) Vekor kesalahan oleh vekor bobo dan bias koneksi w menadi e(w) berukuran Nx yang ersusun dari e r (w), dengan r =,2,...,N. Hiung fungsi umlah kuadra error dengan persamaan : E (w) = 2 e (w) e(w) Hiung mariks Jacobian unuk vekor bobo dan bias koneksi : e J (w) = r, w Nx(( 2+ n) p+ ) unuk r =,2,...,N a. Hiung mariks Hessian unuk vekor bobo dan H(w)=[ bias koneksi. J ] (w)jw ( ) + η I ((2 + n) p+ ) x((2 + n) p+ ) b. Hiung perubahan vekor bobo dan bias dengan persamaan beriku : w = - [ H(w) ] [ J (w)e(w) ]((2 +n ) p+ ) x c. Hiung vekor bobo dan bias baru. w (baru) = w (lama) + w d. Hiung kesalahan yang eradi oleh bobo dan bias koneksi yang baru. E(w(baru)) = 2 e(w (baru)) e(w (baru)) umlah epoch dibaasi sebanyak 000, iga uni inpu, 5 uni hidden dan masingmasing proses diulang sebanyak 00 kali. Hasil perhiungan disaikan pada abel beriku. abel. Hasil perhiungan model FFNN dengan meode Levenberg-Marquard dan BFGS Levenberg- BFGS Marquard Uni inpu Lag, 2 dan 3 Lag, 2 dan 3 Jumlah epoch Learning rae 0. Jumlah replikasi MSE raining MSE esing Jumlah uni hidden 5 5 Dari abel nampak bahwa meode BFGS memberikan keakuraan prediksi yang lebih baik pada raining maupun esing. Proses ierasi menuu konvergen dari proses erakhir disaikan pada gambar 2. e. Bandingkan E(w) dengan E(w(baru)). Jika E(w) <= E(w(baru)) maka didapakan η = η *τ dan kembali ke langkah a. Jika E(w) > E(w(baru)) maka didapakan η = η /τ w (+) = w () + w Kembali ke langkah 2. raining-blue Goal-Black Performance is 0.408, Goal is 0.00 PREDIKSI CURAH HUJAN Daa yang digunakan adalah daa bulanan curah huan koa Semarang mulai Januari 994 Desember 2003 sebanyak 20 daa dimana 00 daa digunakan sebagai daa raining dan sisanya 20 daa sebagai daa esing. Berdasarkan pembenukan model ARIMA menggunakan fungsi auokorelasi dan auokorelasi parsial inpu yang dipilih adalah daa lag, 2 dan 3. Perhiungan dilakukan menggunakan program Malab 7. dengan Epochs Gambar 2. Proses ierasi sampai 000 epoch Hasil prediksi in sample dan ou sample pada proses erakhir disaikan pada gambar 3 dan grafik 4. Nampak bahwa model menghasilkan prediksi yang cukup baik. 5

7 Jurnal PRESIPIASI Vol. 3 No.2 Sepember 2007, ISSN X merah = daa asli biru = prediksi Gambar 3. Grafik prediksi in-sample daa curah huan dengan meode BFGS merah = daa asli biru = prediksi Inelligence and Neural Nework, Vol. No.. Bishop, Chrisopher, M., 995, Neural Neworks for Paern Recogniion, Oxford Universiy Press, New York Chafield, C. and Faraway, J., 998, ime Series Forecasing wih Neural Neworks: a Comparaive Sudy Using he Airline Daa, Applied Saisics Fause, L., 994, Fundamenals of Neural Neworks; archiecures, algorihms and applicaions, Prenice-Hall Inc., Englewoods Cliffs, New Jersey Zhou, G. and Si, J., 998, Advanced Neural Nework raining Algorihm wih Reduced Complexiy Based on Jacobian Deficiency, IEEE ransacions on Neural Nework, Vol. 9, No. 3, May Gambar 4. Grafik prediksi ou-sample daa curah huan dengan meode BFGS PENUUP Berdasarkan pembahasan dapa disimpulkan bahwa pelaihan erhadap aringan FFNN pada daa curah huan koa Semarang dengan menggunakan algorima Quasi Newon BFGS lebih baik digunakan dalam rangka meminimumkan kesalahan yang eradi ika dibandingkan dengan algorima Levenberg- Marquard. DAFAR PUSAKA Al-Haik, M.S., Garmesani, H. and Navon, I.M., 2003, runcaed-newon raining Algorihm for Neurocompuaional Viscoplasic Model, Compu. Mehods Appl. Mech. Engrg., No. 92, p Bola, S. and Kalenderli, O., 2003, Elecrode Conour Opimizaion by Arificial Neural Nework wih Levenberg-Marquard Algorihm, IJCI Proceeding of In. XII urkish Symposium on Arificial 52