APLIKASI WAVELET RECURRENT NEURAL NETWORK UNTUK PREDIKSI DATA TIME SERIES. : Agus Sumarno NRP :

Transkripsi

1 APLIKASI WAELET RECURRENT NEURAL NETWORK UNTUK PREDIKSI DATA TIME SERIES Nama : Agus Sumarno NRP : Jurusan : Matematia Dosen Pembimbing : Drs. Daryono Budi Utomo, M.Si Abstra Model time series adalah salah satu teni peramalan yang digunaan untu mempredisi data yang aan datang dengan menggunaan data historis, artinya bahwa apa yang teradi di masa mendatang merupaan fungsi dari apa yang teradi pada masa lalu. Pemilihan metode yang tepat dalam mempredisi data sehingga didapat suatu hasil ramalan yang aurat merupaan masalah utama dalam peramalan. Salah satu metode peramalan yang bai untu predisi data time series adalah dengan menggunaan Artificial Neural Networ (ANN), hususnya Recurrent Neural Networ (RNN). Keunggulan RNN mempunyai layer recurrent/loop feedbac sehingga RNN lebih bagus daripada feedforward statis hususnya dalam menyelesaian masalah yang berhubungan dengan data time series. Wavelet merupaan fungsi yang dapat mendeomposisi dan mereonstrusi data. Konsep ini digunaan untu mempredisi data time series. Peran dari wavelet pada predisi data time series yaitu untu mendeomposisi data sebelum diinputan pada ANN, setelah proses ANN data direonstrusi untu mendapatan hasil predisi/peramalan.

2 Pada tugas ahir ini dibahas bagaimana Wavelet Recurrent Neural Networ (WRNN) digunaan untu predisi data time series. Ada empat wavelet yang digunaan yatiu wavelet Haar, db, db3 dan db4. Untu mengetahui hasil yang mendeati nilai sebenarnya diuur dengan menggunaan MSE, semain ecil nilai MSE berarti data semain mendeati nilai sebenarnya. Dari hasil ui coba perangat luna, model terbai pada WRNN menggunaan wavelet db3 dengan arsitetur -3-, nilai learning rate = 0.0 dan nilai alpha = 0.3. Kata Kunci: Real time recurrent learning, Recurrent Neural Networ, Time series, Wavelet

3 . Pendahuluan Peramalan merupaan suatu proses untu mempredisi eadian ataupun perubahan di masa yang aan datang. Dengan mendetesi pola dan ecenderungan data time series, dan memformulasiannya dalam suatu model, maa dapat digunaan untu mempredisi data yang aan datang. Model dengan aurasi yang tinggi menyebaban nilai predisi cuup valid untu digunaan sebagai penduung dalam proses pengambilan eputusan. Salah satu metode peramalan yang berembang saat ini adalah menggunaan Artificial Neural Networ (ANN) hususnya Multilayer Perceptron dengan algoritma training Bacpropagation (Budi utomo, 007), tetapi aringan yang lebih bai adalah Recurrent Neural Networ (RNN), arena RNN mempunyai loop feedbac sehingga bagus untu pencocoan data terurut. Recurrent Neural Networ membutuhan penghubung dan memori yang lebih besar dari pada enis lainnya, sehingga perlu adanya modifiasi atau menggabungan RNN dengan metode lainnya sesuai dengan masalah yang dihadapi, antara lain penggabungan RNN dengan EA dan PSO (Cai, d, 004). Dalam analisis time series, analisis wavelet dan analisis fourier 3 adalah metode yang sangat berguna, namun penelitian dengan menggabungan antara analisis fourier dan aringan syaraf tiruan untu predisi data time series telah dilauan (Mahmudah, 006). Keunggulan dari analisis wavelet adalah mampu menganalisis data menadi omponen yang memilii freuensi berbeda melalui translasi (pergeseran) dan dilasi (pensalaan) dengan cara mendeomposisian data, emudian dianalisis sesuai dengan sala resolusi atau level deomposisinya. Wavelet neural networ telah banya digunaan untu meramalan harga minya (Youse, d, 005), indes saham (Aussem and Murtagh, 998 ) dan yang lainya, tetapi tida banya apliasi wavelet neural networ untu peramalan data time series. Oleh arena itu, pada tugas ahir ini analisis wavelet dan Recurrent Neural Networ digunaan untu predisi data time series dengan Real-time recurrent learning sebagai algoritma trainingnya yang emudian disebut Wavelet Recurrent Neural Networ (WRNN).. Tinauan Pustaa. Time Series Time Series adalah himpunan nilai-nilai hasil pengamatan X (t)

4 yang diamati berdasar periode watu dan disusun untu melihat pengaruh perubahan dalam rentang watu tertentu. Sedangan data time series merupaan data yang diumpulan, dicatat atau diobservasi secara berurutan. Ada hal poo yang perlu diperhatian dalam proses menentuan data predisi yang aurat dan bermanfaat.. Pengumpulan data yang relevan berupa informasi agar dapat menghasilan predisi yang aurat.. Pemilihan teni predisi yang tepat dengan memanfaatan informasi data yang diperoleh seoptimal mungin. Hal lain yang perlu diperhatian pada predisi data adalah bentu data, apaah data tersebut sudah stasioner atau tida. Suatu data time series disebut stasioner ia distribusi bersama dari seumlah n observasi X ( t ), X ( t ),.. X ( t n ) adalah sama dengan distribusi bersama dari X ( t ), X ( t ),... X ( t n ), dimana n sebarang bilangan bulat positif, variabel lag ( ) adalah perbedaan antara dua titi watu, yaitu t t (Kuncoro,00). Pada tugas ahir ini untu menghitung error dengan menggunaan Nilai tengah esalahan uadrat / mean squared error (MSE) dengan cara sebagai beriut : MSE = n i e i /. Wavelet.. Analisis Mulitresolusi Sebelum dibahas mengenai analisis multiresolusi dan fungsi wavelet terlebih dahulu dibahas tentang fungsi sala. Definisi. Fungsi sala dinyataan dengan ( t) ( t ) Z, L (.) Dalam analisis wavelet terdapat dua fungsi utama yang berperan yaitu fungsi sala dan fungsi wavelet. Pasangan fungsi ini yang digunaan untu mendeomposisi atau mereonstrusi data. Definisi. Analisis multiresolusi dari L adalah suatu barisan bersarang dari sub ruang tertutup, yaitu sedemiian hingga memenuhi :. n. L ( R) 3. = { 0 } 4

5 4. Fungsi f (t) ( t), Z f 5. Fungsi f (t) 0 f ( t ) 0, Z 6. { ( t ), Z } membentu basis ortonormal untu 0... Fungsi Wavelet Dalam analisis multiresolusi, Z Misalan W adalah omplemen dalam = 0 untu,, l Z dan l dengan adalah notasi fungsi wavelet. Berdasaran (.) didapatan 0 W0... (.3) Karena dalam analisis multiresolusi, maa (.3) dapat diperluas menadi 0 W0 W. (.4) Sehingga secara umum dapat dinyataan dan J 0 0 J W W (.5) J W L... (.6) dengan 0 adalah ruang awal yang direntang oleh translasi translasi fungsi sala ( t ), Z. Fungsi wavelet didefinisian sebagai : ( t) d (t ) ortogonal dari, itu dengan d berarti bahwa semua anggota ( ) c... (.7) Secara umum fungsi wavelet ortogonal esemua anggota W, didefinisian sebagai beriut : dinotasian /, ( t) ( t ),, Z (.8) = W, Z (.) Untu 0, maa persamaan Maa (.) memenuhi (.7) didapat wavelet Haar : ( t ) (t) (t ) (.9) ( t), l( t) ( t) l( t) dt..3 Deomposisi dan Reonstrusi Deomposisi Untu mencari deomposisi dari fungsi sala f ( t) a ( t ), diperluan relasi wavelet dengan fungsi sala. Relasi tersebut dinyataan dengan : ( t ) ( ( t) ( t)) / (.0) ( t ) ( ( t) ( t)) / (.) 5

6 Dengan mengganti t dengan t pada persamaan (.0) dan (.) didapat relasi : ( t) ( ( t) ( t)) / (.) ( t ) ( ( t) ( t)) / Berlau untu semua t R. (.3) Teorema. Deomposisi Haar Misalan f ( t) a ( t ) maa f dapat dideomposisi sebagai f w f diamana: w b ( t ) Z W f a ( t ) Z a a dengan b, dan a a a Reonstrusi Dari hasil deomposisi untu mendapatan fungsi semula dilauan reonstrusi dengan menggunaan Teorema. dibawah ini. Teorema. Misalan f 0 w w... f w, dengan f ( ) = 0 t Z w a t ) 0 (, W ' ' w ( ) = b ( t ) W ' t Z untu 0 ' maa f (t) = a ( t ) Z ' dimana a l secara berurutan menyataan : ', ' dan seterusnya sampai dengan ', secara algoritma dapat ditulisan sebagai : a l = a genap ganil a ' ' b b ' ', ia, ia l.3 Artificial Neural Networ (ANN) Artificial Neural Networ (ANN) atau yang sering ita enal dengan Jaringan Syaraf Tiruan (JST) pada dasarnya mengambil ide dari cara era aringan syaraf biologis. Salah satu pengambilan ide dari aringan syaraf biologis adalah adanya elemen elemen pemrosesan pada aringan syaraf l 6

7 tiruan yang saling terhubung dan beroperasi secara paralel. Seperti aringan syaraf manusia, JST uga terdiri dari neuron dan eterhubungan diantara neuron-neuron. Pada JST istilah untu menggantian hubungan tersebut adalah bobot. Informasi berupa sinyal/data disimulasian sebagai harga yang spesifi pada bobot. Dengan cara mengubah-ubah harga bobot artinya ita uga mengubah-mengubah strutur hubungan antar neuron. Pada Gambar. ditunuan strutur dasar dari aringan syaraf tiruan ( JST ) satu neuron yang menganalogian sel syaraf biologis dengan asumsi sebagai beriut :. cell body dinyataan dengan node. Axon dinyataan dengan path 3. Dendrit merupaan input 4. Axon yang menuu cell body yang lain sebagai output. Gambar. Analogi sel biologis dengan satu neuron tiruan Model dari aringan syaraf tiruan pada umumnya terdiri dari :. Masuan ( x n ) yang berfungsi sebagai penerima sinyal.. Bobot onesi w ) untu ( menyimpan informasi. 3. Bias ( w0 ) yang berfungsi mengatur daerah nilai ambang. 4. Elemen pemroses ( J ) dan fungsi atifasi ( F ) untu memroses informasi. 5. Keluaran ( y ) sebagai eluaran yang aan menyampaian hasil pemrosesan informasi e sel beriutnya. Sistem JST disusun dengan menggunaan model matematis dari aringan biologi manusia. Persamaan matematia satu neuron pada Gambar. adalah sebagai beriut : n S ( x) w x w x i i y ( x) f ( s ( x)).3. Fungsi atifasi Fungsi atifasi menentuan bagaimana suatu neuron menanggapi sinyal-sinyal masuan, sehingga teradi ativitas satu neuron. Jia ativitas neuron uat, i 0 0 7

8 maa neuron aan menghasilan sinyal eluaran yang dapat dihubungan e neuron lain. Beberapa enis fungsi atifasi yang sering digunaan untu mengatifan neuron diantaranya adalah sebagai beriut:. Fungsi sigmoid biner f ( x) x e. Fungsi sigmoid bipolar x e f ( x) x e.3. Recurrent Neural Networ (RNN) RNN adalah aringan yang mengaomodasi output aringan untu menadi input pada aringan itu lagi dalam ranga menghasilan output aringan beriutnya. Karateristi RNN dari enis aringan lainnya adalah adanya loop feedbac yang memunginan untu menggunaan informasi dari pola sebelumnya bersama dengan input saat ini sehingga dapat menangani serangaian data terurut. Oleh arena itu RNN sering digunaan untu predisi time series. Salah satu contoh arsitetur dari Recurrent Neural Networ dapat dilihat pada gambar. yang terdiri dari 3 layer dengan omposisi sebagai beriut yaitu:. Layer input terdiri dari n neuron. Layer hidden terdiri dari m neuron 3. Layer output terdiri dari neuron dan loop feedbac teradi pada neuron hidden yaitu dari neuron hidden e neuron hidden dan dari neuron output e neuron hidden Gambar. Recurrent Neural networ.3.3 Real Time Recurrent Learning Algoritma RTRL (Real Time Recurrent Learning) secara detailnya adalah sebagai beriut : Langah 0 : Inisialisasi bobot dari neuron input i e neuron hidden ( w i ), bobot dari neuron hidden e neuron output ( v ), 8

9 bobot recurrent yaitu dari bobot dari neuron hidden e neuron hiden ( u ), output neuron hidden ( y ) dan parameter yang digunaan yaitu learning rate ( ) dan momentum atau alpha( ). Serta setting v u w 0 Langah : Mengulangi langah hingga langah 7 sampai ondisi ahir iterasi dipenuhi. Langah : Melauan langah 3 hingga 8 untu masing-masing pasangan data pelatihan Fase Feedforward Langah 3 : Masing-masing neuron input x, i,,3,... p ) ( i menerima sinyal masuan i x i dan sinyal tersebut disebaran e neuron pada layer selanutnya (hidden layer). Langah 4 : Pada langah ini Masingmasing neuron hidden aan menumlahan sinyal inputnya : p s ( t) u y ( t ) w x ( t) untu,,3, N Kemudian menghitung nilai output neuron hiden sesuai dengan fungsi atifasi yang digunaan. y ( t) f ( s ( t)) f ( u y ( t ) p w x ( t)) Selanutnya output dari hidden layer diirim e neuron pada layer selanutnya. Langah 5 : Jia neuron selanutnya adalah neuron output maa masingmasing neuron output aan menumlahan bobot sinyal masuan. Berdasaran Fungsi atifasi yang digunaan sehingga didapatan output aringannya adalah : N z ( t) v y ( t) untu,,3... M Langah 6 : Masing-masing neuron output ( z,,,3... M ) menghitung error aringan yaitu membandingan output aringan dengan target yang diinginan E ( t) d ( t) z ( t) Kemudian menghitung cost function : e ( t ) M E t ( ) Langah 7 : Mengupdate bobot : v ( t ) v ( t) v ( t) i i i 9

10 w ( t ) w ( t) w ( t) i u ( t ) u ( t) u ( t) i i i i i mulai Input data Deomposisi mulai Input data Langah 8 : Ui ondisi pemberhentian / stop condition, yaitu dengan cara:. Membatasi umlah iterasi yang dilauan, yaitu membatasi perulangan dari langah 3 sampai dengan langah e 7. Dengan cara membatasi error. 3. Metode Penelitian Metode penelitian pembuatan perangat luna untu mempredisi data time series dengan WRNN dan RNN adalah sebagai beriut: 3. Sumber Data 3. Spesifiasi Hardware dan Software 3.3 Predisi data time series a. Proses pada wavelet b. Model Predisi c. Strutur Inputan d. menentuan Arsitetur Jaringan e. Simulasi. Perbedaan metode antara RNN dan WRNN dapat dilihat pada diagram alir Gambar 3. Jaringan Saraf Tiruan Reonstrusi Output WRNN Selesai Jaringan Saraf Tiruan Output RNN Selesai Gambar 3. Perbedaan metode antara RNN dan WRNN 4. Perancangan dan Implementasi perangat luna 4. Desain sistem atau perancangan perangat luna a. Inputan data b. Koefisien wavelet c. Rancangan arsitetur aringan d. Rancangan data inputoutput JST e. Rancangan metode training f. Rancangan metode testing 4. Implementasi perangat luna a. Implementasi form mua b. Implementasi wavelet c. Implementasi JST 5. Hasil Simulasi dan Perbandingan 5. Simulasi Pada tugas ahir ini dilauan beberapa ui coba untu mengetahui bagaimana pengaruh inisialisasi bobot awal, arsitetur aringan serta nilai parameter 0

11 sehingga dapat ditentuan arsitetur dan nilai parameter terbai untu mendapatan hasil ramalan yang optimal. Ui coba perangat luna dilauan dengan nilai learning rate = 0.05, alpha = 0.0, masimal iterasi = 00, dan error minimal = Pada wavelet Haar yang ditunuan di Tabel 5., arsitetur yang menghasilan MSE paling ecil pada RNN adalah arsitetur yang terdiri atas neuron input, 3 neuron hidden, neuron output atau ditulisan dengan -3-, sedangan pada WRNN pada arsitetur --. Dengan mengombinasian banyanya neuron tiap layer, terlihat bahwa arsitetur berpengaruh terhadap hasil yang diperoleh dari proses training. Jia neuron output lebih dari satu, MSE yang dihasilan cuup besar, sehingga pada tugas ahir ini hanya ditulisan beberapa ombinasi saa. Tabel 5. Wavelet haar Pada wavelet db MSE paling ecil untu RNN pada arsitetur - 3-, sedangan untu WRNN adalah arsitetur --. hasil ui coba dapat dilihat pada Tabel 5.. Tabel 5. Wavelet db Pada wavelet db3 MSE paling ecil untu RNN pada arsitetur -3-, sedangan untu WRNN arsitetur -3-. hasil ui coba dapat dilihat pada Tabel 5.3. Tabel 5.3 wavelet db3

12 Pada wavelet db4 MSE paling ecil untu RNN maupun WRNN pada arsitetur -3-. Hasil ui coba dapat dilihat pada Tabel 5.4. Tabel 5.4 Wavelet db4 Secara umum dari nilai error minimal yang diberian (0,000) MSE yang dihasilan WRNN lebih ecil dari RNN sehingga model WRNN lebih bai dari pada model RNN ecuali pada beberapa asus husus terdapat nilai MSE RNN lebih ecil dari WRNN yaitu pada arsitetur dengan neuron output lebih dari satu diantaranya -3-, - 3-3, 3-3- dan tetapi MSEnya cuup besar, adi hasil predisi dari arsitetur tersebut urang optimal. Pada RNN arsitetur yang menghasilan MSE paling ecil adalah arsitetur -3-, sehingga untu RNN arsitetur -3- yang digunaan untu ui coba selanutnya dalam menentuan nilai parameter terbai. Dari empat wavelet yang digunaan pada WRNN wavelet db3 menghasilan MSE paling ecil dengan arsitetur -3-, sehingga untu WRNN arsitetur -3- inilah yang digunaan untu ui coba selanutnya dalam menetuan nilai parameter terbai. Pemilihan learning rate yang sesuai aan dapat membantu mendapatan hasil ramalan yang optimal, Oleh arena itu pada tugas ahir ini dilauan ui coba terhadap beberapa nilai learning rate dan nilai alpha ( ). Nilai learning rate yang diui coba pada tugas ahir ini berisar antara sampai 0,9. Hasil dari ui coba dapat dilihat pada tabel 5.5. Tabel 5.5 RNN Hasil ui coba RNN dan WRNN dengan nilai nilai Alpha ( ) = 0.0, maximal iterasi = 00 WRNN

13 Dari hasil yang diperoleh, Learning rate yang menghasilan MSE paling ecil pada RNN adalah 0.3 dimana nilai MSE RNN = dan pada dan WRNN adalah 0.0 dimana nilai MSE WRNN = Dari nilai learning rate ( ), emudian dilauan ui coba untu mendapatan nilai alpha. Hasil dari ui coba dapat dilihat pada Tabel 5.6. Tabel 5.6 Hasil ui coba RNN dan WRNN dengan nilai learning rate ( ) RNN = 0.3, WRNN = 0.0 maximal iterasi = 00. dengan arsitetur -3-, nilai learning rate = 0.0, dan nilai alpha = 0.3. Gambar 5. menunuan plot grafi validasi hasil training antara data atual dengan data ramalan pada RNN dan WRNN untu 70 % data awal, sedangan pada Gambar 5. ditunuan plot grafi hasil testing antara data atual dengan data ramalan pada RNN dan WRNN untu 30 % data terahir. RNN WRNN Gambar 5. Plot grafi validasi hasil training antara data atual dengan data ramalan untu 70 % data awal. Dari hasil diperoleh nilai MSE terecil untu RNN adalah 0.9 dan untu WRNN 0.3, sehingga pada model RNN hasil predisi yang optimal didapatan dengan arsitetur -3-, nilai learning rate = 0.3, dan nilai alpha = 0.9 sedangan pada model WRNN hasil predisi yang optimal didapatan Gambar 5. Plot grafi hasil testing antara data atual dengan data ramalan untu 30 % data terahir. 3

14 Dari grafi dapat dilihat bahwa data hasil ramalan untu WRNN lebih berhimpitan dengan data atual dibandingan dengan RNN, itu menunuan bahwa data hasil ramalan WRNN lebih bai dari RNN. 5. Perbandingan Pada bagian ini dibandingan beberapa hasil MSE yang didapat antara WRNN dan RNN. Pertama dibandingan dengan etentuan arsitetur dan parameter yang sama yaitu arsitetur --, -- dan - 3- untu nilai learning rate = 0.05, alpha = 0.0 dan toleransi error = 0.000, sedangan perbandingan yang edua dengan etentuan mengambil nilai terbai dari tiap model. Hasil perbandingan MSE antara RNN dan WRNN dapat dilihat pada Tabel 5.7 dan Tabel 5.8 Tabel 5.7 Perbandingan MSE RNN dengan WRNN pada masing-masing wavelet Tabel 5.8 Perbandingan MSE RNN dan WRNN untu Arsitetur dan Parameter terbai Dari Tabel 5.7 terlihat bahwa pada masing-masing wavelet yang digunaan hasil MSE Wavelet Recurrent Neural Networ (WRNN) lebih ecil dari hasil MSE Recurrent Neural Networ (RNN), selain itu pada Tabel 5.8 uga terlihat dengan mengambil nilai terbai pada masing-masing model, MSE pada WRNN uga lebih ecil dari RNN, sehingga dapat diataan bahwa hasil predisi WRNN lebih bai daripada hasil predisi RNN. 6. Kesimpulan Dari hasil ui coba perangat luna diperoleh esimpulan sebagai beriut :. Dengan menggunaan data harian urs ual dolar terhadap rupiah dari tanggal Januari 009 sampai dengan 30 Otober 009, dari empat wavelet yang menghasilan model terbai pada WRNN adalah wavelet db3 dengan arsitetur -3-, nilai learning rate = 0.0 dan alphanya = 0.3, 4

15 sedangan pada RNN arsitetur terbai adalah -3- dengan Nilai learning rate = 0.3 dan alphanya = Dengan menggunaan model yang terbai dari WRNN, hasil predisi yang didapatan sudah mendeati nilai sebenarnya. 3. Dari hasil MSE terbai pada masing-masing model, MSE WRNN lebih ecil dari MSE RNN, adi model predisi WRNN lebih bai dibandingan dengan model predisi RNN. DAFTAR PUSTAKA Anton, H., Rorres, C Alabar Linear Elementer (versi apliasi). Edisi edelapan-ilid. Alih Bahas: Refina Indriasari, Irzam Harmein. Editor: Amalia Safitri. Erlangga, Jaarta. Aussem and Murtagh,F Wavelet-based feature extraction and decomposition strategies for financial forecasting, Journal of Computational Intelligence in Finance, 6:5-. Budi utomo, Daryono Wavelet-aringan syaraf tiruan untu predisi data time series. Matematia ITS.Surabaya. 5 Burrus C, Sidney, Cs Introduction to Wavelets and Wavelet Transform A primer. Prentice Hall International, Inc. Houston, Texas. Cai, X., d Time Series Prediction with RNN using a Hibrid PSO-EA Algorithm, University of missouri,rolla. Doya, K. 00. Recurrent Networ : Learning Algorithms. Kyoto Fathi, Jamal and Mamedov, Fahraddin Time series predictions using combinations of wavelets and neural networs. Near East University, North Cyprus, Turey. Hayin, Simon Neural Networs A Comprehensive Foundation. Mc Master University Hamilton, Ontario, Canada. Kuncoro, M. 00. Metode Kuantitatif, Teori dan Apliasi untu Bisnis dan Eonomi, Unit penerbit dan percetaan AMP YKPN, Yogyaarta. Loh Hwa, Ruey Time Series Forecast with Neural networ. Department of Electrical and Computer Engineering, University of Queensland., Australia. Mahmudah,Wilda.006. Fourier recurrent neural networ enis elman untu predisi data time

16 series. Matematia ITS, Surabaya. Maridais Metode dan Apliasi Peramalan. Binarupa Asara, Jaarta. Wang and Ding Wavelet Networ Model and Its Application to the Prediction of Hydrology. Department of Hydrology and Water Resources, Hydraulic School of Sichuan University, Chengdu, Sichuan 60065, China. Youse, Shahriar., W.I, and Reinarz.D Waveletbased prediction of oil prices, Chaos, Solitons and Fractals, 5: Yunus, Mahmud Pengantar Analisis Fungsional. Jurusan Matematia FMIPA ITS. Surabaya. 6