APLIKASI WAVELET RECURRENT NEURAL NETWORK UNTUK PREDIKSI DATA TIME SERIES APPLICATION Of WAVELET RECURRENT NEURAL NETWORK FOR TIME SERIES DATA PREDICTION Oleh : Agus Sumarno 1206 100 706 Dosen Pembimbing : Drs. Daryono Budi Utomo, M.Si JURUSAN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT TEKNOLOGI SEPULUH NOPEMBER SURABAYA 2010
PENDAHULUAN
Latar Belakang Peramalan ANN/JST MLP RNN lebih baik WAVELET WRNN Peramalan
Rumusan Masalah 1. Bagaimana bentuk model prediksi data time series yang optimal dari Wavelet Recurrent Neural Network. 2. Bagaimana hasil prediksi data time series menggunakan Wavelet Recurrent Neural Network (WRNN). 3. Bagaimana perbandingan hasil prediksi data times series antara Wavelet Recurrent Neural Network (WRNN) dengan Recurrent Neural Network (RNN).
Batasan Masalah 1. Koefisien wavelet yang digunakan adalah wavelet Haar, db2, db3, db4, dengan Real Time Recurrent Learning sebagai algoritma trainingnya. 2. Data yang digunakan dalam simulasi adalah nilai harian kurs jual dolar terhadap rupiah yang diperoleh dari BI pada periode bulan Januari 2009 sampai dengan bulan Oktober 2009. 3. Untuk mengukur error dalam prediksi data time series digunakan Mean Squared Error (MSE).
Tujuan Penelitian 1. Menentukan model prediksi yang optimal dari Wavelet Recurrent Neural Network pada data time series. 2. Mendapatkan hasil prediksi data time series yang mendekati data aktual. 3. Membandingkan hasil prediksi data time series antara RNN dengan WRNN.
Manfaat Penelitian Dapat diaplikasikan untuk memprediksi data lainnya yang memiliki pola data time series. Manfaat Mendapatkan model baru untuk prediksi data time series.
TINJAUAN PUSTAKA
TINJAUAN PUSTAKA Time series Time series adalah himpunan nilai-nilai hasil pengamatan yang diamati berdasar periode waktu dan disusun untuk melihat pengaruh perubahan dalam rentang waktu tertentu. Pengumpulan data yang relevan berupa informasi agar dapat menghasilkan prediksi yang akurat Beberapa hal yang harus diperhatikan dalam prediksi data time series. Kestasioneran data Pemilihan teknik prediksi yang tepat dengan memanfaatkan informasi data yang diperoleh seoptimal mungkin.
Dalam prediksi data untuk mengukur error dari hasil prediksi dapat digunakan: SSE, MSE atau RMSE. Pada tugas akhir ini untuk menghitung error dengan menggunakan Nilai tengah kesalahan kuadrat / mean squared error (MSE) : MSE = n i 1 e 2 i / n TINJAUAN PUSTAKA (Lanjutan) Wavelet Dalam analisis wavelet terdapat dua fungsi utama yang berperan yaitu fungsi skala dan fungsi wavelet. fungsi skala didefinisikan dengan :
TINJAUAN PUSTAKA (Lanjutan) Sedangkan fungsi wavelet didefinisikan dengan : Pasangan fungsi ini yang digunakan untuk mendekomposisi atau merekonstruksi data.
Atificial Neural Network (ANN) TINJAUAN PUSTAKA (Lanjutan) Artificial Neural Network (ANN) atau yang sering kita kenal dengan Jaringan Syaraf Tiruan (JST) pada dasarnya mengambil ide dari cara kerja jaringan saraf biologis. Pada gambar 2.1 ditunjukkan struktur dasar dari jaringan saraf tiruan ( JST ) satu neuron yang menganalogikan sel syaraf biologis dengan asumsi sebagai berikut : 1. Cell body dinyatakan dengan node 2. Axon dinyatakan dengan path 3. Dendrit merupakan input 4. Axon yang menuju cell body yang lain sebagai output.
Gambar 1 Analogi sel biologis dengan satu neuron tiruan Sistem JST disusun dengan menggunakan model matematis dari jaringan biologi manusia. Persamaan matematika satu neuron pada gambar 1 adalah sebagai berikut : S y j j ( x) n i 1 w ji x i ( x) f ( s ( x)) j w 0 x 0
Fungsi aktifasi TINJAUAN PUSTAKA (Lanjutan) Fungsi aktifasi menentukan bagaimana suatu neuron menanggapi sinyal-sinyal masukan, sehingga terjadi aktivitas satu neuron. Jika aktivitas neuron kuat, maka neuron akan menghasilkan sinyal keluaran yang dapat dihubungkan ke neuron lain. Beberapa jenis fungsi aktifasi yang sering digunakan untuk mengaktifkan neuron diantaranya adalah sebagai berikut: 1. Fungsi sigmoid biner 1 f ( x) 1 x e 2. Fungsi sigmoid bipolar 1 f ( x) 1 e e x x
Recurrent Neural Network (RNN) TINJAUAN PUSTAKA (Lanjutan) Salah satu contoh arsitektur dari Recurrent Neural Network dapat dilihat pada gambar 2 yang terdiri dari 3 layer dengan komposisi sebagai berikut yaitu: 1. Layer input terdiri dari n neuron 2. Layer hidden terdiri dari m neuron 3. Layer output terdiri dari neuron k Gambar 2 Recurrent Neural network
Real Time Recurrent Learning (RTRL) TINJAUAN PUSTAKA (Lanjutan) Algoritma RTRL(Real Time Recurrent Learning) secara detailnya adalah sebagai berikut : Langkah 0 : Inisialisasi bobot dari neuron input i ke neuron hidden j ( wij), bobot dari neuron hidden j ke neuron output k ( v jk), bobot recurrent yaitu dari bobot dari neuron hidden j ke neuron hiden j ( u j), output neuron hidden j ( y j) dan parameter yang digunakan yaitu learning rate (η) dan momentum / alpha(α). Serta setting v jk u j wij 0 Langkah 1 : Mengulangi langkah 2 hingga langkah 7 sampai kondisi akhir iterasi dipenuhi. Langkah 2 : Melakukan langkah 3 hingga 8 untuk masing-masing pasangan data pelatihan Fase Feedforward Langkah 3 : Masing-masing neuron input ( xi, i 1,2,3,...p ) menerima sinyal masukan xi dan sinyal tersebut disebarkan ke neuron pada layer selanjutnya (hidden layer).
TINJAUAN PUSTAKA (Lanjutan) Langkah 4 : Pada langkah ini Masing-masing neuron hidden akan menjumlahkan p sinyal inputnya: s j ( t) u j y j ( t 1) k 1 Kemudian menghitung nilai output neuron hiden sesuai dengan p fungsi aktifasi yang digunakan y ( t) f ( s ( t)) f ( u y ( t 1) w x ( t)) Selanjutnya output dari hidden layer dikirim ke neuron pada layer selanjutnya. Langkah 5 : Jika neuron selanjutnya adalah neuron output maka masing-masing neuron output akan menjumlahkan bobot sinyal masukan. Fungsi aktifasi yang digunakan pada neuron output biasanya adalah linier sehingga output jaringannya adalah : z k ( t) N j 1 v jk y j ( t) w Fase Pembelajaran: Fase Pembelajaran ini bertujuan untuk meminimumkan cost function dengan persamaannya adalah sebagai berikut : j kj x k ( t) j j j k 1 kj k
TINJAUAN PUSTAKA (Lanjutan) Langkah 6 : Masing - masing neuron output ( z k, k 1,2,3...M ) menghitung error jaringan yaitu membandingkan output jaringan dengan target yang diinginkan dengan persamaan Ek ( t) dk ( t) z M Kemudian menghitung cost function e t k ( t) 1 E t 2 ( ) k ( ) 2 k Langkah 7 : 1 Mengupdate bobot : vij( t 1) vij( t) vij( t) wij( t 1) wij( t) wij( t) uij( t 1) uij( t) uij( t) Langkah 8 : Uji kondisi pemberhentian / stop condition, yaitu dengan cara: 1. Membatasi jumlah iterasi yang dilakukan, yaitu membatasi perulangan dari langkah 3 sampai dengan langkah ke 7 2. Dengan cara membatasi error.
METODE PENELITIAN
Metode Penelitian 1. Sumber Data Data yang digunakan adalah data harian kurs jual Dolar terhadap Rupiah yang didapat dari www. bi.go.id mulai tanggal 1 Januari 2009 sampai dengan tanggal 30 Oktober 2009. 2. Spesifikasi Hardware dan Software 3. Prediksi data time series a. Proses pada wavelet b. Model Prediksi - RNN - WRNN c. Struktur Inputan 70 % awal dari data keseluruhan digunakan untuk training 30% terakhir dari keseluruhan data digunakan untuk testing. d. Menentukan Arsitektur Jaringan e. Simulasi.
Metode Penelitian(lanjutan) mulai Input data Dekomposisi Jaringan Saraf Tiruan Rekonstruksi mulai Input data Jaringan Saraf Tiruan Output RNN Output WRNN Selesai Selesai Gambar 3 Perbedaan metode antara RNN dan WRNN
IMPLEMENTASI PERANGKAT LUNAK
Implementasi Perangkat lunak
Implementasi Perangkat lunak (Lanjutan)
HASIL SIMULASI DAN PERBANDINGAN
Simulasi Uji coba perangkat lunak dilakukan dengan mengkombinasikan banyaknya neuron tiap layer, dimana nilai learning rate = 0.05, alpha = 0.02, maksimal iterasi = 200, dan error minimal = 0.0001. Tabel 1. Wavelet haar Tabel 2. Wavelet db2
Dengan mengkombinasikan banyaknya neuron tiap layer, terlihat bahwa arsitektur berpengaruh terhadap hasil yang diperoleh dari proses training. Jika neuron output lebih dari satu, MSE yang dihasilkan cukup besar, sehingga pada tugas akhir ini hanya dituliskan beberapa kombinasi saja. Tabel 3. Wavelet db3 Tabel 4. Wavelet db4
Secara umum dari nilai error minimal yang diberikan (0,0001) MSE yang dihasilkan WRNN lebih kecil dari RNN sehingga model WRNN lebih baik dari pada model RNN kecuali pada beberapa kasus khusus terdapat nilai MSE RNN lebih kecil dari WRNN yaitu pada wavelet daubechies arsitektur 1-3-2, 1-3-3, 3-3-2 dan 3-3-3 tetapi MSEnya cukup besar, jadi hasil prediksi dari arsitektur tersebut kurang optimal. RNN Arsitektur 1-3-1 MSE paling kecil WRNN Wavelet db3, arsitektur 2-3-1
Pemilihan learning rate yang sesuai akan dapat membantu mendapatkan hasil ramalan yang optimal. Selanjutnya dilakukan Uji coba untuk menentukan nilai parameter terbaik dengan menggunakan arsitektur 1-3-1 pada RNN dan wavelet db3 (2-3-1) pada WRNN. Tabel 5. Hasil uji coba RNN dan WRNN dengan nilai nilai Alpha ( ) = 0.02, maximal iterasi = 200 RNN WRNN
Dari nilai nilai learning rate terbaik yaitu 0.3 untuk RNN dan 0.02 untuk WRNN, selanjutnya dilakukan uji coba untuk mendapatkan nilai alpha ( ). Tabel 6. Hasil uji coba RNN dan WRNN dengan nilai nilai L.rate ( ) RNN = 0.3, WRNN = 0.02 maximal iterasi = 200 RNN WRNN
Gambar 4 Plot grafik validasi hasil training antara data aktual dengan data ramalan untuk 70 % data awal.
Gambar 5 Plot grafik hasil testing antara data aktual dengan data ramalan untuk 30 % data terakhir. Dari grafik dapat dilihat bahwa data hasil ramalan untuk WRNN lebih berhimpitan dengan data aktual dibandingkan dengan RNN, itu menunjukkan bahwa data hasil ramalan WRNN lebih baik dari RNN.
Perbandingan Hasil perbandingan MSE antara RNN dan WRNN dapat dilihat pada Tabel 7 dan tabel 8 Tabel 7. Perbandingan MSE RNN dengan WRNN pada masing-masing wavelet Dari tabel 7 terlihat bahwa pada masing-masing wavelet yang digunakan hasil MSE Wavelet Recurrent Neural Network (WRNN) lebih kecil dari hasil MSE Recurrent Neural Network (RNN).
Pada tabel 8 juga terlihat dengan mengambil nilai terbaik pada masingmasing model, MSE pada WRNN juga lebih kecil dari RNN, sehingga dapat dikatakan bahwa hasil prediksi WRNN lebih baik daripada hasil prediksi RNN. Tabel 8. Perbandingan MSE RNN dan WRNN untuk Arsitektur dan Parameter terbaik
KESIMPULAN
Kesimpulan 1. Dengan menggunakan data harian kurs jual dolar terhadap Rupiah dari bulan Januari 2009 sampai dengan Oktober 2009, dari empat koefisien wavelet yang menghasilkan model terbaik pada WRNN adalah wavelet db3 dengan arsitektur 2-3-1, nilai learning rate = 0.02 dan alphanya = 0.3, sedangkan pada RNN arsitektur terbaik adalah 1-3-1 dengan Nilai learning rate = 0.3 dan alphanya = 0.9. 2. Dengan menggunakan model yang terbaik dari WRNN, hasil prediksi yang didapatkan sudah mendekati nilai sebenarnya. 3. Dari hasil MSE terbaik pada masing-masing model, MSE WRNN lebih kecil dari MSE RNN, jadi model prediksi WRNN lebih baik dibandingkan dengan model prediksi RNN.
Saran 1. Menggunakan jenis wavelet yang lain seperti Coiflets, Symlets, Discrete Meyer, atau Morlet untuk mengetahui bagaimana pengaruh penggunaan wavelet terhadap hasil prediksi dengan nilai koefisien serta tingkat dekomposisi yang berbeda. 2. Adanya penelitian lebih lanjut mengenai WRNN dengan metode training selain RTRL.
DAFTAR PUSTAKA
DAFTAR PUSTAKA DAFTAR PUSTAKA Anton, H., Rorres, C. 2004. Aljabar Linear Elementer (versi aplikasi). Edisi kedelapan-jilid 1. Alih Bahas: Refina Indriasari, Irzam Harmein. Editor: Amalia Safitri. Erlangga, Jakarta. Aussem and Murtagh,F. 1998. Wavelet-based feature extraction and decomposition strategies for financial forecasting, Journal of Computational Intelligence in Finance, 6:5-12. Budi utomo, Daryono. 2007. Wavelet-jaringan saraf tiruan untuk prediksi data time series. Matematika ITS.Surabaya. Burrus C, Sidney, Cs. 1998. Introduction to Wavelets and Wavelet Transform A primer. Prentice Hall International, Inc. Houston, Texas. Cai, X., dkk. 2004. Time Series Prediction with RNN using a Hibrid PSO-EA Algorithm, University of missouri,rolla. Doya, K. 2002. Recurrent Network : Learning Algorithms. Kyoto
DAFTAR PUSTAKA (LANJUTAN) Kuncoro, M. 2001. Metode Kuantitatif, Teori dan Aplikasi untuk Bisnis dan Ekonomi, Unit penerbit dan percetakan AMP YKPN, Yogyakarta. Loh Hwa, Ruey. 2003. Time Series Forecast with Neural network. Department of Electrical and Computer Engineering, University of Queensland., Australia. Mahmudah,Wilda.2006. Fourier recurrent neural network jenis elman untuk prediksi data time series. Matematika ITS, Surabaya. Makridakis. 1999. Metode dan Aplikasi Peramalan. Binarupa Aksara, Jakarta.
DAFTAR PUSTAKA (LANJUTAN) Wang and Ding. 2003. Wavelet Network Model and Its Application to the Prediction of Hydrology. Department of Hydrology and Water Resources, Hydraulic School of Sichuan University, Chengdu, Sichuan 610065, China. Youse, Shahriar., W.I, and Reinarz.D. 2005. Wavelet-based prediction of oil prices, Chaos, Solitons and Fractals, 25:265-275. Yunus, Mahmud. 2005. Pengantar Analisis Fungsional. Jurusan Matematika FMIPA ITS. Surabaya.
SEKIAN TERIMA KASIH