PERBANDINGAN METODE GRADIENT DESCENT DAN GRADIENT DESCENT DENGAN MOMENTUM PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION DALAM PERAMALAN KURS TENGAH RUPIAH TERHADAP DOLAR AMERIKA oleh WAHYUNI PUTRANTO NIM. M0110084 SKRIPSI ditulis dan diajukan untuk memenuhi sebagian persyaratan memperoleh gelar Sarjana Sains Matematika FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2015 i
HALAMAN PENGESAHAN PERBANDINGAN METODE GRADIENT DESCENT DAN GRADIENT DESCENT DENGAN MOMENTUM PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION DALAM PERAMALAN KURS TENGAH RUPIAH TERHADAP DOLAR AMERIKA Pembimbing I yang disiapkan dan disusun oleh WAHYUNI PUTRANTO M0110084 dibimbing oleh Pembimbing II Winita Sulandari, M.Si Dra. Yuliana Susanti, M.Si NIP. 19780814 200501 2 002 NIP. 19611219 198703 2 001 telah dipertahankan di depan Dewan Penguji pada hari Rabu, 14 Januari 2015 dan dinyatakan telah memenuhi syarat. Anggota Tim Penguji : Tanda Tangan 1. Nughthoh Arfawi Kurdi, M.Sc 1. NIP. 19850717 201012 1 003 2. Dra. Etik Zukhronah, M.Si 2..... NIP. 19661213 199203 2 001 Disahkan oleh Fakultas Matematika dan Ilmu Pengetahuan Alam Surakarta, 15 Januari 2015 Dekan, Ketua Jurusan Matematika, Prof. Ir. Ari Handono Ramelan, M.Sc(Hons), Ph.D Supriyadi Wibowo, M.Si. NIP. 19610223 198601 1 001 NIP. 19681110 199512 1 001 ii
ABSTRAK Wahyuni Putranto, 2015. PERBANDINGAN METODE GRADIENT DESCENT DAN GRADIENT DESCENT DENGAN MOMENTUM PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION DALAM PERAMALAN KURS TENGAH RUPIAH TERHADAP DOLAR AMERIKA. Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sebelas Maret. Jaringan syaraf tiruan dapat digunakan sebagai metode yang efektif untuk meramalkan kurs. Algoritme pelatihan dalam jaringan syaraf tiruan yang sering digunakan untuk peramalan adalah backpropagation. Pada backpropagation, bobot jaringan diubah menggunakan metode gradient descent. Metode gradient descent dapat dimodifikasi dengan penambahan momentum, sehingga memiliki laju konvergensi lebih cepat. Modifikasi ini disebut gradient descent dengan momentum. Penelitian ini bertujuan untuk membandingkan proses pelatihan struktur jaringan menggunakan metode gradient descent dan gradient descent dengan momentum pada jaringan syaraf tiruan backpropagation. Metode gradient descent dan gradient descent dengan momentum digunakan untuk menentukan parameter model jaringan syaraf tiruan backpropagation, yaitu bobot. Data pelatihan yang digunakan dalam penelitian ini adalah data harian kurs tengah rupiah terhadap dolar Amerika dari 2 Januari 2013 sampai dengan 23 Juli 2013. Beberapa kombinasi dari banyaknya unit masukan, unit tersembunyi dan laju pelatihan diterapkan dalam penyusunan struktur jaringan untuk mencari model terbaik. Model terbaik dipilih berdasarkan nilai rataan kuadrat sesatan (RKS). Kemudian model terpilih diterapkan pada peramalan kurs tengah rupiah terhadap dolar Amerika dari 21 Februari 2014 sampai dengan 28 Februari 2014. Berdasarkan hasil penelitian, struktur model terbaik yang diperoleh dari kedua metode adalah 1-5-1. Peramalan kurs tengah rupiah terhadap dolar Amerika dari 21 Februari 2014 sampai dengan 28 Februari 2014 menggunakan model 1-5- 1 dengan bobot yang diperoleh dari metode gradient descent lebih akurat daripada bobot yang diperoleh dari metode gradient descent dengan momentum. Kata kunci : jaringan syaraf tiruan, backpropagation, gradient descent, gradient descent dengan momentum, kurs tengah iii
ABSTRACT Wahyuni Putranto, 2015. COMPARISON OF GRADIENT DESCENT AND GRADIENT DESCENT WITH MOMENTUM METHODS ON BACKPROPAGATION ARTIFICIAL NEURAL NETWORK IN FORECASTING THE MIDDLE RATE OF THE RUPIAH AGAINST US DOLLAR. Faculty of Mathematics and Natural Sciences, Sebelas Maret University. Artificial neural network can be used as an effective method to forecast the exchange rate. Training algorithm in artificial neural network which often used in forecasting is backpropagation. In backpropagation, weights of the network are updated by using gradient descent method. Gradient descent method can be modified by the addition of momentum, so it has a faster convergence rate. This modification is called gradient descent with momentum. This aim of the research is compare the network structure of training process using gradient descent and gradient descent with momentum methods on backpropagation artificial neural network. Gradient descent and gradient descent with momentum methods are used to determine the parameters of backpropagation artificial neural network model, namely weight. Training data used in this research is the daily data middle rate of rupiah against US dollar from January 2, 2013 until July 23, 2013. Some combinations of the number of input units, hidden units, and learning rate were applied in the construction of the network structure in order to find the best model. The best model was selected by using the value of mean square error (MSE). Then the selected model is applied to forecast the middle rate of rupiah against US dollar from February 21, 2014 until February 28, 2014. Based on the results, the best model structure obtained from both methods was 1-5-1. Forecasting the middle rate of rupiah against US dollar from February 21, 2014 until February 28, 2014 using the model 1-5-1with weights derived from the gradient descent method is more accurate than the gradient descent with momentum method. Keywords : artificial neural network, backpropagation, gradient descent, gradient descent with momentum, middle rate iv
MOTO Niat yang kuat dan tulus, didukung doa yang tekun serta sungguh percaya, akan disempurnakan Tuhan agar terwujud dan membawa sukacita. (Rm. Bonifasius Hudiono, Pr) v
PERSEMBAHAN Karya ini kupersembahkan untuk : Tuhan Yesus yang selalu menyertaiku, Bapakku Antonius Suroto dan Ibuku Christina Kartini yang selalu mendoakan dan penuh harapan padaku, Bebeeku Gregorius Triatma yang selalu memberi motivasi dan kritik yang membangun, Keluarga besar dan teman-teman semua yang selalu mendukungku. vi
KATA PENGANTAR Puji dan syukur penulis panjatkan kepada Tuhan Yang Maha Esa, yang telah melimpahkan rahmat dan karunia-nya, sehingga penulis dapat menyelesaikan skripsi ini. Selain itu, penulis juga mengucapkan terima kasih kepada 1. Ibu Winita Sulandari, M.Si. sebagai Dosen Pembimbing I atas arahan, kesediaan, motivasi dan kesabaran yang diberikan dalam membimbing penulis, 2. Ibu Dra. Yuliana Susanti, M.Si. sebagai Dosen Pembimbing II yang telah meluangkan waktunya dalam penyusunan skripsi ini, 3. Semua pihak yang telah membantu dalam penyusunan skripsi ini. Semoga skripsi ini dapat bermanfaat bagi pembaca. Surakarta, Januari 2015 Penulis vii
DAFTAR ISI Halaman Judul. i Halaman Pengesahan ii ABSTRAK iii ABSTRACT... iv MOTO.. v PERSEMBAHAN. vi KATA PENGANTAR. vii DAFTAR ISI. viii DAFTAR TABEL x DAFTAR GAMBAR xi DAFTAR NOTASI.. xii DAFTAR LAMPIRAN. xiv BAB I PENDAHULUAN 1 1.1 Latar Belakang Masalah.. 1 1.2 Perumusan Masalah. 3 1.3 Batasan Masalah. 3 1.4 Tujuan Penelitian. 3 1.5 Manfaat Penelitian 3 BAB II LANDASAN TEORI 4 2.1 Tinjauan Pustaka.. 4 2.1.1 Jaringan Syaraf Tiruan. 5 2.1.2 Backpropagation... 6 2.1.2.1 Arsitektur Jaringan Backpropagation.. 7 2.1.2.2 Fungsi Aktivasi Backpropagation.. 7 2.1.2.3 Algoritme Pelatihan Backpropagation dengan Gradient Descent. 9 2.1.2.4 Algoritme Pelatihan Backpropagation Gradient Descent dengan Momentum. 14 viii
2.1.3 Prosedur Jaringan Syaraf Tiruan untuk Peramalan Runtun Waktu.. 15 2.2 Kerangka Pemikiran. 18 BAB III METODE PENELITIAN 19 BAB IV HASIL DAN PEMBAHASAN 20 4.1 Deskripsi Data. 20 4.2 Pembagian dan Transformasi Data.. 21 4.3 Perancangan dan Pelatihan Struktur jaringan.. 22 4.3.1 Hasil RKS Pelatihan Menggunakan Algoritme Pelatihan Backpropagation dengan Gradient Descent... 22 4.3.2 Hasil RKS Pelatihan Menggunakan Algoritme Pelatihan Backpropagation dengan Gradient Descent Momentum 24 4.4 Proses Pengujian dan Peramalan. 25 BAB V PENUTUP. 29 5.1 Kesimpulan.. 29 5.2 Saran. 30 DAFTAR PUSTAKA. 31 LAMPIRAN 33 ix
DAFTAR TABEL Tabel 2.1. Analogi jaringan syaraf biologi dengan jaringan syaraf tiruan.. 5 Tabel 4.1. Model yang memenuhi uji asumsi random untuk residu pada proses pelatihan menggunakan algoritme pelatihan backpropagation dengan gradient descent. 23 Tabel 4.2. Model yang memenuhi uji asumsi random untuk residu pada proses pelatihan menggunakan algoritme pelatihan backpropagation dengan gradient descent momentum. 24 Tabel 4.3. Hasil RKS pengujian. 26 Tabel 4.4. Hasil peramalan kurs tengah rupiah terhadap dolar Amerika 27 x
DAFTAR GAMBAR Gambar 2.1. Struktur neuron pada jaringan syaraf tiruan 6 Gambar 2.2. Arsitektur backpropagation dengan satu lapisan tersembunyi. 7 Gambar 2.3. Fungsi sigmoid biner, interval (0,1) 8 Gambar 2.4. Fungsi linier 9 Gambar 2.5. Gradient descent untuk mencapai kesalahan minimum. 10 Gambar 4.1. Plot runtun waktu data harian kurs tengah rupiah terhadap dolar Amerika dari 2 Januari 2013 sampai dengan 20 Februari 2014.. 20 xi
DAFTAR NOTASI : unit masukan ke- pada waktu ke- : sinyal masukan ke- pada waktu ke- : unit tersembunyi ke- : bobot yang menghubungkan unit masukan ke unit lapisan tersembunyi : bobot yang menghubungkan bias di unit masukan ke unit lapisan tersembunyi : fungsi penjumlah : nilai hasil penjumlahan sinyal unit masukan dan bobot-bobot ke unit lapisan tersembunyi : sinyal keluaran pada unit tersembunyi ke- yang akan dikirimkan ke unit keluaran : unit keluaran pada waktu ke- : bobot yang menghubungkan unit lapisan tersembunyi ke unit keluaran : bobot yang menghubungkan bias di unit lapisan tersembunyi ke unit keluaran : nilai hasil penjumlahan sinyal keluaran pada unit tersembunyi dan bobot-bobot ke unit keluaran : sinyal keluaran pada unit keluaran pada waktu ke- : fungsi kesalahan : target pada waktu ke- : gradien dari fungsi : koreksi kesalahan diantara unit keluaran pada waktu ke- dan lapisan tersembunyi : laju pelatihan : besarnya koreksi bobot xii
: besarnya koreksi bobot : besarnya koreksi bobot : besarnya koreksi bobot : koreksi kesalahan diantara lapisan tersembunyi kedan lapisan masukan : parameter momentum : nilai hasil transformasi data : nilai data yang akan ditransformasi : nilai minimum dari seluruh data : nilai maksimum dari seluruh data : nilai terendah interval : nilai tertinggi interval xiii
DAFTAR LAMPIRAN Lampiran 1. Data harian kurs tengah rupiah terhadap dolar Amerika dari 2 Januari 2013 sampai dengan 20 Februari 2014 33 Lampiran 2. Hasil RKS pelatihan menggunakan algoritme pelatihan backpropagation dengan gradient descent.. 34 Lampiran 3. Hasil RKS pelatihan menggunakan algoritme pelatihan backpropagation dengan gradient descent momentum ( = 0.9) 35 xiv