KINERJA METODE EXTREME LEARNING MACHINE (ELM) PADA SISTEM PERAMALAN

Transkripsi

1 Vol 1, No 3 Desember 2010 ISSN KINERJA METODE EXTREME LEARNING MACHINE (ELM) PADA SISTEM PERAMALAN * Bai Khusul Khotimah, ** Eka Mala Sari R, *** Hadry Yuliaarta Jurusa Tekik Iformatika, Fakultas Tekik, Uiversitas Truojoyo Madura Jl. Raya Telag PO. BOX 2 Kamal, Bagkala, Madura * baikk@gmail.com Abstrak Metode Extreme Learig Machie (ELM) merupaka salah satu metode pembelajara baru dari jariga syaraf tirua. Metode ii memiliki tigkat pembelajara yag lebih baik dibadigka dega metode kovesioal laiya berdasarka perhituga hasil ilai error yag diukur megguaka ilai MSE (Mea Square Error) da MAPE (Mea Absolute Percetage Error). Berdasarka hasil uji coba megguaka metode ELM diperoleh ilai MSE da MAPE terkecil dibadigka dega megguaka algoritma Backpropagatio. Dimaa dari metode ELM diperoleh hasil percobaa megguaka kofigurasi hidde layer berjumlah 4, epoch 1000, pegatura rage atara -0,4 0,4 meghasilka rata-rata ilai MSE = 1,100% da MAPE = 0.31%. Sedagka proses pembelajara megguaka metode Backpropagatio dega parameter perubaha hidde layer berjumlah 4, E-poch maksimal 3000, da pegatura mometum 0,4 mecapalai yag terbaik. Parameter tersebut meghasilka ilai error yag cukup baik saat sistem melakuka pegujia yaitu MSE = % da MAPE = 0,96 %. Kata kuci : metode pembelajara, Extreme Learig Machie (ELM), MSE, MAPE Abstract Method of Extreme Learig Machie (ELM) is oe of the ew learig method of eural etworks. This method has a better learig rate compared to other covetioal methods based o the calculatio results of the error value is measured usig the MSE (Mea Square Error) ad Mape (Mea Absolute Percetage Error). Based o the test results obtaied usig the method of ELM ad Mape smallest MSE value compared usig Backpropagatio algorithm. Where the method of ELM dipeoleh experimetal results usig a hidde layer cofiguratio cosists of 4, epoch 1000, settig the rage betwee MSE value = 1.100% ad Mape = 0.31%. While the process of learig usig the backpropagatio method with a parameter chage i the hidde layer cosists of 4, E-Poch maximum of 3000, ad settig the mometum 0.4 achieved the best value. These parameters geerate the error value is quite good durig the system test that is MSE = % ad Mape = 0.96%. Key words: Forecastig, Extreme Learig Machie (ELM), MSE, MAPE PENDAHULUAN Peramala adalah prediksi atau perkiraa apa yag aka terjadi di masa yag aka datag. Proses peramala merupaka suatu usur yag sagat petig dalam pegambila keputusa, sebab efektif tidakya suatu keputusa serig kali dipegaruhi beberapa faktor yag tidak tampak pada saat keputusa itu diambil [1]. Peramala bertujua utuk medapatka perkiraa atau prediksi yag bisa memiimumka kesalaha dalam meramal yag biasaya diukur dega Mea Square Error. 186

2 Extreme Learig Machie merupaka metode pembelajara baru dari jariga syaraf tirua. Secara umum, masalah peramala dapat diyataka dega sejumlah data rutu waktu (time series) [2]. Metode ii pertama kali diperkealka oleh Huag (2004). ELM merupaka jariga syaraf tirua feedforward dega sigle hidde layer atau biasa disebut dega Sigle Hidde Layer Feedforward eural Networks (SLFNs) Metode pembelajara ELM dibuat utuk megatasi kelemaha-kelemaha dari jariga syaraf tirua feedforward terutama dalam hal learig speed. Huag et al megemukaa dua alasa megapa JST feedforward lai mempuyai leraig speed redah, pada ELM parameter-parameter seperti iput weight da hidde bias dipilih secara radom, sehigga ELM memiliki learig speed yag cepat da mampu meghasilka good geeralizatio performace. Metode ELM mempuyai model matematis yag berbeda dari jariga syaraf tirua feedforward. Model matematis dari ELM lebih sederhaa da efektif [3][4]. TINJAUAN PUSTAKA Pegeala Metode Self Hidde Layer Feedforward Network (SLFN) Neural Networks (NN) merupaka salah satu cotoh model oliear yag mempuyai betuk fugsioal fleksibel da megadug beberapa parameter yag tidak dapat diiterpretasika seperti pada model parametrik. Salah satu betuk model NN yag bayak diguaka utuk berbagai aplikasi adalah Feedforward Neural Networks (FFNN). Betuk umum FFNN yag diguaka utuk peramala rutu waktu uivariat pada umumya adalah FFNN dega satu lapis tersembuyi da satu uit euro di lapis output (SLFN). Estimasi parameter (weight) model ii dilakuka dega meerapka algoritma backpropagatio pada suatu optimisasi Noliear Least Squares [4]. Hasil kajia empiris meujukka bahwa algoritma ii dapat bekerja dega baik dalam meetuka arsitektur terbaik yag diterapka utuk peramala rutu waktu. Hasil-hasil empiris berkaita dega perbadiga ketepata ramala atara model SLFN dega model-model rutu waktu yag lai meujukka bahwa tidak ada jamia bahwa SLFN selalu memberika hasil yag terbaik. Selatu, kajia empiris tetag pemrosesa awal data juga telah dilakuka da meujukka bahwa pemiliha metode pemrosesa awal data yag tepat dapat secara sigifika meigkatka ketepata ramala dari SLFN [5]. Metode Extreme Learig Machie (ELM) Extreme Learig Machie merupaka metode pembelajara baru dari jariga syaraf tirua. Metode ii pertama kali diperkealka oleh Huag. ELM merupaka jariga syaraf tirua feedforward dega sigle hidde layer atau biasa disebut dega Sigle Hidde Layer Feedforward eural Networks (SLFNs) Metode pembelajara ELM dibuat utuk megatasi kelemaha-kelemaha dari jariga syaraf tirua i terutama dalam hal learig speed. Huag et al megemukaa dua alasa megapa JST feedforward lai mempuyai leraig speed redah [3], yaitu : 1. megguaka slow gradiet based learig algorithm utuk melakuka traiig. 2. semua parameter pada jariga ditetuka secara iterative dega megguaka metode pembelajara tersebut. Pada ELM parameter-parameter sepertput weight da hidde bias dipilih secara radom, sehigga ELM memiliki learig speed yag cepat da mampu meghasilka good geeralizatio performace. Metode ELM mempuyai model matematis yag berbeda dari jariga syaraf tirua feedforward. Model matematis dari ELM lebih sederhaa da efektif. Berikut model matrematis dari ELM. Utuk N jumlah sample yag berbeda (Xi, ti ). Xi = [ Xi 1, Xi 2..., Xi ] T R Xt = [ Xt 1, Xt 2..., Xt ] T R, (1) Stadart SLFNs dega jumlah hidde odes sebayak N da activatio fuctio g ( x ) dapat digambarka secara matematis sebagai berikut : N N x j i gwi, xb oi g (2) i i1 i1 β = H * T (3) 187

3 Dimaa : w = merupaka vektor dari weight yag meghubugka i th hidde odes da iput odes. β i = merupaka weight vector yag meghubugka i th hidde da output odes. b i = threshold dar th hidde odes. w i x j = merupaka ier produk dari w i da x j Kofigurasi sederhaa algoritma ELM dapat dijelaska pada Gambar 1. dibawah ii: Gambar 1. Arsitektur ELM Output layer (predict forecast) Hidde layer Iput layer (idepedet var) H diatas adalah hidde layer output matrix g (w i x i +b 1 ) meujukka output dari hidde euro yag berhubuga dega iput i x. β merupaka matrix dari output weight da T matrix dari target atau output. Pada ELM iput weight da hidde bias ditetuka secara acak, maka output weight yag berhubuga dega hidde layer[6]. Dalam proses testig ELM Berdasarka iput weight da output weight yag didapatka dari proses traiig, maka tahap selajutya adalah melakuka peramala dega ELM. Data yag diguaka adalah data testig sebayak 20% dari data. Pada tahap ii data iput diormalisasi terlebih dahulu dega rage da rumus ormalisasi yag sama dega data traiig. Secara otomatis output dari proses ii juga harus melalui proses deormalisasi [6]. PERANCANGAN SISTEM Pada tahap ii membahas proses peracaga pada metode eural etwork Extreme Learig Machie (ELM) yag meliputi Proses Pelatiha da Prose uji coba sehigga mampu meghasilka ilai peramala yag diigika [5]. Mulai Iput data parameter Proses Autokorelasi Output data traiig da Data testig Output bobot iput,bias, bobot output Predict jml peggua Proses Normalisasi Pelatiha data Bobot terbaik Iput data traiig,jml hidde euro, da fugsi aktivasi Iput data testig, bobot iput, Bobot bias da bobot output Tidak Ya Apa MAPE <=1%, MSE <= 1? Pegujia data Hasil Ramala Selesai Gambar 1. Flowchart umum ELM 188

4 Proses uji coba yag dilakuka ditujukka pada Gambar 1. meetuka kierja sistem yag berhubuga dega parameter: perubaha jumlah hidde layer, perubaha error, da perubaha rage. Ukura Kesalaha Peramala Utuk megevaluasi harga parameter peramala, diguaka ukura kesalaha peramala. Harga parameter peramala yag terbaik adalah harga yag memberika ilai kesalaha peramala yag terkecil. Terdapat berbagai macam ukura kesalaha yag dapat diklasifikasika mejadi ukura stadar dalam statistik da ukura relatif. Ukura kesalaha yag termasuk ukura stadar statistik adalah Nilai rata-rata kesalaha kuadrat (Mea Squared Error). Ukura kesalaha yag termasuk ukura relatif adalah ilai rata-rata kesalaha persetase (Mea Percetage Error) da ilai rata-rata kesalaha persetase absolut (Mea Absolute Percetage Error). Di bawah ii adalah persamaa-persamaa yag dapat diguaka utuk meghitug masig-masig ukura kesalaha (error) utuk peramala tersebut [6]. Nilai Rata-Rata Kesalaha Kuadrat 2 e MSE = 1 (4) Nilai Rata-Rata Kesalaha Persetase PE MPE = 1 (5) X i Fi PE i = 100% X i (6) Nilai Rata-Rata Kesalaha Persetase Absolut PE MAPE = 1 (7) dega : : jumlah periode waktu data e i : kesalaha pada periode waktu i X i : data pada periode waktu i F i : ramala utuk periode waktu i MSE : ilai rata-rata kesalaha kuadrat PE i : kesalaha persetase pada periode i MPE : ilai rata-rata kesalaha persetase MAPE : ilai rata-rata kesalaha persetase absolut HASIL DAN PEMBAHASAN (1) Kierja Metode ELM (Extreme Learig Machie)Berdasaka Parameter Utuk megetahui metode maa yag terbaik dilakuka uji t pada selisih akurasi metode ELM da Backpropagatio utuk megetahui metode maa yag lebih baik pada tigkat error tertetu berdasarka set parameter hidde layer, e-poch, rage da mometum. Pada uji coba set data time series yag atributya depedet dimaa hubuga atar atribut membutuhka proses autokorelasi [2].Data yag di proses berdasarka waktuya aka diproses berdasarka rumus autokorelasi sehigga didapatka time lags atau waktu yag bersigifika dega waktu yag diramalka. Kemudia data tersebut pada waktu yag bersigifika tersebut aka mejadi data masuka pada proses pelatiha jariga syaraf tirua. Rumus utuk mecari fugsi autokorelasi : r k Y Y t Y Y t t t1 t tk Y Y t 2 (8) Keteraga: Y t =data baru atau ilai aktual pada periode t = ilai sigifika r k Berdasarka proses perhituga autokorelasi rk pada data yt+2 da seterusya, diperoleh ilai lags rk >= 0.4 sesuai Tabel 1., data tersebut dijadika iput pada pelatiha JST. Dega perubaha parameter hidde layer, iisialisasi parameter pada rage data [-0,4-0,4] da selag epoch 1000 diperoleh hasil ilai error MSE da MAPE sesuai Tabel 2,

5 Tabel 1. Data proses perhituga Autokorelasi Lags sigifika Lags sigifika r(0,1) 0,1451 r(-0,1) 0,0509 r(0.2) 0,0845 r(-0,2) 0,0438 r(0,3) 0,0025 R(-0,3) 0,0366 r(0,4) 0,9711 r(-0,4) 0,0295 r(0,5) 0,9990 r(-0,5) -0,2476 Tabel 2. Hasil uji coba perubaha hidde dega metode ELM Rage Hidde Layer E-poch MSE MAPE -0,4 0, ,505 0,6538-0,4 0, ,470 0,5325-0,4 0, ,995 0,4342-0,4 0, ,705 0,6873-0,4 0, ,673 0,4978 Tabel 3. Hasil Uji coba perubaha hidde dega metode Backproppagatio Mome- Hidde E- tum Layer poch MSE MAPE 0, , ,4107 0, , ,3005 0, ,2212 5,9233 0, , ,0573 0, , ,8739 Pada tabel 2,3 meujukka ilai MAPE berdasar perubaha hidde layer ujicoba pada metode ELM da BP, dari kelima data set perubaha hidde MAPE ELM mecapai keakurata kesalaha miimal saat hidde di set 12 = 0,43 % sedagka MAPE BP mecapalai keakurata kesalaha pada hidde 12 = 5,9%. Da pada data set perubaha hidde MAPE ELM mecapai keakurata kesalaha terbesar saat hidde di set 16 = 0,68% sedagka MAPE BP mecapalai keakurata kesalaha pada hidde 16 = 23,05%. Hal itu disebabka radom iput bobot da hidde bias di ELM mempegaruhi hasil hiddeya, da memberika akurasi kesalaha MAPE yag relatif kecil. (2) Kieja metode ELM Berdasarka Perubaha Iterasi Pada uji coba megguaka metode ELM da Backpropagatio, Uji coba data dilakuka 5 ru. Pada uji metode ELM parameter ditetuka berdasarka perubaha Epoch, iisialisasi parameter pada rage [-0,4-0,4], hidde layer 4 da epoch kelipata 10, selajutya hasilya didapatka ilai akurasi MSE da MAPE sesuai tabel 4,5. Tabel 4. Hasil uji coba perubaha Epoch Pada ELM Rage Hidde E- Layer poch MSE MAPE -0,4 0, ,0606 0,6358-0,4 0, ,9031 0,5782-0,4 0, ,6044 0,3377-0,4 0, ,2603 0,6695-0,4 0, ,6602 0,5051 Tabel 5. Hasil uji coba perubaha Epoch dega metode BP Mometum Layer poch Hidde E- MSE MAPE 0, ,5581 1,0376 0, ,2873 1,2685 0, ,2547 1,5346 0, ,1933 0,9612 0, ,6536 1,5603 Pada Tabel 4,5 meujukka hasil uji coba ELM da Backpropagatio utuk set perubaha hidde parameter yag diguaka utuk setiap metode adalah parameter yag meghasilka error miimal. Pada tabel diatas ditujukka bahwa dari 5 ru, metode ELM megugguli metode Backpropagatio sebayak 5ru. Hasil terbaik metode ELM adalah MAPE mecapai 0,3377%pada Epoch ke sedagka hasil terbaik metode Backpropagatio adalah MAPE 0,9612 % pada Epoch ke Jadi tigkat error yag dihasilka lebih miimum ELM berdasar parameter perubaha hidde layer. Da pada perubaha Epoch MAPE ELM mecapai keakurata kesalaha terbesar saat Epoch 10 = % sedagka MAPE BP mecapalai keakurata kesalaha terbesar pada Epoch 5000 = 1,56 %. 190

6 Berdasarka hasil uji coba tersebut MAPE yag dihasilka metode ELM lebih baik akurasi kesalahaya. Hal itu tersebut berpegaruh terhadap BP, apabila iterasi/ Epoch semaki kecil maka ilai error aka besar, da sebalikya bila Epoch besar maka ilai error aka ikut kecil. Berdasarka uji coba metode ELM ditujukka pada Gambar 2. ilai error yag cukup baik saat sistem melakuka pegujia yaitu sebesar MSE = 1,99% da MAPE = %. Sedagka pada metode Backpropagatio proses feedforward da backward meetuka pembobota secara radom utuk bobot iput da hidde bias meghasilka ilai MAPE = 0.31, MSE = 0,96 % pada backpropagatio meujukka persetase metode ELM tigkat kesalahaya lebih kecil daripada metode backpropagatio. Gambar 2. Form Proses Pelatiha ELM Dalam hasil uji coba meujukka bahwa ilai keakurata kesalaha lebih besar metode Backpropagatio daripada metode Extreme Learig Machie (ELM). Semaki kecil rage bobot radom, maka berpegaruh pula terhadap hasil MAPEya. KESIMPULAN Kesimpula yag dapat diambil peulis dari pembuata peragkat luak ii adalah: 1.Pada metode ELM meghasilka ilai error terkecil dega meetuka ilai bobot palig kecil, berbeda dega algoritma gradie base secara tradisioal yag hasilya mecapai kesalaha pelatiha miimum tetapi tidak mempertimbagka besarya bobot. Sehigga kierja ELM memiliki ujuk kerja yag lebih baik. 2.Pada proses peramala megguaka metode ELM skeario terbaik dega megguaka parameter perubaha hidde layer berjumlah 4 (empat), E-poch maksimal 1000, pegatura Rage atara -0,4 0,4 mecapai ilai yag terbaik. Parameter tersebut meghasilka jumlah iterasi yag memiliki DAFTAR PUSTAKA [1] Subagyo, P. Forecastig Kosep da Aplikasi. BPFE. Yogyakarta : [2] Kusumadewi, Sri, Artificial Itelligece (Tekik da Aplikasiya), Graha Ilmu, Yogyakarta, [3] G.-B. Huag, Q.-Y. Zhu, C.-K. Siew, Extreme learig machie: a ew learig scheme of feedforward euraletworks, i: Proceedigs of the Iteratioal Joit Coferece o Neural Networks (IJCNN2004), Budapest, Hugary, July [4] G.-B. Huag, Q.-Y. Zhu, ad C.-K. Siew, Extreme learig machie: Theory ad applicatios, Neurocomputig, vol. 70, pp , [5] Dwi Agustia Irwi Peerapa Metode Extreme Learig Machie utuk Peramala Permitaa. Sistem Iformasi- ITS Surabaya, Idoesia, [6] Dwi Prastyo, Dedy., Peramala Megguaka Metode Ekspoesial Smoothig, Jurusa Statistika Istitut Tekologi Sepuluh November, Surabaya,