Pengaruh Normalisasi Data pada Jaringan Syaraf Tiruan Backpropagasi Gradient Descent Adaptive Gain (BPGDAG) untuk Klasifikasi

Transkripsi

1 Pegaruh Normalisasi Data pada Jariga Syaraf Tirua Bacpropagasi Gradiet Descet Adaptive Gai (BPGDAG utu Klasifiasi Nurul Chamidah Jurusa Tei Iformatia Faultas MIPA UNS Jl. Ir. Sutami No. 36 A Suraarta urulchamidah.2007@gmail.com iharto Jurusa Tei Iformatia Faultas MIPA UNS Jl. Ir. Sutami No. 36 A Suraarta wi_harto@yahoo.com Umi Salamah Jurusa Tei Iformatia Faultas MIPA UNS Jl. Ir. Sutami No. 36 A Suraarta umi_salamah@yahoo.com ABSTRAK Algoritma pelatiha pada multilayer perceptro megguaa bacpropagasi, biasaya fugsi aitvasi yag diguaa adalah fugsi sigmoid. Fugsi tersebut aa membawa ilai iput dega rage yag ta terbatas e ilai output yag terbatas, yaitu dalam sebuah rage 0 sampai. Supaya dapat membawa rage ilai output e dalam rage iput, maa data iput harus dilaua ormalisasi data e dalam rage 0 sampai, sehigga outputya dapat di deormalisasi e dalam rage ilai iput. Metode ormalisasi ada bermacam-mcam, masalahya, metode maa yag palig efetif utu asus lasifiasi megguaa algoritma pelatiha BPGD/AG. Peelitia ii aa megaalisa metode ormalisasi maa yag palig efetif utu meglasifiasi data pada algoritma BPGD/AG. Esperime dilaua pada data aer payudara yag dilasifiasia e dalam aer gaas da aer ia. Hasil evaluasi meuua bahwa metode ormalisasi Mi-Max memberia aurasi tertiggi higga 96.86% dega rata-rata iterasi sebaya 2 epoch. Kata Kuci Bacpropagasi, Normalisasi, Deormalisasi, Mi-max, Sigmoid.. PENDAHULUAN Syaraf Tirua (JST merupaa salah satu metode yag dapat diguaa utu meglasifiasi data, dimaa lasifiasi diperlua utu mempredisi elas dari suatu data. JST efetif diguaa dalam lasifiasi data yag umlah variabelya cuup baya da memilii orelasi variabel yag omples. Kelebiha JST salah satuya adalah emampuaya dalam beradaptasi da mampu belaar dari data masua yag diberia sehigga dapat memetaa hubuga atara masua da eluaraya. Selai itu JST mampu mempredisi eluara berdasara masua yag telah dilatiha sebelumya. JST mempuyai baya strutur ariga, diataraya multilayer perceptro. Utu melaua pelatiha pada strutur ii megguaa algoritma bacpropagasi. Algoritma pelatiha pada multilayer perceptro megguaa bacpropagasi, biasaya fugsi aitvasi yag diguaa adalah fugsi sigmoid. Fugsi tersebut aa membawa ilai iput dega rage yag ta terbatas e ilai output yag terbatas, yaitu dalam sebuah rage 0 sampai []. Supaya dapat membawa rage ilai output e dalam rage iput, maa data iput harus dilaua ormalisasi data e dalam rage 0 sampai, sehigga outputya dapat di deormalisasi e dalam rage ilai iput. Metode ormalisasi ada bermacam-mcam, masalahya, metode maa yag palig efetif utu asus lasifiasi. Beberapa peelitia yag beraita dega metode ormalisasi sudah perah dilaua, diataraya peelitia Jayalashmi [2]. Peelitia tersebut membahsa tetag pegaruh metode ormalisasi pada algoritma bacpropagasi dega asus diabetes mellitus. Algoritma pelatiha yag diguaa adalah algoritma bacpropagasi mometum. Algoritma tersebut merupaa perbaia dari algoritma gradiet descet. Metode ormalisasi yag diguaa belum megaomodasi dua buah metode ormalisasi yaitu decimal scalig da softmax.. Selai itu dalam peelitia tersebut megabaia missig value. Berdasara peelitia yag dilaua Pauli da Sathaumara [3] pembuaga istace data yag megadug missig value aa mempegaruhi aurasi dalam diagosa. Peelitia beraita dega perbaia algoritma gradiet descet utu pelatiha multi-layer perceptro telah baya dilaua. Perbaia tersebut bertuua utu meigata performa dari JST, bai dalam hal aurasi maupu ecepata overgesi. Selai dega mometum, perbaia algoritma dega meambaha parameter Gai yag ilaiya adaptive, sehigga meadi Bacpropagasi Grediet Descet dega Adaptive Gai (BPGD/AG [7]. Algoritma BPGD/AG terbuti mampu meigata efetifitas predisi da ecepata traiig utu predisi dari data peyait atug [9]. Beragat dari peelitia-peelitia tersebut, peeliti aa megaalisis efetifitas lasifiasi data dega metode ormalisasi softmax, mi-max, z-score, sigmod, decimal scalig da statistical colum. Data yag aa di alsifiasi sebelum diormalisasi dilaua pembuaga istace data yag megadug missig value dega metode media. Algoritma pembelaara yag diguaa utu pelatiha multilayer perceptro dipilih algoritma Bacpropagasi Gradiet Descet dega Adaptive Gai (BPGD/AG utu medapata hasil lasifiasi yag optimal pada asus aer payudara. 2. METODE PENELITIAN Lagah era esperime dalam peelitia dilaua melalui beberapa tahapa. Tahapa-tahapa tersebut dituua pada gambar beriut 28

2 Gambar Lagah-lagah peelitia. Meload data 2. Mereplace missig value dega metode media 3. Meormalisasi data dega memvariasia metode ormalisasi agar rage ilaiya atara ol da satu. Data terormalisasi ii atiya aa diguaa sebagai iput dalam JST. 4. Membagi data meadi dua bagia, 80% utu traiig da 20% utu test. 5. Membuat arsitetur eural etwor dega tiga layer yai iput layer, hidde layer, da output layer. Dimaa umlah ode iput sama dega umlah iput dari asus, umlah ode hidde euro pada hidde layer sebaya eam euro, da satu ode output. 6. Utu setiap data terormalisasi dega metode yag berbeda, dilaua lagah vii - ix 7. Melatih ariga dega data traiig dega epoch tertetu. 8. Melaua tes dega data tes 9. Megevaluasi eaurata lasifiasi utu data terormalisasi. 0. Selesai 2. Data set Klasifiasi ii diapliasia pada dataset aer payudara yag diperoleh dari UCI Machie Learig Repository [4] sumbaga Rumah Sait Uiversity of iscosi Madiso dari Dr. illiam H. olberg [4] di Jumlah data 699 dega 6 ilai atribut yag hilag, 458 (65.5% tumor ia da 24 (34,5% tumor gaas dega desripsi atribut sebagai beriut. Tabel Atribut data aer No. Atribut Domai. Sample code umber id umber 2. Clump Thicess 0 3. Uiformity of Cell Size 0 4. Uiformity of Cell Shape 0 5. Margial Adhesio 0 6. Sigle Epithelial Cell Size 0 7. Bare Nuclei 0 8. Blad Chromati 0 9. Normal Nucleoli 0 0. Mitoses 0. Class utu aer ia, utu aer gaas 2.2 Preproses Data Preproses data dilaua dega mereplace missig value da meormalisasi data e dalam rag 0 da dega megguaa beberapa metode. Beriut metode preproses yag diguaa dalam peelitia ii ; a. Mereplace Missig value Data yag hilag (missig value di-replace dega metode media. ai dega mecari ilai tegah da me-replace semua ilai yag hilag dega ilai tegah tersebut. Metode ii merupaa metode replacemet yag palig bai utu asus iscosi breast Cacer Diagosis dega Bacpropagsi [3]. Nilai tegah utu data gail : Me X 2 Nilai tegah utu data geap : ( X X 2 2 Me (2 2 b. Normalisasi Metode ormalisasi yag diguaa dalam peelitia ii adalah dega metrasformasi data e dalam rage 0 da. Metode - metode yag diguaa atara lai : Decimal scalig: diguaa etia ilai berada dalam retag logaritmi, misalya retag suatu ilai adalah atara 0 da sedaga ilai lai pada retag 0 da 000 [7]. s s' (3 0 Dimaa log max{s } 0 Sigmoid : metode ii megubah ilai edalam rage atara 0 da dega fugsi sigmoid []. s' (4 s e Softmax : metode ii megubah ilai edalam rage atara 0 da megguaa fugsi sigmoid dega memafaata mea da stadar deviasi []. 29

3 s' e sµ ( σ (5 Dimaa µ adalah rata-rata dari tiap olom da σ merupaa stadar deviasi. Mi-max ormalizatio: metode ii me-rescale data dari suatu rage e rage baru lai. Data di salaa dalam rage 0 da. Diberia ilai yag bersesuaia (dalam satu olom {s},,2,... Maa ilai ormalisasiya adalah [] : s mi{s } s' (6 max{s } mi{s } Statistical colum : meormalisasi tiap sampel dega sebuah ilai olom terormalisasi yai dega trasformasi sqrt [3], yai dega meghitug ormalisasi dari tiap olom dega megaar uadrata emudia setiap sampel dibagi dega ilai ormalisasi olom tersebut da dialia dega ilai bias ecil []. s(i (c a s' 0. (7 (c a -score: tei ii megguaa rata-rata da stadar deviasi utu meormalisasi tiap iput []. sµ s' (8 σ 2.3 Strutur Jariga Syaraf Tirua Kosep algoritma bacpropagsi adalah meyesuaia bobot ariga dega mempropagasi error dari output e iput. Selama pelatiha, ariga memiimisasi error dega megestimasi bobot da berheti pada Miimum Squared Error (MSE 0.05 atau masimal iterasi sebaya 000 epoch. Prosedur miimasi dilaua dega Bacpropagasi Gradiet Descet dega Adaptive Gai (BPGD/AG da fugsi ativasi sigmoid. Beriut strutur ariga syaraf tirua multilayer perceptro dega satu hidde layer Arsitetur yag diguaa dalam BPGD/AG ii adalah satu iput layer, satu hidde layer, da satu output layer dega formasi euro fugsi ativasi yag dipaai adalah fugsi sigmoid dega learig rate 0.0. Pada iput layer, yag meadi iput euro adalah iput variabel data asus dega sembila variabel yai, Clump Thicess, Uiformity of Cell Size, Uiformity of Cell Shape, Margial Adhesio, Sigle Epithelial Cell Size, Bare Nuclei, Blad Chromati, Normal Nucleoli, da Mitoses. Pada hidde layer terdapat eam hidde euro [0]. Pada Output layer terdapat satu hidde euro utu output, yai hasil lasifiasi apaah aer tersebut ia atau gaas. Algoritma Feed forward Bacpropagatio Gradiet Descet dega Adaptive Gai yag diguaa utu pelatiha adalah sebagai beriut : Tahapa 0 : Tahapa : Pemberia iisialisasi bobot, bias da gai dega ilai tertetu. Mealaa semua tahapa dari tahapa e 2 sampai dega tahapa e 5 higga odisi iterasi terpeuhi. Tahapa 2 : Setiap data pelatiha melaua lagah 3 sampai dega lagah 4. Feedforward Tahapa 3 : Utu setiap uit masua (Xi,... meerima siyal masua da diberi otasi Xi emudia diirima e uit beriutya yaitu uit hidde layer. Tahapa 4 : Pada masig-masig hidde euro, iput Xi dialia dega peimbag da diumlaha serta di tambah dega biasya. _i X i i i 0 (9 Kemudia melaua fugsi pegatifa megguaa: f(_i (0 Dalam betu Sigmoid fugsi pegatifaya meadi: c_z _i ( e Setelah melewati tahap pegatifa maa eluaraya diirim e semua uit eluara. Tahapa 5 : Utu setiap uit eluara (,,2,...m, uit dialia dega peimbag da diumlaha serta ditambaha dega biasya: p _i 0 Kemudia dilaua fugsi pegatifa: (2 Gambar 2 Strutur Jariga syaraf Tirua Multilayer perceptro f(_i (3 30

4 0 0 0 (23 Dalam fugsi Sigmoid meadi : Bacpropagasi da perubaha bobot Tahapa 6 : Tahapa 7 : Tahapa 8 : Tahapa 9 : c_y _i e (4 Pada setiap uit eluara berupa medapata pola target seperti pola masua saat pelatiha da dihitug errorya: 2 E (t (5 Meghitug perubaha bobot pada li meuu output η (6 Betu hasil turua parsialya η(t ( c_y Meghitug perubaha bias pada li meuu output 0 η (7 0 Betu hasil turua parsialya 0 (8 η(t ( c_y Meghitug perubaha bobot pada li meuu hidde euro i η (9 i Betu hasil turua parsialya i η c_y ( (t tmp c_z ( X (20 i Tahapa 0: Meghitug perubaha bias pada li meuu hidde euro E 0 η (2 0 Tahapa : Megupdate semua bobot da bias * tmp i i i ( (25 Tahapa 2 : Meghitug perubaha gai pada output c_y η (26 c_y dimaa, (t ( c_y Sehigga ( c_y η(t ( ( Tahapa 3 : Meghitug perubaha gai pada hidde euro c_z η (27 c_z dimaa, c_z ( Sehigga c_z ( η 0 0 [ c_y ( (t ] i X i 0 [ c_y ( (t ] Tahapa 4 : Megupdate gai Tahapa 5 : Iterasi berahir Kodisi berheti i X i 0 c_y c_y c_y (28 c_z c_z c_z (29 Epoch masimal iterasi E umlahdata Atau MSE (30 umlahdata * * (22 3

5 3. PEMBAHASAN Esperime ii dilaua dega dua proses, yai proses traiig da proses testig. Dari 699 record data, proses traiig megguaa 80% dari data, yai dega meradom 80% record dari data aer ia da 80% record dari data aer gaas, sedaga sisaya utu proses testig yag dilaua dega megguaa radom 20% data, terdiri dari 20% record dari aer ia da 20% dari aer gaas. Pada setiap satu variasi esperime, dilaua seratus ali pegulaga. Setiap pegulaga pada proses traiig, diberia ilai iisial bobot radom da didapata umlah iterasi utu mecapai overgesi. Percobaa berheti pada MSE atau pada masimal iterasi da diasumsia telah mecapai overgesi serta meghasila bobot yag aa diguaa utu testig. Setiap bobot hasil traiig yag telah overge dipaai utu melaua testig. Data lasifiasi hasil testig dibadiga dega data lasifiasi yag sebearya sehigga diperoleh umlah data yag dipredisi bear da yag dipredisi salah. Evaluasi dari esperime dilaua dega megambil rata-rata epoch da aurasi dari seratus peguia, hasil peguia pada peelitia ii dapat dilihat pada Tabel 2. Tabel 2 Perbadiga metode ormalisasi Kriteria rata-rata rata-rata Metode epoch aurasi (% decimal scalig sigmoid softmax mi-max statistical colum zscore palig tiggi utu asus lasifiasi aer payudara. Hasil perbadiga meuua bahwa ormalisasi dega metode mimax memberia rata-rata aurasi tertiggi bila dibadiga dega metode lai serta memerlua epoch yag palig sediit, (% decimal scalig sigmoid 76.9 softmax mimax statistical colum Metode Gambar 4 Rata-rata aurasi zscore 4. PENUTUP Peelitia ii meuua pegaruh metode ormalisasi data pada algoritma JST Bacpropagasi Gradiet Descet dega Adaptive Gai (BPGD/AG utu lasifiasi yag diuia dega data asus aer payudara. Evaluasi dari esperime meuua bahwa efetifitas JST BPGD/AG sagat dipegaruhi oleh metode ormalisasi yag dipilih utu mecapai aurasi terbai, da metode ormalisasi yag memberia efetifitas terbai dalam hal aurasi da ecepata overgesi adalah metode Mimax yag mecapai aurasi rata-rata higga 96.86% da memerlua iterasi yag palig sediit dega rata-rata sebaya 2 epoch. Perbadiga ratarata epoch dari berbagai metode ormalisasi dituua pada Gambar 3, daro gambar tersebut dapat dilihat bahwa mimax memilii rata-rata epoch palig redah yag berarti metode mimax memilii watu yag palig sigat utu mecapai overgesi. Epoch decimal scalig 40 sigmoid 584 softmax 49 Metode mimax Gambar 3 Rata-rata epoch Sedaga perbadiga rata-rata aurasi dituua pada Gambar 4 dimaa metode mimax memilii aurasi yag 2 statistical colum zscore DAFTAR PUSTAKA [] Kusumadewi, Sri. Membagu Jariga Syaraf Tirua Megguaa Matlab & Exel Li Graha Ilmu. ogyaarta. pp [2] Jayalashmi, T. ad Sathaumara, A. 20. Statistical Normalizatio ad Bac Propagatio for Classificatio. Iteratioal Joural of Computer Theory ad Egieerig. III(. [3] Pauli, F. ad Sathaumara, A A Algorithm to Recostruct the Missig alues for Diagosig the Breast Cacer. Global Joural of Computer Sciece ad Techology. X(2. [4] Bishop C.M., Neural Networs for patter recogitio. 995:Oxford Uiversity Press. [5] Huag H.., A uified Approach to quadratically coverget algorithms for fuctio miimizatio. J. Optim. Theory Applicatio, 970.5:p [6] M. R. Hestees ad E. Stiefel, Methods of cougate Gradiet fr solvig liear systems. J. Research NBS, :p.409. [7] Nadaumar, K., Ail J., Aru R Score Normalizatio i Multimodal Biometric Systems. Patter Recogitio 38. pp [8] Nawi, N. M., M. R. Rasig, ad R. S. Rasig. A New Improvemet Of Bac-Propagatio Neural Networ Learig Algorithms ith Adaptive Gai. Sciece ad Techology. Joural of

6 [9] Nawi, N. M., R. Ghazali ad M.N.M. Salleh. 20. Predictig Patiets with Heart Disease by Usig a Improved Bac-propagatio Algorithm. Joural of Computig. III(2 : [0] Pauli F. ad Sathaumara A Bac Propagatio Neural Networ by Comparig Hidde Neuro: Case Study o Breast Cacer Diagosis. Iteratioal Joural of Computer Applicatio, II(4. [] Priddy, Kevi L. ad Paul E. Keller Artificial Neural Networs: A Itroductio, ashigto : SPIE - The Iteratioal Society for Optical Egieerig. [2] R.A. Jacobs, Icreased rates of covergece through learig rate adaptatio. Neural Networs, 988.:p [3] Roberts, Seth Statistics colum : Trasform your data. Nutritio 24. pp [4] UCI Machie Learig Repository. [ Irvie, CA: Uiversity of Califoria, Ceter for Machie Learig ad Itelliget Systems [5] olberg. H. Ad Magasaria O.L, Multisurface method of patter separatio for medical diagosis applied to breast cytology, i proceedigs of the Natioal Academy of Scieces, vol. 87, , U.S.A.,*(Dec