KLASIFIKASI DATA MENGGUNAKAN JST BACKPROPAGATION MOMENTUM DENGAN ADAPTIVE LEARNING RATE

Transkripsi

1 KLASIFIKASI DATA MENGGUNAKAN JST BACKPROPAGATION MOMENTUM DENGAN ADAPTIVE LEARNING RATE Warih Maharani Faultas Teni Informatia, Institut Tenologi Telom Jl. Teleomuniasi No.1 Bandung Telp. (022) ext 2104, Fas. (022) wrh@ittelom.ac.id Abstra Data mining merupaan suatu proses pengestraan informasi penting pada data yang beruuran besar. Salah satu fungsionalitas yang sering digunaan pada data mining adalah lasifiasi, yang berfungsi menemuan seumpulan model/fungsi sehingga dapat mambedaan elas data untu eperluan predisi. Jaringan Syaraf Tiruan (JST), merupaan salah satu teni lasifiasi yang cuup handal diarenaan emampuannya dalam mempredisi. JST mempunyai toleransi yang tinggi terhadap data yang mengandung noise serta bersifat adaptive, dimana aringannya mampu belaar dari data yang dilatihan epadanya. Oleh arena itu penelitian ini menganalisis penglasifiasian data dengan menggunaan JST Bacpropagation Momentum dengan adaptive learning rate untu mendapatan hasil yang optimal. Sebelum memasui tahap lasifiasi, proses yang dilauan adalah feature selection. Feature selection merupaan tahap preprocessing yang bertuuan untu mencari atribut yang relevan terhadap label elas. Dengan ata lain, feature selection dapat diataan sebagai teni meredusi dimensi sebagai usaha untu meningatan performansi dari sebuah classifier. Metode feature selection yang digunaan adalah information gain. Setelah dilauan preprocessing data, emudian dilauan tahap lasifiasi menggunaan JST Bacpropagation Momentum dengan adaptive learning rate.. Hasil penguian menunuan bahwa dengan adanya onstanta momentum dan adaptive learning rate mempercepat ecepatan belaar aringan. Selain itu uga berpengaruh terhadap nilai eauratan sehingga dapat mencapai tingat aurasi sebesar 96%. Keyword : Jaringan Syaraf Tiruan, bacpropagation momentum, adaptive learning rate, feature selection 1. PENDAHULUAN 1.1 Latar Belaang Salah satu manfaat dari data mining adalah untu menglasifiasian data. Jaringan Syaraf Tiruan (JST) merupaan salah satu metode lasifiasi yang meniru cara era ota manusia yang dapat menyelesaian suatu permasalahan dengan cara pembelaaran (learning). Kelebihan JST salah satunya adalah emampuannya dalam beradaptasi sehingga mampu belaar dari data masuan yang diberian sehingga dapat memetaan hubungan antara masuan dan eluarannya. Selain itu emampuan JST dalam mempredisi eluaran berdasaran masuan yang telah dilatihan sebelumnya [4]. Aan tetapi, tida semua data memilii pengaruh yang sama untu menglasifiasian data. Sehingga diperluan sebuah proses untu menentuan nilai informative dari suatu atribut, salah satunya adalah metode feature selection. Nilai informative tersebut merepresentasian seberapa besar ontribusi suatu atribut pada proses lasifiasi data. Penelitian ini menganalisis penggabungan metode feature selection dan JST dimana untu algoritma pembelaarannya dipilih algoritma Bacpropagation Momentum dengan adaptive learning rate untu mendapatan hasil yang optimal. 1.2 Permasalahan Berdasaran latar belaang tersebut, permasalahan yang muncul adalah : a. bagaimana melauan discretization pada data b. bagaimana menentuan information gain pada metode feature selection c. bagaimana pemodelan classifier menggunaan JST Bacpropagation Momentum dengan adaptive learning rate d. bagaimana menganalisis lasifiasi berdasaran parameter-parameter masuannya 1.3 Tuuan Tuuan penelitian ini adalah melauan lasifiasi data dengan menggunaan JST Bacpropagation Momentum dengan adaptive learning rate yang digabungan dengan metode feature selection. Kemudian dilauan analisis berdasaran aurasi sistem lasifiasi yang dibangun. D-25

2 2. TINJAUAN PUSTAKA 2.1 Data Mining Data mining adalah suatu proses pengestraan informasi penting pada data yang beruuran besar. Beberapa fungsionalitas pada data mining, diantaranya adalah [1] : a. Desripsi elas Meringas seumpulan data yang didapat dari araterisasi data atau disriminasi data. b. Analisis asosiasi Mendesripsian pola-pola yang muncul secara bersamaan dalam suatu data menggunaan aturan asosiasi c. Klasifiasi dan predisi Membuat suatu model atau fungsi sehingga dapat menggambaran dan membedaan elas data dengan tuuan agar model tersebut dapat digunaan untu mempredisi elas dari obe data yang belum dietahui elasnya d. Analisis cluster Mengelompoan seumpulan obe e dalam elas yang sama dengan memasimalan emiripan satu sama lain pada obe-obe dengan elas sama dan tida mirip dengan obe pada cluster lain. e. Analisis outlier Outlier merupaan data yang tida umum dan tida sesuai dengan model data pada umumnya 2.2 Klasifiasi Klasifiasi adalah proses menemuan seumpulan model/fungsi yang menelasan dan membedaan data edalam elas-elas tertentu, dengan tuuan menggunaan model tersebut dalam menentuan elas dari suatu obe yang belum dietahui elasnya[1]. Pada 2 proses dalam lasifiasi, yaitu [1] : a. Proses learning/training Melauan pembangunan model menggunaan data training. Pada penelitian ini menggunaan model JST. b. Proses testing Melauan tes terhadap data testing menggunaan model yang telah diperoleh dari proses training. 2.3 Feature Selection Feature selection merupaan tahap preprocessing yang bertuuan untu mencari nilai relevansi suatu atribut terhadap label elas dan mengabaian atribut yang tida memberian ontribusi apapun terhadap lasifiasi data. Ini merupaan teni meredusi dimensi untu meningatan performansi dari sebuah classifier. Pada JST, feature selection berpengaruh terhadap pembentuan arsitetur yang dibuat. Jia feature/atribut yang digunaan diurangi dimensinya, maa umlah input neuron yang digunaan uga berurang. Hal ini teradi arena umlah atribut pada JST identi dengan umlah input neuronnya. 2.4 Information Gain Penerapan feature selection pada penelitian ini adalah dengan menghitung information gain pada setiap atributnya. Information gain dari suatu atribut, diperoleh dari nilai entropy sebelum pemisahan diurangi entropy setelah pemisahan. Beriut adalah proses perhitungan information gain [4] : a. Cari nilai entropy sebelum pemisahan dengan cara beriut : Entropy( S) = ( P)log 2( ) i = 1 i Pi (1) Dengan Pi adalah proporsi data S dengan elas i, dan adalah umlah elas pada output S. b. Cari nilai entropy setelah pemisahan dengan cara beriut : v Sv Entropy( S, A) = i = ( * Entropy( Sv)) (2) 1 S Dengan v adalah semua nilai yang mungin dari atribut A, dan Sv adalah subset dari S dimana atribut A bernilai v. c. Cari nilai information gain dengan cara beriut : Gain (S,A) = Entropy(S) Entropy(S,A) (3) Besarnya nilai information gain menunuan seberapa besar pengaruh suatu atribut terhadap penglasifiasian data. D-26

3 2.5 Jaringan Syaraf Tiruan Cara era JST adalah meniru cara era ota manusia yang terdiri dari neuron-neuron. Strutur neuron pada JST digambaran sebagai beriut : X 1 W 1 X 2 W 2 ynet f y X 3 W 3 Gambar 1 Strutur Neuron Model matematis dari sebuah neuron adalah : n ynet = =1 x w b (4) i i i + Hasil penumlahan emudian dibandingan dengan suatu nilai ambang melalui suatu fungsi threshold. Nilainya emudian diiriman melalui bobot-bobot e semua neuron yang berhubugan dengannya. y = f (ynet) (5) Secara umum ada 2 proses pada JST yaitu proses training dan testing. Pada proses training, JST diberian pengetahuan yang berupa pola-pola data sebagai masuan untu dilatih dan menghasilan sebuah model JST. Pada tahap testing, JST aan mencoba mengenali pola-pola masuan yang diuian untu emudian dicocoan dengan model hasil dari proses training JST BacPropagation JST bacpropagation merupaan JST supervised learning, yaitu dalam proses pelatihannya memerluan target. Disebut bacpropagation arena dalam proses pelatihannya, error yang dihasilan dipropagasian embali e unit-unit dibawahnya. Algoritma bacpropagation adalah sebagai beriut : a. inisialisasi bobot dengan bilangan aca b. tentuan epoch dan error yang diinginan c. ia ondisi berhenti belum tercapai, maa dilauan langah d h d. Untu tiap pola data training, lauan langah e g e. Fase propagasi mau : - umlahan semua sinyal yang masu e hidden unit n z _ net = v o + x i = iv 1 i (6) Dengan : z_net = total sinyal masuan pada hidden unit x i = nilai masuan pada unit i = bobot antara input unit i dan hidden unit v i - hitung eluaran semua hidden unit pada hidden layer 1 z = f ( z _ net ) = (7) z _ net 1+ e Dengan : z = eluaran pada hidden unit Z_net = total sinyal masuan pada hidden unit - umlahan semua sinyal yang masu e output unit p y _ net = wo + z = w 1 (8) Dengan : y_net = total sinyal masuan pada output unit z = nilai masuan pada hidden unit = bobot antara hidden unit danoutput unit w D-27

4 - hitung eluaran pada semua unit pada output layer 1 y = f ( y _ net ) = y _ net a+ e (9) f. Propagasi mundur - hitung fator esalahan pada output layer δ = ( t y ) y (1 y ) (10) Dengan : δ = dator esalahan pada output unit = eluaran pada output unit y - hitung perubahan bobotnya w = αδ z (11) - hitung penumlahan esalahannya m δ _ net = = δ w 1 (12) - hitung fator esalahan pada hidden layer δ =δ _ net z Z(1 z ) (13) - hitung perubahan bobotnya v = αδ x (14) i i g. Perubahan bobots - ubah bobot yang menuu output layer w ( t+ 1) = w ( t) + w (15) - ubah bobot yang menuu hidden layer v ( t+ 1) = v ( t) + v (16) i i i h. Hitung mse pada tiap epoch 1 npola 2 MSE = ( t ) y npola (17) Dimana : t = target pada output unit y = eluaran pada output unit n = umlah pola 3. METODE PENELITIAN 3.1 Gambaran Sistem Beriut merupaan gambaran sistem secara eseluruhan : Gambar 2 Gambaran Umum Sistem D-28

5 Berdasaran gambar di atas, fungsi-fungsi yang beralan pada sistem adalah : a. Discretization Fungsi ini merubah data numeri menadi data disret dengan menggunaan algoritma Naive Discretization. Algoritmanya adalah sebagai beriut [4] : - pilih atribut yang aan didiretan - urutan nilai pada atributnya - identifiasi setiap data bersebelahan yang label elasnya berbeda dan buat cut point sama dengan nilai tengah dari nilai edua data yang bersebelahan tersebut - hitung nilai information gain untu setiap cut point yang diperoleh - cut point terbai untu setiap atribut adalah cut point dengan nilai information gain terbesar - lauan langah 2-5 untu setiap atribut b. Feature selection Fungsi ini digunaan untu menentuan nilai information gain dari tiap atribut, emudian mengurutan atributatributnya dari yang paling informative. c. Konversi data Fungsi ini digunaan untu mengubah nilai data menadi sesuai dengan yang dibutuhan JST. Untu pola input, data aan disalaan e dalam rentang 0 1 dengan menggunaan rumus : 0,8( x min) x ' = + 0,1 (18) max min d. Training Fungsi ini digunaan untu melauan traning terhadap data latih. e. Testing Fungsi ini digunaan untu melauan ui coba sistem terhadap data ui. 3.2 Data Set Data yang digunaan pada penelitian ini adalah data wine yang diambil dari UCI Repository yang menyediaan berbagai dataset. Data wine yang digunaan berumlah 153 buah data terdiri dari 13 atribut. Tipe datanya adalaha numeri dan semua data memilii label elas. Dari eseluruhan data tersebut, data yang digunaan untu pelatihan sebesar 78 data dan untu penguian sebanya 75 data. 4. HASIL DAN PEMBAHASAN 4.1 Senario Penguian Senario penguian yang dilauan adalah sebagai beriut : a. Penguian berdasaran perhitungan information gain b. Perbandingan parameter-parameter pada JST 4.2 Hasil Penguian dan Analisis Perhitungan Information Gain Berdasaran penguian dengan menggunaan dataset yang telah disebutan sebelumnya, diperoleh perhitungan information gain untu setiap atribut yang sudah diurutan sebagai beriut : Tabel 1 Hasil perhitungan information gain pada tiap atribut Nama Atribut Information Gain Nama Atribut Information Gain Atr7 0,65207 Atr2 0,33905 Atr12 0,62848 Atr4 0,28745 Atr13 0,60938 Atr9 0,26240 Atr10 0,58005 Atr5 0,22666 Atr11 0,54366 Atr8 0,22341 Atr1 0,52692 Atr3 0,16291 Atr6 0,48042 Tabel di atas menunuan bahwa nilai information gain terbesar pada data Wine ada pada atribut Atr7. Hal ini menunuan bahwa Atr7 adalah atribut yang paling informative, yang artinya paling relevan terhadap elas targetnya. Semain besar nilai information gain pada suatu atribut, maa semain besar pula pengaruhnya terhadap penglasifiasian suatu data. D-29

6 4.2.2 Hasil Penguian Berdasaran Jumlah Input Neuron Beriut merupaan hasil penguian dengan beberapa umlah input neuron : Tabel 2 Hasil penguian terhadap toleransi error 0,001 Jumlah Input Hasil Pelatihan Hasil Penguian Neuron Epoch Aurasi Data Latih Aurasi Data Ui ,7 89, ,7 92, ,3 80, ,8 80, ,7 77, ,4 82, ,7 81, ,1 89,3 Berdasaran tabel di atas, menunuan bahwa umlah input neuron sama dengan 7 (7 atribut), menghasilan aurasi masimal daripada menggunaan data dengan eseluruhan atribut. Hal ini disebaban adanya data yang urang informative pada saat penggunaan data yang lebih banya. Pada saat penggunaan 7 atribut, yang digunaan adalah data yang paling informative saa. Sedangan pada penggunaan banya atribut/eseluruhan, data yang urang informative pun digunaan dalam proses belaar, sehingga mengurangi eauratan sistem Konstanta Momentum Tuuan dari percobaan ini adalah menentuan onstanta momentum yang paling optimal yang dapat menghasilan aurasi tertinggi. Hasil penguiannya adalah sebagai beriut : Tabel 3 Hasil penguian berdasaran onstanta momentum Konstanta Hasil Pelatihan Hasil Penguian Momentum Epoch Aurasi Data Latih Aurasi Data Ui ,71 93,3 0, ,71 92,0 0, ,71 92,0 0, ,71 90,6 0, ,71 93,3 0, ,71 94,6 0, ,15 94,6 0, ,15 92,0 0, ,02 93,3 Berdasaran tabel diatas, dapat dilihat bahwa semain besar nilai onstanta momentum, proses pelatihan semain cepat. Hal ini ditunuan pada umlah epoch yang semain berurang. Sesuai dengan tuuan penambahan onstanta momentum, yaitu untu mempercepat epoch dengan melauan lompatan harga mendeati posisi yang dicari. Namun, saat nilai momentum di atas 0,25, proses epoch beralan lambat, yang disebaban arena nilainya yang besar membuat lompatan harga menadi tida beraturan Berdasaran Nilai Learning Rate Awal Untu mendapatan nilai awal learning rate yang optimal, dilauan ui coba terhadap nilai learning rate awal. Hasil penguiannya adalah sebagai beriut : Tabel 4 Hasil Penguian Berdasaran Nilai Learning Rate Awal Learning Rate Hasil Pelatihan Hasil Penguian Awal Epoch Aurasi Data Latih Aurasi Data Ui 0, ,43 90,66 0, ,43 94,66 0, ,15 92,00 0, ,71 94, ,71 93,33 D-30

7 Hasil penguian menunuan bahwa nilai learning rate awal yang paling ecil membutuhan watu yang paling banya. Hal ini dapat dilihat dari umlah epoch yang dibutuhan untu mencapai toleransi error adalah yang paling besar. Semain ecil nilainya, semain ecil pula pergeseran bobot yang dilauan untu mencapai toleransi errornya. Jaringan optimal saat nilai learning rate awal 0,1 yaitu umlah epoch yang dibutuhan relatif ecil dan emampuan aringan dalam mengenali data baru adalah yang paling tinggi. 5. KESIMPULAN Berdasaran analisis dan penguian yang dilauan, dapat diambil esimpulan sebagai beriut : a. information gain dapat diterapan untu melauan feature selection terhadap sebuah data b. 7 feature/atribut, untu data set yang diuian, sudah dapat mewaili data Wine dalam melauan pengenalan c. Konstanta momentum dan nilai learning rate menentuan ecepatan pembelaaran dalam sistem JST d. Dengan data set yang diuian, parameter yang paling optimal adalah dengan menggunaan onstanta momentum 0,25 dan nilai learning rate awal 0,1. e. Walaupun tida menggunaan seluruh informasi yang terandung dalam data, JST BacPropagation Momentum Adaptive Learning Rate yang digabung dengan feature selection, dapat melauan lasifiasi dengan tingat aurasi mencapai 96%. 6. DAFTAR PUSTAKA [1] Han, Jiawei, and Kamber, Micheline, 2000, Data Mining : Concepts and Techniques, Morgan Kaufmann Publishers, Urbana-Champaign [2] Hermawan, Arief, Jaringan Syaraf Tiruan Teori dan Apliasi. Yogyaarta [3] Mitchell, TM, 1997, Machine Learning. The McGraw-Hill. [4] Risvi, Knut Magne. DIscretization of Numerical Attributes [5] Santosa, Budi. Data Minig Teori dan apliasi. Graha Ilmu. D-31