KLASIFIKASI MENGGUNAKAN KOMBINASI MULTILAYER PERCEPTRON DAN ALIGNMENT PARTICLE SWARM OPTIMIZATION

Transkripsi

1 KLASIFIKASI MENGGUNAKAN KOMBINASI MULTILAYER PERCEPTRON DAN ALIGNMENT PARTICLE SWARM OPTIMIZATION Mustika Mentari 1), Evy Kamilah Ratna Sari 2), Siti Mutrofin 3) 1,2) Pascasarjana Teknik Informatika, Fakultas Teknologi Informasi ITS Surabaya Indonesia 60111, must.mentari@gmail.com 1) evykaer@gmail.com 2) 3) Sistem Informasi Fakultas Teknik Universitas Pesantren Tinggi Darul Ulum, mutrofins@gmail.com ABSTRAK Klasifikasi pada data dalam jumlah banyak, dan dengan fitur atau atribut yang beragam sering membuat hasil akurasi menjadi rendah. Untuk itu diperlukan metode yang mempunyai kekebalan pada data dengan jenis beragam tersebut. Metode yang dapat menangani masalah tersebut adalah MLP (MultiLayer Peceptron). Akan tetapi MLP mempunyai kelemahan terjebak pada local minima di saat data berdimensi tinggi. Kelemahan ini diatasi dengan optimasi menggunakan PSO (Particle Swarm Optimization). Metode PSO juga memiliki kelemahan pada local optima pada kasus multimodal. Kelemahan PSO ini dapat di atasi dengan APSO (Alignment Particle Swarm Optimization) yang memunculkan sifat partikel alignment yaitu keseluruhan partikel berada secara sama atau rata-rata dekat dengan sumber makanan. Berdasarkan hal tersebut, kotribusi pada penelitian ini adalah melakukan klasifikasi pada beberapa jenis data menggunakan kombinasi optimasi APSO dengan klasifikasi MLP. Beberapa tahapan dilakukan untuk melakukan klasifikasi pada penelitian ini. Tahap pertama setelah mendapatkan data dilakukan pemilihan bobot awal pada proses inisialisasi MLP menggunakan metode APSO. Tahap kedua setelah proses inisialisasi, data akan diklasifikasi menggunakan metode MLP dengan pembobotan menggunakan metode APSO. Akurasi tertinggi yang dapat dicapai dengan metode ini adalah 96%, yaitu klasifikasi pada data iris menggunakan APSO-MLP. Kata kunci: Multilayer Perceptron, Alignment Particle Swarm Optimization, Klasifikasi ABSTRACT Classification on large amounts of data, and with a variety of features or attributes often makes the low accuracy. It required a method that has immunity in such diverse data types. The method can deal with the problem is the MLP (multilayer Perceptron). However, the MLP has a weakness stuck in local minima in the time dimension of high data. This weakness is overcome by optimization using PSO (Particle Swarm Optimization). PSO method also has a weakness in local optima in multimodal case. The PSO weakness can be overcome by APSO (Alignment Particle Swarm Optimization) which raises the overall alignment of the particles are the same particle or average close to a food source. Based on this contribution in this study was done on several types of data classification using the combination optimization APSO with MLP classification. Several classification stage is to conduct this research. The first phase of election after receiving the initial weight in MLP initialization process using APSO. The second stage after the initialization process, the data will be classified using the MLP method by using weighting method of APSO. The highest accuracy that can be achieved with this method is 96%, the classification of iris data using APSO-MLP. Keywords: Multilayer Perceptron, Alignment Particle Swarm Optimization, Classification KSC - 47

2 PENDAHULUAN Pengenalan dengan metode klasifikasi merupakan salah satu bidang yang dipelajari dalam Interaksi Manusia dan Komputer (IMK). Adanya interaksi dua arah membuat kecerdasan buatan semakin berkembang. Beberapa bidang dapat dibantu dengan adanya penelitian dalam bidang ini. Karena membedakan data dalam jumlah banyak dan didukung dengan banyak atribut yang beragam akan membuat klasifikasi secara manual menjadi sulit dan memerlukan otomatisasi. Penelitian klasifikasi telah banyak dilakukan, salah satunya adalah penelitian Chen, dkk [1], penelitian ini menggunakan Multilayer Perceptron (MLP) pada setiap region gambar, kemudian dilakukan klasifikasi dari keseluruhan hasil MLP pada setiap region dengan metoda MLP pula. Metoda ini dinamakan Multi-Instance Multi-Label Neural Network (MIMLNN). Rata-rata akurasi pengenalan adalah Precisision, Recall, F-score, AUC (RP), dan AUC (ROC). Angka tersebut menunjukkan keberhasilan yang lebih baik dibandingkan metoda MLP biasa. Penelitian yang diusulkan pada paper ini akan mengklasifikasi tiga jenis data yaitu data iris, indian patient liver, dan block image. Penggunaan data tersebut membutuhkan algoritma lain yang digunakan untuk peningkatan pengenalan, karena MLP mempunyai kelemahan pada local minima pada saat data mempunyai dimensi yang cukup besar. Untuk mengatasi masalah ini, teknik optimasi memiliki kemampuan untuk menghindari local minima, yang digunakan untuk menyesuaikan bobot MLP, salah satunya adalah dengan menerapkan algoritma Particle swarm optimization (PSO)[2]. Maka pada penelitian Tsai [3] mencoba mengatasi permasalah ini dengan menambahkan metoda optimasi dengan menggunakan Particle swarm optimization (PSO) pada pembobotan dan koefisien eksponen pada tiap perpindahan layer MLP hingga mendapatkan nilai testing RMSE PSO memang merupakan solusi yang cukup bagus. Akan tetapi metoda PSO sendiri mempunyai kelemahan local optima pada kasus multimodal. Kelemahan-kelemahan ini yang membatasi PSO untuk diadopsi secara luas. Oleh karena itu, dengan cara mempercepat tingkat konvergensi dan menghindari local optima telah menjadi dua hal tujuan yang paling penting dan menarik dalam penelitian PSO [4]. Salah satu penelitian untuk memperbaiki kelemahan algoritma PSO dilakukan oleh Cui [5], Cui mengatasi permalasah ini dengan aturan alignment sebagai cara memperbaharui velocity untuk mengatasi permasalahan multimodal. Metoda ini memberikan hasil yang lebih efektif dan efisien dibandingkan jenis PSO lain yang sudah ada sebelumnya. Setiap pertikel pada PSO akan menyesuaikan pergerakan sesuai dengan posisi terbaik sesuai dengan history dengan arah yang sejajar. Berdasarkan beberapa penelitian yang ada tersebut, maka diajukan penelitian degan judul Klasifikasi tanaman dengan Multilayer Perceptron dan Alignment Particle swarm optimization (MLP- APSO), sehingga metode ini memberikan kontribusi yang tangguh terhadap local minima karena pembobotannya dioptimalisasi menggunakan metode APSO. METODE PENELITIAN 1. Analisis Data Penelitian ini dilakukan pada tiga jenis data yang tersedia pada Universitas California Irvine (UCI) Machine Learning Repository yaitu data iris, indian patient liver, dan Page Blocks. Masing-masing jenis data tersebut diambil 100 data dengan 4 dimensi dan jumlah kelas sebanyak 2 kelas. Berikut merupakan penjelasan masing-masing data tersebut: a. Data Iris Dataset bunga Iris merupakan data yang terdiri dari 150 bunga Iris dengan masing-masing kelas Iris Setosa, Iris Versicolour, dan Iris Virginica terdiri dari 50 data. Setiap bunga Iris tersebut mempunyai ciri: Panjang sepal dalam cm. Lebar sepal dalam cm. Panjang petal dalam cm. Lebar petal dalam cm. b. Indian patient liver KSC - 48

3 Indian patient liver merupakan data pasien liver yang terdiri dari 1 label kelas bertipe binominal yang terdiri dari dua nilai, yaitu penderita liver dan bukan penderita liver. Dataset tersebut terdiri dari 584 instance dan 11 atribut. Atribut-atribut pada dataset tersebut yaitu ditunjukkan pada Tabel 1. Tabel 1. Atribut pada Dataset Indian Patient Liver Atribut Tipe Usia Jenis Kelamin Binomial Total Bilirubin (TB) Direct Bilirubin (DB) Alkaline Phosphotase (Alkphos) Sgpt Alamine (Sgpt) Sgpt Aspartate (Sgot) Total Proteins (TP) Albumin (ALB) Ratio Albumin and Globulin (Rasio A/G) Penderita Liver Binomial Pada penelitian ini atribut yang digunakan terdiri dari DB Direct Bilirubin, TP Total Proteins, ALB Albumin, A/G Ratio Albumin, dan Globulin Ratio ini 5 atribut) c. Page Block Page block merupakan bagian-bagian dari layout halaman suatu dokumen yang terdeteksi melalui proses segmentasi. Data tersebut terdiri dari 5473 data dengan 10 atribut yang ditunjukkan pada Tabel 2. Tabel 2. Atribut Dataset Page Block Atribut Tipe Keterangan height integer Tiggi block length integer Lebar block area integer Area block eccen continous lenght/height p_black continuous Persentase piksel hitam dalam block p_and continuous Persentase piksel hitam setelah mengaplikasikan Run Length Smoothing Algorithm (RLSA) mean_tr continous Jumlah rata-rata transisi white-black blackpix integer Jumlah total piksel hitam pada gambar asli blackand integer Jumlah total piksel hitam pada block yang telah di-rlsa wb_trans integer Jumlah transisi white-black block asli Pada penelitian atribut yang digunakan terdiri dari height of the block, p_black, p_and, dan blackpix. Data yang digunakan pada penelitian ini terdiri dari 75% data latih dan 25% data uji pada masing-masing jenis dataset. 2. Metode MLP Metode klasifikasi Multilayer Perceptron (MLP) merupakan salah satu jenis dari algoritma jaringan saraf tiruan yang mengadopsi cara kerja jaringan saraf pada mahluk hidup. Algoritma ini terkenal handal karena proses pembelajaran yang mampu dilakukan secara terarah. Pembelajaran algoritma ini dilakukan dengan memperbarui bobot balik (backpropagation). Penetapan bobot yang optimal akan menghasilkan hasil klasifikasi yang tepat. MLP terdiri dari sistem yang sederhana saling menghubungkan jaringan atau node [6] yang diilustrasikan pada Gambar 1. Node tersebut dihubungkan oleh bobot dan unit output yang merupakan fungsi penjumlahan dari input ke node dimodifikasi oleh transfer non-linear sederhana, atau aktifasi. MLP merupakan algoritma supervised yang membutuhkan proses pembelajaran untuk menentukan bobot yang optimal yang digunakan dalam proses pengujian data. Selama proses pelatihan, MLP secara berkala terjadi perubahan bobot dengan data latih pada jaringan sampai map input-output yang diinginkan terjadi. KSC - 49

4 Gambar 1. MLP dengan 2 Hidden Layer Algoritma yang dijalankan MLP untuk mendapatkan bobot yang optimal adalah sebagai berikut: a. Inisialisasi semua bobot dengan bilangan acak kecil b. Jika kondisi penghentian belum dipenuhi, lakukan langkah 2-8. c. Untuk setiap pasang data pelatihan, lakukan langkah 3-8. d. Tiap unit masukan menerima sinyal dan meneruskannya ke unit tersembunyi diatasnya. e. Hitung semua keluaran di unit hidden layer z j (j=1, 2,, p). (1) (2) f. Hitung semua keluaran jaringan di unit keluaran y k (k=1, 2,, m). (3) (4) g. Hitung factor unit keluaran berdasarkan kesalahan di setiap unit keluaran y k (k=1, 2,, m) dengan merupakan target. (5) merupakan unit kesalahan yang akan dipakai dalam perubahan bobot lapisan dibawahnya. Perubahan bobot dihitung dengan laju pemahaman α., (6) dengan k=1, 2,, m dan j=1, 2,, p h. Hitung faktor unit hidden layer berdasarkan kesalahan di setiap unit hidden layer z j (j=1, 2,, p). Faktor unit hidden layer. (7) Hitung suku perubahan bobot, (9) dengan j=1, 2,, p dan i=1, 2,, n i. Hitung semua perubahan bobot. Perubahan bobot neuron yang menuju ke unit output layer, yaitu: dengan (10) (8) KSC - 50

5 k=1, 2,, m dan j=1, 2,, p Sedangkan perubahan bobot neuron yang menuju ke unit hidden layer, yaitu: (11) Dengan j=1, 2,, p dan i=1, 2,, n Setelah tahapan pelatihan selesai dilakukan, maka tahapan selanjutnya melakukan pengujian klasifikasi data yang sama halnya dengan proses pelatihan. Tetapi pada proses pengujian tidak dilakukan pelatihan karena menggunakan bobot yang telah didapatkan dari hasil pelatihan. 3. Metode PSO Particle Swarm Optimization Algorithm (PSO) dikembangkan oleh Eberhart dan Kennedy pada tahun Metode ini terinspirasi oleh sekumpulan hewan yang saling berinteraksi untuk menemukan makanan. PSO bertujuan menghasilkan posisi partikel yang dihasilkan oleh perhitungan fungsi fitness. Setiap individu (partikel) bergerak menuju posisi optimum dengan menyesuaikan terhadap posisi terbaik partikel sejauh ini dan posisi terbaik partikel dalam suatu populasi untuk menemukan makanan. PSO dimulai dengan suatu populasi acak dalam bentuk matriks yang disebut partikel. Setiap partikel berpindah dari posisinya semula ke posisi yang lebih baik dengan suatu velocity. Pada algoritma PSO vektor velocity di-update untuk masing-masing partikel yang dipengaruhi oleh kedua solusi yaitu global best (gbest) yang berhubungan dengan biaya yang paling rendah yang pernah diperoleh dari suatu partikel dan solusi personal best (pbest) yang berhubungan dengan biaya yang paling rendah pada populasi awal. Kemudian vektor velocity tersebut dijumlahkan ke posisi partikel. Jika solusi personal best (pbest) mempunyai suatu biaya yang kurang dari biaya solusi global yang ada, maka solusi personal best (pbest) menggantikan solusi global best (gbest). Pencarian vektor velocity partikel baru dilakukan dengan perhitungan melalui persamaan (12), sedangkan posisi partikel yang baru menggunakan persamaan (13). (12) (13) dimana dan merupakan nilai velocity dimensi ke-k dan vektor posisi patikel j pada saat t. merupakan posisi terbaik dari partikel j (personal best) dan menunjukkan posisi terbaik dari suatu populasi (global best). Sedangkan w merupakan inertia weight, c 1 dan c 2 adalah koefisien akseleserasi 1 dan 2, serta r 1 dan r 2 adalah random number 1 dan 2 (antara 0 dan 1). Velocity dibangkitkan secara uniform random (uniform distribution) dalam range sebaran sesuai dengan persamaan (14). dimana, (seragram), dan terkecil (14) merupakan vector velocity awal (pertama kali), U adalah peubah acak uniform adalah posisi partikel dengan x max, x min merupakan posisi partikel terbesar dan 4. Metode MLP-APSO Metode yang diusulkan pada peneilitian ini adalah inisialisasi bobot awal dengan APSO yang di integrasikan dengan metode klasifikasi MLP dimana pada saat training pembobotan juga dioptimasi menggunakan APSO. Secara umum digambarkan pada Gambar 2. Dan untuk visualisasi kombiasi MLP dan APSO dapat dilihat pada Gambar 3. Proses diawali dengan adanya data berupa data numerik real atau integer yang selanjutnya dioptimasi bobot awalnya menggunakan APSO. APSO Memulai pengambilan sampel setiap koordinat x jk (0) dan v jk (0) dalam [x min, x max ] dan [0, v max ], menentukan posisi terbaik dari pengalaman masingmasing partikel dan kawanan partikel. Dilanjutkan dengan perhitungan fitness setiap partikel. Partikel akan memperbarui posisi terbaik dari pengalaman setiap partikel dan kawanan partikel pada waktu t. Jika jumlah iterasi saat t < IT, dimana IT merupakan Control rasio bernilai antara 0 1, memperbarui vektor velocity dengan persamaan (12) dan sebaliknya, velocity diperbarui dengan persamaan (15). KSC - 51

6 Data Optimasi Bobot (APSO) MLP-APSO Klasifikasi MLP(pembobotan training dengan APSO) Hasil Klasifikasi Gambar 2. Tahapan Metode Kombinasi MLP-APSO Secara Umum Gambar 3. Visualisasi Kombinasi MLP-APSO Setelah selesai, mengaplikasikan strategi mutasi. Kemudian memperbarui vektor posisi dengan persamaan (13). Jika kriteria tersebut terpenuhi, maka nilai output adalah dari solusi terbaik, jika tidak, lanjutkan mengulang proses tersebut dimulai dari perhitungan fitness. Proses APSO dapat dilihat pada Gambar 4. dimana, (15) (16) Setelah inisialisasi bobot awal dilakukan dengan APSO, dilanjutkan pada klasifikasi dengan pembobotan pada pelatihan juga menggunakan metode APSO. Setelah itu masuk di proses pengujian, dan menghasilkan kelas-kelas hasil klasifikasi. HASIL DAN PEMBAHASAN Pengujian dilakukan dengan inisialisasi bobot awal MLP dengan dua cara, yaitu menggunakan optimasi PSO, dan APSO. Bobot MLP yang secara default dilakukan secara random terkadang membuat solusi yang diperoleh menjadi tidak tepat. Tabel 3 menjelaskan inisialisasi awal dengan dua metode (PSO dan APSO) pada klasifikasi data dengan metode MLP yang telah memiliki bobot pada data training menggunakan PSO. Tabel 4 menjelaskan inisialisasi awal dengan dua metode (PSO dan APSO) pada klasifikasi data dengan metode MLP yang telah memiliki bobot pada data training menggunakan APSO. Dari hasil uji coba yang telah dilakukan dapat diketahui bahwa penambahan bobot menggunakan metode optimasi baik PSO ataupun APSO tidak akan berpengaruh sama sekali apabila pada data training proses klasifikasi menggunakan MLP sudah menggunakan bobot menggunakan metode optimasi pula. Maka jika terdapat kondisi seperti ini sebaiknya tidak diperlukan lagi pembobota pada inisialisasi awal. Cukup menggunakan bobot secara acak saja, karena solusi tetap bisa dikendalikan oleh proses pembobotan pada proses training yang dilakukan di tengah proses klasifikasi menggunakan MLP KSC - 52

7 Gambar 4. Tahapan metode APSO Tabel 3. Hasil percobaan dengan MLP dan bobot pada training dengan PSO Inisialisasi Bobot Awal PSO (%) APSO (%) Data Data Data Tabel 4. Hasil percobaan dengan MLP dan bobot pada training dengan APSO Inisialisasi Bobot Awal PSO APSO (%) (%) Data Data Data Setiap data pada penelitian ini mempunyai masing-masing empat atribut yang digunakan sebagai karakteristik pada proses klasifikasi. Dilihat dari tabel tersebut secara keseluruhan penggunaan metode optimasi pada optimasi PSO ataupun APSO menunjukkan hasil yang baik dengan akurasi tinggi ratarata di atas 80% untuk data 1 dan 2. Meskipun khusus untuk data 2 masih di bawah 50%. Hal ini dikarenakan perbedaan atribut pada kedua mempunyai kemiripan yang tinggi. Penambahan metode optimasi pada inisialisasi bobot awal dengan PSO ataupun metode yang diajukan APSO mempunyai hasil yang sama. Kemiripan ini disebabkan karena data yang digunakan hanya memenuhi kondisi pada iterasi tingkat pertama (PSO) daripada iterasi kedua (APSO). Sedangkan jika metode optimasi ditambahkan pada pembobotan pada saat training MLP menggunakan metode yang diajukan APSO memberikan hasil yang lebih baik daripada metode klasik PSO, dapat dilihat pada pengujian data pertama tabel 1 dan 2. Akurasi menggunakan metode PSO adalah 84% sedangkan dengan metode APSO menghasilkan akurasi yang lebih baik yaitu 96%. Sedangkan untuk pencarian bobot terbaik pada proses training serta untuk meminimalkan error digunakan pula optimasi menggunakan metode pembobotan PSO dan APSO. Perbandingan kedua metode ini dapat dilihat pada Gambar 5. Terlihat pada data nomor 1 yaitu data iris bahwa pembobotan data training dengan metode APSO menghasilkan tingkat akurasi yang lebih tinggi dati pada menggunakan metode optimasi PSO. KSC - 53

8 Gambar 5. Grafik perbandingan MLP dengan optimasi PSO dan APSO KESIMPULAN Penelitian ini telah melakukan proses klasifikasi menggunakan MLP dengan menggunakan metode optimasi PSO dan APSO baik pada inisialisasi bobot awal taupun pada saat pembobotan pada saat training. Optimasi pada inisialisasi bobot menghasilkan kemiripan tingkat akurasi pada kedua jenis optimasi. Sedangkan untuk optimasi pada saat pembobotan training menghasilkan hasil yang lebih pada metode yang diajukan, yaitu APSO. Nilai paling tinggi yang didapatkan dari metode kombinasi MLP-APSO pada penelitian ini menghasilkan tingkat akurasi terbaik yaitu 92%. Beberapa faktor mempengaruhi tingkatan akurasi pada proses klasifikasi seperti kemiripan atribut, jumlah iterasi, dll. Hal ini yang menyebabkan tingkat akurasi bisa menjadi rendah. Sedangkan kemiripan yang terjadi pada metode PSO dan APSO disebabkan partikel yang ada pada APSO tidak memenuhi kondisi pada iterasi tingkat kedua (setengah akhir iterasi total), dan hanya memenuhi kondisi pada iterasi tingkat pertama (setengah akhir iterasi total). Penelitian selanjutnya sebaiknya menggunakan teknik reduksi dimensi untuk memilih fitur yang paling tepat untuk digunakan pada proses klasifikasi. Selain akan meningkatakan akurasi, keragaman data antara satu dengan yang lain juga diperlukan agar proses APSO pada iterasi tingkat kedua dapat terpenuhi sehingga menunjukkan perbedaan yang cukup signifikan dibanding metode optimasi PSO. Acknowledgement Ucapan terima kasih kami sampaikan kepada Prof. Handayani Tjandrasa yang telah membimbing kami dalam pembuatan paper ini. DAFTAR PUSTAKA [1] Chen, Z., Chi, Z., Fu, H., & Feng, D.. Multi-instance multi-label image classification: A neural approach. Neurocomputing [2]Ozturk, C., & Karaboga, D.. Hybrid Artificial Bee Colony algorithm for neural network training. In Evolutionary Computation (CEC), 2011 IEEE Congress on (pp ). IEEE. June, [3] Tsai, H. C. Predicting strengths of concrete-type specimens using hybrid multilayer perceptrons with center-unified particle swarm optimization. Expert Systems with Applications, 37(2), [4] Chen, F., Sun, X., Wei, D., & Tang, Y.. Tradeoff strategy between exploration and exploitation for PSO. In Natural Computation (ICNC), 2011 Seventh International Conference on (Vol. 3, pp ). IEEE. July, [5]Cui, Z.. Alignment particle swarm optimization. In Cognitive Informatics, ICCI'09. 8th IEEE International Conference on (pp ). IEEE. June, [6] Gardner, M. W., & Dorling, S. R. Artificial neural networks (the multilayer perceptron)--a review of applications in the atmospheric sciences. Atmospheric environment, 32(14-15), [7] Eberhart, R. C., & Kennedy, J. A new optimizer using particle swarm theory. In Proceedings of the sixth international symposium on micro machine and human science (Vol. 1, pp ). October, KSC - 54