Uji Kinerja Penggabungan Algoritma Support Vector Machine dan Simulated Annealing Pada Permasalahan Klasifikasi Pola

Transkripsi

1 JURNAL TEKNIK POMITS Vol. 2, No. 1, (2013) ISSN: ( Print) 1 Uji Kinerja Penggabungan Algoritma Support Vector Machine dan Simulated Annealing Pada Permasalahan Klasifikasi Pola Astris Dyah Perwita, Chastine Fatichah, dan Rully Soelaiman Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember (ITS) Jl. Arief Rahman Hakim, Surabaya Indonesia astris10@mhs.if.its.ac.id, chastine@cs.its.ac.id, rully@is.its.ac.id Abstrak Analisis dan pengenalan pola merupakan salah satu algoritma yang bertugas untuk mengenali pola yang ada pada data dan memegang peranan penting terhadap permasalahan kecerdasan buatan dan ilmu komputer. Salah satu contoh dari permasalahan pengenalan pola adalah klasifikasi data biomedik seperti data Hepatitis dan Breast Cancer. Data biomedik ini membutuhkan akurasi yang tinggi karena hasil keputusan yang diambil merupakan sebuah keputusan yang menyangkut kesehatan seseorang. Pada Tugas Akhir ini, akan diterapkan algoritma Support Vector Machine (SVM) untuk menyelesaikan klasifikasi pada permasalahan pengenalan pola khususnya data biomedik. Algoritma SVM akan digabungkan dengan algoritma Simulated Annealing (SA) sebagai algoritma pemilihan parameter SVM. Tugas Akhir ini juga mengimplementasikan algoritma pembobotan kernel Gradient Descent untuk memperbaiki akurasi. Penggabungan algoritma SVM, SA, dan pembobotan kernel pada data uji akan menghasilkan rata-rata akurasi hingga 98,75%. Berdasarkan hasil uji coba, penggabungan algoritma SVM, SA, serta pembobotan kernel dapat memaksimalkan akurasi klasifikasi. Kata Kunci Klasifikasi, Support Vector Machine, Simulated Annealing, Optimasi Parameter. I. PENDAHULUAN Analisis pola merupakan salah satu permasalahan yang sering ditemui di semua bidang. Analisis pola bertugas untuk mengenali pola yang ada pada data dan memegang peranan penting terhadap permasalahan kecerdasan buatan dan ilmu komputer. Deteksi sebuah pola yang signifikan dari sebuah data dapat menjadi prediksi dan ramalan keadaan selanjutnya pada jenis data yang sama [1]. Support Vector Machine (SVM) merupakan salah satu algoritma yang biasanya digunakan untuk menyelesaikan permasalahan analisis pola. SVM ini merupakan algoritma yang dapat digunakan untuk memecahkan masalah klasifikasi seperti mendiagnosis suatu penyakit karena memiliki kemampuan prediksi yang relatif baik. Selain itu eror dari hasil klasifikasi SVM relatif kecil, cocok untuk permasalahan berdimensi tinggi, dan memiliki landasan teori yang dapat dianalisis dengan jelas. Poin-poin inilah yang menjadi keunggulan SVM sehingga algoritma ini sering digunakan untuk menyelesaikan permasalahan klasifikasi pola. Namun SVM memiliki beberapa kelemahan antara lain harus memperhatikan aspek-aspek seperti jenis kernel dan parameter. Parameter yang ada dalam SVM juga perlu diperhatikan agar dapat menghasilkan hasil yang optimal contohnya parameter C dan σ [2]. Algoritma Simulated Annealing (SA) merupakan salah satu algoritma yang pada Tugas Akhir ini mengoptimasi parameter SVM. SA merupakan algoritma metaheuristik yang dapat mengatasi model permasalahan nonlinier. Selain itu algoritma ini juga dapat mengatasi data yang memiliki banyak batasan. SA adalah algoritma yang fleksibel atau tidak bergantung pada ketentuan atau model tertentu. Namun pada aplikasinya, algoritma ini membutuhkan banyak pengaturan dan akan menambah waktu komputasi [3]. Pada Tugas Akhir ini diharapkan algoritma SA akan menghasilkan parameter terbaik untuk algoritma SVM sehingga menghasilkan sebuah sistem yang baik untuk permasalahan klasifikasi, dapat diimplementasikan dengan mudah, dan menghasilkan akurasi yang lebih baik daripada tanpa menggabungkan kedua algoritma. A. Dataset II. DATA DAN METODE SVM-SA 1) Dataset Hepatitis Data Hepatitis didapatkan dari Hepatitis Disease Dataset yang diunggah di halaman web UC Irvine Machine Learning Repository. Pada dataset ini membutuhkan keputusan antara Live atau Die dari pasien pengidap penyakit hepatitis. Tujuan dari pembentukan dataset ini adalah memprediksi adanya penyakit hepatitis pada seseorang atau tidak dari hasil tes medis yang dilakukan pasien. Dataset Hepatitis memiliki 155 data dengan data yang merepresentasikan class Die berjumlah 32 (20,6%) dan Live berjumlah 123 (79,4%). Dataset ini memiliki 19 atribut dengan 13 atribut merupakan atribut biner dan 6 atribut lainnya merupakan atribut diskrit dengan jangkauan 6-8 seperti yang ditunjukkan pada Tabel 1. Dataset Hepatitis ini memiliki beberapa data yang memiliki missing value pada atributnya. Data yang memiliki missing value ini selanjutnya dihapus [4]. 2) Dataset Breast Cancer Dataset Breast Cancer ini merupakan dataset yang didapatkan dari University of Wisconsin Hospitals, Madison

2 JURNAL TEKNIK POMITS Vol. 2, No. 1, (2013) ISSN: ( Print) 2 Tabel 1. Keterangan Atribut Dataset Hepatitis Nomor Atribut Keterangan 1 Class Die, Live 2 Age 10, 20, 30, 40, 50, 60, 70, 80 3 Sex Male, Female 4 Steroid 5 Antivirals 6 Fatique 7 Malaise 8 Anorexia Liver Big Liver Firm Spleen Palpable Spiders Ascites Varices Bilirubin Alk Phosphate Sgot Albumin Protime Histology 0,39; 0,80; 1,20; 2,00; 3,00; 4,00 33, 80, 120, 160, 200, , 100, 200, 300, 400, 500 2,1; 3,0; 3,8; 4,5; 5,0; 6,0 10, 20, 30, 40, 50, 60, 70, 80, 90 dari Dr. William H. Wolberg dan diunggah pada halaman web UC Irvine Machine Learning Repository. Dataset ini memiliki data dengan class Benign dan Malignant. Kedua jenis class ini adalah jenis kanker yang biasa terjadi. Tujuan dari pembentukan dataset ini adalah untuk mengetahui jenis kanker yang terjangkit pada seorang pasien. Dataset Breast Cancer memiliki total 699 data dengan persebaran class Benign 458 (65.5%) dan Malignant 241 (34.5%). Dataset ini memiliki 10 atribut dengan 9 atributnya bernilai diskrit dengan jangkauan 1-10 sedangkan 1 atribut sisanya merupakan atribut untuk merepresentasikan class. Atribut dataset ini dijabarkan pada Tabel 2. Dataset ini memiliki 16 data missing value yang nantinya akan dihapus untuk memperlancar proses klasifikasi. B. Support Vector Machine dan Pembobotan Kernel Support Vector Machine merupakan pertama kali dicetuskan oleh Vladimir N. Vapnik pada tahun Konsep dari algoritma ini adalah pengambilan keputusan berdasarkan bidang-bidang terbatas. Setiap keputusan direpresentasikan dalam sebuah bidang yang memiliki karakteristik sama di setiap kumpulan data. Pada awalnya, SVM adalah algoritma linier classifier dengan ruang dimensi sederhana. SVM kemudian dikembangkan hingga dapat menyelesaikan permasalahan nonlinier berdimensi tinggi dengan memasukkan konsep kernel [1]. SVM memiliki beberapa parameter. Salah satu parameter yang dibutuhkan SVM adalah parameter C yang dipakai untuk mengondisikan nilai soft margin dalam pembentukan decision boundary. Parameter lainnya adalah parameter σ yang bekerja pada kernel RBF. Kernel RBF adalah kernel yang biasa digunakan pada percobaan SVM. Kernel ini yang dirumuskan dengan Persamaan 1. Variabel k pada Persamaan 1 merupakan representasi kernel sementara variabel x adalah data dan σ adalah variabel khusus kernel RBF. k = exp ( x x 2 2 2σ 2 ) (1) Pembobotan kernel dilakukan untuk memberi penekanan sesuai dengan kandungan informasi pada suatu data. Pembobotan kernel dilakukan dengan menggunakan algoritma Gradient Descent. Algoritma Gradient Descent merupakan algoritma optimasi untuk menemukan local minimum dari sejumlah jangkauan nilai dari suatu fungsi dengan menggunakan langkah yang proporsional. Algoritma Gradient Descent dapat diimplementasikan pada margin hyperplane SVM dengan Persamaan 2. Pada Persamaan 2, S p merupakan nilai vektor dari dataset. Sedangkan n adalah jumlah iterasi, dan e adalah variabel yang mengontrol kecepatan pencarian Hal ini akan memberikan efek pada perumusan kernel RBF sehingga akan terbentuk Persamaan 3. Variabel K SW adalah representasi kernel yang telah diberi bobot sementara S adalah bobot yang dihasilkan pada Persamaan 2 [5]. S p (n + 1) = S p (n) e w 2 S p (2) K SW (x i, x j ) = exp { S(x i x j ) 2σ 2 } C. Simulated Annealing Tabel 2. Keterangan Atribut Dataset Breast Cancer Nomor Atribut Keterangan 1 Clump Thickness Uniformity of Cell Size Uniformity of Cell Shape Marginal Adhesion Single Ephitelial Cell Size Bare Nuclei Bland Chromatin Normal Nucleoli Mitoses Class untuk Benign, 4 untuk Malignant Simulated Annealing adalah algoritma pencarian nilai optimal global yang pertama kali dikenalkan sebagai adaptasi dari algoritma Metropolis-Hasting dan kemudian dipopulerkan oleh Kirkpatrick. SA merupakan algoritma yang menggunakan konsep dasar metalurgi. Molekul pada besi secara bertahap akan mengkristal menjadi besi yang berenergi rendah saat suhunya perlahan turun. Semua bentuk kristal akan mencapai titik energi terendah selama besi itu dipanaskan pada suhu awal yang cukup tinggi dan laju pendinginan atau cooling rate yang cukup lambat. Algoritma ini diajukan oleh Metropolis sebagai algoritma yang tidak hanya meningkatkan hasil pada setiap iterasi, namun juga untuk menghindari nilai optimal lokal. Selain itu, proses pendinginan yang dianalogikan dengan pendinginan besi membuat algoritma SA dapat memusatkan hasil secara bertahap hingga menghasilkan penyelesaian global [3]. Algoritma ini menerapkan probabilitas Boltzman sebagai fungsi penerima solusi yang terbentuk. Solusi pada konsep awal SA adalah energi yang dihasilkan pada suhu tertentu. Probabilitas Boltzman ini dirumuskan seperti pada Persamaan 4. Pada Persamaan 4, variabel P merupakan representasi probabilitas Boltzman dan variabel E merupakan representasi energi. Sedangkan variabel T merupakan representasi suhu dan (3)

3 JURNAL TEKNIK POMITS Vol. 2, No. 1, (2013) ISSN: ( Print) 3 Inisialisasi State dan Max-Score Pilih nilai random untuk parameter Cross Validation Tabel 3. Hasil Uji Coba Dataset Hepatitis Fold Percobaan C Sigma Akurasi s Awal 16,6 0,3 5 97,50 Awal 16,6 0, ,75 SA-SVM 32 0,1 5 97,50 SA-SVM 32 0, ,75 SA-SVM-Pembobotan 32 1,6 5 97,50 SA-SVM-Pembobotan 31,2 0, Tidak NewScore >Pre-Score Ya PreScore = NewScore Dataset NewScore = CVScore variabel k b merupakan konstanta Boltzman. P = exp ( E k b T ) = e( E kb T) Ya Bagi data menjadi k-bagian Pilih satu bagian untuk menjadi testing SVM dengan pembobotan kernel Semua bagian terpilih menjadi data test? Gambar 1. Diagram Alir Implementasi SA-SVM D. Penggabungan Simulated Annealing dan Support Vector Machine dengan Pembobotan Kernel Algoritma Simulated Annealing memiliki komponenkomponen penting yang harus diimplementasikan untuk mendapatkan kinerja SA yang optimal. Komponen tersebut adalah representasi solusi, konfigurasi penentu optimasi, dan fungsi objektif. Ketiga komponen ini dapat disesuaikan dengan algoritma Support Vector Machine. Representasi solusi dapat diwujudkan dengan hasil akurasi dari klasifikasi SVM. Konfigurasi penentu optimasi dapat diwujudkan dengan pasangan parameter C dan σ. Sedangkan fungsi objektif dari SA dapat diwujudkan dengan proses klasifikasi SVM itu sendiri. Berdasarkan kebutuhan SA, maka implementasi SVM pada implementasi penggabungan algoritma ini dilakukan dalam proses SA. Proses ini dapat direpresentasikan dalam bentuk diagram seperti pada Gambar 1. III. UJI COBA DAN ANALISIS HASIL Kurangi Iterasi dan jangkauan nilai PreScore >= MaxScore Kembalikan parameter terbaik dan Score terbaik A. Uji Coba Uji coba dilakukan dengan beberapa skenario untuk dataset Hepatitis dan Breast Cancer. Uji coba awal dilakukan dengan Tidak (4) Tabel 4. Hasil Uji Coba Dataset Breast Cancer Fold Percobaan C Sigma Akurasi s Awal 10 0,4 5 99,41 Awal 10 0, ,71 SA-SVM 32 0,1 5 99,41 SA-SVM 32 0, SA-SVM-Pembobotan 32 1,6 5 96,49 SA-SVM-Pembobotan 31,2 0, ,54 menggunakan nilai parameter yang terkontrol. Uji coba ini menggunakan nilai parameter C = 16,6 dan σ = 0,3. Uji coba kedua dilakukan dengan mengimplementasikan algoritma SA dengan SVM klasik tanpa pembobotan. Proses ini akan menghasilkan akurasi terbaik dengan pasangan parameter yang membentuknya. Uji coba ketiga dilakukan dengan mengimplementasikan algoritma SA dengan SVM yang telah dimodifikasi dengan pembobotan kernel. Uji coba ini juga akan menghasilkan akurasi terbaik dan pasangan parameter yang menghasilkan akurasi terbaik tersebut. Hasil dari uji coba ini dapat dilihat pada Tabel 3 untuk data Hepatitis dan Tabel 4 untuk data Breast Cancer. Hasil pada tabel-tabel tersebut berasal dari beberapa kali percobaan untuk setiap jenis skenario uji coba dan kemudian diambil nilai terbaiknya. Pada Tabel 3 menunjukkan bahwa penggabungan algoritma SA-SVM pada data Hepatitis dapat menghasilkan akurasi sebaik percobaan awal. Pada Tabel 3 ini juga menunjukkan bahwa ternyata pasangan parameter yang menghasilkan akurasi tinggi ini tidak hanya pasangan seperti pada percobaan awal. Sedangkan untuk implementasi SA dan SVM dengan kernel yang dimodifikasi terlihat bahwa akurasi yang dihasilkan lebih baik 1,25% daripada percobaan tanpa pembobotan kernel pada variasi percobaan dengan 10 folds cross validation. Sedangkan pada Tabel 4 menunjukkan bahwa penggabungan algoritma SA-SVM pada data Breast Cancer dapat menghasilkan akurasi yang lebih baik 0,29% daripada akurasi yang dihasilkan tanpa menggunakan metode SA-SVM pada variasi percobaan 10 folds cross validation. Pada Tabel 4 ini juga menunjukkan bahwa ternyata pasangan parameter yang menghasilkan akurasi tinggi ini tidak hanya pasangan seperti ada percobaan awal. Sedangkan untuk implementasi SA dan SVM dengan kernel yang dimodifikasi terlihat bahwa proses klasifikasi membentuk hasil yang tidak lebih akurat daripada percobaan sebelumnya. Pada Gambar 2 terlihat bahwa kombinasi parameter mempengaruhi akurasi. Tampak bahwa wilayah puncak yang merupakan representasi dari akurasi yang baik berada di wilayah parameter σ yang sempit (antara 0 0,5) untuk berbagai variasi nilai parameter C. Hal ini sama dengan hasil akurasi

4 JURNAL TEKNIK POMITS Vol. 2, No. 1, (2013) ISSN: ( Print) 4 Gambar 2. Grafik Hasil Akurasi Implementasi SA-SVM 10 Folds Cross Validation Data Hepatitis Gambar 6. Grafik Hasil Akurasi Implementasi SA-SVM dengan Pembobotan Kernel 5 Folds Cross Validation Data Hepatitis Gambar 3. Grafik Hasil Akurasi Implementasi SA-SVM 10 Folds Cross Validation Data Hepatitis dengan percobaan 10 folds yang diilustrasikan dalam grafik pada Gambar 3. Sedangkan untuk uji coba SA-SVM pada data Breast Cancer dapat diilustrasikan pada Gambar 4 dan Gambar 5. Pada Gambar 4 terlihat bahwa hanya beberapa pasangan parameter saja yang bisa mencapai titik puncak atau akurasi terbaik. Parameter yang menghasilkan akurasi terbaik berada pada wilayah parameter C = 0,9 dan parameter σ = 0,4. Selanjutnya akurasi akan menurun seiring dengan bertambahnya nilai parameter baik parameter C maupun parameter σ. Pada uji coba ini terdapat 8 dari 100 pasangan parameter yang menghasilkan akurasi di atas rata-rata. Gambar 5 menunjukkan bahwa akurasi Gambar 7. Grafik Hasil Akurasi Implementasi SA-SVM dengan Pembobotan Kernel 10 Folds Cross Validation Data Hepatitis yang tinggi dapat dicapai dengan parameter kernel RBF atau parameter σ antara 0 sampai 0,5 dan parameter C antara 0 sampai 15. Pada uji coba ini, 43 dari 80 pasangan parameter menghasilkan akurasi di atas rata-rata. Pada Gambar 6 tampak bahwa jangkauan nilai parameter yang bisa menghasilkan akurasi maksimal melebar daripada sebelum pembobotan kernel diimplementasikan. Setelah pembobotan kernel dengan metode Gradient Descent diimplementasikan, jangkauan parameter kernel RBF yang menghasilkan akurasi maksimum menjadi antara 0 sampai 1,5 dengan nilai parameter C antara Begitu juga dengan uji coba dengan 10 folds cross validation. Tidak hanya meningkatkan akurasi, jangkauan nilai Gambar 4. Grafik Hasil Akurasi Implementasi SA-SVM 5 Folds Cross Validation Data Breast Cancer Gambar 8. Grafik Hasil Akurasi Implementasi SA-SVM dengan Pembobotan Kernel 5 Folds Cross Validation Data Hepatitis Gambar 5. Grafik Hasil Akurasi Implementasi SA-SVM 10 Folds Cross Validation Data Breast Cancer Gambar 9. Grafik Hasil Akurasi Implementasi SA-SVM dengan Pembobotan Kernel 10 Folds Cross Validation Data Hepatitis

5 JURNAL TEKNIK POMITS Vol. 2, No. 1, (2013) ISSN: ( Print) 5 yang menghasilkan akurasi maksimum juga melebar. Gambar 7 merupakan representasi hasil uji coba SA-SVM dengan pembobotan kernel dan jangkauan parameter σ tersebut melebar sampai nilai 3 dan diantaranya mencapai akurasi terbaik. Terlihat pada Gambar 8 bahwa jangkauan dari pasangan parameter yang dapat menghasilkan akurasi tinggi terletak pada jangkauan parameter σ antara 0 sampai dengan 0,5 dan parameter C antara 0 sampai dengan 6. Sedangkan pada Gambar 9 akurasi tinggi dapat dicapai dengan jangkauan parameter σ antara 0 sampai dengan 0,5 dan parameter C antara 0 sampai 12. Uji coba SA-SVM dengan pembobotan kernel akan membuat pasangan parameter yang menghasilkan akurasi di atas rata-rata akan lebih merata daripada tanpa menggunakan pembobotan kernel. Dengan kata lain, proses tidak akan mudah terjebak pada parameter yang akan menghasilkan nilai akurasi rendah. [2] A. S. Nugroho, A. B. Witarto dan D. Handoko, Support Vector Machine - Teori dan Applikasinya dalam Bioinformatika, [Online]. Available: [3] F. Busetti, [Online]. Available: [4] J. S. Sartakhti, M. H. Zangooei dan K. Mozafari, Hepatitis Disease Diagnosis Using A Novel Hybrid Method Based On Support Vector Machine and Simulated Annealing (SVM-SA), Computer Methods And Programs In Biomedicine, vol. I, no. 08, pp , August [5] B. Guo, S. R. Gunn, R. I. Damper dan J. D. B. Nelson, Customizing Kernel Function for SVM-based Hyperspectral Image Classification, IEEE Transaction On Image Processing, vol. 17, pp , IV. KESIMPULAN Dari uji coba yang telah dilakukan dan menganalisis hasil pengujian terhadap sistem ini, dapat diambil beberapa kesimpulan, antara lain : Algoritma Simulated Annealing (SA) dapat diimplementasikan untuk mengoptimasi parameter SVM Metode pembobotan kernel Gradient Descent dapat diaplikasikan pada SVM untuk memperbaiki hasil klasifikasi. Sistem SVM dengan optimasi parameter menggunakan SA lebih akurat hingga 1,25% lebih baik daripada tanpa menggunakan optimasi parameter SA pada dataset Hepatitis. Jangkauan nilai parameter dapat diperluas hingga 2 kali lipat dengan menerapkan metode pembobotan kernel. Pengembangan yang dapat dilakukan adalah memperbaiki sistem hingga dapat menghasilkan akurasi yang baik dengan waktu yang lebih singkat. Perangkat lunak ini juga dapat diperbaiki dengan melakukan perancangan percobaan secara ortogonal untuk meninjau kinerja parameter terhadap kinerja klasifikasi SVM sehingga mendapatkan hasil yang lebih maksimal. UCAPAN TERIMA KASIH Penulis A.D.P. mengucapkan puji syukur kepada Allah SWT yang melimpahkan rahmat dan hidayah-nya sehingga penulis dapat menyelesaikan penelitian dengan lancar. Penulis juga mengucapkan terima kasih kepada Bapak Rully Soelaiman dan Ibu Chastine Fatichah yang telah banyak membantu penulis dalam menyelesaikan penelitian ini. Penulis juga mengucapkan terima kasih kepada pihak-pihak lain yang turut membantu terselesaikannya penelitian ini. DAFTAR PUSTAKA [1] J. S. Taylor dan N. Cristianini, Kernel Methods for Pattern Analysis, 1st Edition penyunt., Cambrige: Cambrige Univeristy Press, 2004.