ANALISIS SENTIMEN REVIEW PRODUK KOSMETIK MELALUI KOMPARASI FEATURE SELECTION

Transkripsi

1 ANALISIS SENTIMEN REVIEW PRODUK KOSMETIK MELALUI KOMPARASI FEATURE SELECTION Dinar Ajeng Kristiyanti Teknik Informatika, STMIK Nusa Mandiri Jakarta Jl. Damai No.8 Warung Jati Barat (Margasatwa) Jakarta Selatan ABSTRACT Sentiment analysis is a computational study of the opinions, behaviors and emotions of people toward the entity. The entity describes the individuals, events or topics. That topics generally could be the review of diverse datasets, one of which is a product review. By reading the review of products based on the experiences of other consumers, it will be recognized the quality of a product. It goes without saying, as cosmetic products on the market today are very diverse, both in terms of type and brand. However, not all cosmetics have good quality in line with the needs of consumers and it is to be noticed by the consumer. Lately consumers who are writing their opinions, reviews and experiences through online is increasing. So, reexamination of the cosmetic product review by classifying these reviews into positive and negative class is an excellent way to determine the response of other consumers about the product quickly and accurately. Among of the techniques for classification mostly used by data classification is (SVM). SVM has the advantage of being able to identify the separated hyper plane that maximizes the margin between two different classes. However, SVM has a weakness for parameter selection or suitable features. Feature selection set up the parameters in SVM that significantly affects the results of classification accuracy. Feature selection also can be used to reduce the attributes that are less relevant to the dataset. To improve the previous research, this research uses the combined method of feature selection in Algorithm by comparing two-feature selection, namely Particle Swarm Optimization and Genetic Algorithm. It is in order to improve the accuracy of the classification of. Furthermore the research found the text classification in a positive or negative format from the cosmetic products review. Measurement is based on accuracy before and after adding the feature selection method. The evaluation was done by using 10 Fold Cross Validation. While the accuracy measurement is done by using the Confusion Matrix and ROC Curve. The results of integrated Algorithm and Feature Selection Algorithm, Particle Swarm Optimization indicate the best results with average accuracy 97.0 and the average AUC 88. While Genetic Algorithm show the best results with average accuracy 94.0 and average of AUC 84. As conclusion, the research of Algorithm showed the best accuracy improvement toward the integrated feature selection Particle Swarm Optimization with the increased accuracy from 89.0 to Keywords: Classification, Genetic Algorithm, Particle Swarm Optimization, Review Of Cosmetic Products, PENDAHULUAN Saat ini konsumen yang menulis opini dan pengalaman secara online semakin meningkat. Membaca review tersebut secara keseluruhan dapat memakan waktu, namun jika hanya sedikit review yang dibaca evaluasi akan menjadi bias. Beberapa review tentang produk kosmetik dapat membantu konsumen dalam mengetahui kualitas brand kosmetik tersebut layak atau tidak untuk digunakan. Produk kosmetik yang beredar di pasaran saat ini sangat beragam, baik dari segi jenis maupun brand. Namun tidak semua kosmetik memiliki kualitas yang baik sesuai kebutuhan konsumen dan hal ini yang harus diperhatikan oleh para konsumen. Sebelum konsumen memutuskan untuk membeli kosmetik sebaiknya konsumen mengetahui dengan detail produk yang akan dibeli, hal ini dapat dipelajari dari testimoni dan opini atau hasil review dari konsumen yang sudah membeli dan menggunakan produk tersebut sebelumny Klasifikasi sentimen bertujuan untuk mengatasi masalah ini dengan secara otomatis mengelompokkan review pengguna menjadi opini positif atau negatif [1]. Untuk itu perlunya pengkajian ulang tentang review produk kosmetik dengan cara pengklasifikasian review tersebut ke dalam class positif dan negatif agar pada akhirnya konsumen dapat mengetahui tanggapan konsumen lain tentang produk tersebut secara cepat dan tepat. Analisa sentimen atau opinion mining adalah studi komputasi mengenai pendapat, perilaku dan emosi seseorang terhadap entitas. Entitas tersebut dapat menggambarkan individu, kejadian atau topik. Topik tersebut kemungkinan besar dapat berupa review [10]. Teknik klasifikasi yang biasa digunakan untuk analisis sentimen review diantaranya Naïve Bayes, (SVM) dan K-Nearest Neighbor (KNN) [3]. Terdapat beberapa penelitian yang sudah dilakukan dalam melakukan klasifikasi sentimen terhadap review yang tersedia secara online ISBN

2 diantaranya, analisa sentimen pada review pengguna ponsel [14]. Analisa sentimen pada opini review film menggunakan pengklasifikasi dan Particle Swarm Optimization [1]. Klasifikasi sentimen pada review online tempat tujuan perjalanan menggunakan pengklasifikasi Naïve Bayes, dan Character Based N-gram Model [13]. Analisa sentimen pada review film dan beberapa produk dari Amazon.com menggunakan pengklasifikasi dan Artificial Neural Network [11]. Pengklasifikasian sentimen pada review restoran di internet yang ditulis dalam bahasa Canton menggunakan pengklasifikasi Naïve Bayes dan [1]. Analisa sentimen pada sosial media Republik Ceko menggunakan Supervised Learning []. Dari beberapa teknik tersebut yang paling sering digunakan untuk klasifikasi data adalah (SVM). SVM merupakan metode supervised learning yang menganalisa data dan mengenali pola-pola yang digunakan untuk klasifikasi [1]. (SVM) adalah kasus khusus dari keluarga algoritma yang disebut sebagai regularized metode klasifikasi linier dan metode yang kuat untuk meminimalisasi resiko [12]. SVM memiliki kelebihan yaitu mampu mengidentifikasi hyperplane terpisah yang memaksimalkan margin antara dua kelas yang berbeda [2]. Namun memiliki kekurangan terhadap masalah pemilihan parameter atau fitur yang sesuai [1]. Pemilihan fitur sekaligus penyetingan parameter di SVM secara signifikan mempengaruhi hasil akurasi klasifikasi [16]. Dalam masalah aplikasi tertentu, tidak semua fitur ini sama pentingny Kinerja yang lebih baik dapat dicapai dengan membuang beberapa fitur. Dengan demikian, dapat dihilangkannya data yang noise, data yang tidak relevan dan berlebihan [16]. Particle Swarm Optimization (PSO) banyak digunakan untuk memecahkan masalah optimasi serta sebagai masalah seleksi fitur [9]. Dalam teknik Particle Swarm Optimization (PSO) terdapat beberapa cara untuk melakukan pengoptimasian diantaranya meningkatkan bobot atribut (attribute weight) terhadap semua atribut atau variabel yang dipakai, menyeleksi atribut (attribute selection) dan feature selection. Particle Swarm Optimization (PSO) adalah suatu teknik optimasi yang sangat sederhana untuk menerapkan dan memodifikasi beberapa parameter [1]. Salah satu metode wrapper yang bisa digunakan dalam pemilihan fitur adalah Genetic algorithm (GA). Genetic algorithm mudah disejajarkan dan telah digunakan untuk klasifikasi seperti masalah optimasi lainny Dalam data mining, algoritma genetika dapat digunakan untuk mengevaluasi fitness algoritma lainnya [4]. Pada penelitian ini algoritma dan algoritma Particle Swarm Optimization sebagai metode pemilihan fitur serta algoritma dan algoritma Genetic Algorithm sebagai metode pemilihan fitur akan diterapkan oleh peneliti dan akan peneliti bandingkan keduanya untuk mengklasifikasikan teks pada review produk kosmetik dalam rangka meningkatkan akurasi analisa sentimen. Situs web adalah wadah bagi beragam pendapat. Salah satu bentuk opini yang memiliki kredibilitas adalah review produk. Situs web seperti amazon.com mendorong pengguna untuk memberikan ulasan (review) [12]. Hasil penambangan teks dari review tersebut dapat diklasifikasikan dengan tiga kategori, yaitu positif, negatif dan netral. Sebagai contoh berikut adalah contoh review produk di amazon.com [12]: Gambar 1. Prototipe Review Produk di amazon.com Setelah dianalisis melalui penambangan teks maka didapatkan decision rule pada klasifikasi review produk sebagai berikut [12]: Gambar 2. Decision Rules pada Klasifikasi Review Produk di amazon.com Menurut Tang dalam [6], analisa sentimen pada review adalah proses menyelidiki review produk di internet untuk menentukan opini atau perasaan terhadap suatu produk secara keseluruhan. Menurut Thelwall [6], analisa sentimen diperlakukan sebagai suatu tugas klasifikasi yang mengklasifikasikan orientasi suatu teks ke dalam positif atau negatif. Menurut Mejova dalam [1], tujuan dari analisa sentimen adalah untuk menentukan perilaku atau opini dari seorang penulis dengan memperhatikan suatu topik tertentu. Perilaku bisa mengindikasikan alasan, opini atau penilaian, kondisi kecenderungan (bagaimana si penulis ingin mempengaruhi pembaca). Seleksi fitur adalah salah satu faktor yang paling penting yang dapat mempengaruhi tingkat akurasi klasifikasi karena jika dataset berisi sejumlah fitur, dimensi ruang akan menjadi besar, merendahkan tingkat akurasi klasifikasi [9]. Seleksi fitur mempengaruhi beberapa aspek yaitu pola klasifikasi, akurasi klasifikasi, waktu yang diperlukan untuk pembelajaran fungsi klasifikasi, jumlah contoh yang dibutuhkan untuk pembelajaran dan biaya yang terkait dengan fitur menurut Yang dan Honavar dalam [16]. Seleksi fitur merupakan proses optimasi untuk mengurangi satu set besar fitur besar sumber asli agar subset fitur yang relatif kecil yang signifikan ISBN

3 Accuracy Konferensi Nasional Ilmu Pengetahuan dan Teknologi (KNIT) 201 untuk meningkatkan akurasi klasifikasi cepat dan efektif. Particle Swarm Optimization (PSO) banyak digunakan untuk memecahkan masalah optimasi serta sebagai masalah seleksi fitur [9]. Optimasi adalah proses menyesuaikan kepada masukan atau karakteristik perangkat, proses matematis, atau percobaan untuk menemukan output minimum atau maksimum hasil. Input terdiri dari variabel, proses atau fungsi dikenal sebagai fungsi biaya, fungsi tujuan atau kemampuan fungsi dan output adalah biaya atau tujuan, jika proses adalah sebuah percobaan, kemudian variabel adalah masukan fisik untuk percobaan [7]. Dalam teknik Particle Swarm Optimization (PSO) terdapat beberapa cara untuk melakukan pengoptimasian diantaranya meningkatkan bobot atribut (attribute weight) terhadap semua atribut atau variabel yang dipakai, menseleksi atribut (attribute selection) dan feature selection. Particle Swarm Optimization (PSO) adalah suatu teknik optimasi yang sangat sederhana untuk menerapkan dan memodifikasi beberapa parameter [1]. Salah satu metode wrapper yang bisa digunakan dalam pemilihan fitur adalah Genetic algorithm (GA). Genetic algorithm mudah disejajarkan dan telah digunakan untuk klasifikasi seperti masalah optimasi lainny Dalam data mining, algoritma genetika dapat digunakan untuk mengevaluasi fitness algoritma lainnya [4]. s (SVM) adalah seperangkat metode yang terkait untuk suatu metode pembelajaran, untuk kedua masalah klasifikasi dan regresi. Dengan berorientasi pada tugas, kuat, sifat komputasi yang mudah dikerjakan, SVM telah mencapai sukses besar dan dianggap sebagai state ofthe art classifier saat ini [8]. SVM merupakan metode supervised learning yang menganalisa data dan mengenali pola-pola yang digunakan untuk klasifikasi [1]. SVM memiliki kelebihan yaitu mampu mengidentifikasi hyperplane terpisah yang memaksimalkan margin antara dua kelas yang berbeda [2]. Namun memiliki kekurangan terhadap masalah pemilihan parameter atau fitur yang sesuai [1]. Pemilihan fitur sekaligus penyetingan parameter di SVM secara signifikan mempengaruh hasil akurasi klasifikasi [16]. Berikut adalah beberapa penelitian yang menggunakan algoritma sebagai pengklasifikasian dalam klasifikasi teks sentimen pada review online yang digunakan peneliti sebagai perbandingan tinjauan studi terdahulu, sebagai berikut: Tabel 1. Tinjauan Studi Penelitian Terkait Judul Opinion Mining of Pre Processing Filter Data Feature Selection ase Classifier 76,2 Movie Review using Hybrid Method of and Particle Swarm Optimization [1] Optimizing parameters of support vector machine using fast messy genetic algorithm for dispute classification [2] Sentiment classification of online reviews to travel destinations by supervised machine learning approaches [13] Model yang diusulkan Data Cleansing c. Extract to Text File nitialize competitiv e template robabilisti call initializati on Converted all characters to lowercase okenizatio n enerate N- Gram c. temming Normaliz ation okenizatio n c. temming d. enerate N-Grams e. article Swarm Optimizat ion (PSO) hreshold selection uilding blocks filter c. enetic Alghorith m N- Grams article Swarm Optimizat ion (PSO) enetic Algorithm (GA) (SVM) (SVM) (SVM) (SVM) 89,3 73,9 7% Penelitian ini dimulai dari adanya masalah dalam klasifikasi teks pada review produk menggunakan pengklasifikasi (SVM), dimana pengklasifikasian tersebut memiliki kekurangan terhadap masalah pemilihan parameter yang sesuai, karena dengan tidak sesuainya sebuah pengaturan parameter dapat menyebabkan hasil klasifikasi menjadi rendah. Sumber data yang digunakan dalam penelitian ini yaitu mengambil data review produk kosmetik pada situs penyedia review produk yang didapat dari yang terdiri dari 100 review positif dan 100 review negatif. Preprocessing yang dilakukan dengan Tokenization, Generate N-Gram dan Stemming. Metode pembobotan Fitur yang akan digunakan adalah Term Frequency Invers Document Frequency (TF-IDF) dan pemilihan seleksi fitur menggunakan Particle Swarm Optimization (PSO) dan Genetic Algorithm (GA). Sedangkan pengklasifikasi yang digunakan adalah. Pengujian 10 Fold Cross Validation akan dilakukan, akurasi algorima akan diukur menggunakan Confusion Matrix dan hasil olahan data dalam bentuk kurva ROC. RapidMiner Versi.3 digunakan sebagai alat bantu dalam? ISBN

4 Epsilon Population Size Accuracy AUC Accuracy AUC Accuracy AUC Konferensi Nasional Ilmu Pengetahuan dan Teknologi (KNIT) 201 mengukur akurasi data eksperimen yang dilakukan dalam penelitian. Gambar 3 menggambarkan kerangka pemikiran yang peneliti usulkan dalam penelitian ini. INDICATORS Population Size Kernel Type C epsilon Observed Variables PROPOSED METHOD Dataset Review Produk Kosmetik ( Preprocessing Tokenize Generate N- Gram Steamming Feature Selection PSO Classification Algorithm OBJECTIVES Model Accuracy ambar 3. Kerangka Pemikiran PEMBAHASAN MEASUREMENT Confusion Matrix ROC Curve Observed Variables Data training yang digunakan dalam pengklasifikasian teks ini terdiri dari 100 review produk kosmetik positif dan 100 review produk kosmetik negatif dari situs Data tersebut masih berupa sekumpulan teks yang terpisah dalam bentuk dokumen. Sebelum diklasifikasikan, data tersebut harus melalui beberapa tahapan proses agar bisa diklasifikasikan dalam proses selanjutnya, berikut adalah tahapan prosesnya: 1. Pengumpulan Data SWn 2. Pengolahan Dat Data review positif disatukan dalam folder dengan nama POSITIF. Sedangkan data review negatif disatukan penyimpanannya dalam folder dengan nama NEGATIF. Tiap dokumen berekstensi.txt yang dapat dibuka menggunakan aplikasi Notepad. Proses yang dilalui terdiri dari tokenization, generate n-gram dan stemming. Hasil pengolahan awal data dapat dilihat pada Tabel 2. Tabel 2. Pengolahan Awal Data Review I like it. Very dark, intense and bold black. Has a nice soft, yet sturdy tip. Tokenizatio n GA I like it Very dark intense and bold black Has a nice soft yet sturdy tip Generate N- Gram I l li lik ike ke e i it Ve Ver ery ry y d da dar ark in int nte ten ens nse se e a an and nd d b bo bol old ld d b bl bla lac ack Ha Has as s a a a n ni nic ice ce e s so sof oft ye yet et t s st stu tur urd rdy dy y t ti tip Stemming G i l li lik ike ke e i it ve ver eri ry y d da dar ark in int nte ten en nse se e a an and nd d b bo bol old ld d b bl bla lac ack ha has as s a a a n ni nic ice ce e so sof oft ye yet et t s st stu tur urd rdi dy y t ti tip Proses klasifikasi di sini adalah untuk menentukan sebuah kalimat sebagai anggota class positif atau class negatif berdasarkan nilai perhitungan probabilitas dari rumus SVM yang lebih besar. Jika hasil probabilitas kalimat tersebut untuk class positif lebih besar dari pada class negatif, maka kalimat tersebut termasuk ke dalam class positif. Jika probabilitas untuk class positif lebih kecil dari pada class negatif, maka kalimat tersebut termasuk ke dalam class negatif. Nilai training cycles dalam penelitian ini ditentukan dengan cara melakukan uji coba memasukkan C, epsilon. Berikut ini adalah hasil dari percobaan yang telah dilakukan untuk penentuan nilai training cycles: Tabel 3. Eksperimen Penentuan Nilai Training Cycles SVM C Epsilon SVM Accuracy AUC Hasil terbaik pada eksperimen SVM di atas adalah dengan C=0.1 dan Epsilon=0.1 dihasilkan accuracy % dan AUCnya 88. Nilai training cycles dalam penelitian ini ditentukan dengan cara melakukan uji coba memasukkan C, epsilon dan population size. Berikut ini adalah hasil dari percobaan yang telah dilakukan untuk penentuan nilai training cycles: Tabel 4. Eksperimen Penentuan Nilai Training Cycles SVM berbasis PSO & SVM berbasis GA SVM SVM+PSO SVM+GA C ISBN

5 Hasil terbaik pada eksperimen SVM berbasis PSO di atas adalah dengan C=0.2 dan Epsilon=0.2 serta population size= yang dihasilkan accuracy % dan AUCnya 88. Sedangkan hasil terbaik pada eksperimen SVM berbasis GA di atas adalah dengan C=0.4 dan Epsilon=0.4 serta population size= yang dihasilkan accuracy 94.0 dan AUCnya 84. Pada penelitian penentuan hasil review produk kosmetik ini menggunakan algoritma didapatkan nilai accuracy, precision dan recall dari data training dapat dihitung dengan menggunakan Rapid Miner. Hasil pengujian dengan menggunakan model didapatkan hasil pada Tabel. Tabel data training yang digunakan terdiri dari 100 data review positif produk kosmetik dan 100 data review negatif produk kosmetik. Untuk data review negatif produk kosmetik, 79 diklasifikasikan ke dalam review positif sesuai dengan prediksi yang dilakukan dengan metode SVM dan 21 data diprediksi review positif tetapi ternyata hasil prediksinya review negatif. Untuk data review negatif produk kosmetik, 99 diklasifikasikan review negatif sesuai dengan prediksi yang dilakukan dengan metode SVM dan 1 data diprediksi review negatif ternyata hasil prediksinya review positif. Tabel. Model Confusion Matrix Untuk Metode Accuracy : 89.0, +/- 6.24% (Mikro : 89.0) True Positif True Negatif Class Precission Prediksi Positif % Prediksi Negatif Class Recall Berdasarkan Tabel tersebut menunjukkan bahwa, tingkat akurasi dengan menggunakan algoritma SVM adalah sebesar 89.0, dan dapat dihitung untuk mencari nilai accuracy, sensitivity, specificity, ppv dan npv hasilnya dan dapat dihitung untuk mencari nilai accuracy, sensitivity, specificity, ppv, dan npv pada persamaan di bawah ini: (1) (2) c. (3) d. (4) e. () Kesimpulan hasil perhitungan dari persamaan di atas terlihat pada Tabel 6 di bawah ini: Tabel 6. Nilai Accuracy, Sensitivity, Specificity, PPV dan NPV Untuk Metode Nilai % Accuracy 89.0 Sensitivity 98.7% Specifity 82. PPV 79.0 NPV 99.0 Hasil perhitungan divisualisasikan dengan kurva ROC. Perbandingan kedua metode komparasi bisa dilihat pada Gambar 4 yang merupakan kurva ROC untuk algoritma. Kurva ROC pada Gambar 4 mengekspresikan confusion matrix dari Tabel. Garis horizontal adalah false positive dan garis vertikal true positive. Gambar 4. Kurva ROC Dari Gambar 4 terdapat grafik ROC dengan nilai AUC (Area Under Curve) sebesar 88 dimana diagnosa hasilnya klasifikasi sangat baik (excellent classification). Untuk mencapai nilai keakurasian AUC mendekati 1 (sangat sempurna) dibutuhkan metode untuk meningkatkan diagnosa hasil klasifikasi yang terbentuk. Dalam hal ini peneliti menggunakan Particle Swarm Optimization (PSO) dan Genetic Algorithm (GA) sebagai algoritma seleksi fitur untuk meningkatkan akurasi klasifikasi. Nilai accuracy, precision dan recall dari data training dapat dihitung dengan menggunakan Rapid Miner. Hasil pengujian dengan menggunakan model berbasis GA didapatkan hasil pada Tabel 7. 1) Confusion Matrix Tabel 7 data training yang digunakan terdiri dari 100 data review positif produk kosmetik dan 100 data review negatif produk kosmetik. Untuk data review negatif produk kosmetik, 98 diklasifikasikan ke dalam review positif sesuai dengan prediksi yang dilakukan dengan metode SVM dan 2 data diprediksi review positif tetapi ternyata hasil prediksinya review negatif. Untuk data review negatif produk kosmetik, 99 diklasifikasikan review negatif sesuai dengan prediksi yang dilakukan dengan metode SVM dan 1 data diprediksi review negatif ternyata hasil prediksinya review positif. Tabel 7. Model Confusion Matrix untuk Metode berbasis PSO Accuracy : 97.0, +/- 3.32% (Mikro : 97.0) ISBN

6 True Positif True Negatif Class Precission Prediksi Positif % Prediksi Negatif % Class Recall Berdasarkan Tabel 7 tersebut menunjukkan bahwa, tingkat akurasi dengan menggunakan algoritma SVM berbasis PSO adalah sebesar 97.0, dan dapat dihitung untuk mencari nilai accuracy, sensitivity, specificity, ppv dan npv hasilnya dan dapat dihitung untuk mencari nilai accuracy, sensitivity, specificity, ppv, dan npv pada persamaan di bawah ini: (1) (2) c. (3) d. (4) e. () Kesimpulan hasil perhitungan dari persamaan di atas terlihat pada Tabel 8 di bawah ini: Tabel 8. Nilai Accuracy, Sensitivity, Specificity, PPV dan NPV untuk Metode Berbasis PSO Nilai % Accuracy 97.0 Sensitivity 98.96% Specifity 9.19% PPV 9.0 NPV ) Kurva ROC Hasil perhitungan divisualisasikan dengan kurva ROC. Perbandingan kedua metode komparasi bisa dilihat pada Gambar yang merupakan kurva ROC untuk algoritma berbasis PSO. Kurva ROC pada Gambar mengekspresikan confusion matrix dari Tabel 6. Garis horizontal adalah false positive dan garis vertikal true positive. Gambar. Kurva ROC Berbasis PSO Dari Gambar terdapat grafik ROC SVM berbasis PSO dengan nilai AUC (Area Under Curve) sebesar 88 dimana diagnosa hasilnya klasifikasi sangat baik (excellent classification). Kemudian nilai accuracy, precision dan recall dari data training hasil pengujian dengan menggunakan model berbasis GA didapatkan hasil pada Tabel 9. Tabel 9 data training yang digunakan terdiri dari 100 data review positif produk kosmetik dan 100 data review negatif produk kosmetik. Untuk data review negatif produk kosmetik, 90 diklasifikasikan ke dalam review positif sesuai dengan prediksi yang dilakukan dengan metode SVM dan 10 data diprediksi review positif tetapi ternyata hasil prediksinya review negatif. Untuk data review negatif produk kosmetik, 98 diklasifikasikan review negatif sesuai dengan prediksi yang dilakukan dengan metode SVM dan 2 data diprediksi review negatif ternyata hasil prediksinya review positif. Tabel 9. Model Confusion Matrix untuk Metode berbasis GA Accuracy : 94.0, +/- 4.9 (Mikro : 94.0) True True Class Positif Negatif Precission Prediksi Positif % Prediksi % Negatif Class Recall Berdasarkan Tabel 9 tersebut menunjukkan bahwa, tingkat akurasi dengan menggunakan algoritma SVM berbasis GA adalah sebesar 94.0, dan dapat dihitung untuk mencari nilai accuracy, sensitivity, specificity, ppv dan npv hasilnya dan dapat dihitung untuk mencari nilai accuracy, sensitivity, specificity, ppv, dan npv pada persamaan di bawah ini: (1) (2) c. (3) d. (4) e. () Kesimpulan hasil perhitungan dari persamaan di atas terlihat pada Tabel 10 di bawah ini: Tabel 10. Nilai Accuracy, Sensitivity, Specificity, PPV dan NPV untuk Metode Berbasis GA Nilai % Accuracy 94.0 Sensitivity 97.83% Specifity 90.74% PPV 90.0 NPV 98.0 Hasil perhitungan divisualisasikan dengan kurva ROC. Perbandingan kedua metode komparasi bisa dilihat pada Gambar 6 yang merupakan kurva ROC untuk algoritma berbasis PSO. Kurva ROC pada Gambar 6 mengekspresikan confusion matrix dari Tabel 7. Garis horizontal adalah false positive dan garis vertikal true positive. ISBN

7 Gambar 6. Kurva ROC Berbasis GA Dari Gambar 6 terdapat grafik ROC SVM berbasis PSO dengan nilai AUC (Area Under Curve) sebesar 84 dimana diagnosa hasilnya klasifikasi sangat baik (excellent classification). Dari hasil pengujian di atas, pengukuran akurasi menggunakan confusion matrix dan kurva ROC terbukti bahwa hasil pengujian algoritma SVM berbasis PSO memiliki nilai akurasi yang lebih tinggi dibandingkan dengan algoritma SVM. Nilai akurasi untuk model algoritma SVM sebesar 89.0, nilai akurasi untuk model algoritma SVM berbasis PSO sebesar 97.0, dengan selisih akurasi dengan SVM sendiri 8.0. Kemudian nilai akurasi untuk model algoritma SVM berbasis GA sebesar 94.0, dengan selisih akurasi dengan SVM sendiri.0, dapat dilihat pada Tabel 11 di bawah ini: Tabel 11. Pengujian Algoritma SVM dan SVM berbasis PSO Accuracy AUC SVM SVM berbasis PSO SVM berbasis GA Untuk evaluasi menggunakan Kurva ROC sehingga menghasilkan nilai AUC (Area Under Curve) untuk model algoritma SVM menghasilkan nilai 88 dengan nilai diagnosa Excellent Classification, kemudian untuk algoritma SVM berbasis PSO (Particle Swarm Optimization) dengan akurasi terbesar yaitu 97.0 ternyata menghasilkan nilai AUC yang sama dengan model algoritma SVM (tetap) yaitu sebesar 88 dengan nilai diagnosa Excellent Classification, dan selisih nilai keduanya sebesar Sedangkan untuk algoritma SVM berbasis GA (Genetic Algorithm) dengan akurasi terbesar yaitu 94.0 ternyata menghasilkan nilai AUC yang lebih kecil dari keduanya yaitu 84. Dengan demikian algoritma SVM berbasis PSO dapat memberikan solusi untuk permasalahan dalam klasifikasi review produk kosmetik. Berdasarkan hasil eksperimen yang dilakukan untuk memecahkan masalah klasifikasi review produk kosmetik, dapat disimpulkan bahwa hasil eksperimen menggunakan metode mempunyai tingkat akurasi sebesar 80. dan mempunyai nilai AUC sebesar 80 dengan parameter C dan epsilon default masing-masing sebesar 0.0. Setelah dilakukan penyesuaian pada parameter C dan epsilon didapat nilai akurasi terbaik untuk algoritma yaitu mempunyai akurasi sebesar 89.0 dan nilai AUCnya sebesar 88. Sedangkan eksperimen kedua yang dilakukan dengan menggunakan metode berbasis Particle Swarm Optimization mempunyai nilai akurasi sebesar 8.11% dan nilai AUC sebesar 80 dengan parameter C dan epsilon default masing-masing sebesar 0.0. Setelah dilakukan penyesuaian pada parameter C dan Epsilon didapat nilai akurasi terbaik untuk algoritma berbasis Particle Swarm Optimization yaitu mempunyai akurasi sebesar 97.0 dan nilai AUC sebesar 88. Sedangkan eksperimen ketiga yang dilakukan dengan menggunakan metode berbasis Genetic Algorithm mempunyai nilai akurasi sebesar 84. dan nilai AUC sebesar 43 dengan parameter C dan epsilon default masing-masing sebesar 0.0. Setelah dilakukan penyesuaian pada parameter C dan Epsilon didapat nilai akurasi terbaik untuk algoritma berbasis Genetic Algorithm yaitu mempunyai akurasi sebesar 94.0 dan nilai AUC sebesar 84. Setelah dibandingkan, didapatkan kesimpulan bahwa feature selection yang terbaik yang dapat diterapkan pada Algoritma adalah Particle Swarm Optimization dengan akurasi terbaik sebesar KESIMPULAN Dalam penelitian ini dilakukan pengujian model dengan menggunakan dan berbasis Particle Swarm Optimization dengan menggunakan data review produk kosmetik yang positif maupun negatif dengan keseluruhan 200 data review. Model yang dihasilkan diuji untuk mendapatkan nilai accuracy, precision, recall dan AUC dari setiap algoritma sehingga didapatkan pengujian dengan menggunakan didapatkan nilai accuracy adalah Kemudian pengujian dengan menggunakan berbasis Particle Swarm Optimization (PSO) didapatkan nilai accuracy Sedangkan pengujian dengan menggunakan berbasis Genetic Algorithm (GA) didapatkan nilai accuracy Maka dapat disimpulkan pengujian data review produk kosmetik menggunakan berbasis Particle Swarm Optimization (PSO) lebih baik dari pada berbasis Genetic Algorithm (GA) dan itu sendiri. Dengan demikian hasil dari pengujian model di atas dapat disimpulkan bahwa berbasis Particle Swarm Optimization memberikan pemecahan untuk permasalahan klasifikasi review produk kosmetik menjadi lebih akurat. DAFTAR PUSTAKA [1] Basari, A. S. H., Hussin, B., Ananta, I. G. P., & Zeniarja, J. (2013). Opinion Mining of Movie Review using Hybrid Method of and Particle Swarm Optimization. Procedia Engineering, 3, doi: /j.proeng [2] Chou, J.-S., Cheng, M.-Y., Wu, Y.-W., & Pham, A.-D. (2014). Optimizing parameters of support vector machine ISBN

8 using fast messy genetic algorithm for dispute classification. Expert Systems with Applications, 41(8), doi: /j.esw [3] Dehkharghani, R., Mercan, H., Javeed, A., & Saygin, Y. (2014). Sentimental causal rule discovery from Twitter. Expert Systems with Applications, 41(10), doi: /j.esw [4] Gunal, S. (2012). Hybrid feature selection for text classification, 20. [] Habernal, I., Ptáček, T., & Steinberger, J. (2014). Supervised sentiment analysis in Czech social medi Information Processing & Management, 0(), doi: /j.ipm [6] Haddi, E., Liu, X., & Shi, Y. (2013). The Role of Text Preprocessing in Sentiment Analysis. Procedia Computer Science, 17, doi: /j.procs [7] Haupt, R. L., & Haupt, S. E. (2004). Practical Genetic Algorithms. Untied States Of America: A John Wiley & Sons Inc Publication. [8] Huang, K., Yang, H., King, I., & Lyu, M. (2008). Learning Modeling Data Locally And Globally. Berlin Heidelberg: Zhejiang University Press, Hangzhou And Springer-Verlag Gmbh. [9] Liu, Y., Wang, G., Chen, H., Dong, H., Zhu, X., & Wang, S. (2011). An Improved Particle Swarm Optimization for Feature Selection. Journal of Bionic Engineering, 8(2), doi: /s (11) [10] Medhat, W., Hassan, A., & Korashy, H. (2014). Sentiment analysis algorithms and applications: A survey. Ain Shams Engineering Journal. doi: /j.asej [11] Moraes, R., Valiati, J. F., & Gavião Neto, W. P. (2013). Document-level sentiment classification: An empirical comparison between SVM and ANN. Expert Systems with Applications, 40(2), doi: /j.esw [12] Weiss, S. M., Indurkhya, Nitin & Zhang, Tong. (2010). Fundamentals of Predictive Text Mining. London: Springer- Verlag. [13] Ye, Q., Zhang, Z., & Law, R. (2009). Sentiment classification of online reviews to travel destinations by supervised machine learning approaches. Expert Systems with Applications, 36(3), doi: /j.esw [14] Zhang, L., Hua, K., Wang, H., Qian, G., & Zhang, L. (2014). Sentiment Analysis on Reviews of Mobile Users. Procedia Computer Science, 34, doi: /j.procs [1] Zhang, Z., Ye, Q., Zhang, Z., & Li, Y. (2011). Sentiment classification of Internet restaurant reviews written in Cantonese. Expert Systems with Applications, 38(6), doi: /j.esw [16] Zhao, M., Fu, C., Ji, L., Tang, K., & Zhou, M. (2011). Feature selection and parameter optimization for support vector machines: A new approach based on genetic algorithm with feature chromosomes. Expert Systems with Applications, 38(), doi: /j.esw ISBN