Penyaringan Spam Short Message Service Menggunakan Support Vector Machine

Transkripsi

1 111 Penyaringan Spam Short Message Service Menggunakan Support Vector Machine Tri Herdiawan Apandi *), Castaka Agus Sugianto **) Teknik Informatika, Politeknik TEDC Bandung * h.apandi@gmail.com, ** castaka@poltektedc.ac.id Abstrak Pengguna pesawat selular tidak bisa lepas dari SMS. Tetapi dengan semakin banyak orang yang menggunakan SMS ini banyak yang menyalah gunakan. Spam SMS adalah penyalahgunaan yang bisa merugikan pengguna handphone dan provider. Untuk mencegah spam SMS ini masuk ke dalam handphone banyak cara yang telah dilalukan. Penyaringan spam SMS adalah salah satunya, dengan menggunakan Support Vector Machine(SVM). Pesan SMS yang dikumpulkan di lakukan preprosessing, dipecah isi SMS, dilakukan pemilihan fitur, pembuat fitur vector, optimasi parameter, melakukan pelatihan untuk menghasilkan model, dan melakukan prediksi. Optimasi parameter adalah cara untuk mengingkatkan akurasi, dengan menggunakan parameter C= 32 dan γ=0, untuk data pelatihan dengan akurasi 92,375% dan 10 fold cross validation pada data uji mengingkatkan akurasi sebesar 29% dari yang asalnya 62% pada pemecahan kalimat menjadi kata atau pada penggunaan Term Frequency. Sedang pada karakter N-grams meningkatkan akurasi sebesar 43% dari yang asalnya 50% pada data uji dan pada data pelatihan dengan akurasi % dengan nilai C= 32 dan γ=0, untuk data latih. Sedangkan untuk hasil akurasi terbaik untuk data latih adalah % dengan pembobotan term frequency dan untuk data uji akurasi sebesar 95% untuk semua pembobot. Kata kunci: Spam SMS, SVM, Pembobotan, dan Optimasi Parameter 1. PENDAHULUAN Short Message Service (SMS) adalah komunikasi teks layanan komponen telepon, web atau sistem komunikasi mobile, menggunakan protokol standar komunikasi yang memungkinkan pertukaran pesan teks singkat antara fixed line atau perangkat ponsel. Menurut Asosiasi Telekomunikasi Seluler Indonesia (ATSI) jumlah SMS yang terkirim pada tahun 2011 juga mencapai 260 miliar SMS dan jumlah transaksi data mencapai 27 ribu terrabyte[1]. Spam SMS adalah penyalahgunaan isi dari SMS yang merugikan peneriman. Menurut Cloudmark stats, jumlah spam ponsel bervariasi misalnya di Amerika Utara, kurang dari 1% dari pesan SMS yang spam di 2011, bagian Asia hingga 30% mengandung spam SMS[4]. Karena hambatan masuk yang rendah, maka banyak spammers yang muncul dan jumlah spam SMS sangat tinggi. Untuk itu penyaringan SMS sangat dibutuhkan untuk mencegah kerugian yang dihadapi oleh pengguna handphone itu sendiri, provider, dan masyarakat umum juga merasa tidak nyaman. Pada penelitian terdahulu tentang penyaringan spam SMS banyak medote yang telah dilakukan seperti Support Vector Machine dan Token[8], NaiveBayes[3], dan sampling algorithm[9]. Kekurangan penggabungan Support Vector Machine dan token adalah pada saat isi dari SMS menggunakan imbuhan [4]. Naive Bayes memberikan hasil bahwa waktu pemrosesannya lebih cepat dan tinggkat akurasi yang wajar[3]. Waktu belajar NaiveBayes lebih kecil dibandingkan Decision Trees[12]. Neural Network memberikan error generalisasi yang lebih besar daripada SVM[11]. Semua peneliti sebelumnya menggunakan dataset dalam bahasa asing. Mengetahui karakteristik dataset menjadi penting karena menyangkut penentuan fitur dan preprocessing. Training pada SVM bertujuan untuk mencari posisi optimal dari hyperplane di dual space sedangkan hal ini yang dipakai margin yaitu jarak antara fungsi pemisah (separating hyperplane) ke masing-masing kelas. Sehingga pada saat training SVM mencari

2 112 training set yang paling sempurna. Pada metoda yang lain proses training dilakukan secara berulang sampai didapatkan kedua kelas secara optimal atau juga local optimal. Berbeda dengan SVM training dilakukan sekali dan akan mendapatkan nilai yang optimal, ini memcegah terjadinya overfitting karena overtrained. Berdasarkan hasil peneliti sebelumnya, bisa disimpulkan bahwa SVM memiliki kinerja dasar terbaik [8]. Tujuan dari penelitian adalah mengetahui pengaruh hasil akurasi pencacah karakter N- grams dan pengumpulan dataset Berbahasa Indonesia 2. TINJAUAN PUSTAKA 2.1. SVM Dalam teknik ini, kita berusaha untuk menemukan fungsi pemisah(klasifier) yang optimal yang bisa memisahkan dua set data dari dua kelas yang berbeda[12]. SVM dibagi menjadi 2 yaitu lineary separeable dan nonlineary separeable. Pada penelitian ini menggunakan nonlineary separeable. Nonlinearly separable. Dimana kasus tidak dapat diselesaikan dengan menggunakan solusi pemisahan hard-margin, maka formula SVM harus dimodifikasi agar lebih fleksibel (untuk kasus tertentu) dengan menambahakan variabel slack [11, 13]. Selain menggunakan variabel slack, data yang tidak dapat dipisahkan secara linier dapat diklasifikasikan dengan mentransformasikan data ke dalam dimensi ruang fitur (feature space) sehingga dapat dipisahkan secara linier pada feature space [11,13]. Data dipetakan dengan menggunakan fungsi pemetaan (tranformasi) ke dalam feature space sehingga terdapat bidang pemisah yang dapat memisahkan data berdasarkan kelasnya [13]. SVM menggunakan kernel trick untuk mengatasi permasalahan tersebut. Terdapat dot product. Jika fungsi kernel adalah maka, maka fungsi transformasi tidak perlu diketahui secara persis [8] 2.2. Estimasi Parameter Terbaik Akurasi model yang dihasikan dari data pelatihan menggunakan SVM bergantung pada fungsi kernel serta parameter yang digunakan. Oleh karena itu diperlukan estimasi parameter terbaik untuk mengoptimasi kinerjanya. Ada beberapa cara yang dapat dilakukan antara lain cross validation, dan -estimator yang merupakan modifikasi dari leave-one-out yang diusulkan oleh Joachims (1999). K-folds cross validation dapat digunakan untuk menentukan nilai parameter dan parameter kernel yang tidak overfit terhadap data pelatihan [13]. Dengan metode ini, data yang diambil secara acak kemudian dibagi menjadi buah partisi dengan ukuran yang sama. Selanjutnya, dilakukan iterasi sebanyak. Setiap iterasi digunakan sebuah partisi sebagai data pengujian, sedangkan partisi sisanya digunakan sebagai data pelatihan. Jadi akan dicoba berbagai nilai parameter dan parameter terbaik ditentukan melalui k-folds cross validation Nilai parameter terbaik ditemukan pelatihan dilakukan dengan menggunakan keseluruhan data. Pencarian nilai parameter ini disebut juga grid search.[8] 3. PENELITIAN SEBELUMNYA Pada peneliti ini terdiri dari 4827 ham SMS dan 747 spam SMS dengan melakukan variasi 16 model. Sebelum dilakukan penyaringan terdapat 2 pemrosesan awal yaitu: a. Tok1 dengan menyaring alamat , domain, subdaomain dan tokenisasi. b. Tok2 dengan membuang tanda baca dan angka. Hasil dari penelitian ini menghasilkan akurasi 96,64% dengan menggunkan SVM dan Tok1[11]. Peneliti selanjutnya membahas teknik terbaik yang dapat dilakukan dengan cara menyimpang daftar blacklist, whitelist dan memnyimpan daftar dari spam SMS contohnya free, hot selling dan imprassion. Sedangkan untuk metode klasifikasi menggunkan Bayesian[7]. Chaiyapor kemapatapan melakukan penelitian dengan dua bahasa yaitu Bahasa Thailand dan Bahasa Inggris. Penelitian ini mengumpulkan 400 SMS, terdiri dari 120 spam SMS dan 280 ham SMS. Dengan melakukan 2 metode pemrosesan awal : a. M1 : melakukan teks normalisai dan segmentasi bahasa Thailand. b. M2: melakukan teks normalisasi dan segmentasi bahasa Thailand setelah

3 113 disegmentasi akan diterjemahkan dan dilakukan proses semantic. Hasilnya metode SVM dan M2 menghasilkan akurasi sebesar 95,67 dan Naïve Bayes dan M2 menghasilkan akurasi 86,31[3]. Dijelaskan bahwa data SMS yang dipakai adalah 875 yang terdiri dari 450 ham dan 425 spam SMS dalam Bahasa Inggris. Melakukan pembobotan biner dengan menggunakan klasifikasi naïve bayes, akurasi yang dihasilkan adalah 98.29%[10]. 4. METODOLOGI Gambar 1. Dekripsi Umum Data yang dikumpulkan sebanyak 900 data SMS terdiri dari 800 data latih dan 100 data uji. Setelah dilakukan pengumpulan data makan akan dilalukan pemrosesan awal yaitu akromin, stop word dan token. Setalah dilakukan proses itu akan dilakukan pemecarah kata yang dibagi menjadi dua bedasarkan kata dan n-grm. Setelah isi dari sms di pecah-pecah baik kedalan kata atau ke dalam karakter N-grams, dilakukan pembobotan fitur setelah terbentuk akan ada model a dan model b. Fitur dipilih berdasarkan nilai terbesar. Setelah itu dilakukan pembentukan vektor fitur sebagai inputan dari SVM. Sebelum dilakukan pelatihan data dilakukan proses optimasi parameter. Setelah itu akan dilihat model mana yang memiliki akurasi yang paling baik terdapat 15 model yang akan di uji. Pada model a ini menggunakan 500 fitur karena pada data latih sebanyak 100 SMS terdapat 676 fitur, sehingga dengan memilih 500 fitur diharapkan dapat meningkatkan akurasi. Sisa dari fitur yang tidak dipakai karena memiliki bobot yang rendah. Dapat dilihat pada Tabel 1. Tabel 1. Pengujian model a Nama model Jumlah fitur Model 1a 100 Model 2a 200 Model 3a 300 Model 4a 400 Model 5a 500 Model 6a 100 Model 7a 200 Model 8a 300 Model 9a 400 Model 10a 500 Model 11a 100 Model 12a 200 Model 13a 300 Model 14a 400 Model 15a 500 Teknik Pembobotan Biner Document Frequency Term Frequency Model 1a adalah pembobotan yang menggunaka 100 fitur yang paling sering muncul, pada model 1a menggunakan pembobotan biner. Model 7a adalah pembobotan yang menggunaka 200 fitur yang paling sering muncul pada suatu dokumen, pada model 7a menggunakan pembobotan document frequency. Sedangkan Model 15a adalah pembobotan yang menggunaka 500 fitur yang paling sering muncul pada seluruh dokumen, pada model 15a menggunakan pembobotan term frequency. Untuk pemecah kata menjadi kalimat/uni gram terdapat 36 model yang akan di uji. Pada model b dipilih 2000 fitur teratas karena pada data latih terdapat 3453 fitur. Sisa dari fiturnya tidak dipakai karena hanya memiliki bobot yang rendah. 5. PENGUJIAN Pengujian dilakukan dengan 2 model yaitu model a menggunakan pemecah kalimat menjadi kata, sedangkan model b menggunankan karakter N-grmas. Untuk pemecah kata menjadi kalimat/uni gram

4 114 Tabel 2. Pengujian model b Nama model Jumlah fitur Teknik Pembobotan Model 1b 500 Biner Model 2b gram Model 3b 1500 Model 4b 2000 Model 6b 1000 Biner Model 7b gram Model 8b 2000 Model 9b 500 Model 10b 1000 TF Model 11b gram Model 12b 2000 Model 13b 500 Biner Model 14b gram Model 15b 1500 Model 16b 2000 Model 17b 500 DF Model 18b gram Model 19b 1500 Model 20b 2000 Model 21b 500 Model 22b 1000 TF Model 23b gram Model 24b 2000 Model 25b 500 Biner Model 26b gram Model 27b 1500 Model 28b 2000 Model 29b 500 DF Model 30b gram Model 31b 1500 Model 33b 500 Model 34b 1000 TF Model 35b gram Model 36b 2000 Model 1b adalah pembobotan yang menggunakan 500 fitur yang paling sering muncul, pada model 1b menggunakan pembobotan biner dan pemecah kata menggunakan karakter 3-grams. Model 2b adalah pembobotan yang menggunaka 1000 fitur yang paling sering muncul pada suatu dokumen. Model 18b menggunakan pembobotan document frequency dan pemecah kata menggunakan 4-grams. Model 36b adalah pembobotan yang menggunaka 2000 fitur yang paling sering muncul pada seluruh dokumen, pada model 36b menggunakan pembobotan term frequency dan pemecah kata menggunakan karakter 5- grams. 6. HASIL DAN PEMBAHASAN 6.1. Karakteristik Spam SMS Data yang dikumpulkan sebanyak 450 spam SMS dengan rincian sebagai berikut: 1. Iklan dengan jumlah 380 SMS, terdiri dari 49 SMS yang lebih dari 160 karakter dan 206 SMS yang kurang dari 160 karakter 2. Penipuan dengan Jumlah 70 SMS, terdiri dari 11 SMS yang lebih dari 160 karakter dan 100 SMS yang kurang dari 160 karakter 3. Panjang SMS yang lebih dari 160 karakter sebanyak 60 SMS 4. Panjang SMS yang kurang dari 160 karakter sebanyak 390 SMS. Hasil analisis dari data spam SMS memiliki karakteristik berikut: 1. Bersifat iklan maupun penipuan 2. Banyak kata - kata sambung 3. Banyak kata - kata singkatan 4. Banyak tanda baca 6.2. Pengaruh Karakter N-grams Hasil pengujian dari model a dapat dilihat pada Gambar biasa 10 fold Gambar 2. Hasil Akurasi Model a Gambar 2 menunjukkan diagram hasil klasifikasi SMS dengan menggunakan tiga metode pembobotan. Dari diagram tersebut terlihat metode pembobotan yang memberikan hasil akurasi paling bagus adalah metode pembobotan dengan menggunakan Term Frequency sebesar 91% pada 300 fitur. Kemudian disusul dengan metode Document Frequency sebesar 90% pada 500 fitur dan sedangkan yang tingkat akurasinya paling rendah adalah Term Frequency pada 100 fitur. TF dan jumlah fitur sedikit memberikan nilai akurasi yang rendah disebabkan karena data yang digunakan pada penelitian ini adalah SMS. Kata tertentu akan memiliki nilai TF besar jika kata tersebut muncul berkali-kali di suatu dokumen/sms tetapi tidak sering muncul di dokumen/sms yang lain. Umumnya suatu kata dalam sms hanya muncul sekali. Padahal dalam metode TF besarnya frekuensi/kemunculan kata pada suatu dokumen/sms akan sangat

5 Model 1b Model 3b Model 5b Model 7b Model 9b Model 11b Model 13b Model 15b Model 17b Model 19b Model 21b Model 23b Model 25b Model 27b Model 29b Model 31b Model 33b Model 35b 115 berpengaruh, dan apabila kemunculan kata tersebut di dokumen lain bernilai kecil. Pada penelitian ini fitur-fitur hasil ekstraksi dengan menggunakan metode TF adalah kata-kata yang jarang muncul dan jarang digunakan di dataset yang lain. Oleh karena itu ketika diujikan pada data baru atau data pengujian, fitur-fitur tersebut tidak dapat mengklasifikasikan kelas dengan baik. TF dengan 300 fitur memberikan hasil paling baik, TF pada penelitian ini menggunakan kata atau term dengan jumlah kemunculannya paling tinggi dari keseluruhan dokumen pelatihan untuk setiap kelasnya. Mengingat data yang digunakan adalah SMS dengan keterbatasan jumlah karakternya, sehingga ada kemungkinan kata-kata yang sama akan sering diulang atau sering digunakan untuk sms lain yang bertopik sama. Dari gambar 2 juga terlihat bahwa jumlah fitur yang digunakan dari 500 fitur, 400 fitur,300 fitur, 200 fitur, dan 100 fitur. Jumlah fitur mempengarusi akurasi dari gambar diatas dapat disimpulkan jumlah fitur 500 menghasilkan akurasi yang stabil. Sedangkan pada jumlah fitur yang sedikit mengahasilkan akurasi yang rendah. Pada grafik diatas menunjukan model 13a mengalami kenaikan 29% dibandingkan dengan tidak menggunak 10 fold cross validation. Sedangkan 11a mengalami penururan setelah dilakukan 10 fold cross validation sebesar 13%. Hasil pengujian dari model b dapat dilihat pada Gambar % 80% 60% 40% 20% 0% Gambar 3. Hasil Pengujian Model b Pada Gambar 3 diatas ada 4 akurasi terbaik masing masing adalah biner dengan 1500 fitur, df dengan 1000 fitur, tf dengan 1500 dan tf dengan 1500 fitur. Pencacah SMS menggunakan karakter 3-grams, 4 grams, dan karakter 5-grams menunjukan bahwa dengan menggunakan 3 grams menghasilkan akurasi yang stabil. Pada 3 grams membagi kata menjadi 3 huruf, karena membagi menjadi 3 huruf menjadikan kata yang dibagi menjadi unik. Berbeda dengan yang laiannya. Sedangkan untuk jumlah fitur yang memiliki akurasi yang paling baik ada 1500 fitur baik dengan pembobot biner, DF dan TF. Karena 1500 fitur yang dipilih mewakili kata-kata yang muncul pada SMS. 7. KESIMPULAN Berikut ini adalah kesimpulan yang diperoleh selama penelitian dan pembangunan prototipe penyaringan spam SMS: 1. N-gram menghasilkan akurasi yang terbaik pada data uji sebesar 95% untuk semua pembobotan dengan jumlah fitur 1000 dan 1500, Sedangkan untuk data uji dengan nilai C= 512 dan γ= dengan akurasi 96,625 dengan pembobotan trem freqeuncy dan jumlah fiturnya Kesalahan peneliti setelah dilakukan kajian terhadap data uji 100% (50 SMS spam) data yang dipakai adalah SMS Spam yang berisi tetang penipuan, sedangkan pada data latih 5% dari 400 SMS spam yang mengandung SMS penipuan. Sehingga nilai akurasi dari penelitian ini lebih rendah dari peneliti sebelumnya itu disebabkan oleh fitur pada data latih tidak banyak digunakan pada data uji, fold cross validation digunakan untuk memprediksi keakuratan data latih. Dataset yang telah dibuat dibagi menjadi subset k. Dalam tesis ini nilai dari k adalah 10, maka akan dilakukan 10 iterasi proses latih dan uji, dengan 9/10 subset sebagai data latih dan 1/10 subset sebagai data uji secara bergantian. Sehingga untuk setiap subset berkesempatan menjadi data uji. Dengan menggunakan cross validation pada data uji dapat meningkatkan akurasi 29% dari yang asalnya 62% pada pemecahan kalimat menjadi kata atau pada penggunaan Term Frequency.Variabel C dan γ sangat berpengaruh pada penelitian ini sebab variable c berguna agar tidak overfiting pada data pelatihan

6 116 sedangkan variable γ berfungsi untuk transformasi ke feature space. Grid search bengfungsi untuk menentukan variable C dan γ terbaik, semakin tinggi C membuat garis pemisah menjadi hardmargin sedangkan terlalu kecilnya variable C akan banyak data yang salah klasifikasi. Pengaruh variable γ jika terlalu besar akan mengakibatkan support vector antara kedua kelas semakin jauh dan jika terlalu kecil mengakibatkan data salah klasifikasi karena akan banyak data yang tidak sesuai dengan kelasnya, bukankah pada SVM hanya mencari bidang pemisah saja tetapi mencari margin yang optimal antara support vector. Sedang pada karakter N-grams diperoleh kenaikan akurasi 43% dari yang asalnya 50% pada data uji. 3. Sesuai dengan karakteristik pada data yang telah dikumpulkan ada beberapa pemrosesan awal yang dibutuhkan a. Akromin adalah mengganti singkatan dengan kata asalnya b. Stopwords adalah menbuang kata kata sambung yang sering mungcul dan tidak bermakna apa-apa c. Tokenisasi adalah mengbuang karakter yang tidak perlu. 4. Pada pemecah kalimat menjadi kata banyaknya fitur menpengaruhi tingkat akurasinya dan pada karakter N-gram tidak mempengaruhi akurasi. 5. Kontibusi dari penelitian ini adalah penerapan karakter N-grams pada pencacah kata dan pengumpulan data set SMS spam Berbahasa Indonesia 8. DAFTAR PUSTAKA [1] Asosiasi Telekomunikasi Seluler Indonesia (ATSI) URL: /jumlah-pelangganselulerdiindonesiahampir-mendekati-jumlah-pendudukindonesia/. diakses pada 13 september [2] Beahaki M. Faisal Bayes Spam Classifier pada Pengembangan Aplikasi Mobile SMS, ITB, 2011 [3] Chaiyaporn Khemapatapan. Thai- English Spam SMS Filtering [4] Cloudmark s Definitive Guide to SMS Spam juni 2011 [5] Fletcher. Tristan, Support Vector Machines Explained, Inggris, [6] Hastie. Cross-validation and bootstrap. February [7] Hong-yan Zhang. Application of Bayesian Method to Spam SMS Filtering 2009 [8] Hsu, Chih-Wei, A Practical Guide to Support Vector Classification, Taiwan, National Taiwan University, [9] José María Gómez Hidalgo. Content Based SMS Spam Filtering [10] M. Taufiq Nuruzzama Independent and Personal SMS Spam Filtering Dept. of Informatics Engineering, State Islamic University Sunan Kalijaga,2011,IEEE International Conference on Computer and Information Technology [11] Tiago A. Almeida,Contributions to the Study of SMS Spam Filtering: New Collection and Results, September 2011 [12] XIA Hu, FU Yan. Sampling of Mass SMSPenyaringan Algoritm Based on Frequent Time Domain Area [13] Joachims. Thorsten, Making Large- Scale SVM Learning Practical, Universitait Dortmund, Jerman, 1999.