ANALISIS SPAM FILTERING PADA MAIL SERVER DENGAN METODE BAYESIAN CHI-SQUARE DAN NAIVE BAYES CLASSIFIER SKRIPSI

Transkripsi

1 ANALISIS SPAM FILTERING PADA MAIL SERVER DENGAN METODE BAYESIAN CHI-SQUARE DAN NAIVE BAYES CLASSIFIER SKRIPSI Diajukan untuk Memenuhi Salah Satu Syarat Mencapai Gelar Strata Satu Jurusan Informatika Disusun oleh : Andriyanto Dwi N NIM. M JURUSAN INFORMATIKA FAKULTAS MATEMATIKA & ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2013 i

2 HALAMAN JUDUL ii

3 iii

4 ANALISIS SPAM FILTERING PADA MAIL SERVER DENGAN METODE BAYESIAN CHI-SQUARE DAN NAIVE BAYES CLASSIFIER ANDRIYANTO DWI NURAHMAT Jurusan Informatika.Fakultas Matematika dan Ilmu Pengetahuan Alam. Universitas Sebelas Maret. ABSTRAK Spam pada merupakan hal yang sangat menggangu maka diperlukan filtering untuk mengklasifikasikan , terdapat beberapa metode yang dapat mengklasifikasikan . Metode tersebut antara lain Bayesian Chi-Square dan Naïve Bayes Classifier, kedua metode tersebut mengklasifikan secara matematis, untuk mengklasifikasikan berdasarkan kata, frasa dan domain yang terdapat didalam . Penelitian analisis spam filtering pada mail server ini menggunakan metode Bayesian-Chi Square dan Naïve Bayes Classifier. Kedua metode dibandingkan untuk mengetahui metode yang lebih efektif digunakan pada spam filtering. Keduanya diintegrasikan dengan mail server, selanjutnya dilakukan training dengan menggunakan dataset TREC2007 yang telah diklasifikasikan menjadi ham dan spam. Sampel data diperoleh dengan mengambil sebagian data secara random dari TREC2007. Pada tahap pengujian masing-masing bagian, dilakukan pengujian dengan sample data random yang berjumlah Untuk menginputkan data training dilakukan secara bertahap tahap I data training berjumlah 750 , tahap II berjumlah , dan terakhir selanjutnya sampai pada tahap pengujian, pengujian dilakukan untuk setiap tahap training data di kedua metode tersebut. Pada metode Bayesian Chi-Square dilakukan pengujian dengan mengubah threshold antara spam dan ham, sehingga akan diketahui threshold yang terbaik untuk digunakan. Hasil penelitian dari serangkaian pengujian menunjukkan metode Bayesian Chi-Square mempunyai akurasi terbaik pada saat threshold 40 dan 60, dengan nilai akurasi 87%. Sementara metode Naïve Bayes Classifier memiliki hasil yang lebih baik dengan required default 5 mampu menghasilkan akurasi terbaik mencapai 92,6%, akurasi tinggi juga mengakibatkan beberapa tiper error menjadi tinggi seperti error spam menjadi ham yang berakibat mengganggu kinerja server, error kedua adalah ham menjadi spam akibatnya yang seharusnya berada diinbox akan kespam atau terhapus. Untuk metode bayesian chi-square terdapat error unsure akibatnya user harus mengklasifikasikan secara mandiri tetapi nilainya berbanding terbalik dengan akurasi. Kata Kunci : Bayesian-Chi Square, , Ham, Naïve Bayes Classifier, Spam iv

5 SPAM FILTERING ANALYSIS ON THE MAIL SERVER WITH THE BAYESIAN CHI-SQUARE METHODS AND THE NAIVE BAYES CLASSIFIER METHODS ANDRIYANTO DWI NURAHMAT Department of Informatic. Mathematic and Science Faculty. Sebelas Maret University ABSTRACT Spam is a very disturbing case, so it is necessary to filtering the classify and there are several methods that can classify the . the methods are Bayesian Chi-Square and Naïve Bayes Classifier, both are classify the mathematically based on words, phrases and domains contained within the . this Research of analysing spam filtering on the mail server is using the Bayesian-Chi Square and Naïve Bayes Classifier methods. Both were compared to determine which method is more effective on spam filtering. the methods could be integrated with the mail server, then training using the data set TREC2007 which have been classified into ham and spam. the Samples obtained take some random data from TREC2007. In the testing phase of each pieces, performed testing with 300 sample data of random . gradually, Input training data first phase up to 750 s, second phase up to , and the last was next, the testing phase, the testing is done for each phase of training data in both methods. the Bayesian Chi- Square test method is done by changing the threshold between spam and ham, so there will know which is the best threshold to use. based on test result, the conclusion are the Bayesian Chi-Square method has the best accuracy threshold at 40 and 60, with the accuracy was 87%. While Naïve Bayes Classifier method had better results with the required default 5 is able to produce the best accuracy reaches 92,6%, this high accuracy also resulted in some type of the error such as errors result in spam being the ham that interfere the performance of the server, the second error is ham being spam which is the that should be in inbox will become spam or deleted. there are error unsure in Chisquare bayesian that consequently the user must classify independently but its value is inversely proportional to accuracy. Keywords: Bayesian-Chi Square, , Ham, Naïve Bayes Classifier, Spam v

6 MOTTO Karena sesungguhnya sesudah kesulitan itu ada kemudahan, sesungguhnya sesudah kesulitan itu ada kemudahan, Maka apabila kamu telah selesai (dari sesuatu urusan), kerjakanlah dengan sungguh-sungguh (urusan) yang lain (Q.S Alam Nasyrah : 5-7) Ingatlah, sesungguhnya pertolongan Allah itu amat dekat (Q.S Al-Baqarah : 214) Sesungguhnya sesudah kesulitan itu pasti ada kemudahan. Maka apabila kamu telah selesai (dari suatu urusan), kerjakanlah dengan sungguh-sungguh urusan yang lain. Dan hanya kepada Tuhanmulah hendaknya kamu berharap. (Q.S. 94 : 6-8) Sesuatu yang belum dikerjakan, seringkali tampak mustahil, kita baru yakin kalau kita telah berhasil melakukannya dengan baik (Evelyn Underhill) vi

7 PERSEMBAHAN Kupersembahkan karya ini kepada : Untuk Ayah ibu dan kakak yang selalu memberikan perhatian penuh untuk sahabatku Monica Tanuhita Putri yang selalu sabar untuk mengingatkan Teman-teman Informatika UNS khususnya angkatan 2008 untuk kebersamaan dan dukungannya vii

8 KATA PENGANTAR Bismillahirrahmaanirrahiim Puji syukur penulis panjatkan kehadirat Allah Subhanahu Wa Ta ala yang senantiasa memberikan nikmat dan karunia-nya sehingga penulis dapat menyelesaikan skripsi dengan judul Analisis Spam Filtering pada Mail Server dengan Metode Bayesian-Chi Square dan Naïve Bayes classifier, yang menjadi salah satu syarat wajib untuk memperoleh gelar Sarjana Informatika di Universitas Sebelas Maret (UNS) Surakarta. Penulis menyadari akan keterbatasan yang dimiliki, begitu banyak bimbingan, bantuan, serta motivasi yang diberikan dalam proses penyusunan skripsi ini. Oleh karena itu, ucapan terima kasih penulis sampaikan kepada : 1. Ibu Umi Salamah,S.Si.,M.Kom. selaku Ketua Jurusan S1 Informatika, 2. Bapak Abdul aziz, S.kom, M.Cs. selaku Dosen Pembimbing I yang penuh kesabaran membimbing, mengarahkan, dan memberi motivasi kepada penulis selama proses penyusunan skripsi ini, 3. Bapak Ristu Saptono, S.Si. MT. selaku Dosen Pembimbing II yang penuh kesabaran membimbing, mengarahkan, dan memberi motivasi kepada penulis selama proses penyusunan skripsi ini, 4. Bapak Wiharto, S.T., M.Kom. selaku Pembimbing Akademik yang telah banyak memberi bimbingan dan pengarahan selama penulis menempuh studi di Jurusan Informatika FMIPA UNS, 5. Bapak dan Ibu dosen di Jurusan Informatika FMIPA UNS yang telah mengajar penulis selama masa studi dan membantu dalam proses penyusunan skripsi ini, 6. Ibu, Bapak, dan kakak-kakakku, serta teman-teman yang telah memberikan bantuan sehingga penyusunan skripsi ini dapat terselesaikan. Penulis berharap semoga skripsi ini dapat bermanfaat bagi semua pihak yang berkepentingan. Surakarta, Mei 2013 Penulis viii

9 DAFTAR ISI HALAMAN JUDUL... ii ABSTRAK... iv ABSTRACT... v MOTTO... vi PERSEMBAHAN... vii KATA PENGANTAR... viii DAFTAR ISI... ix DAFTAR TABEL... xi DAFTAR GAMBAR... xii DAFTAR LAMPIRAN... xiii DAFTAR SIMBOL... xiv BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian Sistematika Penulisan... 4 BAB II TINJAUAN PUSTAKA Landasan Teori Mail SPAM MAIL Spam Filtering Mail Server Statistical Filtering ix

10 2.1.6 Metode bayesian Rumus Bayes Metode Chi-Square Metode Naive Bayes Classifier Penelitian Terkait Rencana Penelitian BAB III METODE PENELITIAN Studi Literatur Pengumpulan Data Perancangan Instalasi Penginputan Data Pengujian BAB IV HASIL DAN PEMBAHASAN Perbandingan Hasil Pengujian Metode Pembahasan BAB V KESIMPULAN DAN SARAN Kesimpulan Saran LAMPIRAN x

11 DAFTAR TABEL Tabel 3. 1 Data Training 50% Tabel 3. 2 Data Training 70% Tabel 3. 3 Data Training 90% Tabel 3. 4 Identifikasi Tabel 4. 1 Hasil pengujian data training 50%...24 Tabel 4. 2 Tabel hasil pengujian 70% Tabel 4. 3 Hasil pengujian 90% xi

12 DAFTAR GAMBAR Gambar 2. 1 Mail Server... 6 Gambar 2. 2 Proses Pengiriman Mail... 9 Gambar 3. 1 Alur Rancangan Penelitian...20 Gambar 4. 1 Pengujian data training 50%...25 Gambar 4. 2 Pengujian data training 70% Gambar 4. 3 hasil Pengujian data training 90% xii

13 DAFTAR LAMPIRAN 1. Contoh Perhitungan Metode Bayesian Chi square Contoh Perhitungan Metode Naive Bayes classifier Data training 50% Data training 70% Data training 90% Perbandingan antar Treshold data input 50% xiii

14 DAFTAR SIMBOL p(s W) : Probabilitas suatu adalah spam dengan diketahui kata Word p(w S) : Probabilitas suatu kata "word" terdapat pada spam P(W H) : Probabilitas suatu kata "word" terdapat pada ham P(S) : Probabilitas suatu pada spam P(H) : Probabilitas suatu pada ham n : jumlah yang didalamnya terdapat kata "word" q : jumlah yang mengandung kata "word" merupakan spam q : Probabilitas kata "word" terdapat pada spam x : Probabilitas kata yang tidak terdaftar dalam database s : Bobot yang diberikan kepada probabilitas tersebut f(w) : Probabilitas lokal kata "word" dengan metode Robinson H : indikator tingkat ham sebuah S : indikator tingkat spam sebuah I : Probabilitas secara keseluruhan xiv