BAB IV HASIL DAN PEMBAHASAN

Transkripsi

1 BAB IV HASIL DAN PEMBAHASAN 4.1 Hasil Penelitian Support Vector Machines (SVM) Setelah melalui proses training dan testing dengan metode Support Vector Machines (SVM), diperoleh hasil yang tertera pada lampiran 4, yang akan dijadikan sebagai bahan analisis data sebagai berikut : Tabel 3 Hasil Pengenalan Spam dengan SVM Parameter Hasil ns 500 nh 500 ns s 375 ns h 125 nh h 490 nh s 10 Keterangan : ns : jumlah spam 62

2 nh : jumlah ham ns s : jumlah spam yang benar dikenali sebagai spam ns h : jumlah spam yang dikenali sebagai ham nh h : jumlah ham yang benar dikenali sebagai ham nh s : jumlah ham yang dikenali sebagai spam Data hasil eksperimen dengan metode SVM di atas selanjutnya menjadi bahan untuk proses evaluasi kinerja yang akan diukur dengan beberapa perhitungan sebagai berikut : 1. Recall Spam Recall Ham 〲 Precision Spam

3 Precision Ham F-measure Spam 2 x F-measure Ham 2 x K Nearest Neighbor (knn) Hasil pengenalan metode k-nearest Neighbor (knn) dengan k = 1 sebagaimana terlampir pada lampiran 5 adalah sebagai berikut : 64

4 Tabel 4 Hasil Pengenalan Spam dengan knn Parameter Hasil Ns 500 Nh 500 ns s 464 ns h 36 nh h 431 nh s 69 Keterangan : ns nh : jumlah spam : jumlah ham ns s : jumlah spam yang benar dikenali sebagai spam ns h : jumlah spam yang dikenali sebagai ham nh h : jumlah ham yang benar dikenali sebagai ham nh s : jumlah ham yang dikenali sebagai spam Data hasil eksperimen dengan metode knn di atas selanjutnya menjadi bahan untuk proses evaluasi kinerja yang akan diukur dengan beberapa perhitungan sebagai berikut : 65

5 1. Recall Spam Recall Ham Precision Spam Precision Ham F-measure Spam 2 x

6 F-measure Ham 2 x Naïve Bayes Classifier (NBC) Hasil pengenalan dengan metode Naïve Bayes Classifier (NBC) sebagaimana terlampir pada lampiran 6 direpresentasikan pada tabel berikut : Tabel 5 Hasil Pengenalan Spam dengan NBC Parameter Hasil ns 500 nh 500 ns s 496 ns h 4 nh h 118 nh s 382 Keterangan : ns : jumlah spam 67

7 nh : jumlah ham ns s : jumlah spam yang benar dikenali sebagai spam ns h : jumlah spam yang dikenali sebagai ham nh h : jumlah ham yang benar dikenali sebagai ham nh s : jumlah ham yang dikenali sebagai spam Data hasil eksperimen dengan metode NBC di atas selanjutnya menjadi bahan untuk proses evaluasi kinerja yang akan diukur dengan beberapa perhitungan sebagai berikut : 1. Recall Spam : Recall Ham : 晜 Precision Spam :

8 Precision Ham F-measure Spam 2 x F-measure Ham 2 x

9 4.2 Analisis Hasil Penelitian Recall, Precision dan F-measure Spam Berikut adalah tabel recall, precision dan f-measure spam yang dihasilkan oleh metode Support Vector Machines (SVM), k Nearest Neighbor (knn) dan Naïve Bayes Classifier (NBC). Tabel 6 Recall, Precision dan F-measure Spam Recall Spam Precision Spam F measure Spam SVM knn NBC Berdasarkan tabel di atas dapat terlihat bahwa nilai recall spam tertinggi diperoleh dari hasil pengenalan metode NBC, precision spam tertinggi diperoleh dari hasil pengenalan metode SVM, sedangkan f-measure spam tertinggi diperoleh dari hasil pengenalan metode knn. Metode Support Vector Machines (SVM) menghasilkan recall spam yang lebih rendah dari metode knn dan NBC yaitu sebesar Namun meski demikian metode SVM menghasilkan precision spamtertinggi dibandingkan dengan hasil pengenalan metode knn dan NBC yaitu sebesar F-measure spam yang dihasilkan metode SVM cukup tinggi yaitu sebesar 0.85, meskipun masih berada di bawah f-measure spam knn. Nilai precision spam SVM yang lebih tinggi dari knn dan NBC menunjukkan bahwa SVM sangat efektif dalam mempertahankan ham agar 70

10 tidak dikenali sebagai spam. Hal ini sangat penting, karena jika ham dikenali sebagai spam, maka penerima cenderung untuk tidak membaca tersebut karena menganggapnya sebagai spam. Namun recall spam yang rendah menunjukkan bahwa kinerja SVM dalam mengenali spam lebih rendah dari knn dan NBC. Metode k Nearest Neighbor (knn) menghasilkan recall spam yang cukup tinggi, yaitu sebesar 0.93 meskipun masih di bawah recall spam NBC. Precision spam knn pun cukup tinggi yaitu sebesar 0.87, namun juga masih di bawah precision spam SVM. Untuk F-measure spam knn menghasilkan nilai tertinggi dibandingkan dengan f-measure spam SVM dan NBC yaitu sebesar Metode Naïve Bayes Classifier (NBC) menghasilkan nilai recall spam yang lebih tinggi dari recall spam SVM dan knn yaitu sebesar Namun, precision spam yang dihasilkan sangat rendah yaitu sebesar Hal ini menyebabkan nilai f- measure spam yang dihasilkan oleh metode NBC ini menjadi rendah, yaitu sebesar Nilai recall spam NBC yang lebih tinggi dari SVM dan knn menunjukkan bahwa kinerja NBC dalam mengenali spam lebih baik dari SVM dan knn. Hal ini juga sangat penting mengingat kerugian yang banyak terjadi akibat banyaknya spam yang dikenali sebagai ham sebagaimana disebutkan pada latar belakang penelitian. Namun precision spam yang sangat rendah menunjukkan bahwa kemampuan NBC dalam mengenali ham lebih rendah dari SVM dan knn sehingga banyak ham yang dikenali sebagai spam. 71

11 Grafik hasil perhitungan nilai recall, metode Support Vectore Machines (SVM), k precision dan f-measure spam dari Nearest Neighbor (knn) dan Naïve Bayes Classifier (NBC) digambarkan seperti di bawah ini : SVM knnn NBC Recall Spam Precision Spam F Measure Spam Gambar 22 Grafik Nilai Recall, Precision dan F-measure Spam Recall, Precision dan F-measure Ham Berikut adalah tabel recall, precision dan f-measure spam yang dihasilkan oleh metode Support Vector Machines Bayes Classifier (NBC) : (SVM), k Nearest Neighbor (knn) dan Naïve Tabel 7 Recall, Precision dan F-measure Ham SVM knn NBC Recall Ham Precision Ham F measure Ham

12 Berdasarkan tabel di atas, nilai recall ham tertinggi dihasilkan oleh metode SVM yaitu sebesar 0.98, precision ham tertinggi dihasilkan oleh metode NBC yaitu sebesar 0.97, sedangkan f-measure ham tertinggi dihasilkan oleh metode knn yaitu sebesar Metode Support Vector Machines (SVM) menghasilkan nilai recall ham yang sangat tinggi, yaitu sebesar Namun, precision ham yang dihasilkan SVM lebih rendah dari precision ham hasil knn dan NBC yaitu sebesar Nilai f-measure ham yang dihasilkan oleh metode SVM cukup tinggi, yaitu sebesar 0.88, meskipun masih di bawah f-measureham knn. Nilai recall ham SVM yang lebih tinggi dari knn dan NBC menunjukkan bahwa kinerja SVM dalam mengenali ham lebih baik dari knn dan NBC. Hal ini berarti proporsi ham yang dikenali sebagai spam lebih rendah dari knn dan NBC. Namun nilai precision ham SVM yang lebih rendah dari knn dan NBC menunjukkan bahwa kinerja SVM dalam mengenali spam tidak lebih baik dari knn dan NBC. Metode k Nearest Neighbor (knn) menghasilkan nilai recall ham yang cukup tinggi yaitu sebesar 0.86 meskipun masih di bawah recall ham SVM. Precision ham yang dihasilkan metode knn pun cukup tinggi yaitu sebesar 0.92 meskipun masih di bawah precision ham NBC. Sedangkan nilai f-measure ham yang dihasilkan knn lebih tinggi dari f-measure ham SVM dan NBC yaitu sebesar

13 Metode Naïve Bayes Classifier (NBC) menghasilkan nilai recall ham yang sangat rendah yaitu sebesar Namun, nilai precision ham yang dihasilkan NBC sangat tinggi, yaitu sebesar 0.97, lebih tinggi dari precision ham SVM dan knn. Sedangkan nilai f-measure ham yang dihasilkan NBC ini cukup rendah, yaitu sebesar Nilai precision ham NBC yang lebih tinggi dari SVM dan knn menunjukkan bahwa kinerja NBC dalam mengenali spam lebih tinggi dari SVM dan knn. Sementara dalam mengenali ham kinerja NBC sangat rendah jika dibandingkan dengan SVM dan knn. Hal ini ditunjukkan oleh rendahnya nilai recall ham yang dihasilkan oleh NBC. Secara keseluruhan, hasil perhitungan nilai recall, precision dan f-measure ham yang dihasilkan oleh metode Support Vector Machines (SVM), k Nearest Neighbor (knn) dan Naïve Bayes Classifier (NBC) digambarkan dalam grafik di bawah ini : 74

14 SVM knnn NBC Recall Ham Precision Ham F Measure Ham Gambar 23 Grafik Nilai Recall, Precision dan F-measure Spam Hasil penelitian ini menunjukkan bahwa SVM lebih baik dalam konteks pengenalan ham. Hal ini ditunjukkan oleh nilai precision spam dan recall ham yang lebih tinggi dari metode knn dan NBC. Sedangkan dalam konteks pengenalan spam NBC menunjukkan hasil yang lebih baik dengan nilai recall spam dan precision ham yang lebih tinggi dari SVM dan knn. Hal tersebut dapat disebabkan karena struktur spam lebih kompleks dari ham. Ketersebaran data spam yang lebih kompleks padaa ruang vector menyebabkan hyperplane yang dihasilkan oleh algoritma SVM tidak dapat melakukan pengelompok kkan spam sebaik pengelompokkan ham. 75

15 Hasil penelitian ini berbeda dengan beberapa hasil penelitian sebelumnya yang telah disebutkan pada Bab I. Hal ini dapat disebabkan oleh beberapa faktor berikut : 1. Perbedaan jenis dan jumlah feature yang digunakan baik dalam proses training maupun testing. 2. Perbedaan dalam teknik pre-processing data. 3. Perbedaan dalam teknik pembobotan data. 4. Perbedaan jenis kernel yang digunakan. 76