BAB IV EKSPERIMEN Pada bab ini dibahas mengenai eksperimen penggunaan SVM dalam pendeteksian intrusi pada jaringan. Pembahasan ini meliputi tujuan yang ingin dicapai melalui eksperimen ini, parameter evaluasi yang digunakan, skenario eksperimen, pelaksanaan eksperimen serta hasil dan analisisnya. 4.1 Tujuan Terdapat beberapa hal yang menjadi tujuan pelaksanaan eksperimen yaitu : 1. Mereplikasi hasil penelitian [MUK02, LAS04, LAS05] kemudian membandingkan hasil pencarian parameter dan metode preprocessing data sesuai hasil analisis Tugas Akhir dengan yang digunakan pada paper pacuan. 2. Memilih model dari alternatif implementasi pendeteksian intrusi dengan SVM. 3. Menguji skalabilitas model. Eksperimen ini dilakukan untuk mengetahui pengaruh jumlah data pelatihan terhadap efektifitas dan efisiensi model. Eksperimen dilakukan untuk mengetahui jumlah data pelatihan yang mampu diproses oleh SVM serta waktu yang dibutuhkan. Model dianggap scalable jika mampu menangani pelatihan pada data yang jumlahnya cukup besar dalam waktu yang dapat ditoleransi oleh pengguna nantinya. 4. Mengetahui efek beberapa perubahan dalam rangka upaya peningkatan performansi model. Adapun perubahan yang ingin diketahui efeknya adalah: a. Penggunaan nilai C berbeda untuk mengatasi masalah imbalanced dataset yang mengakibatkan rendahnya nilai true positive rate b. Penghilangan atribut yang kurang penting (feature selection) c. Pelatihan dengan data dalam jumlah besar dan update model hasil pelatihan dengan incremental training. IV-1
IV-2 4.2 Parameter Evaluasi Parameter evaluasi hasil eksperimen yang akan digunakan adalah detection rate, false positive rate, akurasi data secara keseluruhan, akurasi pada setiap kelas data, f- measure, waktu pelatihan (T train ), waktu pengujian (T test ), dan ROC Curve serta t-test (statistical significant test). Penjelasan mengenai parameter evaluasi ini dapat dilihat pada lampiran G. Untuk pemilihan model yang dijadikan prioritas utama adalah f-measure. Jika nilai f-measure sama maka model dipilih berdasarkan waktu pelatihan dan waktu pengujian. 4.3 Skenario Sesuai dengan tujuan eksperimen terdapat empat skenario utama yang akan dilakukan. Penjelasan detail mengenai skenario eksperimen dapat dilihat pada lampiran H. 4.3.1 Replikasi Hasil Eksperimen Paper Acuan Pada skenario ini akan dilakukan eksperimen menggunakan skenario pada paper acuan. Akan tetapi, karena adanya beberapa hal yang tidak jelas maka digunakan beberapa asumsi yang dapat dilihat pada lampiran H. 4.3.2 Perbandingan Performansi Alternatif Implementasi SVM Tabel IV-1 Alternatif implementasi SVM untuk pendeteksian intrusi Id Model Deteksi Metode Deteksi Teknik MD1 Anomaly One Class SVM (supervised training) MD2 Anomaly One Class SVM (unsupervised training) MD3 Misuse Detection SVM Biner MD4 Misuse Detection Multi Class SVM (One-against-one) MD5 Misuse Detection Multi Class SVM ( One-against-all) MD6 Misuse Detection SVM Biner Multi Class SVM One-Against-One MD7 Misuse Detection SVM Biner Multi Class SVM One-Against-All Pada tabel IV-1 dapat dilihat daftar alternatif implementasi model SVM untuk pendeteksian intrusi. Pada eksperimen ini akan dilakukan perbandingan: 1. Perbandingan implementasi metode anomaly detection Dalam skenario ini model yang dibandingkan adalah MD1 dan MD2. 2. Perbandingan implementasi metode misuse detection Dalam skenario ini model yang dibandingkan adalah MD4,MD5, MD6 dan MD7 yang semuanya dapat memprediksi kategori intrusi, tidak seperti MD3 yang hanya
IV-3 menggunakan dua kelas (normal dan intrusi). Oleh karena itu, dalam hal ketepatan menentukan kategori intrusi MD3 hanya dijadikan sebagai referensi. Jadi, model untuk metode misuse detection dipilih dari MD4,MD5,MD6 dan MD7. Setiap perbandingan model akan dilakukan pada dua skenario yaitu komposisi data intrusi pada data pelatihan seimbang dan sebaliknya. 4.3.3 Pengujian skalabilitas model Dalam eksperimen ini akan dilakukan beberapa kali pelatihan dan dalam setiap pelatihan jumlah data akan ditambah. Pelatihan awal menggunakan 250.000 data dan pada pelatihan berikutnya data ditambah sebanyak 250.000, sedangkan untuk pengujian digunakan satu juta data. Karena terbatasnya jumlah data normal, maka data pelatihan dan pengujian yang akan digunakan memiliki distribusi yang sama dengan data KDDCUP 99. 4.3.4 Upaya Peningkatan Kinerja Model Terbaik a. Penggunaan nilai C berbeda untuk setiap kelas Dalam eksperimen ini akan dilakukan pencarian nilai C yang dapat meningkatkan akurasi SVM dalam mendeteksi jenis intrusi yang sebelumnya hanya dapat dideteksi dengan akurasi yang rendah terutama untuk jenis intrusi R2L dan U2R. Dalam eksperimen ini akan digunakan rasio data intrusi 0,1%, 0,5%, 1%, 2%, 5% dengan distribusi kelas data yang sama dengan dengan distribusi data pada data KDDCUP 99. Dengan demikian dapat diketahui pada tingkat keseimbangan yang bagaimana perubahan nilai C ini dapat membantu. b. Penghilangan atribut yang kurang penting Dalam eksperimen ini akan dilakukan pencarian atribut penting dengan menggunakan f-score. Selanjutnya eksperimen 4.3.3 diulang dengan menggunakan berbagai jumlah atribut. Untukj perhitungan nilai f-score digunakan 5 partisi data (data intrusi seimbang) dari skenario perbandingan alternatif implementasi SVM.
IV-4 c. Incremental training Pada eksperimen ini scenario pada bagian 4.3.3 akan diulang dengan incremental training. Nilai parameter β untuk incremental training akan dicari menggunakan sebagian kecil data. 4.4 Pelaksanaan 4.4.1 Lingkungan Eksperimen Eksperimen dilakukan pada system operasi Windows Xp Sp 2 pada PC dengan spesifikasi prosesor AMD Athlon XP 2500 (1,83 Ghz), RAM 1 GB dan harddisk 80 GB. 4.4.2 Tahapan Data Preprocessing Data KDDCUP 99 sudah dalam bentuk daftar nilai atribut data yang dipisahkan dengan tanda koma. Sebelum eksperimen dilakukan ada beberapa tahapan yang dilakukan yaitu: 1. Data KDDCUP 99 diubah ke dalam format LibSVM/ SVMLight. Dalam proses ini data kategori diubah seperti yang sudah dijelaskan pada BAB III. 2. Scaling/normalisasi data. 3. Pemisahan data berdasarkan kategori, jenis intrusi dan jenis servis. 4. Selanjutnya pembuatan dataset sesuai skenario eksperimen. Pengambilan data untuk membuat dataset tersebut dilakukan secara acak dengan tetap menjaga distribusi data untuk setiap kelas sesuai dengan spesifikasi eksperimen (stratified). 4.4.3 Tahapan Pembelajaran Sebelum pelatihan dilakukan terlebih dahulu dilakukan pencarian estimasi parameter dengan grid search. Kemudian, pelatihan dilakukan dengan menggunakan parameter ini. Model hasil pelatihan selanjutnya digunakan untuk proses pengujian sesuai dengan skenario eksperimen. Untuk pelatihan pada skenario perbandingan alternative implementas SVM digunakan Cache sebesar 512 MB dan 800 MB pada pengujian skalabilitas SVM dan peningkatan kinerja moder.
IV-5 4.5 Hasil Eksperimen 4.5.1 Replikasi Hasil Eksperimen Paper Acuan 4.5.1.1 Eksperimen [MUK02A] Tabel IV-2 Hasil pencarian parameter pada dataset eksperimen [MUK02A] Data Tanpa Normalisasi Dinormalisasi ke rentang nilai 0-1 k C g Parameter Terbaik Awal Akhir Step Awal Akhir Step C g Akurasi (%) 5 2 3 2 20 2 2 2-3 2-20 2 2 2 19 2-19 99,7675 5 2 18 2 20 2 0,5 2-18 2-20 2-0,5 2 18 2-19,5 99,7812 5 2-5 2 15 2 2 2-5 2 15 2 2 2 1 2-1 99,9179 5 2 0 2 2 2 0,5 2 0 2-2 2-0,5 2 1,5 2-2 99,9316 Tabel IV-3 Hasil eksperimen dengan dataset [MUK02A] Metode Replikasi [MUK02A] (Tanpa Normalisasi) Tanpa Normalisasi + Parameter grid search Normalisasi ke rentang nilai [0,1]+ Parameter grid search Efektifitas (%) Efisiensi (detik) DR FP F-measure Akurasi T train T test 93,71 17,43 94,79 91,52 94,2 22,9 3,45 36,75 2,4 4,64 3,21 0,57 99,87* 2,13 99,67 99,47 5,4 1,1 0,04 0,79 0,09 0,14 2,22 0,32 99,77 0,53 99,82* 99,71* 0,80* 1,00* 0,28 0,27 0,13 0,21 0,42 0,00 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan yang Gambar IV-1 Nilai F-measure hasil eksperimen pada dataset [MUK02A] Pada tabel IV-2 dapat dilihat hasil pencarian parameter dengan menggunakan grid search. Hasil eksperimen dapat dilihat pada tabel IV-3 (perinciannya lihat pada lampiran I). Berdasarkan hasil statistical significant test (lihat lampiran I) pada F- measure, maka penggunaan parameter hasil grid search dengan normalisasi memiliki performansi yang. Hal ini disebabkan oleh performansi SVM sangat
IV-6 dipengaruhi oleh parameternya. Jadi, wajar jika penggunaan parameter hasil grid search lebih baik karena dapat mengestimasi parameter. Normalisasi data pada SVM dapat menghilangkan dominasi atribut yang rentang nilainya jauh lebih besar. Normalisasi data pada eksperimen ini mengubah rentang nilai atribut ke rentang nilai [0,1], yang mengakibatkan jumlah perhitungan bilangan bernilai besar lebih sedikit. Selain itu, jumlah perhitungan bilangan bernilai besar juga dipengaruhi oleh nilai parameter C. Dengan demikian, metode yang menggunakan normalisasi dan nilai parameter C yang lebih kecil membutuhkan waktu pelatihan dan pengujian yang jauh lebih singkat. 4.5.1.2 Eksperimen [MUK02B] Tabel IV-4 Hasil pencarian parameter pada dataset eksperimen [MUK02B] Data Tanpa Normalisasi Dinormalisasi ke rentang nilai 0-1 k C g Parameter Terbaik Awal Akhir Step Awal Akhir Step C g Akurasi (%) 5 2 5 2 20 2 2 2-2 2-17 2 2 2 15 2-16 98,4485 5 2 14 2 16 2 0,5 2-15 2-17 2-0,5 2 15.5 2-17 98,6646 5 2-5 2 15 2 2 2-5 2 15 2 2 2 10 2-3 99,1752 5 2 6 2 8 2 0,5 2-1 2-4 2-0.5 2 10 2-2,5 99,2537 Pada tabel IV-4 dapat dilihat hasil pencarian parameter dengan menggunakan grid search. Hasil eksperimen dapat dilihat pada tabel IV-5 (perinciannya lihat pada lampiran C). Berdasarkan hasil statistical significant test pada F-measure, maka penggunaan parameter hasil grid search dengan normalisasi lebih baik secara significant dibandingkan dengan dua metode lainnya. Tabel IV-5 Hasil eksperimen dengan dataset [MUK02B] Metode Replikasi [MUK02B] (Tanpa Normalisasi) Tanpa Normalisasi + Parameter grid search Normalisasi ke rentang nilai [0,1]+ Parameter grid search Efektifitas (%) Efisiensi (detik) DR FP F-measure Akurasi T train T test 77,85 0* 87,54 82,38 78,4 21 0,87 0 0,55 0,68 0,84 0,67 99,34 10,94 97,45 97,62 50,7 2,6 0,21 27,8 6,19 4,21 29,47 0,52 99,65* 2,59 99,49* 98,9* 4,1* 1,4* 0,16 0,74 0,12 0,21 0,32 0,52 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan yang Rentang nilai atribut yang lebih besar dapat mempengaruhi posisi sebuah data di feature space sehingga bidang pemisah menjadi lebih sulit untuk ditemukan
IV-7 apalagi jika atribut tersebut adalah termasuk atribut yang kurang penting maka dominasi dari nilai atribut ini malah dapat mengeser bidang pemisah dari posisi yang ideal. Hal ini mengakibatkan diperlukan nilai penalti error yang lebih besar (C) dan waktu pelatihan yang lebih lama (jumlah iterasi yang lebih banyak untuk proses optimasi bidang pemisah ). Gambar IV-2 Nilai F-measure hasil eksperimen pada dataset [MUK02B] Jika kita melihat replikasi hasil [MUK02B] akurasi terhadap data normal adalah 100%, tetapi akurasi untuk kelas data R2L adalah 0%. Nilai C yang digunakan adalah 1000. Hasil ini menjadi jauh lebih baik ketika digunakan parameter hasil grid search yang menggunakan nilai C jauh lebih besar (46340.95). Pada eksperimen selanjutnya akan digunakan parameter hasil grid search dan normalisasi data karena dapat menghasilkan performansi yang lebih baik pada SVM. 4.5.1.3 Eksperimen [LAS04] Pada tabel IV-6 dapat dilihat hasil pencarian parameter yang dilakukan pada data yang memiliki rasio data intrusi sama dengan nila parameter nu. Dengan metode normalisasi data yang berbeda terdapat beberapa parameter yang berbeda karena memang data pelatihannya memiliki nilai yang berbeda. i. Parameter nu bernilai sama dengan rasio intrusi Hasil eksperimen pada tabel IV-7 menunjukkan secara umum performansi yang dihasilkan pada metode normalisasi yang berbeda tidak jauh berbeda. Hal ini dapat juga dilihat pada kurva ROC dan perincian hasil eksperimen pada lampiran I. Akan tetapi, berdasarkan hasil statistical significant test, urutan metode normalisasi data yang adalah hasil analisis Tugas Akhir, metode normalisasi data [LAS05], dan metode normalisasi data [LAS04].
IV-8 Tabel IV-6 Hasil pencarian parameter dengan grid search dengan nilai nu=rasio data intrusi Metode Normalisasi Data [LAS04] [LAS05] Hasil Analisis TA Parameter Nu C g 0,01 2 3 2-7 0,02 2 3 2-10 0,03 2 3 2-11 0,04 2 3 2-9 0,05 2 3 2-9 0,1 2 3 2-6 0,2 2 3 2-7 0,01 2 3 2-14 0,02 2 3 2-10 0,03 2 3 2-9 0,04 2 3 2-9 0,05 2 3 2-9 0,1 2 3 2-11 0,2 2 3 2-11 0,01 2 3 2-7 0,02 2 3 2-10 0,03 2 3 2-11 0,04 2 3 2-9 0,05 2 3 2-9 0,1 2 3 2-4 0,2 2 3 2-7 Tabel IV-7 Hasil eksperimen pada data dengan rasio intrusi =nu Normalisasi Data Efektifitas (%) DR FP F-measure Akurasi [LAS04] 52,11 3,04 52,05 94,70 9,34 2,66 8,86 4,00 [LAS05] 55,43 2,58* 56,31 95,41* 10,77 2,16 9,53 3,18 Hasil Analisis TA 57,14* 2,81 57,86* 95,08 6,61 2,72 5,74 4,08 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi * menunjukkan yang Pada gambar IV-1 dapat dilihat nilai parameter efek nilai parameter g berbeda pada One Class SVM. Nilai parameter g ini sebanding dengan lebar area yang mencakup data normal (pada One Class SVM). Pada metode normalisasi data dengan metode [LAS04] dan [LAS05] umumnya diperlukan nilai parameter gamma (g) yang lebih kecil. Hal ini menunjukkan bahwa metode normalisasi data dengan metode [LAS04] dan [LAS05] mengakibatkan data normal menjadi lebih berdekatan dengan data anomali di feature space. Selain itu, dari hasil pencarian parameter dengan grid search, pencarian parameter pada data dengan normalisasi hasil Tugas Akhir membutuhkan waktu yang lebih singkat dari pada metode normalisasi data yang lain.
IV-9 Dengan kata lain data dengan metode normalisasi hasil Tugas Akhir lebih mudah untuk dipisahkan sehingga memiliki performansi yang lebih baik. Gambar IV-3 Nilai F-measure pada data dengan rasio intrusi =nu Gambar IV-4 One Class SVM dengan nilai parameter g 0,1, 1,0 dan 10 ii. Metode normalisasi data [LAS05] maupun [LAS04] masih memungkinkan setiap atribut memiliki rentang nilai yang berbeda walaupun perbedaan rentang nilai ini relatif kecil. Hal ini tidak begitu berpengaruh karena tanpa normalisasi pun SVM sudah memiliki performansi yang cukup baik (lihat hasil eksperimen sebelumnya). Adapun perbedaan metode normalisasi [LAS05] dan [LAS04] adalah pada representasi data kategori. Pada metode normalisasi data [LAS04], data kategori tidak dinormalisasi seperti atribut bertipe numerik. Dengan demikian, metode normalisasi [LAS05] menghasilkan performansi yang lebih baik karena pada metode normalisasi ini atribut kategori memiliki kontribusi yang sama dengan atribut numerik. Parameter nu bernilai tetap dengan rasio data intrusi bervariasi
IV-10 Tabel IV-8 menunjukkan hasil eksperimen dengan menggunakan rasio data intrusi bervariasi dengan parameter nu = 0.05. Pada skenario ini berdasarkan statistical significant test urutan metode normalisasi adalah [LAS05], hasil Tugas Akhir, metode normalisasi [LAS04]. Metode normalisasi data [LAS05] adalah yang, karena nilai parameter nu yang digunakan cukup besar. Pada skenario sebelumnya juga dapat dilihat (pada lampiran I), dengan nilai parameter nu yang besar dan rasio data intrusi yang lebih besar metode normalisasi [LAS04] maupun [LAS05] memiliki performansi yang lebih baik. Metode normalisasi data [LAS05] pada data dengan rasio data intrusi yang lebih besar mengakibatkan SVM memiliki data anomali yang cukup sehingga dapat memisahkan data anomali dengan lebih baik. Tabel IV-8 Hasil eksperimen pada data dengan rasio intrusi bervariasi, nu =0.05 Normalisasi Data Efektifitas (%) DR FP F-measure Akurasi [LAS04] 70,40 14,25 42,60 86,50 18,98 17,50 11,78 14,45 [LAS05] 75,84* 14,16* 46,18* 86,70* 15,97 17,73 11,69 14,79 Hasil Analisis TA 73,63 14,32 44,94 86,40 15,37 17,90 11,71 15,08 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai Gambar IV-5 Nilai F-measure pada data dengan rasio intrusi bervariasi, nu =0.05 iii. Parameter nu nilainya bervariasi dengan rasio data intrusi tetap Pada tabel IV-9 dapat dilihat hasil eksperimen pada skenario menggunakan data dengan rasio data intrusi = 0.05 dan parameter nu bervariasi. Berdasarkan statistical significant test pada nilai f-measure maka metode normalisasi data
IV-11 Tugas Akhir adalah yang. Untuk eksperimen selanjutnya menggunakan akan digunakan metode normalisasi data hasil analisis Tugas Akhir karena merupakan yang berdasarkan statistical significant test pada seluruh skenario yang telah dilakukan (perincian hasilnya dapat dilihat pada lampiran I). Tabel IV-9 Hasil eksperimen pada data dengan nilai parameter nu bervariasi, rasio data intrusi=0.05 Normalisasi Data Efektifitas (%) DR FP F-measure Akurasi [LAS04] 49,02 4,17 43,55 93,42 24,25 5,35 10,10 4,03 [LAS05] 48,75 4,02 44,21 93,55 23,47 5,48 11,38 4,28 Hasil Analisis TA 51.90* 3,91* 47,89* 93,81* 22,19 5,51 10,47 4,31 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai Gambar IV-6 Nilai F-measure pada data nilai parameter nu bervariasi, rasio data intrusi=0.05 4.5.1.4 Eksperimen [LAS05] Tabel IV-10 Hasil pencarian parameter untuk dataset [LAS05] Normalisasi Data [LAS05] [LAS04] Hasil Analisis TA C g Parameter Terbaik Awal Akhir Step Awal Akhir Step C g Akurasi (%) 2 5 2 15 2 2 2 3 2-15 2-2 2 7 2-9 98,652 2 6 2 8 2 0,5 2-8 2-10 2-0,5 2 7,5 2-9 98,7019 2 1 2 15 2 2 2 1 2-15 2-2 2 9 2-11 97,6535 2 8 2 10 2 0,5 2-10 2-12 2 0,5 2 9 2-11 97,6535 2 5 2 15 2 2 2 3 2-15 2-2 2 11 2-7 98,7519 2 10 2 12 2 0,5 2-6 2-8 2-0,5 2 10 2-7 98,8517
IV-12 Pada tabel IV-10 dapat dilihat parameter hasil grid search. Sama seperti eksperimen sebelumnya untuk metode normalisasi data [LAS04] dan [LAS05] diperlukan nilai parameter g yang lebih besar. i. Dataset tidak mengandung intrusi jenis baru Metode Normalisasi Data [LAS04] [LAS05] Tabel IV-11 Hasil eksperimen pada data yang tidak mengandung data intrusi jenis baru Akurasi pada setiap kategori (%) Efektifitas (%) Dos Normal Probe U2R R2L DR FP F- measure Efisiensi (detik) Akurasi T train T test 88,00 99,50 80,81 53,68 46,00 69,41 0,50 77,54 97,99 1,00 3,03 4,11 0,15 3,70 2,89 6,80 2,38 0,15 1,42 0,00 0,00 0,32 96,88* 99,50* 83,81 78,20* 53,04 81,51* 0,50* 85,92* 98,61* 1,00 3,03 2,15 1,00 4,53 5,12 8,88 2,87 1,00 6,13 0,01 0,00 0,32 Hasil 81,10 99,37 87,03* 65,80 53,16* 73,53 0,63 79,74 98,08 1,00 2,57* Analisis TA 3,57 1,03 3,76 8,82 5,76 3,43 1,03 5,61 0,01 0,00 0,50 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai Gambar IV-7 Nilai F-measure pada data yang tidak mengandung data intrusi jenis baru Tabel IV-11 menunjukkan hasil eksperimen pada data pengujian yang tidak mengandung data intrusi jenis baru. Hasil eksperimen dalam bentuk kurva ROC dapat dilihat pada lampiran I. Berdasarkan hasil statistical significant test pada f- measure maka urutan metode normalisasi data adalah [LAS05], hasil analisis Tugas Akhir dan [LAS04]. Dapat dilihat dari tabel IV-11 bahwa metode normalisasi data dengan [LAS05] memiliki akurasi lebih baik pada kelas data Normal, DOS dan R2L sedangkan metode normalisasi hasil Analisis Tugas Akhir memiliki akurasi lebih baik pada jenis intrusi Probe dan R2L. Walaupun nilai parameter g menunjukkan bahwa metode normalisasi data [LAS05] relatif lebih
IV-13 sulit dipisahkan pada feature space, metode ini tetap dapat memiliki performansi yang baik karena adanya informasi label data. ii. Dataset mengandung intrusi jenis baru Tidak jauh berbeda dengan hasil eksperimen sebelumnya pada tabel IV-12 akurasi pada setiap kelas data relatif sama. Untuk data intrusi jenis baru metode normalisasi data hasil analisis Tugas Akhir menunjukkan hasil yang paling baik. Meskipun demikian, berdasarkan statistical significant test metode normalisasi data [LAS05] adalah yang. Hal ini disebabkan oleh data pelatihan dan pengujian yang didominasi oleh data DOS. Selain itu, 80% dari data KDDCUP 99 merupakan data dari kelas ini. Oleh karena itu, metode normalisasi ini akan digunakan pada metode misuse detection pada eksperimen selanjutnya. Metode Normalisasi Data [LAS04] [LAS05] Tabel IV-12 eksperimen pada data yang mengandung data intrusi jenis baru Akurasi pada setiap kategori (%) Efektifitas (%) Dos Normal Probe U2R R2L New DR FP F- measure Efisiensi (detik) Akurasi T train T test 88,57 99,50 79,19 54,11 47,00 19,73 47,80 0,50 60,90 96,79 1 3,00 4,73 0,15 4,23 2,85 6,81 2,39 1,96 0,15 1,38 0,00 0 0,00 99,19* 99,50* 83,06 77,78* 52,33 23,97 57,08* 0,50* 69,19* 97,29* 1 3,03 1,83 1,00 5,29 4,69 8,51 4,86 3,05 1,00 4,97 0,01 0 0,18 Hasil 81,24 99,37 86,19* 66,29 54,63* 27,48* 53,75 0,63 65,49 96,98 1 2,53* Analisis TA 4,59 1,03 4,37 8,13 4,57 4,40 3,05 1,03 4,65 0,01 0 0,51 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai Gambar IV-8 Nilai F-measure pada data yang mengandung data intrusi jenis baru
IV-14 4.5.2 Perbandingan Performansi Alternatif Implementasi SVM a. Perbandingan implementasi metode anomaly detection Dari hasil pencarian parameter yang dilakukan, parameter untuk nilai g berbeda jika jumlah data pelatihan berbeda, dan nilainya umumnya adalah 1/(jumlah data pelatihan). Oleh karena itu, pada eksperimen ini digunakan parameter C = 5, dan g=1/(jumlah data pelatihan). Model Deteksi MD1 1. Data intrusi seimbang i. Dataset pengujian tidak mengandung data intrusi baru Dari tabel IV-13 dapat dilihat MD1 memiliki detection rate yang jauh lebih baik. Akan tetapi jika dilihat dari f-measure, jumlah false positive dan akurasi MD2 lebih baik. Hal ini memang wajar karena pada MD2 data intrusi yang terdapat pada data pelatihan sebagian akan dianggap sebagai data normal sehingga false positive MD2 menjadi lebih kecil. Dilihat dari sisi efisiensi, performansi MD1 dan MD2 tidak jauh berbeda. Waktu pelatihan MD2 pada seluruh pengulangan eksperimen lebih singkat karena pada data pelatihannya terdapat data anomaly. Dengan adanya data intrusi pada data pelatihan maka pencarian solusi fungsi bidang pemisah pada pelatihan MD2 akan lebih cepat mencapai konvergen. Berdasarkan statistical significant test pada f-measure MD2 lebih baik dari MD1. Tabel IV-13 Hasil anomaly detection pada data pengujian yang tidak mengandung data intrusi jenis baru Akurasi pada setiap kategori (%) Efektifitas (%) Efisiensi (detik) Dos Normal Probe U2R R2L DR FP F- measure Akurasi T train T test 83,58* 95,02 96,16* 14,69* 67,59* 80,65* 4,98 58,50 94,31 42,22 65,22* 3,08 0,18 0,50 2,60 22,15 1,00 0,18 1,96 0,17 6,08 5,04 66,54 97,89* 73,16 8,08 58,33 62,22 2,11* 61,19* 96,14* 39,78* 68,78 MD2 5,66 0,17 4,30 2,10 15,65 1,01 0,17 1,37 0,04 3,58 1,73 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai
IV-15 Gambar IV-9 Hasil anomaly detection pada data pengujian yang tidak mengandung data intrusi jenis baru ii. Dataset mengandung data intrusi baru Seperti yang dapat diliaht pada tabel IV-14, performansi MD1 dan MD2 berubah cukup signifikan. Adanya data intrusi jenis baru seharusnya tidak berpengaruh banyak pada performansi MD1 dan MD2. Namun, pada skenario ini penambahan jumlah data intrusi jenis baru mengakibatkan rasio data intrusi pada data pengujian melebihi nilai nu (rasio data intrusi maksimum yang akan diprediksi oleh One Class SVM). Dengan demikian performansi One Class SVM menurun. Berdasarkan statistical significant test pada f-measure skenario ini MD1 lebih baik dari MD2 (perinciannya dapat dilihat pada lampiran I). Tabel IV-14 Hasil anomaly detection pada data pengujian yang mengandung data intrusi jenis baru Model Deteksi MD1 MD2 Akurasi pada setiap kategori (%) Efektifitas (%) Dos Normal Probe U2R R2L New DR FP F- measure Efisiensi (detik) Akurasi T train T test 87,37* 56,28 97,71* 48,32* 80,56* 53,28* 77,64* 43,72 36,00* 57,74 42,22 69,56* 6,16 45,02 2,12 39,92 22,97 41,59 17,91 45,02 20,76 40,76 6,08 1,51 79,16 58,72* 83,35 32,42 72,22 36,35 64,12 41,28* 35,12 59,10* 39.78* 71,11 15,04 45,57 13,14 28,48 22,09 31,28 20,03 45,57 21,22 41,13 3.58 1,60 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai
IV-16 Model Deteksi MD1 Gambar IV-10 Hasil anomaly detection pada data pengujian yang mengandung data intrusi jenis baru 2. Data intrusi tidak seimbang i. Dataset pengujian tidak mengandung data intrusi baru Tabel IV-15 Hasil anomaly detection pada data intrusi tidak seimbang, data pengujian tidak mengandung intrusi jenis baru Akurasi pada setiap kategori (%) Efektifitas (%) Efisiensi (detik) Dos Normal Probe U2R R2L DR FP F- measure Akurasi T train T test 94,11* 29,02* 98,40* 61,43* 87,08* 91,92* 70,98* 12,91 32,07* 8,10 39,90 5,05 28,11 1,73 38,02 11,86 7,72 28,11 3,88 26,42 0,32 1,23 67,47 19,65 94,70 53,81 86,25 78,91 80,35 9,03 22,52 7,80* 36,80* MD2 34,21 18,68 4,58 36,09 13,76 19,78 18,68 0,66 16,87 0,79 1,23 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai Gambar IV-11 Hasil anomaly detection pada data intrusi tidak seimbang, data pengujian tidak mengandung intrusi jenis baru
IV-17 ii. Dataset pengujian tidak mengandung data intrusi jenis baru Tabel IV-16 Hasil anomaly detection pada data intrusi tidak seimbang, data pengujian mengandung intrusi jenis baru Model Deteksi MD1 MD2 Akurasi pada setiap kategori (%) Efektifitas (%) Dos Normal Probe U2R R2L New DR FP F- measure Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai Efisiensi (detik) Akurasi T train T test 96,74* 12,43* 99,26* 82,98* 91,25* 83,09* 92,50* 87,57* 13,43* 17,80* 8,10 39,40 3,91 21,37 1,57 30,99 13,24 34,41 14,18 21,37 1,59 18,99 0,30 1,50 87,44 9,21 97,24 74,72 90,00 79,63 87,45 90,79 11,91 14,46 7,80* 39,80* 24,05 15,58 3,96 29,90 15,37 35,50 20,72 15,58 1,20 13,15 0,75 1,60 Gambar IV-12 Hasil anomaly detection pada data intrusi tidak seimbang, data pengujian mengandung intrusi jenis baru Pada data pelatihan menanggunakan data intrusi tidak seimbang seperti yang dapat dilihat pada tabel IV-15 dan IV-16 dapat dilihat bahwa performansi MD1 dan MD2 jauh menurun dibandingkan dengan eksperimen sebelumnya karena memang distribusi data pelatihan berbeda dengan data pengujian. Selain itu, pada data pelatihan tidak semua jenis servis terdapat data pelatihan, sehingga One Class SVM menganggap sebagian besar data normal sebagai data intrusi. Dari hasil statistical significant test pada f-measure menggunakan gabungan hasil eksperimen dari keseluruhan skenario di atas maka MD1 dipilih sebagai metode anomaly detection.
IV-18 Model Deteksi MD3 MD4 MD5 MD6 MD7 b. Perbandingan implementasi metode misuse detection Pada eksperimen ini digunakan parameter yang sama dengan hasil pencarian parameter pada skenario [MUK02] untuk multi class SVM dan hasil pencarian parameter pada skenario [LAS05] untuk SVM Biner yang terdiri dari kelas normal dan kelas intrusi. 1. Data intrusi seimbang i. Dataset pengujian tidak mengandung data intrusi baru Berdasarkan hasil statistical significant test pada nilai f-measure MD6 dan MD7 memiliki performansi yang comparable akan tetapi lebih baik dari MD4 dan MD5 (perinciannya dapat dilihat pada lampiran I). Dari tabel IV-17 juga dapat dilihat bahwa MD6 dan MD7 memiliki performansi yang hampir sama. Jika dilihat dari sisi efisiensi, MD6 dan MD7 jauh lebih baik daripada MD4 dan MD5. Hal ini disebabkan oleh jumlah SVM biner yang digunakan lebih sedikit (lihat lampiran F). Selain itu pada setiap SVM biner tersebut umumnya MD6 dan MD7 menggunakan lebih sedikit data pelatihan karena data kelas normal (95% dari dataset) hanya diproses oleh satu SVM biner. Tabel IV-17 Hasil misuse detection pada data pengujian yang tidak mengandung data intrusi baru Akurasi pada setiap kategori (%) Efektifitas (%) Efisiensi (detik) Dos Normal Probe U2R R2L DR FP F- measure Akurasi T train T test 98,98 99,94 98,27 96,40 54,86 98,22 0,06-99,85 103,50 58,09 0,61 0,02 0,92 0,97 24,77 0,70 0,02-0,02 9,54 2,06 95,11 99,90 96,58 92,93 27,50 95,64 0,10 96,78 99,68 125,40 94,89 11,31 0,01 0,40 1,41 17,80 4,18 0,01 2,35 0,21 4,83 5,45 98,35 99,90 97,12 94,05 26,94 97,15 0,10 97,63 99,76 304,70 66,97 0,58 0,01 0,36 1,45 18,64 0,35 0,01 0,18 0,02 19,66 2,56 98,90 99,94* 98,19* 96,24* 31,81 98,22* 0,06 98,48* 99,85* 104,30* 59,00 0,65 0,02 0,90 0,97 20,96 0,70 0,02 0,21 0,02 9,72 2,62 98,91* 99,94* 98,18 96,21 32,22* 98,22* 0,06 98,48* 99,85* 105,60 58,52* 0,64 0,02 0,91 0,92 21,12 0,70 0,02 0,21 0,02 9,45 2,17 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai Dataset pada eksperimen ini terdiri dari data intrusi dan data normal dari setiap servis dalam jumlah yang relatif seimbang. Karena tidak ada data yang jumlahnya lebih dominan maka pemisahan data intrusi dari data normal menjadi lebih sulit. Hal ini mengakibatkan MD4 dan MD5 memiliki akurasi yang lebih rendah karena untuk mengklasifikasikan data data normal dan data intrusi digunakan pada beberapa SVM biner. Proses klasifikasi MD5 pada eksperimen ini dan eksperimen selanjutnya diubah sehingga penentuan kelas data hanya ditentukan
IV-19 dari nilai maksimum output fungsi keputusan seluruh SVM biner. Dengan demikian tidak dimungkinkan dihasilkan data unknown. Hal ini dilakukan karena hampir 20% dari data diperiksi sebagai data unknown. Data-data ini bukan merupakan intrusi jenis baru, akan tetapi data dari keseluruhan kelas yang dekat dengan bidang pembatas antar kelas. Gambar IV-13 Hasil misuse detection pada data pengujian yang tidak mengandung data intrusi baru ii. Dataset mengandung data intrusi baru Hasil eksperimen pada tabel IV-18 tidak jauh berbeda dari tabel IV-17, akan tetapi pada eksperimen ini MD6 adalah yang berdasarkan statistical significant test. Gambar IV-14 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru
IV-20 Tabel IV-18 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru Model Deteksi MD3 MD4 MD5 MD6 MD7 Akurasi pada setiap kategori (%) Efektifitas (%) Efisiensi (detik) Dos Normal Probe U2R R2L New DR FP F- measure Akurasi T train T test 98,98 99,94 98,27 96,40 54,86 14,36 74,31 0,06-98,21 103,50 60,82 0,61 0,02 0,92 0,97 24,77 1,97 1,37 0,02-0,05 9,54 2,14 95,11 99,90 96,58 92,93 27,50 10,12 71,25 0,10 82,48 97,97 125,40 99,69 11,31 0,01 0,40 1,41 17,80 2,40 3,54 0,01 2,55 0,24 4,83 5,74 98,35 99,90 97,12 94,05 26,94 10,54 72,45 0,10 83,36 98,06 304,70 70,20 0,58 0,01 0,36 1,45 18,64 1,85 1,16 0,01 0,80 0,04 19,66 2,67 98,90 99,94* 98,18* 96,22* 31,67 14,33 74,56 0,06* 84,95* 98,23* 104,30* 61,28* 0,64 0,02 0,90 0,98 20,97 1,97 2,83 0,02 1,66 0,18 9,72 2,97 98,91* 99,94* 98,18* 96,21 32,22* 14,36* 74,31 0,06* 84,80 98,21 105,60 61,34 0,64 0,02 0,91 0,92 21,12 1,97 1,37 0,02 0,84 0,05 9,45 2,34 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai 2. Data intrusi tidak seimbang i. Dataset pengujian tidak mengandung data intrusi baru Tabel IV-19 Hasil misuse detection pada data pelatihan dengan data intrusi tidak seimbang Model Deteksi MD3 MD4 MD5 MD6 MD7 Akurasi pada setiap kategori (%) Efektifitas (%) Efisiensi (detik) Dos Normal Probe U2R R2L DR FP F- measure Akurasi T train T test 99,87 99,12 98,29 89,03 86,11 97,61 0,88-99,05 27,20 37,84 0,10 0,04 0,30 3,82 11,31 0,54 0,04-0,04 1,26 1,36 99,76 99,70 95,49 26,13 12,22 88,27 0,30 90,85 99,11 20,00* 38,60 0,09 0,02 0,57 2,99 13,11 0,92 0,02 0,59 0,03 1,27 1,63 99,77 99,74* 95,38 26,55 15,97 88,16 0,26* 91,18* 99,15* 53,50 31,69* 0,09 0,04 0,62 2,37 15,57 0,86 0,04 0,62 0,04 3,55 1,26 99,81* 99,12 97,04* 35,90* 20,97 97,61* 0,88 90,20 98,66 32,50 38,54 0,11 0,04 0,40 4,60 18,25 0,54 0,04 0,61 0,05 1,76 1,94 99,80 99,12 97,30 35,72 22,08* 97,61* 0,88 90,21 98,67 38,50 38,71 0,11 0,04 0,35 4,58 18,36 0,54 0,04 0,61 0,05 2,67 1,48 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai Pada data pelatihan menggunakan data intrusi tidak seimbang, data normal hanya sekitar 20% dari dataset. Dengan demikian pemisahan data normal dari data intrusi relatif lebih mudah untuk dilakukan. Oleh karena itu, penggunaan data normal pada beberapa SVM biner malah meningkatkan akurasi terhadap data normal. Hal ini
IV-21 mengakibatkan nilai F-measure MD4 dan MD5 (seperti pada tabel IV-19) lebih baik dari pada MD6 dan MD7. Akan tetapi dari sisi detection rate MD6 dan MD7 jauh lebih baik. Berdasarkan hasil statistical significant test pada skenario ini MD 5 adalah yang diikuti oleh MD4, MD7 dan MD6 walaupun dengan perbedaan nilai yang kecil. Gambar IV-15 Hasil misuse detection pada data pelatihan dengan data intrusi tidak seimbang ii. Dataset pengujian tidak mengandung data intrusi baru Tabel IV-20 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru Model Deteksi MD3 MD4 MD5 MD6 MD7 Akurasi pada setiap kategori (%) Efektifitas (%) Efisiensi (detik) Dos Normal Probe U2R R2L New DR FP F- measure Akurasi T train T test 99,87 99,12 98,29 89,03 86,11 19,24 75,26 0,88-97,52 27,20 39,52 0,10 0,04 0,30 3,82 11,31 1,40 1,07 0,04-0,05 1,26 1,49 99,76 99,70 95,49 26,13 12,22 10,90 66,22 0,30 77,57 97,42 20,00* 40,91 0,09 0,02 0,57 2,99 13,11 2,59 1,61 0,02 1,18 0,06 1,27 2,14 99,77 99,74* 95,38 26,55 15,97 13,02 66,74 0,26* 78,23 97,50* 53,50 33,17* 0,09 0,04 0,62 2,37 15,57 1,40 1,40 0,04 1,04 0,05 3,55 1,70 99,81* 99,12 97,04 35,90* 20,97 19,23 75,50* 0,88 79,14* 97,16 32,50 43,04 0,11 0,04 0,40 4,60 18,25 1,39 2,62 0,04 1,52 0,17 1,76 5,34 99,80 99,12 97,30* 35,72 22,08* 19,24* 75,26 0,88 79,04 97,15 38,50 41,60 0,11 0,04 0,35 4,58 18,36 1,40 1,07 0,04 0,97 0,06 2,67 8,61 Keterangan: baris yang memiliki shading menunjukkan nilai standar deviasi dan * menunjukkan nilai
IV-22 Performansi keseluruhan model pada data pelatihan menggunakan data tidak seimbang menurun dibandngkan dengan penggunaan data intrusi seimbang karena pada data pengujian terdapat data intrusi yang belum pernah muncul pada data pelatihan walaupun data ini termasuk dalam kategori intrusi yang sama. Dari tabel IV-20 dapat dilihat bahwa akurasi pada data intrusi jenis baru jauh lebih baik dibandingkan dengan eksperimen sebelumnya karena data pelatihan didominasi oleh data intrusi. Akan tetapi, sebagai konsekuensinya jumlah false positive yang dihasilkan juga lebih tinggi. Berdasarkan statistical significant test pada skenario ini MD6 adalah model diikuti oleh MD7, MD5 dan MD4. Gambar IV-16 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru MD6 dipilih sebagai model misuse detection berdasarkan hasil statistical significant test pada f-measure pada keseluruhan skenario. Selain itu, jika dilihat dari efisiensi MD6 juga merupakan yang. 4.5.3 Pengujian skalabilitas model Tabel IV-21 Performansi MD6 dengan jumlah data pelatihan bervariasi Jumlah Data Pelatihan Akurasi pada setiap kategori (%) Efektifitas (%) Dos Normal Probe U2R R2L DR FP F- measure Efisiensi (detik) Akurasi T train T test Jumlah Support Vector 250000 99,99 99,88 98,49 87,39 30,00 99,99 0,12 99,98 99,95 307 606 863 500000 100 99,92 99,21 93,04 30,00 99,99 0,08 99,98 99,97 1974 803 963 750000 100 99,92 99,20 92,17 0.00 99,99 0,08 99,98 99,97 3393 1039 1170
IV-23 Gambar IV-17 Waktu pelatihan MD1 dan MD6 dengan jumlah data pelatihan bervariasi Peningkatan waktu pelatihan secara eksponensial (seperti yang dapat dilihat pada tabel IV-21), memang wajar karena algoritma SVM mencari solusi persoalan quadratic problem yang kompleksitasnya bertambah dengan bertambahnya jumlah data pelatihan. Akan tetapi, waktu pengujian yang dihasilkan tidak jauh berbeda, karena waktu pengujian sebanding dengan jumlah support vector. Jika dilihat dari sisi efektifitas secara umum terjadi sedikit peningkatan dengan bertambahnya jumlah data pelatihan. Akan tetapi, untuk data kategori R2L malah terjadi penurunan. Selain karena tingkat imbalance yang besar ada kemungkinkan hal ini disebabkan oleh data pelatihan R2L pada pengujian ketiga berbeda karena diambil secara acak. Tabel IV-22 Performansi MD1dengan jumlah data pelatihan bervariasi Jumlah Data Pelatihan Akurasi pada setiap kategori (%) Efektifitas (%) Dos Normal Probe U2R R2L DR FP F- measure Efisiensi (detik) Akurasi T train T test Jumlah Support Vector 50000 99,93 24,61 100 96,54 100 99,93 75,39 91,42 84,97 1105 2124 2503 100000 99,93 27,32 100 96,54 100 99,93 72,68 91,70 85,51 6565 4186 5010 Untuk MD1, jumlah data pelatihan yang digunakan jauh lebih sedikit dari pada data pelatihan MD6. Seperti yang dapat dilihat pada tabel IV-22, waktu pengujian MD1 jauh lebih besar daripada waktu pelatihan MD6. Hal ini memang wajar karena, pada proses pelatihan MD1 digunakan nilai parameter nu=0.05 yang menyatakan jumlah support vector minimum yang akan dihasilkan. Selain itu, tidak adanya informasi label data membuat jumlah iterasi yang dibutuhkan cukup banyak untuk pencarian bidang pemisah. Berdasarkan hasil eksperimen pada skenario ini maka MD6 cukup scalable untuk data sampai dengan 750000 data dalam waktu kurang dari 1 jam. Akan tetapi, MD1 tidak scalable karena untuk pelatihan pada 100000 data
IV-24 membutuhkan waktu lebih dari 1 jam. Dengan demikian MD1 sebaiknya hanya digunakan pada pelatihan menggunakan data lebih kecil dari 10000. 4.5.4 Upaya Peningkatan Kinerja Model Terbaik a. Penggunaan nilai c berbeda untuk setiap kelas Pada pelatihan dengan menggunakan nilai C berbeda untuk setiap kelas pada berbagai rasio data intrusi tidak terjadi perubahan performansi walaupun perbandingan nilai C sudah di set sampai nilai yang sangat ekstrim. Dengan kata lain, bidang pemisah yang dihasilkan tidak berubah. Hal ini menunjukkan bahwa bidang pemisah dapat ditemukan dengan mudah dan selama pelatihan tidak terjadi banyak error dalam klasifikasi. Meskipun demikian, dari hasil eksperimen sebelumnya dapat dilihat bahwa akurasi pada kelas data R2L dan U2R lebih kecil dibandingkan akurasi pada kelas lainnya. Berdasarkan hasil penelitian [KAY05], hampir tidak ada atribut yang relevan dengan jenis intrusi U2R dan R2L karena nilai information grain-nya sangat kecil. Selain itu, data R2L dan U2R ini memang mirip dengan data kelas normal. Oleh karena itu, masalah ketidakseimbangan data bukan penyebab utama dari rendahnya akurasi terhadap data dari kelas ini. b. Penghilangan atribut yang kurang penting (feature selection) Perhitungan nilai f-score pada 500000 data hanya menghabiskan waktu 19,8 detik. Daftar nilai f-score untuk setiap atribut dapat dilihat pada lampiran I. Hal ini menunjukkan bahwa penggunaan feature selection dengan f-score ini sangat efisien. Pada tabel IV-23 dapat dilihat performansi MD6 pada data dengan jumlah datribut bervariasi dengan menghilangkan atribut yang nilai f-score-nya paling kecil. Dari hasil eksperimen ini dapat dilihat bahwa tidak terjadi perubahan performansi secara signifikan. Akan tetapi efisiensi yang dihasilkan lebih baik pada data dengan atribut yang lebih sedikit. Tabel IV-23 dan IV-24 juga menunjukkan bahwa ada ketika terjadi penurunan performansi berarti sudah ada atribut penting yang hilang.
IV-25 Tabel IV-23 Performansi MD6 dengan jumlah atribut bervariasi Jumlah Atribut 106 113 122 129 Jumlah Data Pelatihan Akurasi pada setiap kategori (%) Efektifitas (%) Efisiensi (detik) Dos Normal Probe U2R R2L DR FP F- measure Akurasi T train T test 250000 99,82 99,85 98,49 87,39 20,00 99,81 0,15 99,89 99,81 298 574 863 500000 99,83 99,90 99,25* 93,04 30,00 99,82 0,10 99,90 99,83 1932 720 963 750000 99,82 99,91 99,24* 92,17 0,00 99,81 0,09 99,90 99,83 3512 898 1170 250000 99,99 99,88 98,49 87,39 30,00 99,98 0,12 99,98 99,95 299 610 863 500000 100 99,92 99,25* 93,04 30,00 99,99 0,08 99,98 99,97 1864 780 963 750000 100 99,92 99,24* 92,17 0,00 99,99 0,08 99,98 99,97 3412 967 1170 250000 99,99 99,88 98,49 87,39 30,00 99,99 0,12 99,98 99,95 303 598 863 500000 100 99,92 99,21 93,04 30,00 99,99 0,08 99,98 99,97 1887 790 963 750000 100 99,92 99,20 92,17 0,00 99,99 0,08 99,98 99,97 3402 1001 1170 250000 99,99 99,88 98,49 87,39 30,00 99,99 0,12 99,98 99,95 307 606 863 500000 100 99,92 99,21 93,04 30,00 99,99 0,08 99,98 99,97 1974 80 963 750000 100 99,92 99,20 92,17 0,00 99,99 0,08 99,98 99,97 3493 1039 1170 SV Gambar IV-18 Waktu pelatihan MD6 dengan jumlah data pelatihan dan jumlah atribut bervariasi
IV-26 Tabel IV-24 Performansi MD1 dengan jumlah atribut data bervariasi Jumlah Atribut 106 113 122 129 Jumlah Data Pelatihan Akurasi pada setiap kategori (%) Efektifitas (%) Dos Normal Probe U2R R2L DR FP F- measure Efisiensi (detik) Akurasi T train T test 50000 100 0,00 100 100 100 100 100 88,97 80,14 934 1998 2503 100000 100 0,00 100 100 100 100 100 88,97 80,14 6484 4187 5010 50000 100 0,00 100 100 100 100 100 88,97 80,14 1049 2000 2503 100000 100 0,00 100 100 100 100 100 88,97 80,14 6483 4087 5010 50000 99,93 24,61 100 96,54 100 99,93 75,39 91,42 84,97 1100 2012 2503 100000 99,93 27,32 100 96,54 100 99,93 72,68 91,70 85,51 6395 4200 5010 50000 99,93 24,61 100 96,54 100 99,93 75,39 91,42 84,97 1105 2124 2503 100000 99,93 27,32 100 96,54 100 99,93 72,68 91,70 85,51 6565 4186 5010 SV Gambar IV-19 Waktu pelatihan MD1 dengan jumlah data pelatihan dan jumlah atribut bervariasi c. Pelatihan dengan data dalam jumlah besar dan update model dengan incremental training Tabel IV-25 Parameter incremental training Teknik β Jumlah partisi SVM Biner 0.6 10 Multi Class SVM One-Against-One 0.001 5 One Class SVM -0.99 20 Tabel IV-26 Perubahan jumlah data pelatihan MD6 dengan incremental training Jumlah Awal SVM Biner Jumlah Akhir One-Against-One SV 250000 5509 719 732 500000 9984 4479 1047 750000 26945 6843 1336
IV-27 Tabel IV-27 Performansi MD6 dengan incremental training dan feature selection Jumlah Atribut Jumlah Data pelatihan Efektifitas (%) Efisiensi (detik) DR FP F-measure Akurasi T train T test 113 122 129 250000 99,79 0,29 99,86 99,44 143 525 500000 99,99 0,09 99,98 99,97 421 762 750000 99,98 0,08 99,98 99,97 953 913 250000 99,79 0,29 99,86 99,44 143 537 500000 99,99 0,09 99,98 99,97 421 751 750000 99,98 0,08 99,98 99,97 953 940 250000 99,79 0,29 99,86 99,44 143 547 500000 99,99 0,09 99,98 99,97 421 791 750000 99,98 0,08 99,98 99,97 954 1003 Gambar IV-20 Waktu pelatihan MD6 dengan incremental training pada jumlah data pelatihan dan jumlah atribut bervariasi Pada tabel IV-25 dapat dilihat parameter untuk incremental training yang diperoleh dengan mencoba berbagai parameter pada sebagian kecil data. Pada tabel IV-26 dapat dilihat jumlah akhir data pelatihan yang jauh bertambah kecil. Dengan incremental training performansi MD6 tidak banyak berubah, tetapi efisiensinya jauh meningkat. Tabel IV-28 Perubahan jumlah data pelatihan MD1 dengan incremental training Jumlah Awal Jumlah Akhir SV 250000 520 27 500000 760 39 Pada tabel IV-28 dapat dilihat perubahan jumlah support vector pada MD1 menjadi jauh lebih kecil pada incremental training sesuai dengan jumlah data. Dalam eksperimen ini, efisiensi dan efektifitas SVM meningkat jauh. Efektifitas meningkat
IV-28 karena data yang menjadi support vector adalah data yang sangat mirip dengan data anomali (parameter beta bernilai negatif), sehingga akurasi menjadi jauh lebih tinggi. Tabel IV-29 Performansi MD1 dengan incremental training dan feature selection Jumlah Atribut Jumlah Data pelatihan Efektifitas (%) Efisiensi (detik) DR FP F-measure Akurasi T train T test 113 122 129 50000 99,79 28,87 96,44 94,10 6 51 100000 99,79 28,24 96,51 94,22 22 68 50000 99,79 28,87 96,44 94,10 6 57 100000 99,79 28,24 96,51 94,22 22 69 50000 99,79 28,87 96,44 94,10 6 65 100000 99,79 28,24 96,51 94,22 22 72 Gambar IV-21 Waktu pelatihan MD1 dengan incremental training pada jumlah data pelatihan dan jumlah atribut bervariasi 4.6 Kesimpulan Hasil Eksperimen Berikut ini adalah rekapitulasi kesimpulan yang diambil pasa setiap skenario eksperimen: a. Replikasi hasil eksperimen paper acuan i. Penggunaan parameter hasil grid search dapat meningkatkan efektifitas SVM secara signifikan. ii. Penggunaan normalisasi data dapat meningkatkan efisiensi dan efektifitas SVM karena jumlah perhitungan bilangan besar menjadi jauh lebih sedikit. iii. Pada One Class SVM metode normalisasi data ke nilai maksimum dan minimum atribut adalah yang karena data menjadi lebih mudah untuk dipisahkan (nilai parameter g yang dibutuhkan lebih besar).
IV-29 iv. Pada SVM Biner metode normalisasi data [LAS05] dan metode normalisasi hasil analisis Tugas Akhir masing-masing lebih baik pada data kategori tertentu. Karena metode normalisasi [LAS05] lebih baik pada data kategori DOS (80% dari dataset) maka metode normalisasi ini lebih sesuai untuk data KDDCUP 99. b. Perbandingan performansi alternatif implementasi SVM i. Model pendeteksian intrusi SVM Biner Multi Class SVM One-Against- One adalah model misuse detection yang pada hasil gabungan seluruh skenario baik menggunakan data intrusi seimbang atau sebaliknya. Selain itu, waktu pelatihannya juga paling kecil. ii. Model pendeteksian intrusi One Class SVM dengan data pelatihan normal adalah model pendeteksian anomaly detection. iii. Performansi SVM menurun dengan menggunakan data intrusi yang tidak seimbang. c. Pengujian skalabilitas model i. Waktu pelatihan SVM jauh meningkat dengan bertambahnya data pelatihan karena melakukan pencarian solusi pada quadratic problem yang jumlah variabelnya sebanyak data pelatihan. ii. MD6 cukup scalable karena mampu melakukan pelatihan pada 750.000 data dalam waktu kurang dari 1 jam iii. MD1 tidak scalable karena untuk data pelatihan 100000 dibutuhkan waktu lebih dari 1 jam iv. Waktu pengujian sebanding dengan jumlah support vector hasil pelatihan d. Upaya peningkatan kinerja model i. Penggunaan nilai C berbeda tidak mampu menangani masalah imbalance dataset karena tidak terjadi perubahan performansi bahkan dengan menggunakan perbandingan nilai C yang sangat ekstrim. ii. Feature selection dengan f-score sangat efisien iii. Penghilangan atribut yang kurang penting dapat meningkatkan efisiensi SVM walaupun efektifitasnya cenderung tidak berubah. Akan tetapi jika terdapat atribut penting yang hilang maka efektifitas SVM akan menurun. iv. Pelatihan SVM dengan incremental training mampu meningkatkan efisiensi SVM dengan sangat signifikan. Pada One Class SVM, efektifitas bahkan dapat jauh meningkat.