Penerapan Teknik Support Vector Machine untuk Pendeteksian Intrusi pada Jaringan

Transkripsi

1 Penerapan Teknik Support Vector Machine untuk Pendeteksian Intrusi pada Jaringan LAPORAN TUGAS AKHIR Disusun sebagai syarat kelulusan tingkat sarjana oleh : Krisantus Sembiring / PROGRAM STUDI TEKNIK INFORMATIKA SEKOLAH TEKNIK ELEKTRO DAN INFORMATIKA INSTITUT TEKNOLOGI BANDUNG 2007

2 Lembar Pengesahan Program Studi Teknik Informatika Penerapan Teknik Support Vector Machine untuk Pendeteksian Intrusi pada Jaringan Tugas Akhir Program Studi Teknik Informatika ITB Oleh Krisantus Sembiring / Telah disetujui dan disahkan sebagai laporan Tugas Akhir di Bandung, pada tanggal 20 September 2007 Pembimbing Masayu Leylia Khodra, S.T., M.T. NIP: ii

3 RINGKASAN Pendeteksian intrusi pada jaringan penting sebagai bagian dari pertahanan. Teknik yang biasa diterapkan yaitu teknik signature based (misuse detection) memiliki kelemahan karena signature-nya harus dibuat secara manual. Dengan teknik data mining, signature ini dapat dibangun secara otomatis lewat pelatihan. Selain itu, dapat diimplementasikan dalam bentuk anomaly detection. Support Vector Machine (SVM) adalah salah satu teknik data mining yang dapat diterapkan dalam bentuk misuse detection dan anomaly detection. Untuk anomaly detection, SVM dapat diterapkan dengan menggunakan One Class SVM baik dengan pelatihan menggunakan data normal (supervised training) atau data pelatihan mengandung data intrusi (unsupervised training). Untuk misuse detection, SVM dapat diterapkan dengan menggunakan SVM biner, multi class SVM atau kombinasinya. Seluruh alternatif implementasi SVM ini dieksplorasi untuk mengetahui bagaimana model terbaik untuk mengimplementasikan SVM. Untuk itu, eksperimen dilakukan dengan menggunakan dataset KDDCUP 99. Hasilnya menunjukkan bahwa SVM memiliki performansi dan tingkat generalisasi yang cukup baik pada berbagai variasi distribusi data pada dataset. Untuk model misuse detection terbaik dipilih kombinasi antara SVM biner dan Multi Class SVM One-Against-One, sedangkan untuk model anomaly detection terbaik dipilih One Class SVM dengan supervised training. Implementasi misuse detection terbaik yang dipilih cukup scalable karena dapat menangani data pelatihan dalam jumlah yang besar sedangkan One Class SVM tidak scalable untuk pelatihan dalam jumlah data yang besar. Dari hasil eksperimen ditunjukkan juga bahwa penggunaan parameter dan teknik normalisasi data sangat berpengaruh pada efektifitas dan efisiensi SVM. Upaya peningkatan kinerja model terbaik dilakukan dengan menggunakan feature selection menggunakan f-score, penggunaan nilai C berbeda untuk mengatasi permasalahan imbalanced dataset dan incremental training. Penggunaan nilai C berbeda tidak berhasil mengatasi masalah imbalance dataset pada data KDDCUP 99. Akan tetapi, feature selection dan incremental training dapat meningkatkan efisiensi secara signifikan. Untuk misuse detection, efektifitas cenderung tidak berubah akan tetapi pada anomaly detection efektifitas One Class SVM meningkat secara signifikan. Kata kunci : Support Vector Machine, intrusi pada jaringan, Multi Class SVM, One Class SVM, Anomaly Detection, Misuse Detection, Data Mining iii

4 KATA PENGANTAR Puji syukur kepada Tuhan Yang Maha Esa karena berkat rahmat dan kebaikan-nya Penulis dapat menyelesaikan Tugas Akhir yang berjudul Penerapan Teknik Support Vector Machine untuk Pendeteksian Intrusi pada Jaringan. Laporan Tugas Akhir ini disusun untuk memenuhi persyaratan kelulusan tingkat sarjana Program Studi Teknik Informatika ITB. Dalam pelaksanan Tugas Akhir ini, Penulis menemui banyak hambatan baik dari faktor-faktor internal maupun eksternal. Namun atas bantuan dari berbagai pihak, hambatan tersebut dapat diatasi sehingga Tugas Akhir dapat dijalani dengan baik. Oleh karena itu, Penulis memberikan ucapan terima kasih kepada: 1. Ibu Masayu Leylia Khodra, S.T., M.T. selaku pembimbing Tugas Akhir 2. Ibu Ir. Sri Purwanti, M.Sc yang telah memperkenalkan dan mengajar penulis mengenai data mining dan banyak mengarahkan penulis di awal pengerjaan Tugas Akhir. 3. Bapak Ir. Dwi Hendratmo Widyantoro, M.Sc, Ph.D., selaku penguji presentasi proposal dan seminar yang juga telah banyak memberikan masukan untuk pelaksanaan Tugas Akhir ini. 4. Bapak Ir. Windy Gambetta yang menjadi penguji pada prasidang dan sidang Tugas Akhir. 5. Ibu Nur Ulfa Maulidevi, S.T, M.Sc. dosen wali dan penguji sidang Tugas Akhir. 6. Seluruh dosen program studi Teknik Informatika yang telah mengajar Penulis. 7. Anto Satriyo Nugroho, Dr. Eng yang telah memberikan penjelasan dan banyak referensi mengenai SVM. 8. Prof. Chih Jen Lin yang telah menyediakan software LibSVM dan menjawab pertanyaan Penulis. 9. Ibu Tita yang telah membantu mengunduh literatur dari jurnal. 10. Keluarga yang telah memberikan dorongan moral selama pelaksanaan Tugas Akhir 11. Eriek, Paula, Fajar, Arie, Hermanto, Neni, Fitri, Dini dan teman-teman IF 2003 yang telah mendukung Penulis selama pelaksanaan Tugas Akhir 12. Pak Rasidi, Pak Ade dan seluruh staf Tata Usaha Teknik Informatika. iv

5 13. Pihak-pihak lain yang tidak dapat disebutkan satu-persatu. Penulis menyadari bahwa dalam penulisan Tugas Akhir ini masih banyak kekurangan yang harus disempurnakan. Untuk itu Penulis mengharapkan kritik dan saran berkaitan dengan Tugas Akhir ini. Akhir kata, Penulis mengharapkan semoga Tugas Akhir ini dapat bermanfaat bagi siapapun yang membacanya. Bandung, September 2007 Penulis v

6 DAFTAR ISI Lembar Pengesahan Program Studi Teknik Informatika... ii Ringkasan... iii Kata Pengantar... iv Daftar Isi... vi Daftar Gambar... ix Daftar Tabel... xi BAB I Pendahuluan... I Latar Belakang... I Rumusan Masalah... I Tujuan... I Batasan Masalah... I Metodologi... I Sistematika Pembahasan... I-5 BAB II Landasan Teori... II Intrusion Detection System... II Arsitektur... II Intrusi... II Network-based IDS... II Pendeteksian Intrusi dengan Data Mining... II Support Vector Machine... II SVM pada Linearly Separable Data... II SVM pada Nonlinearly Separable Data... II Multi Class SVM... II One Class SVM... II Algoritma Pelatihan SVM... II Estimasi Parameter Terbaik... II SVM pada Imbalanced Dataset... II Pemilihan Atribut penting (feature selection)... II Incremental Training dengan SVM... II Pendeteksian Intrusi dengan Support Vector Machine... II-19 BAB III Analisis dan Penyelesaian Masalah... III Deskripsi Sistem... III Dataset Eksperimen... III Metode Pendeteksian Intrusi dengan SVM... III Upaya Perbaikan Performansi... III Analisis Pembelajaran Dengan SVM... III Preprocessing Data... III Pemilihan dan Estimasi Parameter Terbaik... III Algoritma Pelatihan SVM... III Analisis Perangkat Lunak... III-9 BAB IV Eksperimen... IV Tujuan... IV Parameter Evaluasi... IV Skenario... IV Replikasi Hasil Eksperimen Paper Acuan... IV Perbandingan Performansi Alternatif Implementasi SVM... IV-2 vi

7 4.3.3 Pengujian skalabilitas model terbaik... IV Upaya Peningkatan Kinerja Model Terbaik... IV Pelaksanaan... IV Lingkungan Eksperimen... IV Tahapan Data Preprocessing... IV Tahapan Pembelajaran... IV Hasil Eksperimen... IV Replikasi Hasil Eksperimen Paper Acuan... IV Eksperimen [MUK02A]... IV Eksperimen [MUK02B]... IV Eksperimen [LAS04]... IV Eksperimen [LAS05]... IV Perbandingan Performansi Alternatif Implementasi SVM... IV Pengujian skalabilitas model terbaik... IV Upaya Peningkatan Kinerja Model Terbaik... IV Kesimpulan Hasil Eksperimen... IV-28 BAB V Kesimpulan dan Saran... V Kesimpulan... V Saran... V-1 Daftar Referensi... xiv Lampiran A Deskripsi Dataset KDDCUP A-1 Lampiran B Structural Risk Minimization (SRM)... B-1 Lampiran C Multi Class SVM... C-1 C.1 Metode One-Against-All... C-1 C.2 Metode One-Against-One... C-2 C.3 Metode DAGSVM (Directed Acyclic Graph Support Vector Machine).. C-3 Lampiran D Algoritma... D-1 D.1 Algoritma Decomposition... D-1 D.2 Pseudocode Algoritma Decomposition [FAN05]... D-4 D.3 Incremental Training dengan SVM... D-5 D.4 Algoritma Untuk Menghasilkan Kurva ROC... D-6 Lampiran E Hasil Penelitian Pendeteksian Intrusi Dengan SVM... D-1 E.1 Penelitian pada [MUK02A]... E-1 E.2 Penelitian pada [MUK02B]... E-1 E.3 Penelitian pada [LAS04]... E-1 E.4 Penelitian pada [LAS05]... E-3 Lampiran F Alternatif Implementasi SVM Untuk pendeteksian Intrusi pada jaringan F-1 F.1 Anomaly Detection... F-1 F.2 Misuse Detection... F-1 Lampiran G Parameter Evaluasi Eksperimen... G-1 Lampiran H Skenario Eksperimen... H-1 H.1 Replikasi Hasil Eksperimen Paper Acuan... H-1 H.2 Skenario Perbandingan Implementasi SVM... H-5 Lampiran I Hasil Eksperimen... I-1 I.1 Eksperimen Pada Data [MUK02A]... I-1 I.2 Eksperimen Pada Data [MUK02B]... I-3 I.3 Eksperimen Pada Data [LAS04]... I-6 I.4 Eksperimen Pada Data [LAS05]... I-19 I.5 Perbandingan Alternatif Implementasi SVM... I-22 vii

8 I.6 Upaya Peningkatan Performansi Model Terbaik... I-30 Lampiran J Saran Untuk Menerapkan SVM Pada IDS... J-1 viii

9 DAFTAR GAMBAR Gambar II-1 Arsitektur IDS [HAN06]... II-2 Gambar II-2 Contoh packet... II-4 Gambar II-3 Contoh output TCPdump... II-4 Gambar II-4 Pemrosesan data koneksi jaringan dengan data mining [HAN06].. II-6 Gambar II-5 Alternatif bidang pemisah (kiri) dan bidang pemisah terbaik dengan margin (m) terbesar (kanan)... II-8 Gambar II-6 Soft margin hyperplane... II-11 Gambar II-7 Transformasi dari vektor input ke feature space... II-11 Gambar II-8 Contoh transformasi untuk data yang tidak dapat dipisahkan secara linier... II-12 Gambar II-9 Transformasi ke feature space... II-14 Gambar II-10 One Class SVM... II-15 Gambar III-1 Deskripsi Umum Sistem... III-1 Gambar III-2 Proses pembangunan dan penggunaan detection model oleh SVM Analyser... III-2 Gambar III-3 Pembelajaran dengan SVM... III-7 Gambar IV-1 Nilai F-measure hasil eksperimen pada dataset [MUK02A]... IV-5 Gambar IV-2 Nilai F-measure hasil eksperimen pada dataset [MUK02B]... IV-7 Gambar IV-3 Nilai F-measure pada data dengan rasio intrusi =nu... IV-9 Gambar IV-4 One Class SVM dengan nilai parameter g 0,1, 1,0 dan IV-9 Gambar IV-5 Nilai F-measure pada data dengan rasio intrusi bervariasi, nu = IV-10 Gambar IV-6 Nilai F-measure pada data nilai parameter nu bervariasi, rasio data intrusi= IV-11 Gambar IV-7 Nilai F-measure pada data yang tidak mengandung data intrusi jenis baru... IV-12 Gambar IV-8 Nilai F-measure pada data yang mengandung data intrusi jenis baru IV-13 Gambar IV-9 Hasil anomaly detection pada data pengujian yang tidak mengandung data intrusi jenis baru... IV-15 Gambar IV-10 Hasil anomaly detection pada data pengujian yang mengandung data intrusi jenis baru... IV-16 Gambar IV-11 Hasil anomaly detection pada data intrusi tidak seimbang, data pengujian tidak mengandung intrusi jenis baru... IV-16 Gambar IV-12 Hasil anomaly detection pada data intrusi tidak seimbang, data pengujian mengandung intrusi jenis baru... IV-17 Gambar IV-13 Hasil misuse detection pada data pengujian yang tidak mengandung data intrusi baru... IV-19 Gambar IV-14 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru... IV-19 Gambar IV-15 Hasil misuse detection pada data pelatihan dengan data intrusi tidak seimbang... IV-21 Gambar IV-16 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru... IV-22 ix

10 Gambar IV-17 Waktu pelatihan MD1 dan MD6 dengan jumlah data pelatihan bervariasi... IV-23 Gambar IV-18 Waktu pelatihan MD6 dengan jumlah data pelatihan dan jumlah atribut bervariasi... IV-25 Gambar IV-19 Waktu pelatihan MD1 dengan jumlah data pelatihan dan jumlah atribut bervariasi... IV-26 Gambar IV-20 Waktu pelatihan MD6 dengan incremental training pada jumlah data pelatihan dan jumlah atribut bervariasi... IV-27 Gambar IV-21 Waktu pelatihan MD1 dengan incremental training pada jumlah data pelatihan dan jumlah atribut bervariasi... IV-28 Gambar C-1 Contoh klasifikasi dengan metode One-against-all... C-1 Gambar C-2 Contoh klasifikasi dengan metode One-against-one... C-3 Gambar C-3 Contoh klasifikasi dengan metode DAGSVM... C-4 Gambar E-1 Hasil [LAS04] pada penggunaan parameter nu = rasio intrusi... E-2 Gambar E-2 Hasil [LAS04] pada penggunaan parameter nu=0.05 dan rasio intrusi bervariasi... E-2 Gambar E-3 Hasil [LAS04] pada penggunaan rasio intrusi 0.05 dan nu bervariasi... E-3 Gambar E-4 Hasil [LAS05] pada data pengujian yang tidak mengandung data intrusi jenis baru... E-4 Gambar E-5 Hasil [LAS05] pada pengujian yang mengandung jenis intrusi baru E-5 Gambar F-1 Klasifikasi dengan SVM Biner Multi Class SVM One Against One... F-4 Gambar F-2 Klasifikasi dengan SVM Biner Multi Class SVM One Against All... F-5 Gambar G-1 Kurva ROC... G-2 Gambar H-1 Komposisi data pengujian (kiri) dan data pelatihan (kanan)... H-1 Gambar I-1 Hasil skenario 1 dengan metode normalisasi data hasil analisis Tugas Akhir... I-6 Gambar I-2 Hasil skenario 1 dengan Metode Normalisasi Data seperti pada [LAS04]... I-6 Gambar I-3 Hasil skenario 1 dengan metode normalisasi data seperti pada [LAS05]... I-7 Gambar I-4 Hasil skenario 1 dengan metode normalisasi data hasil analisis Tugas Akhir... I-10 Gambar I-5 Hasil skenario 2 dengan metode normalisasi data [LAS04]... I-10 Gambar I-6 Hasil skenario 2 dengan metode normalisasi data [LAS05]... I-11 Gambar I-7 Hasil skenario 3 dengan menggunakan normalisasi data hasil analisis Tugas Akhir... I-14 Gambar I-8 Hasil skenario 3 dengan menggunakan normalisasi data [LAS04] I-14 Gambar I-9 Hasil skenario 3 dengan menggunakan metode normalisasi data [LAS05]... I-15 Gambar I-10 Hasil pengujian pada data pengujian yang tidak mengandung data intrusi jenis baru... I-19 Gambar I-11 Hasil pengujian pada data pengujian yang mengandung data intrusi jenis baru... I-20 x

11 DAFTAR TABEL Tabel IV-1 Alternatif implementasi SVM untuk pendeteksian intrusi... IV-2 Tabel IV-2 Hasil pencarian parameter pada dataset eksperimen [MUK02A]... IV-5 Tabel IV-3 Hasil eksperimen dengan dataset [MUK02]... IV-5 Tabel IV-4 Hasil pencarian parameter pada dataset eksperimen [MUK02B]... IV-6 Tabel IV-5 Hasil eksperimen dengan dataset [MUK02B]... IV-6 Tabel IV-6 Hasil pencarian parameter dengan grid search dengan nilai nu=rasio data intrusi... IV-8 Tabel IV-7 Hasil eksperimen pada data dengan rasio intrusi =nu... IV-8 Tabel IV-8 Hasil eksperimen pada data dengan rasio intrusi bervariasi, nu = IV-10 Tabel IV-9 Hasil eksperimen pada data dengan nilai parameter nu bervariasi, rasio data intrusi= IV-10 Tabel IV-10 Hasil pencarian parameter untuk dataset [LAS05]... IV-11 Tabel IV-11 Hasil pencarian parameter untuk dataset [LAS05]... IV-12 Tabel IV-12 Hasil pencarian parameter untuk dataset [LAS05]... IV-13 Tabel IV-13 Hasil anomaly detection pada data pengujian yang tidak mengandung data intrusi jenis baru... IV-14 Tabel IV-14 Hasil anomaly detection pada data pengujian yang mengandung data intrusi jenis baru... IV-15 Tabel IV-15 Hasil anomaly detection pada data intrusi tidak seimbang... IV-16 Tabel IV-16 Hasil anomaly detection pada data intrusi tidak seimbang, data pengujian mengandung intrusi jenis baru... IV-17 Tabel IV-17 Hasil misuse detection pada data pengujian yang tidak mengandung data intrusi baru... IV-18 Tabel IV-18 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru... IV-20 Tabel IV-19 Hasil misuse detection pada data pelatihan dengan data intrusi tidak seimbang... IV-20 Tabel IV-20 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru... IV-21 Tabel IV-21 Performansi MD6 dengan jumlah data pelatihan bervariasi... IV-22 Tabel IV-22 Performansi MD1dengan jumlah data pelatihan bervariasi... IV-23 Tabel IV-23 Performansi MD6 dengan jumlah atribut bervariasi... IV-25 Tabel IV-24 Performansi MD1 dengan jumlah atribut data bervariasi... IV-26 Tabel IV-25 Parameter incremental training... IV-26 Tabel IV-26 Perubahan jumlah data pelatihan MD6 dengan incremental training IV-26 Tabel IV-27 Performansi MD6 dengan incremental training dan feature selection IV-27 Tabel IV-28 Perubahan jumlah data pelatihan MD1 dengan incremental training IV-27 Tabel IV-29 Performansi MD1 dengan incremental training dan feature selection IV-28 Tabel A-1 Distribusi kelas intrusi... A-1 Tabel A-2 Distribusi data pada setiap jenis intrusi dan service... A-1 xi

12 Tabel A-3 Deskripsi atribut data KDDCUP A-2 Tabel C-1 Contoh 4 SVM biner dengan metode One-against-all... C-1 Tabel C-2 Contoh 6 SVM biner dengan metode One-against-one... C-2 Tabel C-3 Contoh 6 SVM biner dengan metode DAGSVM... C-3 Tabel E-1 Eksperimen [MUK02B]... E-1 Tabel F-1 5 SVM Biner untuk Multi Class SVM One-against-all... F-2 Tabel F-2 10 SVM Biner untuk Multi Class SVM One-against-one... F-3 Tabel F-3 SVM Biner Multi Class SVM One Against One... F-4 Tabel F-4 SVM Biner Multi Class SVM One Against All... F-5 Tabel G-1 Metrik standar untuk dasar evaluasi algoritma pendeteksian intrusi... G-1 Tabel H-1 Asumsi distribusi dataset untuk replikasi hasil [LAS04]... H-2 Tabel H-2 Asumsi distribusi dataset untuk replikasi hasil [LAS05] pada skenario data pengujian tidak mengandung data intrusi jenis baru... H-4 Tabel H-3 Asumsi distribusi dataset untuk replikasi hasil [LAS05] pada skenario dimana data pengujian mengandung data intrusi jenis baru... H-5 Tabel H-4 Distribusi dataset untuk perbandingan altenatif implementasi SVM... H-7 Tabel H-5 Distribusi data pengujian baru untuk perbandngan altenatif implementasi SVM... H-8 Tabel I-1 Hasil eksperimen tanpa normalisasi dengan parameter seperti pada Tabel I-2 [MUK02]... I-2 Hasil eksperimen tanpa normalisasi dan dengan parameter hasil grid search... I-2 Tabel I-3 Hasil eksperimen dengan normalisasi dan parameter hasil grid search I-2 Tabel I-4 t-test pada metode normalisasi+grid search dan tanpa normalisasi + grid search... I-2 Tabel I-5 Tabel I-6 Tabel I-7 t-test pada metode tanpa normalisasi+ grid search dan tanpa normalisasi + parameter [MUK02]... I-3 Hasil eksperimen tanpa normalisasi dengan parameter seperti pada [MUK02]... I-3 Hasil eksperimen tanpa normalisasi dan dengan parameter hasil grid search... I-4 Tabel I-8 Hasil eksperimen dengan normalisasi dan parameter hasil grid search I-4 Tabel I-9 t-test pada metode normalisasi+grid search dan tanpa normalisasi + grid search... I-5 Tabel I-10 t-test pada metode normalisasi+ grid search dan tanpa normalisasi + parameter [MUK02]... I-5 Tabel I-11 Hasil eksperimen pada skenario 1... I-8 Tabel I-12 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS05]... I-9 Tabel I-13 6 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS04]... I-9 Tabel I-14 Hasil eksperimen pada skenario 2... I-12 Tabel I-15 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS05]... I-13 Tabel I-16 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS04]... I-13 Tabel I-17 Hasil eksperimen pada skenario 3... I-16 Tabel I-18 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS05]... I-17 xii

13 Tabel I-19 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS04]... I-17 Tabel I-20 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS05] dari ketiga skenario... I-18 Tabel I-21 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS05]... I-19 Tabel I-22 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS04]... I-20 Tabel I-23 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS05]... I-21 Tabel I-24 t-test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS04]... I-21 Tabel I-25 t-test pada MD1 dan MD2 pada skenario i-a... I-22 Tabel I-26 t-test pada MD1 dan MD2 pada skenario i-b... I-22 Tabel I-27 t-test pada MD1 dan MD2 pada skenario ii-a... I-23 Tabel I-28 t-test pada MD1 dan MD2 pada skenario ii-b... I-23 Tabel I-29 t-test pada MD1 dan MD2 pada seluruh skenario... I-24 Tabel I-30 t-test pada MD6 dan MD7 pada skenario i-a... I-24 Tabel I-31 t-test pada MD6 dan MD5 pada skenario i-a... I-25 Tabel I-32 t-test pada MD7 dan MD5 pada skenario i-a... I-25 Tabel I-33 t-test pada MD4 dan MD5 pada skenario i-a... I-25 Tabel I-34 t-test pada MD6 dan MD7 i-b... I-26 Tabel I-35 t-test pada MD4 dan MD5 i-b... I-26 Tabel I-36 t-test pada MD6 dan MD5 i-b... I-26 Tabel I-37 t-test pada MD6 dan MD7 pada skenario ii-a... I-27 Tabel I-38 t-test pada MD5 dan MD4 pada skenario ii-a... I-27 Tabel I-39 t-test pada MD7 dan MD5 pada skenario ii-a... I-28 Tabel I-40 t-test pada MD6 dan MD7 pada skenario ii-b... I-28 Tabel I-41 t-test pada MD4 dan MD5 pada skenario ii-b... I-28 Tabel I-42 t-test pada MD6 dan MD5 pada skenario ii-a... I-29 Tabel I-43 t-test pada MD6 dan MD7 pada seluruh skenario... I-29 Tabel I-44 t-test pada MD4 dan MD5 pada seluruh skenario... I-29 Tabel I-45 t-test pada MD6 dan MD5 pada selutuh skenario... I-30 Tabel I-46 f-score pada aribut KDDCUP I-30 Tabel I-47 f-score pada atribut hasil preprocessing... I-31 Tabel I-48 Daftar atribut KDDCUP 99 dan atribut hasil preprocessing-nya... I-32 xiii