IMPLEMENTASI METODE IPS (INTRUSION PREVENTION SYSTEM) TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD

Transkripsi

1 IMPLEMENTASI METODE IPS (INTRUSION PREVENTION SYSTEM) TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD TUGAS AKHIR Disusun Oleh : TOMY CANDRA DERMAWAN JURUSAN TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG 2013

2 IMPLEMENTASI METODE IPS (INTRUSION PREVENTION SYSTEM) TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD TUGAS AKHIR Diajukan Untuk Memenuhi Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Disusun Oleh : TOMY CANDRA DERMAWAN JURUSAN TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG 2013

3 LEMBAR PERSETUJUAN IMPLEMENTASI METODE IPS (INTRUSION PREVENTION SYSTEM) TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD TUGAS AKHIR Diajukan Untuk Memenuhi Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Mengetahui/Menyetujui Dosen Pembimbing I Dosen Pembimbing II Ir.M.Irfan, MT Setio Basuki, ST NIP NIP

4 LEMBAR PENGESAHAN IMPLEMENTASI METODE IPS (INTRUSION PREVENTION SYSTEM) TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD TUGAS AKHIR Diajukan Untuk Memenuhi Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Disusun Oleh : TOMY CANDRA DERMAWAN Tugas Akhir ini telah diuji dan dinyatakan lulus oleh tim penguji pada tanggal 25 Juli 2013 Mengetahui/Menyetujui Penguji I Penguji II Diah Risqiwati, ST., MT Denar Regeta Akbi, S.Kom Mengtahui Ketua Jurusan Teknik Informatika Eko Budi Cahyono, S.Kom, MT NIP

5 SURAT PERNYATAAN Yang bertanda tangan dibawah ini, Nama : Tomy Candra Dermawan Tempat, Tgl Lahir : Malang, 06 Maret 1991 NIM : Fakultas/Jurusan : Teknik/ Informatika Dengan ini saya menyatakan bahwa Tugas Akhir dengan judul IMPLEMENTASI METODE IPS (INTRUSION PREVENTION SYSTEM) TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD beserta seluruh isinya adalah karya saya sendiri dan bukan merupakan karya tulis orang lain, baik sebagian maupun seluruhnya, kecuali dalam bentuk kutipan yang telah disebutkan sumbernya. Demikian surat pernyataan ini saya buat dengan sebenar-benarnya, apabila kemudian ditemukan adanya pelanggalaran terhadap etika keilmuan dalam karya saya ini, atau ada klaim dari pihak lain terhadap keaslian karya saya ini maka saya siap menanggung segala bentuk resiko/sanksi yang berlaku. Mengetahui, Malang, Juli 2013 Dosen Pembimbing Yang Menyatakan Ir. M. Irfan, MT Tomy Candra Dermawan

6 KATA PENGANTAR Alhamdulillah, segala puji bagi Allah SWT yang telah memberi petunjuk dan serta melancarkan jalan sehingga penulis dapat menyelesaikan tugas akhir yang berjudul : IMPLEMENTASI METODE INTRUSION PREVENTION SYSTEM TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD Di dalam tulisan ini disajikan pokok-pokok bahasan yang meliputi perancangan sistem, pembuatan Snort Ids, Firewall IPTables dan BASE, installasi aplikasi, serta pengujian sistem yang sudah dibuat. Penulis menyadari bahwa penelitian ini masih jauh dari kesempurnaan. Oleh karena itu penulis mengaharapkan saran dan kritik yang membangun agar tulisan ini dapat bermanfaat bagi pengembangan ilmu pengetahuan kedepan. Perangkat lunak ini juga masih membutuhkan pengembangan lebih lanjut sehingga dapat lebih bermanfaat. Akhir kata penulis mengucapkan terima kasih kepada semua pihak yang telah membantu hingga tugas akhir ini terselesaikan. Malang, Juni 2013 Penulis

7 DAFTAR ISI HALAMAN JUDUL... LEMBAR PERSETUJUAN... LEMBAR PENGESAHAN... HALAMAN PERNYATAAN KEASLIAN... ABSTRAK... ABSTRACT... HALAMAN PERSEMBAHAN... KATA PENGANTAR... DAFTAR ISI... DAFTAR GAMBAR... DAFTAR TABEL... i ii iii iv v vi vii viii ix xiii xv BAB I BAB II PENDAHULUAN 1.1. Latar Belakang Masalah Rumusan Masalah Tujuan Batasan Masalah Metodologi Penyelesaian Masalah Studi Pustaka Membuat Desain dan rancangan Sistem Implementasi Sistem Pengujian Tahap Sistem Sistematika Penulisan... 4 LANDASAN TEORI 2.1. Jaringan Komputer Model TCP/IP Application Layer Transport Layer... 7

8 Network Layer / Internet Layer Data Link Layer Bridge IP Address Pembagian Kelas IP Address Sistem Operasi Macam Sistem Operasi Sistem Operasi Unix, Ubuntu Network Security Bentuk Ancaman Pada Jaringan Komputer Intrusion Detection System Host Based Intrusion Detected system Network Based Intrusion Detected System Intrusion Prevention System Portsentry Sshdfilter Snort Network Base Intrusion Prevention System Firewall Fungsi firewall Tipe - Tipe Firewal Application Level (Proxy) Paket Filtering IPTables Arsitektur Firewall Snort Arsitektur Snort Aturan - Aturan Pada Snort MySQL BAB III ANALISA DAN PERANCANGAN SISTEM

9 3.1. Analisa Kebutuhan Sistem Arsitektur Sistem Kebutuhan Perangkat Lunak Pengalamatan internet Protocol Skema Konfigurasi Sistem Skema Instalasi Sistem Skema Flowchart Sistem Instalasi Sistem Dan Software Pendukung Snort Instalasi Ubuntu Instalasi Apache, PHP, MySQL, dan Library Snort Instalasi Snort Konfigurai Pada Snort Mode-Mode Snort Rule Synflood Konfigurasi IPTables Jenis-jenis Tools Pengujian BAB IV IMPLEMENTASI DAN PENGUJIAN 4.1. Prosedur Pengujian Implementasi Sistem Mengaktifkan Snort Pengujian Pelaksanaan Uji Coba dan Analisa Hasil Uji Coba Monitoring Jaringan dengan BASE Hasil Uji Coba Intrusi Serangan Backdoor Hasil Uji Coba Intrusi Serangan Synflood Hasil Uji Coba Pendeteksian serangan backdoor Hasil Uji Coba Pendeteksian serangan Synflood Hasil Uji Coba Block IPAddress Serangan Backdoor Hasil Uji Coba Block IPAddress Serangan Synflood.. 52

10 Pada Database Server Keadaan false positive,negative, true positive, negative False positive False negative True positive False negative BAB V KESIMPULAN DAN SARAN 5.1. Kesimpulan Saran DAFTAR PUSTAKA

11 DAFTAR GAMBAR Gambar 2.1. Model TCP/IP... 6 Gambar 2.2. Contoh Frame Data... 8 Gambar 2.3. Lan dan Bridge Gambar 2.4. Arsitektur Network Base Intrusion Prevention System Gambar 2.5. Penggunaan Proxy server pada dual home host Gambar 2.6. Packet filtering menggunakan screening router Gambar 2.7. Arsitektur dual homed host Gambar 2.8. Arsitektur Snort Gambar 3.1. Arsitektur Sistem Gambar 3.2. Tahap Proses Input, Proses dan Output Gambar 3.3. IPAddress pada server Intrusion Prevention System Gambar 3.4. IPAddress Backdoor Attacker Gambar 3.5. IPAddress Synflood Attacker Gambar 3.6. Skema Intalasi Server Intrusion Prevention System Gambar 3.7. Flow chart Sistem Intrusion Prevention System Gambar 3.8. Setting IPAddress Pada Server Intrusion Prevention System Gambar 3.9. Instalasi Apache, PHP, MySQL, dan Library Snort Gambar Langkah Instalasi Snort Gambar Konfigurasi compile Snort Gambar Konfigurasi IPAddress Protecting Snort Gambar Rules Snort Gambar Paket Header TCP/IP Gambar Aplikasi Berjalan Pada TCP/UDP/ICMP Gambar Snort Header Dari data Link Layer Gambar Rule Synflood Gambar Konfigurasi Rules pada iptables.rules Gambar Scirpt IPTables Shutdown Gambar Scirpt IPTables Start... 42

12 Gambar Aplikasi Advanced Port Scanner Gambar Aplikasi Hping Gambar 4.1. Prosedur Pengujian Gambar 4.2. Direktori Snort.conf Gambar 4.3. Monitoring Jaringan Menggunakan BASE Gambar 4.4. Port Scanning Menggunakan Advanced Gambar 4.5. Membuat account Backdoor Gambar 4.6. Serangan Synflood Gambar 4.7. Alert Backdoor Gambar 4.8. Alert Synflood Gambar 4.9. Blocking Backdoor oleh IPTables Gambar Blocking Synflood oleh IPTables Gambar Monitoring BASE Gambar Paket request Gambar Alert serangan Gambar Alert serangan pada BASE Gambar Attacker serangan Gambar Tidak terdapat alert serangan pada server Gambar Terdapat adanya serangan pada server Gambar Report serangan pada BASE Gambar Tidak ada alert yang dihasilkan pada server Gambar Tidak ada alert pada BASE... 57

13 DAFTAR TABEL Tabel 2.1. IPAddress Tabel 2.2. IPAddress Kelas A Tabel 2.3. IPAddress Kelas B Tabel 2.4. IPAddress Kelas C Tabel 3.1. Address server Intrusion Prevention System Tabel 3.2. Address Attacker... 32

14 DaftarPustaka [1] Fahmi, I Jaringan TCP/IP Terapan 1. Bandung : Computer Network Research Group. [2] Hardiansyah, Irzam Schaum s Outlines Of Computer Networking. Jakarta.PT Gelora Aksara Pratama [3] Anggoro, Firman, Implementasi Laporan Deteksi Penyusupan Pada Sistem Jaringan Komputer Melalui dan SMS.Politeknik Telkom Bandung [4] Kristanto, A Keamanan Data Pada Jaringan Komputer. Yogyakarta : PT Gava Media. [5] Negara,I Made Penerapan Intrusion Detected System Untuk Memantau dan Mengendalikan Jaringan Komputer. Sekolah Tinggi Manajemen Informatika. [6] Rafiudin,R Mengganyang Hacker Dengan Snort. Penerbit ANDI Yogyakarta. [7] Wicaksono, Bayu Perancangan dan Implementasi IPS (Intrusion Prevention System) Berbasis Web Menggunakan Snort dan IPTables. Politeknik Telkom Bandung. [8] Sembiring, A. D Jaringan TCP/IP Terapan 2. Bandung : Computer Network Research Group. [9] Sidik, B Unix Dan Linux. Bandung : PT Informatika Bandung. [10] Prasetio, Budi Lukman Implementasi Pengamanan Jaringan Menggunakan Intrusin Detection System (IDS) dan IPTAbles Berbasis LINUX di LAB Politeknik Telkom. Politeknik Telkom Bandung. [11] Ardiyanto, Yudhi Membangun Sistem Intrusion Detection System yang open source. Universitas Muhammadiyah Yogyakarta. [12] Thomas, Tom Network Security First Step. Penerbit : Andi Yogyakarta. [13] Wahana, Komputer Pengembangan Web di Linux dengan LAMP. Penerbit : Salemba Infotek.

15 [14] Yudha, Ryan. Serangan Backdoor. Diakses tanggal 20 Maret 2013 [15] Yudha, Ryan. Serangan Synflood. Diakses tanggal 20 Maret 2013