ANALISIS KINERJA SIGNATURE-BASED IDS DENGAN MENGGUNAKAN SNORT DAN IP-TABLES DALAM MENDETEKSI SERANGAN ICMP FLOODING PADA WEB SERVER SKRIPSI

Transkripsi

1 ANALISIS KINERJA SIGNATURE-BASED IDS DENGAN MENGGUNAKAN SNORT DAN IP-TABLES DALAM MENDETEKSI SERANGAN ICMP FLOODING PADA WEB SERVER SKRIPSI I WAYAN EDDY PRAYOGA NIM PROGRAM STUDI TEKNIK INFORMATIKA JURUSAN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS UDAYANA BUKIT JIMBARAN 2016

2 LEMBAR PENGESAHAN TUGAS AKHIR Judul : Analisis Kinerja Signature-Based IDS Dengan Menggunakan Snort Dan IP-Tables Dalam Mendeteksi Serangan ICMP Flooding Pada Web Server Kompetensi : Jaringan Komputer Nama : I Wayan Eddy Prayoga NIM : Tanggal Seminar : 29 Januari 2016 Disetujui oleh : Pembimbing I Penguji I I Dewa Made Bayu Atmaja,S.Kom,M.Cs NIP Pembimbing II I Made Widiartha,S.Si.,M.Kom NIP Penguji II Agus Muliantara,S.Kom.,M.Kom NIP Ida Bagus Made Mahendra,S.Kom.,M.Kom NIP Penguji III I Komang Ari Mogi, S.Kom.,M.Kom NIP Mengetahui, Jurusan Ilmu Komputer FMIPA UNUD Ketua, Agus Muliantara,S.Kom.,M.Kom NIP. NIP ii

3 Judul : Analisis Kinerja Signature-Based IDS Dengan Menggunakan Snort Dan IP-Tables Dalam Mendeteksi Serangan ICMP Flooding Pada Web Server Nama : I Wayan Eddy Prayoga NIM : Pembimbing : 1. I Dewa Made Bayu Atmaja, S.Kom, M.Cs 2. Agus Muliantara, S.Kom, M.Kom ABSTRAK Keamanan suatu jaringan sering kali terganggu dengan adanya ancaman dari dalam ataupun dari luar, oleh sebab itu dikembangkan suatu system bernama IDS (Intrusion Detection System). IDS adalah sebuah sistem yang melakukan pengawasan terhadap traffic jaringan dan pengawasan terhadap kegiatan-kegiatan yang mencurigakan didalam sebuah sistem jaringan. Software yang menerapakan system IDS adalah Snort IDS. Penyerangan yang sering terjadi dalam jaringan komputer seperti memenuhi bandwidth dan membanjiri jaringan dengan request pengiriman paket termasuk kedalam teknik ICMP flooding DOS. Pengujian Snort IDS dilakukan dengan menerapakan serangan ICMP Flooding untuk melakukan penyerangan sehingga mendapatkan informasi tentang cara Snort dalam mendeteksi serangan. Selain itu untuk menunjang kinerja snort dalam mendeteksi serangan, dibuatlah sebuah aplikasi blocking IP yang terintegrasi dan berjalan secara otomatis dengan menerapkan script dari IP-Tables. Dalam mendeteksi serangan, Signature-Based IDS membandingkan paket dengan database rule IDS yang berisi signature - signature paket serangan. Jika paket data mempunyai pola yang sama dengan database rule IDS, maka paket tersebut dianggap sebagai serangan. Dalam melakukan itegrasi iptables dengan system snort, iptables harus terkoneksi dengan database snort dan mengambil query data dari acid event. Dalam query data acid event berisi informasi log dari system snort dalam mendeteksi proses ping. Informasi yang diperoleh dari query data acid event akan di cek untuk melihat ada atau tidaknya serangan. Jika terdeteksi IP yang teridentifikasi sebagai penyerang, maka IP tersebut akan di block secara otomatis menggunakan script IP-Tables. Hasil akurasi snort IDS dalam mendeteksi serangan sebesar 100%. Sehingga dapat disimpulkan kinerja snort sangat baik dalam mendeteksi serangan ICMP Flooding. Kata Kunci : IDS, Snort, Ipwatcher, IP-Tabels, ICMP Flooding iii

4 Title : Analysis of Signature-Based Performance IDS Using Snort and IP-Tables in Detecting ICMP Flooding Attacks on Web Server Name : I Wayan Eddy Prayoga Student Number : Main Supervisor : I Dewa Made Bayu Atmaja, S.Kom, M.Cs Co-supervisor : Agus Muliantara, S. Kom, M. Kom ABSTRACT The security of networks is often disrupted by the threat from within or from outside, therefore a system called IDS (Intrusion Detection System) was developed. IDS is a system monitoring the network traffic and monitoring suspicious activities in a network system. Software applying the IDS system is Snort IDS. Attacks that often occur in computer networks such as meeting the bandwidth and flooding the network with packet delivery request including ICMP flooding techniques into DOS. Snort IDS Testing was done by applying the ICMP Flooding attack to attack so as to get information about how Snort detects attacks. In addition to supporting the performance of Snort to detect attacks, an IP blocking application integrated and run automatically was made by applying the script of IP-Tables. In detecting attacks, Signature-Based IDS Compare IDS rule package with a database containing signatures signature of attack packets. If the packet has the same pattern as database IDS rule, then the packet is considered an attack. In doing iptable integration with Snort system, iptables must be connected to the snort database query and retrieve data from acid event. In data query the acid event contains information log of Snort system to detect the ping process. Information obtained from query data acid event is checked to see whether or not there is an attack. If the detected IP is identified as the attacker, then the IP will be blocked automatically using a script IP-Tables. Results snort IDS accuracy in detecting attacks by 100%. It can be concluded that snort performance is excellent in detecting ICMP Flooding attack. Keywords : IDS, Snort, Ipwatcher, IP-Tables, ICMP Flooding iv

5 KATA PENGANTAR Puji syukur penulis panjatkan kehadapan Tuhan Yang Maha Esa, karena berkat rahmat dan karunia-nya, Tugas Akhir yang berjudul Analisis Kinerja Signature- Based IDS Dengan Menggunakan Snort dan Ip-tables Dalam Mendeteksi Serangan Icmp Flooding Pada Web Server ini dapat diselesaikan tepat pada waktunya. Secara khusus penulis mengucapkan terima kasih dan penghargaan kepada berbagai pihak yang telah membantu Tugas Akhir ini, yaitu : 1. Bapak I Dewa Made Bayu Atmaja, S.Kom, M.Cs sebagai Pembimbing I yang telah banyak membantu meluangkan waktu untuk membimbing, mengkritisi, dan memeriksa serta menyempurnakan tugas akhir ini. 2. Bapak Agus Muliantara, S.Kom, M.Kom sebagai Pembimbing II yang bersedia mengkritisi, membantu dan memeriksa serta menyempurnakan tugas akhir ini. 3. Bapak dan Ibu dosen Ilmu Komputer yang secara tidak langsung telah memberikan dukungan serta arahan kepada penulis. 4. Seluruh teman-teman mahasiswa Jurusan Ilmu Komputer FMIPA Universitas Udayana yang telah memberikan bantuan dan dukungan moral dalam penyelesaian tugas akhir ini. 5. Semua orang yang telah memberikan kontribusi untuk membantu penulis dalam menyelesaikan tugas akhir ini, yang tidak dapat penulis sebutkan satu persatu. Pada akhirnya penulis berharap agar adanya perbaikan pada Tugas Akhir ini mengingat keterbatasan penulis, sehingga sangat diharapkan untuk adanya kritik dan saran yang membangun untuk pencapaian yang lebih baik. Bukit Jimbaran, v Penulis

6 DAFTAR ISI LEMBAR PENGESAHAN TUGAS AKHIR... ii ABSTRAK... iii ABSTRACT... iv KATA PENGANTAR... v DAFTAR GAMBAR... x DAFTAR LAMPIRAN... xi BAB I... 1 PENDAHULUAN Latar Belakang Rumusan Masalah Tujuan Penelitian Batasan Penelitian Manfaat Penelitian... 3 BAB II... 6 TINJAUAN PUSTAKA Intrusion Detection System (IDS) Tipe Intrusion Detection System (IDS) IDS Didasarkan Pada Beberapa Terminologi IDS Dalam Melakukan Analisa Paket Data Fungsi IDS (Intrusion Detection System) Peran IDS (Intrusion Detection System) Keuntungan dan Kekurangan IDS Snort Komponen komponen Snort Fitur fitur Snort vi

7 2.2.3 Snort Rules Flowchart Snort BASE (Basic Analysis Security Engine) DOS (Denial Of Services) Karakteristik Serangan DoS (Denial Of Services) IP-Tables Parameter IP-Tables Tinjauan Studi BAB III ANALISIS DAN PERANCANGAN SISTEM Objek Peneliatian Variabel Penelitian Analisis Kebutuhan Sistem Model Rancangan Sistem Snort IDS Model Rancangan Sistem Snort IDS BAB IV HASIL DAN PEMBAHASAN Tahap Implementasi Instalasi Konfigurasi Konfigurasi Snort IDS Konfigurasi Web Server Cara IDS snort dalam memilih request yang termasuk serangan atau bukan serangan Pengujian Sistem Snort IDS Dalam Mendeteksi Serangan Pengujian Skenario Pertama Pengujian Skenario Kedua vii

8 4.3.3 Pengujian Skenario Ketiga Block IP Dengan IP Watcher Analisa Keseluruhan BAB V PENUTUP Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN viii

9 DARTAR TABEL Tabel 3.1 Spesifikasi Hardware CPU pembangunan snort IDS Tabel 3.2 Spesifikasi Hardware CPU pembangunan web server dan attacker Tabel 3.3 Perangkat lunak pembangunan Snort IDS, E-Learning dan attacker Tabel 3.4 IP Address Tabel 4.1 Hasil pengujian skenario pertama Tabel 4.2 Hasil pengujian skenario kedua Tabel 4.3 Hasil pengujian skenario ketiga ix

10 DAFTAR GAMBAR Gambar 2.1. Bagian IDS... 6 Gambar 2.2. Network Based IDS... 7 Gambar 2.3. Host Based IDS... 8 Gambar 2.4. Flowchart Snort Gambar 2.5. BASE (Basic Analysis Security Engine) Gambar 2.6. Serangan DOS (Denial Of Services) Gambar 2.7. Proses 3-way handshake Gambar 3.1 Rancangan Sistem Snort IDS Gambar 3.2 Diagram Alir Snort IDS dan Ipwatcher Gambar 4.1 Flowchart IP Watcher Gambar 4.2 Komponen Snort Gambar 4.3 Ping Generator Gambar 4.4 Tampilan Web Base saat medeteksi IP Normal Gambar 4.5 Tampilan Web Base saat medeteksi IP Abnormal Gambar 4.6 Tampilan Web Base saat medeteksi IP Random (Besar dan Kecil). 46 Gambar 4.7 Bloking IP Otomatis x

11 DAFTAR LAMPIRAN Lampiran 1 : Pengujian ping dengan besaran kecil Lampiran 2 : Pengujian ping dengan besaran abnormal Lampiran 3 : Pegujian ping random max paket 2048 byte xi