TUGAS AKHIR PERANCANGAN SISTEM KEAMANAN JARINGAN KOMPUTER BERBASIS SNORT INTRUSION DETECTION SYSTEM DAN IPTABLES FIREWALL Diajukan untuk memenuhi salah satu persyaratan dalam menyelesaikan pendidikan sarjana ( S-1 ) pada Departemen Teknik Elektro Oleh : HANS VERDIAN KIMIN NIM : 040402045 DEPARTEMEN TEKNIK ELEKTRO FAKULTAS TEKNIK UNIVERSITAS SUMATERA UTARA MEDAN 2010 i
ABSTRAK Tugas Akhir ini merancang sistem keamanan jaringan komputer dengan menggunakan Snort Intrusion Detection System dan IPTables Firewall. Penggabungan fungsi Snort IDS dan IPTables firewall merupakan sistem pencegahan penyusup. Selain itu juga menggunakan Webmin dan ACID (Analysis Console for Intrusion Databases) sebagai front end. Sistem ini bertujuan untuk menciptakan sistem keamanan jaringan komputer yang ringan, berbasiskan open source dan mudah dianalisa serta diatur oleh administrator. Sistem ini dirancang akan memberikan blocking pada alamat IP yang diketahui mengirimkan paket penyusup. Keyword: Sistem Keamanan, Penyusup, IDS, IPS, Open Source, Firewall, Ubuntu i
KATA PENGANTAR Puji dan syukur kehadirat ALLAH SWT atas rahmat dan karunia sehingga penulis dapat menyelesaikan Tugas Akhir ini. Adapun Tugas Akhir ini dibuat untuk memenuhi syarat kesarjanaan di Departemen Teknik Elektro, Fakultas Teknik, yang penulis beri judul Perancangan Sistem Keamanan Komputer Berbasis Snort Intrusion Detection System dan IPTables Firewall. Selama masa perkuliahan sampai masa penyelesaian Tugas Akhir ini, penulis banyak memperoleh bimbingan dan dukungan dari berbagai pihak. Untuk itu, dengan setulus hati penulis menyampaikan ucapan terima kasih yang sebesar-besarnya kepada : 1. Kedua orangtua tercinta, Willy Kimin dan Rafida Idami, abang saya Truly Nino Kimin, serta adik-adik saya Fierzi Theody Kimin dan Thea Gemala Rahmina Kimin, yang merupakan bagian hidup penulis yang senantiasa mendukung dan mendoakan dari sejak penulis lahir sampai sekarang. 2. Bapak Soeharwinto, ST, MT, selaku Dosen Pembimbing Tugas Akhir, atas segala bimbingan, pengarahan dan motivasi dalam menyelesaikan Tugas Akhir ini. 3. Bapak Ir. Djendanari Sembiring dan Bapak Ir. Syahrawardi selaku Dosen Wali atas motivasi dan arahan serta bimbingan selama mata kuliah. 4. Bapak Prof.Dr.Ir Usman Baafai, selaku Ketua Departemen Teknik Elektro FT- USU. 5. Bapak Rachmad Fauzi, ST, MT, selaku Sekretaris Departemen Teknik Elektro FT-USU. 6. Seluruh Staf Pengajar di Departemen Teknik Elektro USU dan seluruh karyawan di Departemen Teknik Elektro Fakultas Teknik USU. 7. Teman-teman seperjuangan angkatan 2004, Muhfi, Aris, Harry, Jhony, Juan, Aulia, Nursyamsi, Luthfi, Bayu, Rozy, Fahmi dan teman-teman seangkatan lainnya yang tidak penulis sertakan. ii
Adik-Adik di Departemen Teknik Elektro, Rozy, Salman, Bambang, dan seluruh teman-teman di Departemen Elektro 8. Saudara-saudara spiritual, Bg Maman, Bg Husni, Bg Randy, Rajab dan lainlain yang terus mengingatkan penulis untuk selalu berada di jalan-nya. 9. Teman-teman kecil, Marten, Ricky, Ratih, Deisy, Devi, Shabrina yang selalu memotivasi penulis. Akhir kata, Tugas Akhir ini masih jauh dari sempurna, masih banyak kesalahan dan kekurangan, namun penulis tetap berharap semoga Tugas Akhir ini bisa bermanfaat dan memberikan inspirasi bagi pengembangan selanjutnya. Medan, Oktober 2010 Penulis Hans Verdian Kimin 040402045 iii
DAFTAR ISI ABSTRAK... i KATA PENGANTAR... ii DAFTAR ISI... iv DAFTAR GAMBAR... vi BAB I PENDAHULUAN 1.1 Latar Belakang... 1 1.2 Rumusan Masalah... 2 1.3 Tujuan Penulisan... 2 1.4 Batasan Masalah... 2 1.5 Metode Penulisan... 2 1.6 Sistematika Penulisan... 3 BAB II TEORI PENDUKUNG 2.1 Sistem Keamanan Jaringan Komputer... 5 2.1.1 Jenis Serangan... 5 2.1.2 Tujuan Keamanan Jaringan... 7 2.2 Sistem Deteksi Intrusi (Intrusion Detection System)... 7 2.2.1 Konsep IDS... 8 2.3 Snort IDS... 10 2.3.1 Komponen Snort... 11 2.3.2 Modus Kerja... 15 2.4 IPTables Firewall... 20 iv
2.4.1 Konsep IPTables Firewall... 20 2.5 ACID... 22 2.6 WEBMIN... 23 BAB III PERANCANGAN SISTEM DAN IMPLEMENTASI 3.1 Persiapan Server Snort IDS dan IPTables Firewall... 25 3.2 Instalasi Aplikasi Pendukung... 25 3.2.1 Instalasi dan Konfigurasi Snort IDS... 28 3.2.2 Konfigurasi Dekoder... 31 3.2.3 Konfigurasi Preprocessor... 31 3.2.4 Instalasi dan Konfigurasi Database MySQL... 32 3.3 Instalasi dan Konfigurasi Web Server dan ACIDBASE... 32 3.4 Instalasi Webmin... 35 3.5 Instalasi dan Konfigurasi Snortsam... 35 3.5.1 Instalasi Snortsam... 35 3.5.2 Konfigurasi Snortsam... 37 3.5.3 Konfigurasi Snortsam pada Firewall... 38 BAB IV PENGUJIAN DAN ANALISA SISTEM KEAMANAN KOMPUTER 4.1 Tujuan Pengujian... 40 4.2 Prosedur Pengujian... 40 v
4.3 Topologi Pengujian... 41 4.4 Hasil Pengujian... 41 4.4.1 Blocking paket ping... 41 4.4.1 Blocking paket evil payload... 43 4.4.2 Blocking paket SQL version overflow attempt... 45 4.5 Analisa Pengujian... 47 BAB V KESIMPULAN DAN SARAN 5.1 Kesimpulan... 49 5.2 Saran... 49 DAFTAR PUSTAKA LAMPIRAN vi
DAFTAR GAMBAR Gambar 2.1 Komponen Snort... 15 Gambar 2.2 Tampilan ACID... 23 Gambar 2.3 Salah satu menu pada WEBMIN... 24 Gambar 3.1 Diagram Blok Sistem Keamanan Komputer... 26 Gambar 3.2 Flowchart IPS Engine... 27 Gambar 3.3 Skema Database yang digunakan ACID... 34 Gambar 3.4 ACID digunakan untuk menganalisis event berbasiskan web... 34 Gambar 3.5 WEBMIN dengan Plugin Snort untuk mengelola Rules... 35 Gambar 3.6 Snort setelah di-patch menggunakan SnortSam patch... 37 Gambar 4.1 Topologi jaringan... 41 Gambar 4.2 Ping pada kondisi normal... 41 Gambar 4.3 Blocking paket ping pada client... 42 Gambar 4.4 Blocking paket ping pada server... 43 Gambar 4.5 Pengiriman paket evil payload... 44 Gambar 4.6 Pengamatan paket evil payload pada BASE... 44 Gambar 4.7 Pengamatan paket evil payload pada log snortsam... 45 Gambar 4.8 Pengiriman paket SQL version overflow attempt... 46 Gambar 4.9 Pengamatan gangguan pada BASE... 46 Gambar 4.10 Pengamatan gangguan pada log snortsam... 47 vii