KEAMANAN JARINGAN MENGGUNAKAN LINUX BOX SEBAGAI UTM (UNIFIED THREAT MANAGEMENT) YANG MEMBERIKAN PENGAMANAN MENYELURUH TERHADAP JARINGAN

Transkripsi

1 UNIVERSITAS BINA NUSANTARA Jurusan Teknik Informatika Skripsi Sarjana Komputer Semester Ganjil tahun 2005/2006 KEAMANAN JARINGAN MENGGUNAKAN LINUX BOX SEBAGAI UTM (UNIFIED THREAT MANAGEMENT) YANG MEMBERIKAN PENGAMANAN MENYELURUH TERHADAP JARINGAN Andi Chairumin Saviany Abstrak Bagi sebagian besar perusahaan, kebutuhan akan informasi diperoleh melalui internet. Dengan internet, jarak dan waktu sudah bukan lagi mejadi suatu hambatan untuk keperluan akan pemenuhan kebutuhan informasi dan komunikasi. Penggunaan internet di era global membuahkan permasalahan baru dalam hal keamanan. Sistem jaringan yang terhubung ke internet perlu mendapatkan pengamanan (Internet Security) mengingat pemakaiannya yang sangat luas sehingga tingkat ancamannya pun tinggi. Perusahaan Network Box Indonesia merupakan salah satu perusahaan yang menggunakan internet untuk sebagian besar kegiatan operasionalnya sehari-hari. Untuk itu sistem pengamanan yang baik dibutuhkan untuk mendukung kelancaran operasional perusahaan. Berdasarkan kondisi tersebut, dibutuhkan suatu sistem keamanan yang dapat melindungi jaringan internal perusahaan dari ancaman dan serangan di internet. Sistem keamanan juga perlu dapat di-monitor dan di-manage oleh sistem administrator yang diberikan wewenang. Perancangan sistem berjalan pada platform Linux dengan fitur-fitur keamanan meliputi Firewall, Mail Filtering, Anti Virus, Anti Spam, Proxy, dan Content Filtering yang terintegrasi sebagai UTM (Unified Threat Management) dan ditempatkan pada gateway jaringan perusahaan ke internet. Program monitoring dan manajemen sistem berbasiskan web menggunakan Apache web server, MySQL untuk database, dan PHP sebagai web engine. Kata Kunci : Network, Internet, UTM (Unified Threat Management), Security, Firewall, Mail Filtering, Anti Virus, Anti Spam, Proxy, Content Filtering. iv

2 PRAKATA Dengan mengucapkan puji syukur ke hadirat Tuhan Yang Maha Esa, atas segala rahmat dan karunia-nya, penulis dapat menyelesaikan skripsi ini dimana penulis mengambil topik Keamanan Jaringan Menggunakan Linux Box Sebagai UTM (Unified Threat Management) yang Memberikan Pengamanan Menyeluruh Terhadap Jaringan. Penelitian ini ingin mengetahui dan menguji penggunaan Linux Box dalam memberikan pengamanan terhadap suatu jaringan, terutama yang terhubung dengan internet. Linux Box ini merupakan UTM (Unified Threat Management) yang menyediakan fitur-fitur Firewall, VPN, Sistem pendeteksian penyusup, Anti Virus, Anti Spam (junk ), dan Web Proxy sebagai pengaman jaringan. Penelitian ini akan menguji fitur-fitur pengamanan tersebut agar dapat berfungsi baik sebagai proteksi menyeluruh bagi suatu sistem jaringan. Dalam penyusunan laporan akhir ini, penulis telah banyak mendapatkan bantuanbantuan dari berbagai pihak. Oleh karena itu dalam kesempatan ini penulis mengucapkan banyak terima kasih kepada pihak-pihak sebagai berikut : 1. Yang terhormat Bapak Prof. Dr. Gerardus Polla, M.App.Sc. selaku Rektor Universitas Bina Nusantara. 2. Yang terhormat Bapak Ir. Sablin Yusuf, M.Sc, M.ComSc. selaku Dekan Fakultas Ilmu Komputer Universitas Bina Nusantara. 3. Yang terhormat Bapak Mohammad Subekti BE., M.Sc. selaku Kepala Jurusan Teknik Informatika Fakultas Ilmu Komputer Universitas Bina Nusantara. v

3 4. Yang terhormat Bapak Fredy Purnomo, S.Kom., M.Kom. selaku Sekretaris Jurusan Teknik Informatika Universitas Bina Nusantara.. 5. Yang terhormat Bapak Johan Muliadi Kerta, S.Kom, MM. selaku dosen pembimbing skripsi yang telah memberikan petunjuk serta bimbingan. 6. Yang terhormat orang tua kedua penulis yang telah memberikan dorongan dan doa restu, baik moral maupun material selama penulis menuntut ilmu. 7. Yang terhormat rekan-rekan kedua penulis dan pihak-pihak lainnya yang senantiasa membantu penulis. Semoga Tuhan Yang Maha Esa senantiasa memberikan Rahmat dan Karunia-Nya kepada semua pihak yang telah memberikan segala bantuan pada penulis. Skripsi ini tentu saja masih jauh dari sempurna, sehingga penulis dengan senang hati menerima saran dan kritik demi perbaikan. Akhirnya semoga skripsi ini dapat memberikan pertimbangan bagi pihak-pihak terkait demi penyusunan skripsi selanjutnya. Jakarta, 16 Januari 2006 Penulis vi

4 DAFTAR ISI Halaman Judul Luar... Halaman Judul Dalam... Halaman Persetujuan Softcover... Abstrak... i ii iii iv Prakata... v Daftar Isi... vii Daftar Tabel... xiii Daftar Gambar... xiv BAB 1 PENDAHULUAN 1.1 Latar Belakang Masalah Ruang Lingkup Tujuan dan Manfaat Metodologi Sistematika Penulisan... 8 BAB 2 LANDASAN TEORI 2.1 Network LAN (Local Area Network) MAN (Metropolitan Area Network) WAN (Wide Area Network) OSI (Open System Interconnection) vii

5 2.3 TCP/IP (Transmission Control Protocol/Internet Protocol) TCP (Transmission Control Protocol) IP (Internet Protocol) Internet Sejarah Internet Fasilitas di Internet Arsitektur Client Server Keamanan Jaringan Firewall Packet Filtering Firewall Netfilter atau Iptables Proxy Squid Mail Server Qmail Qmail-Scanner Anti Virus ClamAV Anti Spam Spamassassin Intrusion Detection System (IDS) Snort Network Management viii

6 Network Security Management dan Monitoring Unified Threat Management (UTM) Sistem Operasi Linux Web Server Apache PHP MySQL State Transition Diagram (STD) BAB 3 ANALISIS DAN PERANCANGAN SISTEM 3.1 Sejarah dan Struktur Organisasi PT. Network Box Indonesia Sejarah PT. Network Box Indonesia Visi dan Misi Perusahaan Struktur Organisasi PT. Network Box Indonesia Analisis Sistem Sistem yang Sedang Berjalan Analisis Permasalahan Analisis Pemecahan Masalah Perancangan Sistem Solusi Perancangan Model Sistem Solusi Perancangan Fitur Sistem Solusi Perancangan Implementasi pada Jaringan Perancangan Struktur Menu Perancangan State Transition Diagram ix

7 Perancangan STD Layar Home Perancangan STD Layar Spam Management Perancangan STD Layar Mail Monitoring Perancangan STD Layar Proxy Monitoring Perancangan STD Layar Proxy Management Perancangan STD Layar Firewall Perancangan STD Layar IDS Perancangan STD Layar User Perancangan STD Layar Help Perancangan STD Layar Logout Perancangan Layar Perancangan Layar Login Perancangan Layar Home Perancangan Layar Spam Management Perancangan Layar Mail Monitoring Perancangan Layar Proxy Monitoring Perancangan Layar Proxy Management Perancangan Layar Firewall Perancangan Layar IDS Perancangan Layar User Perancangan Layar Help Perancangan Layar Logout Perancangan Database Sistem Solusi x

8 3.3.8 Perancangan Modul Sistem Solusi Perancangan Modul Program Server Perancangan Modul Program Client BAB 4 IMPLEMENTASI DAN EVALUASI 4.1 Spesifikasi Sistem Prosedur Operasional Prosedur Instalasi dan Konfigurasi Sistem Prosedur Penggunaan Sistem Memulai Program Menambahkan dan Menghapus Rule Spam Monitoring Mail Traffic Monitoring Proxy Menambahkan dan Menghapus Rule Proxy Menambahkan dan Menghapus Rule Firewall Monitoring Intrusion Detection System Menambahkan dan Menghapus User Membaca Help Logout Evaluasi Sistem Evaluasi Perangkat Keras Sistem Evaluasi Kemampuan Fitur Sistem Evaluasi dari Sisi Teknis dan Kelebihan xi

9 BAB 5 SIMPULAN DAN SARAN 5.1 Simpulan Saran DAFTAR PUSTAKA RIWAYAT HIDUP FOTOCOPY SURAT SURVEI xii

10 DAFTAR TABEL Tabel 2.1. Contoh Network dan Host portion alamat IP kelas A Tabel 2.2. Contoh Network dan Host portion alamat IP kelas B 25 Tabel 2.3. Contoh Network dan Host portion alamat IP kelas C 26 Tabel kelas alamat IP (Cisco.com).. 27 Tabel 2.5. Aplikasi pada Internet dan protokol yang digunakan 32 Tabel 2.6. Keuntungan dan kerugian jenis-jenis mail server di Linux.. 54 Tabel 2.7. Metode penyerangan virus dan pencegahannya 60 Tabel 2.8. Keuntungan dan kerugian jenis-jenis Anti Virus Tabel 3.1. Perbandingan alternatif solusi pemecahan masalah Tabel 3.2. Rancangan Tabel Proxy. 157 Tabel 3.3. Rancangan Tabel Firewall. 157 Tabel 3.4. Rancangan Tabel Spam. 158 Tabel 3.5. Rancangan Tabel Snort. 158 Tabel 3.6. Rancangan Tabel Snort_Sensor. 159 Tabel 3.7. Rancangan Tabel User. 159 Tabel 3.8. Tabel Keterangan Variabel 160 Tabel 4.1. Tabel pengujian Prosesor AMD Duron 1 GHz Memory 256 MB Tabel 4.2. Tabel pengujian Prosesor Intel Pentium 2,4 GHz Memory 512 MB Tabel 4.3. Tabel hasil percobaan pengiriman Spam Tabel 4.4. Tabel hasil percobaan pengiriman dengan attachment Virus Tabel 4.5. Evaluasi perbandingan sistem xiii

11 DAFTAR GAMBAR Gambar 2.1. Tujuh layer model referensi OSI (Open System Interconnection).. 14 Gambar 2.2. Perbedaan model TCP/IP dan model OSI Gambar way handshake pada TCP (Kurose dan Ross, 2003). 21 Gambar 2.4. Alamat IP terdiri dari 32 bit terbagi dalam 4 oktet (Cisco.com) Gambar 2.5. Format alamat IP kelas A, B, dan C (Cisco.com) Gambar 2.6. Penggunaan alamat IP dan 3 router menghubungkan 6 host Gambar 2.7. Client-Server environment (CCNA 4 v3.0 Module 6) Gambar 2.8. Metode keamanan jaringan (Ousley, 2004). 37 Gambar 2.9. Statistik ancaman-ancaman keamanan komputer Gambar Konsep Firewall (Stallings, 1995) Gambar Packet Filter Firewall.. 44 Gambar Contoh implemetasi Web Proxy Server Gambar Ilustrasi pengiriman pesan dari Alice kepada Bob 52 Gambar Sistem mail di Internet (Kurose dan Ross, 2003). 52 Gambar Contoh Overwriting Virus 59 Gambar Network Management Evolution.. 67 Gambar Empat model Network Management 70 Gambar Konsep Web Server (HowStuffWorks.com) 75 Gambar Contoh STD (State Transition Diagram) 79 Gambar Alur State pada STD 79 Gambar 3.1. Struktur Organisasi PT. Network Box Indonesia xiv

12 Gambar 3.2. Skema Jaringan PT. Network Box Indonesia Gambar 3.3. Menambah device keamanan jaringan.. 90 Gambar 3.4. Meng-upgrade device keamanan jaringan 90 Gambar 3.5. Membatasi jumlah user 91 Gambar 3.6. Sistem baru sebagai pendukung atau pengganti sistem lama Gambar 3.7. Perancangan model sistem solusi Gambar 3.8. Sistem keamanan yang terintegrasi Gambar 3.9. Sistem Firewall dalam sistem solusi keamanan jaringan Gambar Sistem Proxy dalam sistem keamanan jaringan Gambar Sistem keamanan Mail Server pada sistem solusi Gambar Intrusion Detection System pada sistem solusi keamanan jaringan 99 Gambar Perancangan implementasi sistem pada jaringan perusahaan Gambar Diagram struktur menu program administrator sistem solusi Gambar State Transition Diagram Layar Home 107 Gambar State Transition Diagram Layar Spam Management Gambar State Transition Diagram Layar Mail Monitoring Gambar State Transition Diagram Layar Proxy Monitoring 112 Gambar State Transition Diagram Layar Proxy Management. 113 Gambar State Transition Diagram Layar Firewall Gambar State Transition Diagram Layar IDS Gambar State Transition Diagram Layar User. 116 Gambar State Transition Diagram Layar Help. 117 Gambar State Transition Diagram Layar Logout. 118 xv

13 Gambar Rancangan Layar Login Gambar Rancangan Layar Invalid Login Gambar Rancangan Layar Home Gambar Rancangan Layar Spam Management Gambar Rancangan Layar Spam Rule Accept 123 Gambar Rancangan Layar Spam Rule Delete 124 Gambar Rancangan Layar Mail Monitoring Gambar Rancangan Layar Mail Monitoring Yearly Statistics Gambar Rancangan Layar Mail Monitoring Monthly Statistics 127 Gambar Rancangan Layar Mail Monitoring Daily Statistics. 128 Gambar Rancangan Layar Mail Monitoring Detail Statistics 129 Gambar Rancangan Layar Proxy Monitoring 130 Gambar Rancangan Layar Proxy Monitoring Topuser Report Gambar Rancangan Layar Proxy Monitoring Topsites Report Gambar Rancangan Layar Proxy Monitoring Sites & Users Report. 133 Gambar Rancangan Layar Proxy Monitoring Downloads Report. 134 Gambar Rancangan Layar Proxy Monitoring Denied Report 135 Gambar Rancangan Layar Proxy Management 136 Gambar Rancangan Layar Proxy Rule Accept Gambar Rancangan Layar Proxy Rule Delete Gambar Rancangan Layar Firewall Gambar Rancangan Layar Firewall Rule Accept Gambar Rancangan Layar Firewall Rule Delete 141 xvi

14 Gambar Rancangan Layar IDS Gambar Rancangan Layar IDS Sensor Listing Gambar Rancangan Layar IDS Total Number Alert Gambar Rancangan Layar IDS Source IP Addresses 145 Gambar Rancangan Layar IDS Destination IP Addresses 146 Gambar Rancangan Layar IDS TCP Alert 147 Gambar Rancangan Layar IDS UDP Alert Gambar Rancangan Layar IDS ICMP Alert Gambar Rancangan Layar IDS Graph Alert. 150 Gambar Rancangan Layar User 151 Gambar Rancangan Layar User Accept 152 Gambar Rancangan Layar User Delete. 153 Gambar Rancangan Layar Help. 154 Gambar Rancangan Layar Logout Gambar Rancangan Layar Success Logout Gambar 4.1. Halaman Login. 191 Gambar 4.2. Halaman Invalid Login Gambar 4.3. Halaman Home. 193 Gambar 4.4. Halaman Spam Management 197 Gambar 4.5. Halaman Spam Rule Accept. 199 Gambar 4.6. Halaman Spam Rule Delete Gambar 4.7. Halaman Mail Monitoring 201 Gambar 4.8. Halaman Mail Monitoring Yearly Statistics xvii

15 Gambar 4.9. Halaman Mail Monitoring Monthly Statistics Gambar Halaman Mail Monitoring Daily Statistics Gambar Halaman Mail Monitoring Detail Statistics. 205 Gambar Halaman Proxy Monitoring. 206 Gambar Halaman Proxy Monitoring Topuser Report Gambar Halaman Proxy Monitoring Topsites Report Gambar Halaman Proxy Monitoring Sites & Users Report Gambar Halaman Proxy MonitoringDownloads Report Gambar Halaman Proxy Monitoring Denied Report. 211 Gambar Halaman Proxy Management Gambar Halaman Proxy Rule Accept. 214 Gambar Halaman Proxy Rule Delete. 215 Gambar Halaman Firewall. 216 Gambar Halaman Firewall Rule Accept. 219 Gambar Halaman Firewall Rule Delete. 220 Gambar Halaman IDS 221 Gambar Halaman IDS Sensor Listing 224 Gambar Halaman IDS Total Number Alert Gambar Halaman IDS Source IP Addresses. 227 Gambar Halaman IDS Destination IP Addresses. 229 Gambar Halaman IDS TCP Alert Gambar Halaman IDS UDP Alert Gambar Halaman IDS ICMP Alert 233 xviii

16 Gambar Halaman IDS Graph Alert 235 Gambar Contoh Chart Time VS Number Gambar Halaman User Gambar Halaman User Accept Gambar Halaman User Delete 241 Gambar Halaman Help Gambar Halaman Logout Gambar Halaman Success Logout Gambar Layar hasil uji coba ketepatan proxy xix