UNIVERSITAS BINA NUSANTARA Jurusan Teknik Informatika Skripsi Sarjana Komputer Semester Ganjil tahun 2005/2006 KEAMANAN JARINGAN MENGGUNAKAN LINUX BOX SEBAGAI UTM (UNIFIED THREAT MANAGEMENT) YANG MEMBERIKAN PENGAMANAN MENYELURUH TERHADAP JARINGAN Andi Chairumin 0600671930 Saviany 0600653114 Abstrak Bagi sebagian besar perusahaan, kebutuhan akan informasi diperoleh melalui internet. Dengan internet, jarak dan waktu sudah bukan lagi mejadi suatu hambatan untuk keperluan akan pemenuhan kebutuhan informasi dan komunikasi. Penggunaan internet di era global membuahkan permasalahan baru dalam hal keamanan. Sistem jaringan yang terhubung ke internet perlu mendapatkan pengamanan (Internet Security) mengingat pemakaiannya yang sangat luas sehingga tingkat ancamannya pun tinggi. Perusahaan Network Box Indonesia merupakan salah satu perusahaan yang menggunakan internet untuk sebagian besar kegiatan operasionalnya sehari-hari. Untuk itu sistem pengamanan yang baik dibutuhkan untuk mendukung kelancaran operasional perusahaan. Berdasarkan kondisi tersebut, dibutuhkan suatu sistem keamanan yang dapat melindungi jaringan internal perusahaan dari ancaman dan serangan di internet. Sistem keamanan juga perlu dapat di-monitor dan di-manage oleh sistem administrator yang diberikan wewenang. Perancangan sistem berjalan pada platform Linux dengan fitur-fitur keamanan meliputi Firewall, Mail Filtering, Anti Virus, Anti Spam, Proxy, dan Content Filtering yang terintegrasi sebagai UTM (Unified Threat Management) dan ditempatkan pada gateway jaringan perusahaan ke internet. Program monitoring dan manajemen sistem berbasiskan web menggunakan Apache web server, MySQL untuk database, dan PHP sebagai web engine. Kata Kunci : Network, Internet, UTM (Unified Threat Management), Security, Firewall, Mail Filtering, Anti Virus, Anti Spam, Proxy, Content Filtering. iv
PRAKATA Dengan mengucapkan puji syukur ke hadirat Tuhan Yang Maha Esa, atas segala rahmat dan karunia-nya, penulis dapat menyelesaikan skripsi ini dimana penulis mengambil topik Keamanan Jaringan Menggunakan Linux Box Sebagai UTM (Unified Threat Management) yang Memberikan Pengamanan Menyeluruh Terhadap Jaringan. Penelitian ini ingin mengetahui dan menguji penggunaan Linux Box dalam memberikan pengamanan terhadap suatu jaringan, terutama yang terhubung dengan internet. Linux Box ini merupakan UTM (Unified Threat Management) yang menyediakan fitur-fitur Firewall, VPN, Sistem pendeteksian penyusup, Anti Virus, Anti Spam (junk e-mail), dan Web Proxy sebagai pengaman jaringan. Penelitian ini akan menguji fitur-fitur pengamanan tersebut agar dapat berfungsi baik sebagai proteksi menyeluruh bagi suatu sistem jaringan. Dalam penyusunan laporan akhir ini, penulis telah banyak mendapatkan bantuanbantuan dari berbagai pihak. Oleh karena itu dalam kesempatan ini penulis mengucapkan banyak terima kasih kepada pihak-pihak sebagai berikut : 1. Yang terhormat Bapak Prof. Dr. Gerardus Polla, M.App.Sc. selaku Rektor Universitas Bina Nusantara. 2. Yang terhormat Bapak Ir. Sablin Yusuf, M.Sc, M.ComSc. selaku Dekan Fakultas Ilmu Komputer Universitas Bina Nusantara. 3. Yang terhormat Bapak Mohammad Subekti BE., M.Sc. selaku Kepala Jurusan Teknik Informatika Fakultas Ilmu Komputer Universitas Bina Nusantara. v
4. Yang terhormat Bapak Fredy Purnomo, S.Kom., M.Kom. selaku Sekretaris Jurusan Teknik Informatika Universitas Bina Nusantara.. 5. Yang terhormat Bapak Johan Muliadi Kerta, S.Kom, MM. selaku dosen pembimbing skripsi yang telah memberikan petunjuk serta bimbingan. 6. Yang terhormat orang tua kedua penulis yang telah memberikan dorongan dan doa restu, baik moral maupun material selama penulis menuntut ilmu. 7. Yang terhormat rekan-rekan kedua penulis dan pihak-pihak lainnya yang senantiasa membantu penulis. Semoga Tuhan Yang Maha Esa senantiasa memberikan Rahmat dan Karunia-Nya kepada semua pihak yang telah memberikan segala bantuan pada penulis. Skripsi ini tentu saja masih jauh dari sempurna, sehingga penulis dengan senang hati menerima saran dan kritik demi perbaikan. Akhirnya semoga skripsi ini dapat memberikan pertimbangan bagi pihak-pihak terkait demi penyusunan skripsi selanjutnya. Jakarta, 16 Januari 2006 Penulis vi
DAFTAR ISI Halaman Judul Luar... Halaman Judul Dalam... Halaman Persetujuan Softcover... Abstrak... i ii iii iv Prakata... v Daftar Isi... vii Daftar Tabel... xiii Daftar Gambar... xiv BAB 1 PENDAHULUAN 1.1 Latar Belakang Masalah... 1 1.2 Ruang Lingkup... 4 1.3 Tujuan dan Manfaat... 6 1.4 Metodologi... 7 1.5 Sistematika Penulisan... 8 BAB 2 LANDASAN TEORI 2.1 Network... 11 2.1.1 LAN (Local Area Network)... 12 2.1.2 MAN (Metropolitan Area Network)... 13 2.1.3 WAN (Wide Area Network)... 13 2.2 OSI (Open System Interconnection)... 13 vii
2.3 TCP/IP (Transmission Control Protocol/Internet Protocol)... 17 2.3.1 TCP (Transmission Control Protocol)... 20 2.3.2 IP (Internet Protocol)... 22 2.4 Internet... 28 2.4.1 Sejarah Internet... 29 2.4.2 Fasilitas di Internet... 31 2.5 Arsitektur Client Server... 33 2.6 Keamanan Jaringan... 36 2.7 Firewall... 41 2.7.1 Packet Filtering Firewall... 43 2.7.2 Netfilter atau Iptables... 44 2.8 Proxy... 45 2.8.1 Squid... 50 2.9 Mail Server... 50 2.9.1 Qmail... 53 2.9.2 Qmail-Scanner... 55 2.10 Anti Virus... 57 2.10.1 ClamAV... 62 2.11 Anti Spam... 62 2.11.1 Spamassassin... 64 2.12 Intrusion Detection System (IDS)... 65 2.12.1 Snort... 66 2.13 Network Management... 66 viii
2.13.1 Network Security Management dan Monitoring... 70 2.14 Unified Threat Management (UTM)... 71 2.15 Sistem Operasi Linux... 72 2.16 Web Server... 74 2.16.1 Apache... 76 2.17 PHP... 77 2.18 MySQL... 77 2.19 State Transition Diagram (STD)... 78 BAB 3 ANALISIS DAN PERANCANGAN SISTEM 3.1 Sejarah dan Struktur Organisasi PT. Network Box Indonesia... 80 3.1.1 Sejarah PT. Network Box Indonesia... 80 3.1.2 Visi dan Misi Perusahaan... 81 3.1.3 Struktur Organisasi PT. Network Box Indonesia... 81 3.2 Analisis Sistem... 83 3.2.1 Sistem yang Sedang Berjalan... 83 3.2.2 Analisis Permasalahan... 86 3.2.3 Analisis Pemecahan Masalah... 89 3.3 Perancangan Sistem Solusi... 93 3.3.1 Perancangan Model Sistem Solusi... 93 3.3.2 Perancangan Fitur Sistem Solusi... 96 3.3.3 Perancangan Implementasi pada Jaringan... 100 3.3.4 Perancangan Struktur Menu... 101 3.3.5 Perancangan State Transition Diagram... 107 ix
3.3.5.1 Perancangan STD Layar Home... 107 3.3.5.2 Perancangan STD Layar Spam Management... 108 3.3.5.3 Perancangan STD Layar Mail Monitoring... 110 3.3.5.4 Perancangan STD Layar Proxy Monitoring... 112 3.3.5.5 Perancangan STD Layar Proxy Management... 113 3.3.5.6 Perancangan STD Layar Firewall... 114 3.3.5.7 Perancangan STD Layar IDS... 115 3.3.5.8 Perancangan STD Layar User... 116 3.3.5.9 Perancangan STD Layar Help... 117 3.3.5.10 Perancangan STD Layar Logout... 118 3.3.6 Perancangan Layar... 119 3.3.6.1 Perancangan Layar Login... 119 3.3.6.2 Perancangan Layar Home... 121 3.3.6.3 Perancangan Layar Spam Management... 122 3.3.6.4 Perancangan Layar Mail Monitoring... 125 3.3.6.5 Perancangan Layar Proxy Monitoring... 130 3.3.6.6 Perancangan Layar Proxy Management... 136 3.3.6.7 Perancangan Layar Firewall... 139 3.3.6.8 Perancangan Layar IDS... 142 3.3.6.9 Perancangan Layar User... 151 3.3.6.10 Perancangan Layar Help... 154 3.3.6.11 Perancangan Layar Logout... 155 3.3.7 Perancangan Database Sistem Solusi... 157 x
3.3.8 Perancangan Modul Sistem Solusi... 160 3.3.8.1 Perancangan Modul Program Server... 160 3.3.8.2 Perancangan Modul Program Client... 162 BAB 4 IMPLEMENTASI DAN EVALUASI 4.1 Spesifikasi Sistem... 183 4.2 Prosedur Operasional... 185 4.2.1 Prosedur Instalasi dan Konfigurasi Sistem... 185 4.2.2 Prosedur Penggunaan Sistem... 191 4.2.2.1 Memulai Program... 191 4.2.2.2 Menambahkan dan Menghapus Rule Spam... 197 4.2.2.3 Monitoring Mail Traffic... 201 4.2.2.4 Monitoring Proxy... 206 4.2.2.5 Menambahkan dan Menghapus Rule Proxy... 211 4.2.2.6 Menambahkan dan Menghapus Rule Firewall... 216 4.2.2.7 Monitoring Intrusion Detection System... 221 4.2.2.8 Menambahkan dan Menghapus User... 239 4.2.2.9 Membaca Help... 242 4.2.2.10 Logout... 243 4.3 Evaluasi Sistem... 245 4.3.1 Evaluasi Perangkat Keras Sistem... 245 4.3.2 Evaluasi Kemampuan Fitur Sistem... 246 4.3.3 Evaluasi dari Sisi Teknis dan Kelebihan... 250 xi
BAB 5 SIMPULAN DAN SARAN 5.1 Simpulan... 251 5.2 Saran... 252 DAFTAR PUSTAKA... 254 RIWAYAT HIDUP... 256 FOTOCOPY SURAT SURVEI... 258 xii
DAFTAR TABEL Tabel 2.1. Contoh Network dan Host portion alamat IP kelas A... 25 Tabel 2.2. Contoh Network dan Host portion alamat IP kelas B 25 Tabel 2.3. Contoh Network dan Host portion alamat IP kelas C 26 Tabel 2.4. 5 kelas alamat IP (Cisco.com).. 27 Tabel 2.5. Aplikasi pada Internet dan protokol yang digunakan 32 Tabel 2.6. Keuntungan dan kerugian jenis-jenis mail server di Linux.. 54 Tabel 2.7. Metode penyerangan virus dan pencegahannya 60 Tabel 2.8. Keuntungan dan kerugian jenis-jenis Anti Virus.... 61 Tabel 3.1. Perbandingan alternatif solusi pemecahan masalah... 93 Tabel 3.2. Rancangan Tabel Proxy. 157 Tabel 3.3. Rancangan Tabel Firewall. 157 Tabel 3.4. Rancangan Tabel Spam. 158 Tabel 3.5. Rancangan Tabel Snort. 158 Tabel 3.6. Rancangan Tabel Snort_Sensor. 159 Tabel 3.7. Rancangan Tabel User. 159 Tabel 3.8. Tabel Keterangan Variabel 160 Tabel 4.1. Tabel pengujian Prosesor AMD Duron 1 GHz Memory 256 MB... 245 Tabel 4.2. Tabel pengujian Prosesor Intel Pentium 2,4 GHz Memory 512 MB.. 245 Tabel 4.3. Tabel hasil percobaan pengiriman e-mail Spam... 246 Tabel 4.4. Tabel hasil percobaan pengiriman e-mail dengan attachment Virus.. 248 Tabel 4.5. Evaluasi perbandingan sistem... 250 xiii
DAFTAR GAMBAR Gambar 2.1. Tujuh layer model referensi OSI (Open System Interconnection).. 14 Gambar 2.2. Perbedaan model TCP/IP dan model OSI... 18 Gambar 2.3. 3-way handshake pada TCP (Kurose dan Ross, 2003). 21 Gambar 2.4. Alamat IP terdiri dari 32 bit terbagi dalam 4 oktet (Cisco.com)... 24 Gambar 2.5. Format alamat IP kelas A, B, dan C (Cisco.com)... 26 Gambar 2.6. Penggunaan alamat IP dan 3 router menghubungkan 6 host... 28 Gambar 2.7. Client-Server environment (CCNA 4 v3.0 Module 6)... 34 Gambar 2.8. Metode keamanan jaringan (Ousley, 2004). 37 Gambar 2.9. Statistik ancaman-ancaman keamanan komputer.... 40 Gambar 2.10. Konsep Firewall (Stallings, 1995)... 42 Gambar 2.11. Packet Filter Firewall.. 44 Gambar 2.12. Contoh implemetasi Web Proxy Server... 48 Gambar 2.13. Ilustrasi pengiriman pesan e-mail dari Alice kepada Bob 52 Gambar 2.14. Sistem mail di Internet (Kurose dan Ross, 2003). 52 Gambar 2.15. Contoh Overwriting Virus 59 Gambar 2.16. Network Management Evolution.. 67 Gambar 2.17. Empat model Network Management 70 Gambar 2.18. Konsep Web Server (HowStuffWorks.com) 75 Gambar 2.19. Contoh STD (State Transition Diagram) 79 Gambar 2.20. Alur State pada STD 79 Gambar 3.1. Struktur Organisasi PT. Network Box Indonesia... 81 xiv
Gambar 3.2. Skema Jaringan PT. Network Box Indonesia... 84 Gambar 3.3. Menambah device keamanan jaringan.. 90 Gambar 3.4. Meng-upgrade device keamanan jaringan 90 Gambar 3.5. Membatasi jumlah user 91 Gambar 3.6. Sistem baru sebagai pendukung atau pengganti sistem lama... 93 Gambar 3.7. Perancangan model sistem solusi... 95 Gambar 3.8. Sistem keamanan yang terintegrasi.... 96 Gambar 3.9. Sistem Firewall dalam sistem solusi keamanan jaringan... 97 Gambar 3.10. Sistem Proxy dalam sistem keamanan jaringan... 98 Gambar 3.11. Sistem keamanan Mail Server pada sistem solusi... 98 Gambar 3.12. Intrusion Detection System pada sistem solusi keamanan jaringan 99 Gambar 3.13. Perancangan implementasi sistem pada jaringan perusahaan... 101 Gambar 3.14. Diagram struktur menu program administrator sistem solusi... 102 Gambar 3.15. State Transition Diagram Layar Home 107 Gambar 3.16. State Transition Diagram Layar Spam Management.. 108 Gambar 3.17. State Transition Diagram Layar Mail Monitoring.. 110 Gambar 3.18. State Transition Diagram Layar Proxy Monitoring 112 Gambar 3.19. State Transition Diagram Layar Proxy Management. 113 Gambar 3.20. State Transition Diagram Layar Firewall... 114 Gambar 3.21. State Transition Diagram Layar IDS.. 115 Gambar 3.22. State Transition Diagram Layar User. 116 Gambar 3.23. State Transition Diagram Layar Help. 117 Gambar 3.24. State Transition Diagram Layar Logout. 118 xv
Gambar 3.25. Rancangan Layar Login... 119 Gambar 3.26. Rancangan Layar Invalid Login.. 120 Gambar 3.27. Rancangan Layar Home... 121 Gambar 3.28. Rancangan Layar Spam Management.. 122 Gambar 3.29. Rancangan Layar Spam Rule Accept 123 Gambar 3.30. Rancangan Layar Spam Rule Delete 124 Gambar 3.31. Rancangan Layar Mail Monitoring.. 125 Gambar 3.32. Rancangan Layar Mail Monitoring Yearly Statistics... 126 Gambar 3.33. Rancangan Layar Mail Monitoring Monthly Statistics 127 Gambar 3.34. Rancangan Layar Mail Monitoring Daily Statistics. 128 Gambar 3.35. Rancangan Layar Mail Monitoring Detail Statistics 129 Gambar 3.36. Rancangan Layar Proxy Monitoring 130 Gambar 3.37. Rancangan Layar Proxy Monitoring Topuser Report.. 131 Gambar 3.38. Rancangan Layar Proxy Monitoring Topsites Report.. 132 Gambar 3.39. Rancangan Layar Proxy Monitoring Sites & Users Report. 133 Gambar 3.40. Rancangan Layar Proxy Monitoring Downloads Report. 134 Gambar 3.41. Rancangan Layar Proxy Monitoring Denied Report 135 Gambar 3.42. Rancangan Layar Proxy Management 136 Gambar 3.43. Rancangan Layar Proxy Rule Accept... 137 Gambar 3.44. Rancangan Layar Proxy Rule Delete... 138 Gambar 3.45. Rancangan Layar Firewall... 139 Gambar 3.46. Rancangan Layar Firewall Rule Accept... 140 Gambar 3.47. Rancangan Layar Firewall Rule Delete 141 xvi
Gambar 3.48. Rancangan Layar IDS... 142 Gambar 3.49. Rancangan Layar IDS Sensor Listing... 143 Gambar 3.50. Rancangan Layar IDS Total Number Alert.. 144 Gambar 3.51. Rancangan Layar IDS Source IP Addresses 145 Gambar 3.52. Rancangan Layar IDS Destination IP Addresses 146 Gambar 3.53. Rancangan Layar IDS TCP Alert 147 Gambar 3.54. Rancangan Layar IDS UDP Alert... 148 Gambar 3.55. Rancangan Layar IDS ICMP Alert... 149 Gambar 3.56. Rancangan Layar IDS Graph Alert. 150 Gambar 3.57. Rancangan Layar User 151 Gambar 3.58. Rancangan Layar User Accept 152 Gambar 3.59. Rancangan Layar User Delete. 153 Gambar 3.60. Rancangan Layar Help. 154 Gambar 3.61. Rancangan Layar Logout.. 155 Gambar 3.62. Rancangan Layar Success Logout... 156 Gambar 4.1. Halaman Login. 191 Gambar 4.2. Halaman Invalid Login.... 192 Gambar 4.3. Halaman Home. 193 Gambar 4.4. Halaman Spam Management 197 Gambar 4.5. Halaman Spam Rule Accept. 199 Gambar 4.6. Halaman Spam Rule Delete.. 200 Gambar 4.7. Halaman Mail Monitoring 201 Gambar 4.8. Halaman Mail Monitoring Yearly Statistics... 202 xvii
Gambar 4.9. Halaman Mail Monitoring Monthly Statistics.. 203 Gambar 4.10. Halaman Mail Monitoring Daily Statistics.. 204 Gambar 4.11. Halaman Mail Monitoring Detail Statistics. 205 Gambar 4.12. Halaman Proxy Monitoring. 206 Gambar 4.13. Halaman Proxy Monitoring Topuser Report... 207 Gambar 4.14. Halaman Proxy Monitoring Topsites Report... 208 Gambar 4.15. Halaman Proxy Monitoring Sites & Users Report.. 209 Gambar 4.16. Halaman Proxy MonitoringDownloads Report... 210 Gambar 4.17. Halaman Proxy Monitoring Denied Report. 211 Gambar 4.18. Halaman Proxy Management... 212 Gambar 4.19. Halaman Proxy Rule Accept. 214 Gambar 4.20. Halaman Proxy Rule Delete. 215 Gambar 4.21. Halaman Firewall. 216 Gambar 4.22. Halaman Firewall Rule Accept. 219 Gambar 4.23. Halaman Firewall Rule Delete. 220 Gambar 4.24. Halaman IDS 221 Gambar 4.25. Halaman IDS Sensor Listing 224 Gambar 4.26. Halaman IDS Total Number Alert... 226 Gambar 4.27. Halaman IDS Source IP Addresses. 227 Gambar 4.28. Halaman IDS Destination IP Addresses. 229 Gambar 4.29. Halaman IDS TCP Alert.. 231 Gambar 4.30. Halaman IDS UDP Alert.. 232 Gambar 4.31. Halaman IDS ICMP Alert 233 xviii
Gambar 4.32. Halaman IDS Graph Alert 235 Gambar 4.33. Contoh Chart Time VS Number... 238 Gambar 4.34. Halaman User.. 239 Gambar 4.35. Halaman User Accept.. 240 Gambar 4.36. Halaman User Delete 241 Gambar 4.37. Halaman Help.. 242 Gambar 4.38. Halaman Logout.. 243 Gambar 4.39. Halaman Success Logout.... 244 Gambar 4.40. Layar hasil uji coba ketepatan proxy... 249 xix