MEMBANGUN FIREWALL PADA SERVER LINUX CENTOS 5.5 SEBAGAI SECURITY JARINGAN INTERNET (Studi Kasus: Server FOSS AMIKOM (

Transkripsi

1 HALAMAN JUDUL MEMBANGUN FIREWALL PADA SERVER LINUX CENTOS 5.5 SEBAGAI SECURITY JARINGAN INTERNET (Studi Kasus: Server FOSS AMIKOM ( Naskah Publikasi diajukan oleh Bambang Andrie Gunawan kepada SEKOLAH TINGGI MANAJEMEN INFORMATIKA DAN KOMPUTER AMIKOM YOGYAKARTA 2011

2 HALAMAN PENGESAHAN

3 HALAMAN ABSTRACT BUILDING FIREWALL ON SERVER LINUX CENTOS 5.5 FOR INTERNET NETWORK SECURITY (Case Study: Server FOSS AMIKOM ( MEMBANGUN FIREWALL PADA SERVER LINUX CENTOS 5.5 SEBAGAI SECURITY JARINGAN INTERNET (Studi Kasus: Server FOSS AMIKOM ( Bambang Andrie Gunawan Jurusan Teknik Informatika STMIK AMIKOM YOGYAKARTA ABSTRACT Linux Operating System for many applications on the network as the computer servers for reliability, one of which is Linux CentOS, which stands for Community Enterprise Operating System, operating systems made by companies or communities to be free of this society which is made from the source code for Red Hat Enterprise Linux (RHEL) and use the RPM package. STMIK AMIKOM YOGYAKARTA as informatics colleges have a server that is used as a warehouse applications from using the Linux operating system, or commonly called the Linux repository. The purpose built repository of Linux in AMIKOM is to support the development of free and open source software in Indonesia and facilitate students AMIKOM in using the Linux operating system so it does not need to access external networks that are beyond the campus and is expected to be the motivation for students to use software AMIKOM legal-software for the progress of a nation that most still use pirated software. Related to this, there are a few questions: How is security on the server computer to be safe from attack? Any software that is used to build the server's security by making use of legal software? How to ease the network administrator to configure the computer server and analyze the security on the server computer? The results obtained from security built on computer servers this repository is to provide convenience to the network administrator in configuring the server computer and provides suggestions for developing the existing system so that if an attack against a server computer, the system can instantly block access from a computer attackers. Keywords: Firewall, Linux, CentOS, Network, Server, Repository Open Source.

4 1. Pendahuluan Masalah keamanan jaringan komputer saat ini telah mendapat perhatian yang cukup luas sehubungan dengan meningkatnya tindakan yang dapat digolongkan merugikan atau bahkan sampai tindak kejahatan elektronis pada sistem komputer. Kurangnya penanganan terhadap sistem komputer sendiri sering dianggap remeh oleh sebagian orang. Keamanan informasi pada jaringan komputer umumnya dianggap sebagai suatu proses dan bukan suatu produk. Proses yang dimaksud adalah bagaimana cara membangun suatu sistem sehingga aman dari serangan orang-orang yang tidak bertanggung jawab, pemata-mata, ataupun pencuri data. FOSS AMIKOM sebagai wadah dari mahasiswa/i AMIKOM di bidang Open Source mempunyai komputer server yang selalu di akses dari dalam maupun dari luar kampus sehingga membutuhkan penanganan seperti rajin melakukan patch dan update terhadap sistem yang berjalan pada komputer tersebut. Server FOSS AMIKOM sekarang menggunakan Sistem Operasi Linux CentOS 5.5. Linux banyak sekali diterapkan pada jaringan dan terbukti kehandalannya, walaupun demikian tidak menutup kemungkinan keamanan di Linux tidak dapat ditembus. Penting sekali untuk dapat membatasi apa dan siapa saja yang boleh masuk atau mengakses perangkat komputer. Masalah ini dapat diselesaikan dengan cara membangun sebuah sistem pengaman khusus yang biasanya disebut firewall atau tembok api. Firewall saat ini digunakan sebagai salah satu alternatif yang banyak dipakai untuk melindungi sebuah komputer yang terhubung ke jaringan dari akses yang tidak dikehendaki dan di server FOSS AMIKOM perlu sekali dibangun sebuah firewall sehingga aman dari serangan-serangan yang biasa terjadi pada komputer server. 2. Landasan Teori 2.1 Firewall Firewall adalah suatu aturan yang diterapkan baik terhadap hardware, software ataupun sistem itu sendiri dengan tujuan untuk melindungi, baik dengan melakukan filterisasi, membatasi, ataupun menolak suatu koneksi pada jaringan yang dilindunginya dengan jaringan luar lainnya seperti internet. Firewall yang sederhana biasanya tidak memiliki kemampuan melakukan filtering terhadap paket berdasarkan isi dari paket tersebut. Sebagai contoh, firewall tidak memiliki kemampuan melakukan filtering terhadap bervirus yang di download atau terhadap halaman web yang tidak pantas untuk dibuka, yang dapat dilakukan firewall adalah melakukan blokir terhadap alamat IP dari mail server yang mengirimkan virus atau 1

5 alamat halaman web yang dilarang untuk dibuka atau dapat juga dikatakan firewall merupakan sistem pertahanan yang paling depan di dalam suatu jaringan komputer. Selain untuk filtering IP address, firewall juga banyak memiliki kelebihan lain. Kemampuannya membaca dan menganalisis paket-paket data yang masuk pada level IP, maka firewall pada umumnya memiliki kemampuan melakukan translasi IP address. Translasi tersebut maksudnya adalah proses mengubah sebuah alamat IP dari sebuah alamat yang dikenal oleh jaringan diluar jaringan pribadi, menjadi alamat yang hanya dapat dikenal dan dicapai dari jaringan lokal saja. Kemampuan ini kemudian menjadi sebuah fasilitas standar dari setiap firewall yang ada di dunia ini. Fasilitas ini sering dikenal dengan istilah Network Address Translation (NAT). 2.2 Fungsi Firewall Secara garis besar, firewall dapat melakukan hal-hal seperti berikut: 1. Mengatur dan mengontrol lalu lintas jaringan. 2. Melakukan autentifikasi terhadap akses. 3. Melindungi sumber daya dalam jaringan private. 4. Mencatat semua kejadian dan melaporkan kepada administrator. 2.3 Software yang digunakan Software-software yang digunakan dalam membangun firewall di server FOSS AMIKOM adalah: Linux CentOS CentOS singkatan dari Community ENTerprise Operating System (Sistem Operasi Perusahaan buatan Komunitas/Masyarakat) adalah sistem operasi gratis yang dibuat dari source code Red Hat Enterprise Linux (RHEL). Proyek ini berupaya untuk 100% binari kompatibel dengan produk hulunya (RHEL) dan tentu saja menggunakan paket RPM. Kelebihan dari Distribusi Linux CentOS adalah: 1. CentOS sangat kompatibel dengan Red Heat. 2. Merupakan OS freeware yang sangat handal untuk skala Enterpise. 3. Merupakan satu-satunya OS freeware yang didukung resmi oleh Cpanel. 4. Drivers Red Hat Enterprise Linux (RHEL) dapat dipakai oleh CentOS karena isi CentOS adalah RHEL. 2

6 2.3.2 IPTables IPTables merupakan fasilitas tambahan yang memiliki tugas untuk menjaga keamanan perangkat komputer dalam jaringan, dengan kata lain IPTables adalah sebuah firewall atau program IP filter build-in yang disediakan oleh kernel Linux untuk tetap menjaga agar perangkat komputer aman dalam berkomunikasi. Fitur yang dimiliki IPTables adalah: 1. Connection Tracking Capability yaitu kemampuan untuk inspeksi paket serta bekerja dengan icmp dan udp sebagaimana koneksi TCP. 2. Menyederhanakan perilaku paket-paket dalam melakukan negosiasi built in chain (input,output, dan forward). 3. Rate-Limited connection dan logging capability sehingga dapat membatasi usaha-usaha koneksi sebagai tindakan preventif terhadap serangan Syn flooding denial of services (DOS). 4. Kemampuan untuk memfilter flag-flag dan opsi tcp serta MAC address Snort Snort merupakan Intrusion Detection System (IDS) open source, snort dapat didownload di situs Snort dapat diimplementasikan dalam jaringan yang multiplatform, salah satu kelebihannya adalah mampu mengirimkan alert dari mesin Unix atupun Linux ke platform Microsoft Windows dengan melalui SMB. Snort dapat berkerja dalam 3 mode yaitu sniffer mode (penyadap), packet logger dan network intrusion detection mode. Komponen-komponen Snort IDS meliputi: Rule Snort Rule Snort merupakan database yang berisi pola-pola serangan berupa signature jenis-jenis serangan. Rule Snort IDS harus diupdate secara rutin agar ketika ada suatu teknik serangan yang baru, serangan tersebut dapat terdeteksi. Rule Snort juga dapat didownload di Snort Engine Snort Engine merupakan program yang berjalan sebagai daemon proses yang selalu bekerja untuk membaca paket data dan kemudian membandingkannya dengan rule snort Alert Alert merupakan catatan serangan ketika terdeteksi adanya penyusupan, jika snort engine menghukumi paket data yang lewat sebagai serangan, maka snort engine akan mengirimkan alert berupa log file. Alert juga dapat disimpan di dalam database 3

7 untuk kebutuhan analisa, sebagai contohnya adalah ACID (Analysis Console for Intrusion Databases) yang merupakan modul tambahan pada snort Webmin Webmin adalah sebuah tool untuk mengkonfigurasi suatu sistem melalui web. Sistem yang dimaksud yaitu OpenSolaris, Linux, Unix, Windows, dan lain sebagainya. Webmin memudahkan seorang user dalam mengkonfigurasi internal sistem seperti services, configuration file, dan lain-lain. Webmin ditulis oleh Jamie Cameron dengan bahasa perl. Konfigurasi atau settingan yang biasanya dilakukan oleh seorang administrator melalui program command line seperti putty untuk remote SSH, dapat dengan mudah di akses melalui web browser. Webmin sangat cocok digunakan baik untuk admin yang professional maupun yang amatiran karena kemudahannya dan kelengkapan fitur-fitur untuk melakukan administrasi terhadap server. 3. Analisis 3.1 Analisis Masalah Keamanan dalam suatu jaringan adalah hal utama yang harus diperhatikan oleh seorang administrator jaringan, dalam penelitian ini adalah komputer server FOSS AMIKOM. Kurangnya pengamanan pada komputer server dapat berakibat fatal apabila suatu saat server tersebut dikuasai oleh orang yang tidak bertanggung jawab. Server FOSS saat ini diserahkan kepada komunitas open source di kampus AMIKOM yaitu FOSSil (Free Open Source Software interest league) dan penanggung jawab terhadap server FOSS adalah M. Agung Nugroho S.Kom selaku dosen di STMIK AMIKOM YOGYAKARTA. FOSSil terdiri dari mahasiswa aktif AMIKOM dan tentu saja mereka harus membagi waktunya untuk kegiatan perkuliahan sehingga kurang mengupdate keamanan di server FOSS itu sendiri. Selain itu, keamanan di server FOSS sampai saat ini masih menggunakan konfigurasi default atau bawaan dari sistem operasi Linux CentOS 5.5 yang mungkin saja sebagian orang sudah mengetahui bagaimana cara kerja sistem tersebut. 3.2 Solusi Terhadap Masalah Solusi dalam menghadapi masalah keamanan di server tersebut adalah dengan cara membuat filtering sehingga paket-paket yang datang dari luar dan di dalam jaringan dapat terkontrol. Filtering yang dimaksud adalah sebuah sistem pengaman yang membatasi seseorang untuk mengakses server FOSS AMIKOM atau dapat dikatakan membangun sebuah firewall di server FOSS AMIKOM. 4

8 Masalah yang dihadapi dalam mengamankan sebuah jaringan komputer adalah bagaimana langkah-langkah membangun firewall sehingga dapat diimplementasikan ke dalam sistem yang sedang berjalan (server FOSS) mulai dari menganalisa topologi jaringan yang sudah ada, menentukan kebijakan (policy), menentukan service yang boleh atau tidak boleh dijalankan atau dilewatkan dan menentukan user yang menggunakan policy, dengan memanfaatkan fitur-fitur yang terdapat di dalam IPTables serta tools lain seperti port-knocking sehingga membuat server lebih aman dari serangan-serangan yang biasa terjadi di dalam sebuah jaringan komputer. 3.3 Analisis Kebutuhan Analisis ini digunakan untuk mengetahui kebutuhan apa saja yang diperlukan dalam membangun sebuah firewall di komputer server FOSS AMIKOM meliputi kebutuhan perangkat keras (hardware) dan perangkat lunak (software) Kebutuhan Perangkat Keras (Hardware) Perangkat keras yang digunakan dalam sebuah sistem sangat berpengaruh terhadap kinerja sistem tersebut, tetapi ini tidak menjadi masalah karena pada umumnya sebuah komputer server tidak memerlukan spesifikasi yang tinggi Kebutuhan Perangkat Lunak (Software) Perangkat Lunak yang digunakan untuk membangun firewall adalah perangkat lunak yang bersifat Open Source dan tidak perlu mengeluarkan biaya untuk mendapatkannnya. berikut adalah software-software yang digunakan: Linux CentOS 5.5 Linux CentOS versi 5.5 digunakan sebagai Operating System pada komputer server dan penggunaannya berupa full text based (console) sehingga diharuskan mengetahui serta memahami syntax-syntax yang ada di Linux IPTables IPTables sebagai firewall yang mengizinkan administrator jaringan untuk mengontrol sepenuhnya jaringan melalui paket IP dengan sistem Linux yang diimplementasikan pada kernel Linux Port-knocking Port-Knocking berfungsi sebagai sebuah metode untuk membatasi user yang ingin mengakses port-port pada server FOSS AMIKOM seperti port 22/SSH. 5

9 Webmin Webmin digunakan untuk memudahkan administrator jaringan dalam mengkonfigurasi sistem yang ada pada server FOSS AMIKOM. 3.4 Sistem yang direncanakan sebagai berikut: Algoritma sistem yang akan dirancang pada server FOSS AMIKOM adalah Gambar 3.1 Algoritma Sistem 4. Hasil Penelitian dan Pembahasan 4.1 Topologi Jaringan Membangun firewall pada sebuah jaringan sebaiknya merancang dahulu topologi jaringan yang akan diterapkan karena dengan adanya topologi jaringan seorang admin jaringan akan mudah menerapkan pengamanan pada komputer server, dalam hal ini 6

10 server FOSS AMIKOM. Berikut topologi jaringan saat implementasi sistem pada server FOSS AMIKOM: Gambar 4.1 Topologi Jaringan pengujian sistem Komputer dengan alamat IP adalah sebagai server yang berfungsi sebagai penyedia layanan ketika ada request yang dilakukan oleh user terhadap server, sedangkan komputer client berfungsi untuk mengakses komputer server berdasarkan port-knocking yang telah diterapkan di server FOSS AMIKOM. 4.2 Melakukan Installasi Software Agar konsep firewall dapat berjalan sesuai dengan yang diinginkan, maka diperlukan dukungan dari beberapa perangkat lunak pada perangkat keras yang digunakan Install Linux CentOS Proses selanjutnya yang harus dilakukan adalah menginstall sistem operasinya terlebih dahulu, dalam hal ini berfungsi sebagai sistem utama pada komputer server serta sudah terinstall IPTABLES secara default di dalamnya sehingga fungsi-fungsi dari IPTABLES dapat langsung dijalankan Konfigurasi Port-knocking Port-knocking digunakan untuk autentifikasi pada saat ada user yang ingin mengakses port-port tertentu seperti port 22/SSH yang terdapat di dalam jaringan server berdasarkan kombinasi yang telah dicatat atau direcord oleh port-knocking sehingga user yang sah yang dapat mengakses komputer server Network Analyzer Berfungsi sebagai monitoring jaringan untuk mengontrol seluruh aktifitas yang terdapat di dalam server. Tools yang digunakan adalah webmin dan modul snort sebagai Intrusion Detection System (IDS). 7

11 4.3 Mengkonfigurasi Jaringan Melakukan konfigurasi jaringan seperti pengalamatan berdasarkan IP yang telah diberikan yaitu , subnet mask dan gateway dengan network interface eth Mengkonfigurasi Sistem dan Implementasi Sistem Mengimplementasikan firewall ke dalam komputer server sesuai dengan rule atau aturan yang telah dibuat sehingga pada saat pengujian sistem, firewall sudah berjalan sesuai dengan yang diharapkan. Implementasi sistem pada tahap ini menggunakan IPTables sebagai firewall yang dimasukkan ke dalam bahasa pemrograman yang ada di Linux yaitu bash script. Bash script adalah file yang berisi koleksi program yang dapat dieksekusi, untuk mengeksekusi bash script dengan menggunakan tanda.(dot) sebelum file bash script yang berarti eksekusi shell dan tanda./ berarti file bash script berada pada direktori aktual atau dapat juga mengetikkan perintah bash <namafile>. Bash script dalam hal ini memudahkan administrator jaringan dalam menerapkan rule yang telah dirancang pada IPTables karena administrator jaringan tidak perlu bersusah payah mengetikkan satu per satu syntax dari IPTables yang akan diimplementasikan ke komputer server FOSS AMIKOM, cukup dengan mengeksekusi satu file saja firewall sudah terpasang pada komputer server. 4.4 Report Setelah Implementasi Sistem Memberikan laporan apakah sistem sudah berjalan sesuai dengan yang diharapkan atau belum, apabila sudah sesuai dengan rule atau aturan yang dibuat maka akan diteruskan ke pengujian sistem dan apabila belum sesuai, kembali ke konfigurasi sistem kemudian di analisis mengapa dapat terjadi kesalahan. Sebagai contoh, berikut adalah hasil scanning port yang terdapat pada server FOSS AMIKOM sebelum dan sesudah firewall dibangun: Gambar 4.2 Scanning Port sebelum firewall di bangun 8

12 Gambar 4.3 Scanning Port setelah firewall di bangun Hasil scanning port di atas menunjukkan bahwa sebelum implementasi sistem terlihat ada beberapa port yang masih dapat diakses dan tentu saja dapat dimanfaatkan oleh pihak yang tidak bertanggung jawab untuk mencoba mengakses masuk ke dalam server melalui port-port yang terbuka tersebut, sedangkan setelah implementasi sistem hanya port 80 saja yang dibiarkan terbuka karena port 80 merupakan port dari web server yang sering diakses untuk kebutuhan blog dan update repository. 4.5 Pengujian Akhir Sistem Memastikan kembali konfigurasi yang dijalankan apakah sudah berjalan berdasarkan rule yang telah dibuat dan apakah fungsi dari sistem yang dibangun sudah teruji kemampuannya atau belum. Pengujian sistem dilakukan dengan cara melakukan serangan ke server FOSS seperti DDoS dan lain sebagainya. Berikut contoh pengujian sebelum dan sesudah implementasi sistem yang dilakukan melalui client untuk mengakses port 22 atau SSH: Sebelum Implementasi Sistem Gambar 4.4 Login SSH sebelum Implementasi Sistem Gambar di atas menunjukkan bahwa siapa saja dapat mengakses port 22 atau SSH sehingga ada kemungkinan hacker menggunakan brute-force attack dengan memanfaatkan port 22 yang terbuka. 9

13 4.5.2 Setelah Implementasi Sistem Gambar 4.5 Login SSH setelah Implementasi Sistem Gambar di atas digunakan untuk melakukan percobaan login SSH ke IP server , dalam hal ini komputer server FOSS AMIKOM, terlihat bahwa muncul pesan ssh: connect to host port 22: Connection timed out yang menandakan bahwa user tersebut tidak dapat melakukan login SSH ke komputer server, ini menandakan metode port-knocking yang telah diimplementasikan sebelumnya sudah berjalan sesuai dengan yang diharapkan. Supaya user tersebut dapat melakukan login ke komputer server FOSS, user tersebut harus mengetahui kombinasi port yang telah diterapkan pada iptables karena cara kerja dari metode port-knocking server FOSS AMIKOM menggunakan percobaan ke port tertentu (port 2011) sebanyak 5 kali percobaan menggunakan tool netcat dan setelah itu user baru dapat melakukan login melalui SSH karena port tersebut telah terbuka untuk user yang diizinkan, berikut perintahnya dengan menggunakan program netcat: Baris perintah di atas maksudnya adalah tool netcat dengan option -w yang berarti menunjukkan waktu atau timeout dalam melakukan percobaan ke port 2011 di dalam interval waktu 15 detik berdasarkan rule dari iptables yang telah diimplementasikan ke dalam server FOSS AMIKOM, sedangkan angka 1 menandakan timeout dari -w bernilai positif. Berikut baris perintah pada iptables yang diterapkan sebelumnya: Gambar 4.6 User yang dibolehkan login SSH root@foss:~# iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -m recent --rcheck --name sshlist --hitcount 5 --seconds 15 -j ACCEPT Jika telah berhasil membuka port 22, maka ip yang melakukan percobaan login tersebut akan terdaftar ke dalam file /proc/net/ipt_recent/sshlist. 10

14 5. Kesimpulan Pembahasan dari keseluruhan kegiatan yang telah dijelaskan serta diuraikan pada bab-bab sebelumnya mengenai sistem keamanan pada jaringan komputer dengan membangun sebuah firewall, maka penulis dapat mengambil kesimpulan bahwa: 1. Firewall sebagai sistem pertahanan terdepan dalam suatu jaringan komputer dapat dibangun dengan menggunakan software yang bersifat free atau gratis yaitu IPTables dan tanpa harus mengeluarkan biaya yang mahal dalam implementasinya terhadap sistem. 2. Tool IPTables memberikan solusi terhadap keamanan jaringan karena memiliki banyak kemampuan, diantaranya seperti connection tracking capability yaitu kemampuan untuk inspeksi paket serta bekerja dengan icmp dan udp sebagaimana koneksi TCP, Rate-Limited connection dan logging capability yang dapat membatasi usaha-usaha koneksi ke jaringan komputer serta pencatatan paket data di dalam jaringan komputer. 3. Mampu menganalisa paket data yang terdapat di dalam jaringan komputer sehingga memudahkan administrator jaringan dalam mengontrol lalu lintas data yang terjadi dan mencegah kemungkinan adanya penyusup ke jaringan tersebut. 4. Seorang administrator jaringan tidak perlu bersusah payah lagi menggunakan command line untuk mengkonfigurasi semua administrasi sistem yang ada pada komputer server karena dapat diakses melalui web browser. 5. Setelah pengujian sistem yang dilakukan, keamanan di komputer server FOSS AMIKOM meningkat dari sebelumnya, terlihat dari hasil scanning port sebelum dan sesudah firewall dibangun dan sulitnya seseorang menebak kombinasi port yang diterapkan dalam metode port-knocking untuk membuka port SSH, sehingga hanya user yang sah saja yang dapat mengakses server FOSS. 11

15 Daftar Pustaka HALAMAN DAFTAR PUSTAKA Angenendt, Ralph IPTables Configuration. Network/IPTables, diakses tanggal 07 Maret Anonim Install Webmin di CentOS 5. tanggal 6 Maret diakses Bambang, Wilfridus Kostumasi Konfigurasi IDS (Snort). diakses tanggal 19 April Gite, Vivek CentOS/Redhat IPTables Firewall Configuration Tutorial. configurationtutorial/, diakses tanggal 20 April Purbo, Onno W Compile Snort dan Base. telkomspeedy.com/wiki/index.php/snort:_compile_snort_dan_ BASE, diakses tanggal 19 April Purbo, Onno W. dan Wiharjito, Tony Keamanan Jaringan Internet. Jakarta: Elex Media Komputindo. Purbo, Onno W Mini How to IPTables untuk Firewall. telkomspeedy.com/wiki/index.php/mini_howto_iptables_untuk_firewall, diakses tanggal 20 April Purbo, Onno W Snort untuk mendeteksi penyusup. onnopurbo/library/library-onno-ind/onno-ind-2/network/network-security/ snort-untuk-mendeteksi-penyusup rtf, diakses tanggal 7 Maret Sembiring, Jhony H Jaringan Komputer Berbasis Linux. Jakarta: Elex Komputindo. Media 12