SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU

Transkripsi

1 SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU Skripsi Disusun sebagai salah satu syarat menyelesaikan jenjang Strata 1 Pada Program Studi Informatika Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta Oleh : Irwan Adi Prianto L PROGRAM STUDI INFORMATIKA FAKULTAS KOMUNIKASI DAN INFORMATIKA UNIVERSITAS MUHAMMADIYAH SURAKARTA 2016

2 SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU Skripsi Disusun sebagai salah satu syarat menyelesaikan jenjang Strata 1 Pada Program Studi Informatika Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta Oleh : Irwan Adi Prianto L PROGRAM STUDI INFORMATIKA FAKULTAS KOMUNIKASI DAN INFORMATIKA UNIVERSITAS MUHAMMADIYAH SURAKARTA 2016 ii

3 iii

4 iv

5 v

6 HALAMAN PERSEMBAHAN Alhamdulillah, penulis panjatkan puji syukur kehadirat Allah SWT yang telah melimpahkan rahmat dan hidayah-nya sehingga penulis dapat menyelesaikan skripsi dengan judul Simulasi dan Perbandingan PSAD, Suricata Untuk Mencegah Scanning Port Oleh Zenmap pada VPS Ubuntu. Shalawat serta salam peneliti panjatkan kepada Nabi besar Muhammad SAW karena beliaulah yang telah memimpin Umat Islam dari jaman kebodohan ke jaman pengetahuan. Karya tulis skripsi ini saya persembahkan kepada : 1. Kedua orang tua saya yang telah mendukung sepenuhnya kepada peneliti untuk menyelesaikan skripsi ini. 2. Suaudara serta keluarga besar yang telah mendukung dan mendoakan saya dalam penulisan skripsi ini. 3. Muhammad Kusban, S.T, M.T yang telah membimbing peneliti dalam pengerjaan skripsi ini. 4. Teman Teman FKI angkatan 2011 Peneliti menyadari bahwa banyak kekurangan dari penyusunan skripsi ini. Namun peneliti berharap skripsi ini dapat membantu menjadi referensi ataupun sebagai informasi yang dapat dimanfaatkan dengan baik oleh orang yang membacanya. vi

7 KATA PENGANTAR Assalamu alaikum Wr. Wb. Alhamdulillah, Puji syukur kehadirat Allah SWT yang telah melimpahkan rahmat, taufik, hidayah dan karunia-nya, sehingga penulis dapat menyelesaikan laporan skripsi ini yang berjudul SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU. Shalawat serta salam peneliti panjatkan kepada Nabi besar Muhammad SAW karena beliaulah yang telah memimpin Umat Islam dari jaman kebodohan ke jaman pengetahuan. Penyusunan skripsi ini bertujuan memenuhi sebagian persyaratan untuk memperoleh gelar sarjana informatika S-1 Jurusan Informatika, Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta. Selama penyusunan skripsi ini telah banyak menerima bantuan dari berbagai pihak, untuk itu tidak lupa penulis ucapkan terima kasih kepada: 1. Husni Thamrin, S.T., M.T., Ph.D., selaku Dekan FakultasKomunikasi dan Informatika yang memberi semangat dalam penelitian studi. 2. Dr. Heru Supriyanto, M.Sc., selaku Ketua Program Studi Informatika Fakultas Komunikasi dan Informatika yang memberi bekal ilmu pengetahuan kepada penulis selama masa studi. 3. Bapak Muhammad Kusban, S.T, M.T., selaku pembimbing yang selalu memberi nasehat dan motivasi kepada penulis dalam menyelesaikan penelitian. vii

8 4. Bapak dan Ibu Dosen Fakultas Komunikasi dan Informatika yang telah memberi bekal ilmu pengetahuan kepada penulis selama masa studi. 5. Kedua orang tua yang telah memberikan dukungan, doa tulus dan nasihat dengan sabar kepada penulis dalam berkehidupan. 6. Endang Wahyu Pamungkas, S.Kom., M.Kom. selaku Koordinator Skripsi Prodi Informatika Fakultas Teknik Informatika yang selalu memberikan informasi berkaitan dengan proses pembuatan skripsi. 7. Teman-teman kelas angkatan 2011 Fakultas Komunikasi dan Informatika yang selalu mendoakan, mendukung dan selalu memberikan semangat. 8. Semua pihak yang telah membantu dalam menyusun skripsi ini. Berakhirnya penyusunan skripsi ini diharapkan selain sebagai syarat memperoleh gelar sarjana juga agar dapat dipergunakan sebagi penambah wawasan dan reverensi terhadap pembaca maupun penelitian yang berkaitan dengan penelitian. Penulis menyadari bahwa penyusunan ini masih jauh dari sempurna, maka penulis sangat berterima kasih apabila diantara pembaca ada yang memberikan saran atau kritik yang membangun guna memperluas wawasan penulis sebagai proses pembelajaran diri. Wassalamu alaikum Wr. Wb. Surakarta, 10 januari 2016 Penulis, Irwan Adi Prianto L viii

9 SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU Irwan Adi Prianto, L , Fakultas Komunikasi dan Informatika, Universitas Muhammadiyah Surakarta, 2016 ABSTRAK Scanning port merupakan suatu kegiatan atau aktifitas untuk mencari dan melihat serta meneliti Port pada suatu Komputer atau Server. Scanning Port ini adalah langkah pertama seorang penyerang untuk mencari informasi Port Port yang dipakai dalam sebuah Server Sistem Informasi. Karena dengan mengetahui informasi yang ada maka seorang penyerang dapat memasuki sistem yang tidak terdapat Firewall didalamnya, oleh karena itu sebuah Sistem harus dilengkapi Firewall keamanan Scanning Port. Tujuan penelitian ini untuk simulasi Suricata dan PSAD sebagai Firewall keamanan pada VPS (Virtual Private Server) serta Zenmap sebagai Scanning Port. Metode yang digunakan peneliti adalah metode Grounded Research yaitu penelitian yang berdasarkan kepada pengujian dan menggunakan analisis perbandingan. Hasil penelitian ini dapat disimpulkan bahwa Aplikasi Zenmap mampu melakukan Scanning Port pada VPS dengan waktu proses scan rata rata yang dibutuhkan detik, PSAD dan Suricata mampu mendeteksi kejanggalan yang terjadi didalam Server seperti Scaning Port dan memberikan peringatan serta informasi seperti waktu penyerangan, IPAddress penyerang, serta melakukan Block IPAddress. Sehingga mampu mengamankan sebuah server dari serangan secara efisien. Kata kunci : Server, Suricata, PSAD, Zenmap, VPS (Virtual Private Server) ix

10 SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU Irwan Adi Prianto, Muhammad Kusban Informatika, Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta irwans.ums@gmail.com ABSTRACT Port scanning is an activity or event to search for and view and examine the port on a computer or server. Port scanning is the first step an attacker to seek information Port - Port that is used in a Server System Information. Because knowing that information exists then an attacker can enter the system that are not contained there in Firewall, therefore, a system must include Port Scanning Firewall security. The purpose of this study for the simulation of Suricata and PSAD as security Firewall on VPS (Virtual Private Server) as well as Scanning Zenmap Port. Researchers used the method is grounded research method that is research based on the testing and use of comparative analysis. The results of this study can be concluded that the application Zenmap capable of doing Scanning Port on a VPS with the time the scan is average - average it takes 11:01 seconds, PSAD and Suricata able to detect irregularities that occur within Server as Scaning Port and provide warnings as well as information such as time of the attack, IPAddress attacker, as well as perform Block IPAddress. So as to secure a server from attacks efficiently. Keywords : Server, Suricata, PSAD, Zenmap, VPS (Virtual Private Server) x

11 DAFTAR ISI Halaman Halaman Judul... ii Halaman Persetujuan... iii Halaman Pengesahan... iv Halaman Kontribusi... v Halaman Persembahan... vi Kata Pengantar... vii Abstrak... ix Abstract x Daftar Isi... xi Daftar Tabel... xiv Daftar Gambar... xv BAB I PENDAHULUAN 1.1. Latar Belakang Masalah Rumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian Sistematika penulisan... 4 BAB II TINJAUAN PUSTAKA 2.1. Telaah Penelitian Landasan Teori Simulasi Suricata PSAD VPS Zenmap xi

12 Scanning Port Putty Port IDS IPS Daemon Pengertian perintah yang digunakan dalam proses Installasi dan Konfigurasi PSAD dan Suricata BAB III METODE PENELITIAN 3.1. Metode Penelitian Waktu dan Tempat Peralatan Utama dan Pendukung Perangkat Keras Perangkat Lunak Alur Penelitian Installasi PSAD Perintah instal Program PSAD Configure IPTables Rules Configure PSAD to Detect Scans Implement PSAD Intrusion Detection Installasi Suricata Install library dan aplikasi yang dibutuhkan Installasi HTP Library Download dan Install Suricata Membuat folder untuk Suricata dan Log Suricata Mengkopi program utama suricata dan melakukan konfigurasi pada file suricata.yaml Mengunduh rules dan melakukan Configurasi Rule agar memberikan Alert ketika di test menggunakan nmap xii

13 BAB IV HASIL DAN PEMBAHASAN 4.1. Hasil Penelitian Hasil Pengujian Scanning port pada PSAD Hasil Pengujian Scanning Port pada Suricata Pembahasan Analisis pengujian Zenmap Analisis pengujian PSAD Analisis pengujian Suricata Perbandingan PSAD dan Suricata BAB V PENUTUP 5.1. Kesimpulan Saran Dafttar Pustaka xiii

14 DAFTAR TABEL Halaman Tabel 4.1 Hasil Keseluruhan Scanning Zenmap Tabel 4.2 Hasil Keseluruhan Status PSAD Tabel 4.3 Hasil Keseluruhan Scanning Zenmap Tabel 4.4 Hasil Keseluruhan Log Suricata Tabel 4.5 Teknik Scanning Tabel 4.6 Perbandingan PSAD dan Suricata xiv

15 DAFTAR GAMBAR Halaman Gambar 3.1 Alur Penelitian Gambar 3.2 Topologi Jaringan Simulasi Gambar 3.3 Proses Install PSAD Gambar 3.4 Proses Install dan Configurasi IPTables-Persistent Gambar 3.5 Configure PSAD to Detect Scans Gambar 3.6 Update Setingan PSAD Gambar 3.7 Restart Service PSAD Gambar 3.8 Status PSAD Gambar 3.9 Proses Install Library Gambar 3.10 Installasi HTP Library Gambar 3.11 Download dan Install Suricata Gambar 3.12 Pembuatan Folder Log Suricata Gambar 3.13 Configurasi Rules Alert Gambar 4.1 Serangan Syn Scan pada PSAD Gambar 4.2 Hasil Status PSAD dari Serangan Syn Scan Gambar 4.3 Hasil Status PSAD dari Serangan Syn Scan Gambar 4.4 Serangan allport pada PSAD Gambar 4.5 Hasil Status PSAD dari Serangan allport Gambar 4.6 Hasil Status PSAD dari Serangan allport Gambar 4.7 Serangan TCP Connect scan pada PSAD Gambar 4.8 Hasil Status PSAD dari Serangan TCP Connect Gambar 4.9 Hasil Status PSAD dari Serangan TCP Connect Gambar 4.10 Serangan TCP Syn Scan pada PSAD Gambar 4.11 Hasil Status PSAD dari Serangan TCP Syn Scan Gambar 4.12 Hasil Status PSAD dari Serangan TCP Syn Scan Gambar 4.13 Hasil Status PSAD dari Serangan TCP Syn Scan Gambar 4.14 Serangan UDP scan pada PSAD Gambar 4.15 Hasil Status PSAD dari Serangan UDP scan xv

16 Gambar 4.16 Hasil Status PSAD dari Serangan UDP scan Gambar 4.17 Serangan Nul scan pada PSAD Gambar 4.18 Hasil Status PSAD dari Serangan Nul scan Gambar 4.19 Hasil Status PSAD dari Serangan Nul scan Gambar 4.20 Serangan syn scan pada suricata Gambar 4.21 Hasil Log Suricata dari Serangan syn scan Gambar 4.22 Serangan allport pada suricata Gambar 4.23 Hasil Log Suricata dari Serangan allport Gambar 4.24 Serantan Tcp Connect Scan pada Suricata Gambar 4.25 Hasil Log Suricata dari Serantan Tcp Connect Scan Gambar 4.26 Serangan Tcp Syn Scan pada Suricata Gambar 4.27 Hasil Log Suricata dari Serangan Tcp Syn Scan Gambar 4.28 Serangan UDP Scan pada Suricata Gambar 4.29 Hasil Log Suricata dari Serangan UDP Scan Gambar 4.30 Serangan Nul Scan pada Suricata Gambar 4.31 Hasil Log Suricata dari Serangan Nul Scan xvi