Jarwanto Helman Muhammad, S.T., M.T.

DETEKSI DAN PENCEGAHAN BUFFER OVERFLOW TERHADAP EFM WEB SERVER MENGGUNAKAN SNORT MAKALAH PROGRAM STUDI TEKNIK INFORMATIKA FAKULTAS KOMUNIKASI DAN INFORMATIKA Diajukan oleh: Jarwanto Helman Muhammad, S.T., M.T. PROGRAM STUDI TEKNIK INFORMATIKA FAKULTAS KOMUNIKASI DAN INFORMATIKA UNIVERSITAS MUHAMMADIYAH SURAKARTA NOVEMBER, 2014 1

2 2

DETEKSI DAN PENCEGAHAN BUFFER OVERFLOW TERHADAP EFM WEB SERVER MENGGUNAKAN SNORT Jarwanto Teknik Informatika, Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta Email : djar1too@gmail.com Abstrak Teknologi informasi telah berkembang dengan pesat seiring berkembangnya teknologi lain, terutama dengan adanya jaringan komputer baik yang bersifat lokal maupun jaringan internet yang dapat memudahkan untuk melakukan komunikasi dengan pihak lain. Keamanan jaringan komputer sebagai bagian dari sebuah sistem menjadi sangat penting untuk menjaga validitas data. Buffer overflow merupakan salah satu serangan yang sangat bahaya ke dalam server jaringan komputer dan dapat terjadi kapan saja. Baik pada saat administrator yang sedang bekerja ataupun tidak. Dengan demikian diperlukan sistem keamanan di dalam server itu sendiri yang mampu mendeteksi langsung apakah setiap paket yang masuk tersebut adalah paket data yang sebenarnya atau tidak. Sehingga keamanan jaringan komputer terjamin dan tidak ada serangan yang dapat menguasainya. Sistem keamanan ini menggunakan Operating System Windows 8 dan EFM Web Server sebagai target yang merupakan salah satu web server untuk sharing file/folder. Sistem ini dibagi menjadi beberapa modul diantaranya IDS software yaitu snort, report viewer software yaitu Kiwi Log Viewer, dan juga penetration testing software yaitu metasploit framework. Deteksi dan pencegahan dilakukan dengan sistem yang didesain dengan jalan membuat firewall aktif dan snort bisa mendefinisikan setiap data yang masuk kedalam server, apakah data yang datang itu merupakan sebuah serangan buffer overflow ataukah bukan. Jika yang datang merupakan serangan buffer overflow maka firewall akan memblokir alamat IP pengirim yang sudah disetting sebelumnya berdasarkan alert yang ditampilkan melalui Kiwi Log Viewer. Kata kunci : Keamanan Jaringan Komputer, Buffer Overflow, EFM Web Server, IDS, Snort, Kiwi Log Viewer, Metasploit Framework, Firewall. 3

PENDAHULUAN Internet saat ini telah merambah ke hampir semua aspek kehidupan. Jumlah pengguna internet tiap tahunnya mengalami peningkatan yang cukup signifikan. Di balik kemudahan pengaksesan informasi yang disediakan oleh internet terdapat bahaya besar yang mengintai, yaitu berbagai macam serangan yang berusaha mencari celah dari sistem keamanan jaringan komputer yang digunakan. Serangan-serangan itu dapat mengakibatkan kerusakan data dan bahkan kerusakan pada hardware. Saat ini di Indonesia setiap harinya terjadi ratusan ribu serangan (intrusi) terhadap keamanan internet, Perkembangan perangkat lunak yang semakin pesat ternyata juga menimbulkan resiko keamanan yang besar, hal tersebut dapat dilihat dari kerentanan yang terus muncul dalam perangkat lunak. Menurut laporan CERT/CC, Buffer overflow merupakan penyebab dari 50% bug keamanan yang dilaporkan dan dijadikan advisori oleh CERT/CC. Buffer overflow merupakan salah satu penyebab yang paling banyak menimbulkan masalah pada keamanan komputer baik yang bersifat lokal maupun jaringan. Buffer overflow adalah suatu keadaan ketika sebuah proses menunjukkan perilaku yang tidak wajar karena data yang disimpan melebihi kapasitas memorinya. Perilaku tersebut bisa menjadi celah keamanan yang dapat dimanfaatkan oleh pihak-pihak yang tak bertanggung jawab untuk menguasai sistem dan memanfaatkannya menurut kehendaknya. Mengingat besarnya kerugian yang dapat disebabkan oleh terjadinya Buffer overflow maka diperlukan pengetahuan yang lebih mendalam tentangnya agar dapat dilakukan pengamanan maksimal terhadap sistem yang dipakai. Berdasarkan beberapa pertimbangan dan mengingat begitu berbahayanya masalah tersebut, penelitian ini akan membahas deteksi dan pencegahan Buffer overflow terhadap EFM Web Server menggunakan Snort. Snort merupakan salah satu IDS software yang tergolong mudah, user friendly serta dapat didownload secara gratis di web resminya, sehingga dalam pebelitian ini digunakan snort sebagai IDS Softwarenya. Sedangkan untuk target serangan pada penelitian ini menggunakan EFM Web Server yang memang setelah diteliti masih memiliki celah untuk diserang dengan serangan buffer overflow, sehingga software tersebut cocok digunakan dalam penelitian ini. Tujuan dari penelitian ini adalah mengidentifikasi bagaimana suatu 4

serangan Buffer overflow bekerja terhadap EFM Web Server, dan kemudian membuat penanggulangannya menggunakan Snort. Hasil dari penelitian ini diharapkan mampu memberikan gambaran akan sistem keamanan jaringan komputer yang bekerja dan semuga bermanfaat bagi semua pihak khususnya yang berkecipung dalam bidang IT. TINJAUAN PUSTAKA Pada penelitian sebelumnya, terdapat terdapat sebuah system keamanan jaringan komputer yang dibangun pada ubuntu server. Penelitian ini berupa tugas akhir yang mulai dibangun dari kebutuhan untuk keamanan jaringan komputer, karena disamping sangat bermanfaatnya sebuah internet, namun disisi lain juga sangat banyak sisi kekuranganya salah satunya adalah untuk menangani bentuk serangan DoS Attack yaitu Flooding data dengan SYN Flood Attack dan Ping of Death sebagai sampel pengujian serangan. Sistem Keamanan ini bisa dijadikan sebagai suatu alat yang dapat mempermudah admin dalam mendeteksi adanya serangan terhadap server, sehingga dapat dilakukan pencegahan lebih dini terhadap serangan tersebut (Syujak: 2012) Penelitian yang serupa pun pernah dilakukan di UIN Alauddin Makassar sebagai tugas akhir, yaitu secure programming untuk mencegah buffer overflow. Pada penelitian tersebut memberikan hasil bahwasannya beberapa fungsi dalam bahasa C/C++ memiliki kerentanan untuk terjadinya Buffer overflow, kerentanan ini dapat dicegah dan perlindungan dapat ditingkatkan dengan menekankan solusi lebih pada saat penulisan kode program. (Suherman: 2011) Universitas Indonesia khususnya Fakultas Teknik Program Teknik Komputer pernah mengimplementasikan IDS (Intrusion Detection System) serta Monitoring Jaringan dengan Interface Web Berbasis BASE pada Keamanan Jaringan sistem. Dalam penelitian ini dibangun sebuah aplikasi Instrusion Detection System (IDS) yang dapat mendeteksi adanya serangan di dalam jaringan dengan cepat serta menganalisa alert dan log yang dihasilkan melalui monitor dengan menggunakan kiwi syslog dan BASE (Basic analysis and security engine) sebagai peringatan kepada Administrator serta menghitung nilai terhadap jumlah alert dan waktu yang dibutuhkan oleh sistem untuk mendeteksi adanya serangan di dalam jaringan. (Kusumawati: 2010) METODOLOGI Penelitian ini akan mengidentifikasi bagaimana suatu 5

serangan buffer overflow bekerja terhadap Easy File Management Web Server (EFM Web Server), dan kemudian membuat penanggulangannya menggunakan snort. Sistem keamanan jaringan komputer ini menggunakan Operating System Windows 8. Sistem ini dibagi menjadi beberapa modul diantaranya IDS software yaitu snort, report viewer software yaitu Kiwi log viewer, dan juga penetration testing software yaitu metasploit framework. Deteksi dan pencegahan dilakukan dengan sistem yang didesain dengan jalan membuat firewall aktif dan bisa mendefinisikan setiap data yang masuk kedalam server, apakah data yang datang itu merupakan sebuah serangan buffer overflow ataukah bukan. Jika yang datang merupakan serangan buffer overflow maka akan dilakukan seting Firewall agar dapat memblokir alamat IP attacker. Penelitian ini menggunakan metode Library research atau penelitian kepustakaan yaitu cara mengumpulkan data dengan jalan mempelajari literatur, artikel, buku, karya ilmiah, ataupun kepustakaan lainnya serta mengutip pendapat-pendapat para ahli dari bukubuku bacaan yang ada kaitannya dengan materi pembahasan penelitian ini. Setelah semua data yang dibutuhkan terpenuhi selanjutnya adalah tahap perancangan sistem. Adapun langkah-langkah yang dimaksud meliputi : 1. Installasi Metasploit di client Aplikasi ini dapat di download di www.metasploit.com dan kemudian diinstal secara typical installation. 2. Installasi EFM Web Server di server Aplikasi EFM Web Server dapat didownload di www.web-filemanagement.com dan kemudian diinstal secara typical installation. 3. Installasi dan Konfigurasi IDS Software Tahap ini merupakan tahap inti perancangan sistem, dimana perancangan sistem yang akan digunakan untuk merancang suatu sistem yang dapat mendeteksi adanya serangan yaitu Intrusion Detection System menggunakan snort. Tahap ini meliputi beberapa installasi software secara typical installation, diantaranya: a. Snort 2_9_6_2 installer http://dl.snort.org/snortcurrent/snort_2_9_6_2_installer.exe b. WinPcap_4_1_3 http://www.winpcap.org/install/default.htm c. Kiwi_LogViewer_2.1.0_Win32.setup http://kiwisyslog.com/ Kiwi_LogViewer_2.1.0-download/ 6

4. Konfigurasi Rule Snort Tahap selanjutnya yaitu konfigurasi rule snort. Konfigurasi yang dilakukan meliputi konfigurasi rule yang default di snort dan konfigurasi local rule. Berikut ini adalah beberapa Dari : pengeditan maupun penambahan pada rule yang telah didownload di https://www.snort.org/downloads/#rul e-downloads dan yang sudah terekstrak di C:/Snort/etc/snort.conf : Gambar 1 Tampilan edit rule snort 1 Menjadi : Gambar 2 Tampilan edit rule snort 2 Dari : Gambar 3 Tampilan edit rule snort 3 Menjadi : Gambar 4 Tampilan edit rule snort 4 Dari : Gambar 5 Tampilan edit rule snort 5 Menjadi : Gambar 6 Tampilan edit rule snort 6 7

Dari : Gambar 7 Tampilan edit rule snort 7 Menjadi : Gambar 8 Tampilan edit rule snort 8 Setelah pengeditan rule yang secara default sudah terinstal di snort selesai maka perlu membuat rule local, rule local yang telah dibuat kemudian dapat dipasang dengan cara dipindahkan ke server pada direktori c:\snort\rules\local. Rule tersebut adalah sebagai berikut : # $Id: local.rules,v 1.11 2014/11/06 20:15:44 bmc Exp $ # ---------------- # LOCAL RULES # ---------------- # Rule Alert untuk mendeteksi BoF pada Efm alert tcp $EXTERNAL_NET any -> $HOME_NET 80 (msg:"efm dsize:1<>800000; classtype: attempted-admin; sid:1000000;) buffer overflow"; 5. Konfigurasi Firewall Setelah installasi dan Konfigurasi IDS Software selesai dan ready untuk dijalankan, maka sistem telah siap mendeteksi serangan yang datang untuk kemudian Firewall melakukan blok IP berdasarkan alert, dengan langkah konfigurasi sebagai berikut: a. Control panel - Windows Firewall - klik Advanced settings. b. Pilih Inbound Rules - klik New Rule dan pilih jenis aturan Custom, klik next. c. Pilih This program path next d. Isi protocol type: TCP, local port: All ports, remote port: All port e. Masukkan alamat IP di IP address 192.168.1.1 f. pada panel action pilih block the connection g. Pada panel profil cheklis semua pilihan h. Firewall telah terkonfigurasi dan siap digunakan 8

HASIL DAN PEMBAHASAN Hasil dari penulisan ini merupakan suatu sistem keamanan jaringan yang mampu mendeteksi dan mencegah trerjadinya serangan buffer overflow terhadap EFM Web Server. Sistem yang dihasilkan dalam penulisan dan keberhasilan penulisan bisa didapatkan dan dilihat melalui pengujian terhadap sistem, dalam hal ini mencakup 2 tahap, yaitu tahap deteksi serangan dan tahap pencegahan serangan. Tahap Deteksi Serangan Pada skenario pengujian IDS berbasis snort ini, akan dilakukan simulasi percobaan penyerangan (attack) dengan melakukan serangan buffer overflow. Gambar 9 Mekanisme simulasi penyerangan Pada pengujian IDS ini digunakan 2 buah komputer. 1 komputer sebagai komputer penyerang (attacker) dan lainnya sebagai komputer target. Adapun langkah langkah pengujian sistem IDS dengan melakukan simulasi penyerangan buffer overflow adalah sebagai berikut: 1. Di komputer target (dengan alamat IP 192.168.1.2), aktifkan Snort dan Kiwi Log Viewer agar dapat mendeteksi serangan dari komputer penyerang, sehingga alert dapat diketahui melalui log snort maupun Kiwi Log Viewer ketika terjadi serangan terhadap komputer. 2. Di komputer penyerang (dengan alamat IP 192.168.1.1) menggunakan metasploit framework yang telah diinstal sebelumnya dan siap digunakan untuk simulasi serangan buffer overflow terhadap EFM web server dengan perintah perintah sebagai berikut : a. earch efm b. use exploit/windows/http/efs_fmws_userid_bof c. show targets d. set target 1 e. set payload windows/meterpreter/bind_tcp f. set rhost 192.168.1.2 g. set rport 80 h. show options i. exploit 3. Setelah attacker masuk ke sistem target maka di komputer target, IDS mendeteksi adanya serangan, dan kemudian memicu alert tentang serangan yang ditampilkan oleh kiwi log viewer. Dalam pengujian ini snort menangkap serangan buffer overflow 9

yang dilakukan oleh komputer penyerang. Gambar 10 Tampilan log snort Pada tahap sebelumnya yaitu deteksi serangan dapat dilihat bahwa snort telah mendeteksi serangan buffer overflow dari komputer penyerang/attakcer dengan alamat IP 192.168.1.1. Untuk tahap selanjutnya yaitu konfigurasi firewall agar dapat mencegah serangan. Maka setelah dikonfigurasi attacker tidak dapat lagi masuk kedalam sistem, tampilan konfigurasi ditunjukan pada gambar berikut : Gambar 11 Tampilan Kiwi Log Viewer Tahap Pencegahan Serangan Pada tahap ini dapat di lihat pada bagan proses pencegahan terhadap suatu serangan berikut: Bagan 1 Proses pencegahan serangan 10 Gambar 12 Tampilan firewall yang telah dikonfigurasi Pembahasan Penulisan ini meliputi serangkaian tahap installasi beberapa software yang secara bebas bisa didapatkan dari masing masing web resminya. Sehingga dalam penulisan ini tidak mengeluarkan banyak dana. Panduan installasi juga banyak ditemukan di web web yang dapat diakses secara mudah dan juga ditutorial youtube. Hal tersebut memberikan dukungan didalam proses installasi software software yang dibutuhkan, walaupun dalam prosesnya ada beberapa kendala yang ditemui, terutama dalam

konfigurasi software satu dengan software yang lain agar dapat diintegrasikan menjadi satu kesatuan sistem. Konfigurasi IDS snort juga melalui beberapa tahapan yang dilalui secara urut sehingga memudahkan pengguna dalam melakukan konfigurasi, hanya saja dalam konfigurasi rule snort sedikit kesulitan. Karena walaupun rules snort tersebut sudah terekstrak dengan baik di folder snort, perlu melakukan beberapa penambahan maupun pengeditan pada snort.conf dengan Notepad++. Pengeditan maupun penambahan ini bermanfaat untuk melakukan konfigurasi snort dan berpengaruh terhadap keberhasilan IDS snort. Penelitian ini menggunakan local rule sebagai berikut : # $Id: local.rules,v 1.11 2014/11/06 20:15:44 bmc Exp $ # ---------------- # LOCAL RULES # ---------------- # Rule Alert untuk mendeteksi BoF pada Efm alert tcp $EXTERNAL_NET any -> $HOME_NET 80 (msg:"efm buffer overflow"; dsize:1<>800000; classtype: attemptedadmin; sid:1000000;) Rule tersebut merupakan rule yang dibuat untuk alert serangan buffer overflow. Dimana ketika ada koneksi apapun yang berasal dari luar sistem yg 11 masuk kedalam sistem melalui port 80, dengan trafik data diantara 1-800.000 bytes, maka akan terdeteksi sebuah serangan buffer overflow yang berusaha mengambil alih fungsi admin di jenis rule local yaitu dengan kode sid 1000000, dan kemudian memicu peringatan/alert oleh snort berikut kiwi log viewer. File rule yang disediakan pada setiap versi snort dibuat oleh Snort Team dengan dukungan opensource project dan telah teruji untuk dapat mendeteksi berbagai macam jenis serangan keamanan. Kontributor dari Snort Team adalah para profesional dalam bidang IT terutama dalam bidang keamanan jaringan komputer, sehingga perkembangan rule snort dapat mengikuti perkembangan teknik keamanan dan pola serangan baru yang sering terjadi pada sistem jaringan komputer. Snort merupakan perangkat Intrusion Detection System, dan bukan Intrusion Prevention System yang secara otomatis dapat mencegah adanya suatu serangan. Snort hanya mampu memberikan suatu peringatan/alert tentang adanya sebuah serangan terhadap suatu sistem, sehingga untuk dapat melakukan pencegahan terhadap sebuah serangan harus dilakukan pengaturan firewall. Hanya saja dalam sistem operasi windows masih bersifat

manual, dan belum bisa terintegrasi dengan snort. Firewall merupakan sebuah perangkat yang diletakkan antara Internet dengan jaringan internal. Informasi yang keluar atau masuk harus melalui firewall ini. Tujuan utama dari firewall adalah untuk menjaga agar akses (ke dalam maupun ke luar) tidak dapat dilakukan secara bebas. Firewall bekerja dengan mengamati paket IP (Internet Protocol) yang melewatinya. Berdasarkan konfigurasi dari firewall maka akses dapat diatur berdasarkan IP address, port, dan arah informasi. Penelitian ini memadukan antara IDS Software yaitu snort, kiwi log viewer, dan firewall. Yang dari software software tersebut menghasilkan sebuah sistem yang mampu mencegah dan mendeteksi serangan buffer overflow terhadap EFM Web Server yang sangat berbahaya. Terbukti dari sekian pengujian dan skenario serangan sistem dapat memenuhi target dari penelitian ini. KESIMPULAN & SARAN Setelah melakukan serangkaian penelitian mulai dari tahap awal sampai akhir, penelitian ini menghasilkan beberapa poin kesimpulan, diantaranya adalah sebagai berikut: 1. Berdasarkan hasil pengujian yang dilakukan terhadap sistem yang sudah dibangun, snort dapat diimplementasikan sebagai Intrusion Detection System (IDS) pada sistem operasi windows 8 server untuk mendeteksi serangan buffer overflow terhadap EFM Web Server. 2. Berdasarkan hasil pengujian yang dilakukan terhadap sistem yang sudah dibangun, firewall dapat dikonfigurasikan pada sistem operasi windows 8 server untuk mencegah serangan buffer overflow terhadap EFM Web Server berdasarkan informasi alert dari snort. 3. Setelah dilakukan perancangan sitem dan konfigurasi beberapa software, diketahui sistem IDS berbasis Snort mempunyai kemudahan dalam penambahan atau modifikasi rule, baik yang secara default sudah terinstal di snort maupun local rule, untuk mendeteksi ancaman serangan. 4. Snort berhasil mendeteksi serangan buffer overflow menggunakan penetration testing software yaitu metasploit framework, sebagai alat simulasi serangan yang dilakukan terhadap sistem yang telah dibangun. Sehingga dapat diambil kesimpulan bahwa perangkat lunak metasploit memenuhi tujuan dari perangkat lunak 12

tersebut sebagai alat simulasi penyerangan buffer overflow. 5. EFM Web Server merupakan salah satu Web Server untuk sharing data yang masih memiliki kerentanan, terbukti masih bisa ditembus dengan metasploit framework. Saran Salah satu yang menjadi kendala dalam jaringan komputer adalah dalam bidang keamanannya. Sesempurna apapun sistem jaringan yang dibangun oleh user tentunya masih memiliki celah untuk diserang. Kalaupun ada suatu sistem yang tidak bisa diserang mungkin bukan tidak bisa akan tetapi belum bisa. Setiap komputer yang terhubung ke dalam suatu jaringan baik tekoneksi dengan internet maupun tidak pasti akan sering menghadapi berbagai macam bentuk serangan yang selalu berusaha mencari celah dari sistem keamanan jaringan komputer yang digunakan. Oleh karena itu, implementasi sistem deteksi dan pencegahan terhadap serangan sangatlah di butuhkan, salah satunya yaitu dengan IDS Snort. Sistem keamanan dengan IDS Snort dapat memberikan manfaat lebih apabila Snort diintegrasikan dengan firewall. Snort cukup efektif untuk mendeteksi adanya sebuah serangan terhadap sistem, namun Snort bukanlah sebuah Intrusion Prevention System (IPS) yang dapat mencegah atau memblokir usaha-usaha penyusupan kedalam sistem. Maka dari itu firewall dapat menjadi salah satu solusi untuk proses pencegahan terhadap suatu serangan. 13

DAFTAR PUSTAKA Ajawaila, T.G. (2010). Tutorial Membangun Snort Sebagai Intrusion Detection System Integrasi terhadap BASE dan MySQL. http://ilmukomputer.com/ diakses tanggal 13 Agustus 2014. Fauziah, L. (2009). Pendeteksian Serangan Pada Jaringan Komputer Berbasis IDS Snort Dengan Algoritma Clustering K-Means. Tugas Akhir. Institut Teknologi Sepuluh November, Surabaya. Foster, J.C. (2005). Buffer Overflow Attacks: Detect, Exploit, Prevent. United States of America: Andrew Williams. Kusumawati, M. (2010). Implementasi IDS (Intrusion Detection System) serta Monitoring Jaringan dengan Interface Web Berbasis BASE pada Keamanan Jaringan. Skripsi. Universitas Indonesia. Mulyanto, Arip. (2010). Evaluasi Bomod Sebagai Media Pembelajaran Buffer overflow. Jurnal MEDTEK, Volume 2, Nomor 1. Universitas Negeri Gorontalo. Odom, W. (2004). Computer Networking First-Step. Yogyakarta: Andi. Rehman, R. (2003). Intrusion Detection Systems with Snort. New Jersey: Prentice-Hall. Ritonga, Y. (2013). Buffer overflow (keamanan computer). http://prediss.com/ diakses tanggal 14 September 2014. Rochim, A.R. (2010). Eksploitasi Keamanan Sistem Operasi Windows XP Pada Jaringan LAN. Skripsi. Sekolah Tinggi Manajemen Informatika Dan Komputer AMIKOM, Yogyakarta. Suherman. (2011). Secure Programming Untuk Mencegah Buffer Overflow. Skripsi. Universitas Islam Negeri Alauddin Makassar. Sukirmanto. (2013). Rancang Bangun dan Implementasi Keamanan Jaringan Komputer Menggunakan Metode Intrusion Detection System (IDS) pada SMP Islam Terpadu PAPB. Jurnal. Universitas Semarang. Syujak, A.R. (2012). Deteksi dan Pencegahan Flooding Data Pada Jaringan Komputer. Skripsi. Universitas Muhammadiyah Surakarta. Tanenbaum, A.S. dan Wetherall, D.J. (1944). Computer Networks. 5th ed. Roesch, M. (2003). SNORT Users Manual 2.9.6 The Snort Project, http://manual.snort.org/ diakses tanggal 23 Oktober 2014. 14