PROGRAM STUDI TEKNIK INFORMATIKA. Analisis Pendeteksian dan Pencegahan Serangan Backdoor Pada Layanan Server

Transkripsi

1 PROGRAM STUDI TEKNIK INFORMATIKA Analisis Pendeteksian dan Pencegahan Serangan Backdoor Pada Layanan Server BUDI KURNIAWAN Skripsi ini diajukan sebagai syarat memperoleh gelar Sarjana Komputer PROGRAM STUDI TEKNIK INFORMATIKA FAKULTAS ILMU KOMPUTER UNIVERSITAS BINA DARMA

2 BAB 1 PENDAHULUAN 1.1. Latar Belakang Diskusi tentang masalah keamanan sebuah jaringan komputer, sudah pasti sangat rawan terhadap serangan dari luar. Banyak sebab yang digunakan untuk melakukan kegiatan penyerangan pada suatu jaringan komputer. Istilah hacker pada umum nya adalah seseorang yang memiliki keinginan dalam mengetahui secara mendalam mengenai kerja sistem dan jaringan komputer, kemudian menjadi orang yang ahli dalam bidang penguasaan sistem dan jaringan komputer. Tetapi dengan kemudahan dalam pengaksesan internet ada pula ancaman besar yang mengintai, yaitu beberapa macam serangan yang bertujuan untuk mencari kerentanan dari sebuah sistem keamanan jaringan komputer. Banyak masalah yang sering terjadi pada sistem jaringan komputer yaitu salah satunya backdoor. Backdoor dalam dunia hacker memiliki arti membuat pintu belakang apabila akan meninggalkan host yang sudah dimasuki. Pintu ini adalah password login. Backdoor ini berguna apabila cracker ingin kembali ke host / server tersebut, karena jika password root atau admin telah diganti, kita masih bisa masuk menggunakan password backdoor yang telah dipasang. 2

3 Backdoor pada awalnya dibuat oleh para programmer komputer sebagai mekanisme yang mengizinkan mereka untuk mendapatkan akses khusus ke dalam program mereka, seringnya digunakan untuk membenarkan dan memperbaiki kode pada program yang mereka buat ketika sebuah crash akibat bug terjadi. Seperti kasus yang terjadi pada seorang Hacker muda yang bernama Joseph Jonathan James atau biasa dipanggil James. Lahir di Miami florida, 12 Desember Saat usia 16 tahun harus masuk penjara dikarenakan telah menginstal backdoor untuk membobol server Badan Pengurangan Ancaman Pertahanan. James juga masuk ke dalam komputer NASA, mencuri software bernilai sekitar $ 1,7 juta. James kemudian melanggar masa percobaan, ketika ia dites positif menjadi pengguna narkoba dan kemudian ditahan oleh Amerika Serikat Marshall Layanan kemudian diterbangkan ke Alabama federal. Namun, enam bulan di penjara atas pelanggaran dia memperoleh pembebasan bersyarat. James mengatakan bahwa dia jera dan mungkin memulai sebuah perusahaan keamanan komputer. Pada tanggal 18 Mei 2008, James ditemukan tewas dari luka tembak, diduga bunuh diri. Kemudian, Albert Gonzalez, lahir pada tahun 1981 yang merupakan seorang hacker komputer dan criminal computer yang dituduh mendalangi pencurian kombinasi kartu kredit dan dijual kembali lebih dari 170 juta kartu kredit dan nomor ATM dari 2005 sampai Gonzalez dan anggotanya menggunakan teknik SQL Injection untuk membuat Backdoor Malware pada beberapa sistem perusahaan untuk meluncurkan paket sniffing yang berguna untuk mencuri data komputer dari jaringan internet perusahaan. Dan pada tanggal 25 Maret 2010, Gonzalez pun dijatuhi hukuman 20 tahun penjara federal. 3

4 Dikarenakan suatu serangan dapat datang kapan saja seperti pada beberapa kasus diatas, maka dibutuhkan suatu sistem keamanan yang dapat memonitor suatu paket data yang masuk, apakah itu termasuk serangan atau bukan. Salah satu upaya pencegahan dan meningkatkan keamanan komputer yaitu dengan menggunkan IDS dan IPS menggunakan Snort. Untuk mempelajari secara spesifik tentang serangan Backdoor, maka dari itu penulis tertarik untuk mengangkat permasalahan ini kedalam rancangan penelitiannya yang berjudul ANALISIS PENDETEKSIAN DAN PENCEGAHAN SERANGAN BACKDOOR PADA LAYANAN SERVER Rumusan Masalah Adapun masalah yang akan diangkat oleh penulis berdasarkan dari permasalahan diatas yaitu Bagaimana cara menganalisis serangan backdoor pada sistem jaringan untuk meningkatkan keamanan? 1.3. Batasan Masalah Adapun batasan masalah yang akan dibahas oleh penulis yaitu melakukan analisis terhadap karakteristik serangan Backdoor dibantu dengan tools IDS / IPS Snort. 4

5 1.4. Tujuan dan Manfaat Penelitian Tujuan Penelitian Tujuan yang ingin dicapai dari penelitian ini adalah untuk mendeteksi, mencegah dan meningkatkan keamanan server melalui beberapa pengujian menggunakan tools IDS / IPS Snort Manfaat Penelitian Penelitian ini bermanfaat untuk membantu dan mengetahui terjadinya sebuah serangan yang akan merusak sebuah jaringan server yang ada. Diharapkan dapat memudahkan peneliti untuk mengetahui apabila adanya serangan ataupun penyusup yang dapat mengancam sistem komputer dan jaringan server Metodologi Penelitian Metode Penelitian Dalam penelitian ini penulis menggunakan Metode Eksperimen. Metode Eksperimen adalah metode yang paling banyak dipilih dan paling produktif dalam penelitian. Bila dilakukan dengan baik, studi ekperimental menghasilkan bukti yang paling benar berkaitan dengan hubungan sebab-akibat. Menurut Gay (1981) dalam Emzir (2013: 63) menyatakan bahwa penelitian eksperimental merupakan satu-satunya metode penelitian yang dapat menguji secara benar hipotesis menyangkut hubungan kasual (sebab akibat). Langkah-langkah metode eksperimen adalah sebagai berikut: 5

6 1. Memilih dan merumuskan masalah. Adanya permasalahan yang signifikan untuk diteliti, permasalahan yang dibahas pada penelitin ini adalah Bagaimana cara menganalisa serangan backdoor pada sistem jaringan untuk meningkatkan keamanan. 2. Memilih subjek dan instrumen pengukuran Pemilihan subjek yang akan dibagi dalam kelompok eksperimen dan kelompok kontrol. Penelitian ini menjadikan IDS dan IPS Snort sebagai subjek dalam menganalisa serangan backdoor pada layanan server. 3. Memilih desain penelitian Penelitian ini dengan simulasi pada komputer yang saling berhubungan yang betujuan untuk melakukan analisis terhadap backdoor. 4. Melaksanakan prosedur Tindakan yang dilakukan pada penelitian ini dengan membuat simulasi pada komputer yang saling berhubungan untuk melakukan penetrasi. Selanjutnya, akan dilakukan analisa pada server dengan menggunakan IDS / IPS Snort. 5. Analisis data Analisis dilakukan dari pengamatan dan mencatat nilai dari parameter yang terjadi pada saat simulasi dilakukan. 6. Merumuskan kesimpulan Setelah melakukan analisis, data selanjutnya penulis membuat kesimpulan dan hasil yang sudah didapat. 6

7 Metode Pengumpulan Data Metode pengumpulan data berupa suatu pernyataan (statement) tentang sifat, keadaan, kegiatan tertentu dan sejenisnya. Pengumpulan data dilakukan untuk memperoleh informasi yang dibutuhkan dalam rangka mencapai tujuan penelitian (Gulo, 2002 : 110). Metode pengumpulan data yang dilakukan sebagai berikut: 1. Studi Literatur Studi literatur adalah cara yang dipakai untuk menghimpun data-data atau sumber-sumber yang berhubungan dengan topik yang diangkat dalam suatu penelitian. Studi literatur bisa didapat dari berbagai sumber, jurnal, buku dokumentasi, internet dan pustaka. 2. Observasi Melakukan pengamatan dan menganalisa serta berkordinasi dengan bagian IT agar memudahkan proses dokumentasi baik itu informasi yang berhubungan dengan objek dan pekerjaan apa saja yang dilakukan Sistematika Penulisan yaitu: Adapun sistematika penulisan penelitian ini yang terdiri dari beberapa bab, BAB I PENDAHULUAN Pada bab ini akan membahas tentang latar belakang, rumusan masalah, batasan masalah, tujuan dan manfaat penelitian, metodologi penelitian, dan sistematika penulisan laporan. 7

8 BAB II TINJAUAN PUSTAKA Pada bab ini akan membahas tentang teori-teori yang berkaitan dengan masalah dan pembahasan dalam penelitian. BAB III METODE ANALISIS Pada bab ini akan membahas metode yang akan digunakan untuk menganalisis serangan Backdoor pada layanan server dengan menggunakan satu buah laptop, serta mempersiapkan semua kebutuhan dan rencana dalam melakukan penetrasi. BAB IV HASIL DAN PEMBAHASAN Pada bab ini akan membahas tentang teknik yang digunakan untuk melakukan analisis serangan Backdoor serta menyimpulkan hasil dari penetrasi serangan tersebut. BAB V PENUTUP Pada bab ini berisi tentang kesimpulan dan saran dari bab-bab sebelumnya yang telah dibahas. 8

9 BAB II TINJAUAN PUSTAKA 2.1. Keamanan Jaringan (Network Security) Menurut Howard dalam Sofana (2010 : 306) dalam buku yang berjudul CISCO CCNA & Jaringan Komputer yang mengemukakan tentang Keamanan Jaringan (computer security). Keamanan komputer mencegah penyerang dari tujuan mencapai melalui akses yang tidak sah atau penggunaan yang tidak sah dari komputer dan jaringan. Menurut Garfinkel dalam Sofana (2010 : 307), keamanan komputer meluputi empat aspek yaitu privacy, integrity, authentication, dan avaibility. a. Privacy atau confidentiality. Privacy mencakup kerahasian informasi. Aspek privacy adalah bagaimana cara menjaga informasi agar tidak dilihat dan diakses oleh orang yang tidak berhak. b. Integrity atau integritas mencakup keutuhan informasi. Inti aspek integrity ini adalah bagaimana menjaga informasi supaya tetap utuh. Informasi tidak boleh diubah, kecuali jika mendapat izin dari pemilik informasi. Virus, Trojan horse atau yang lain yang mengubah informasi tanpa izin pemiliknya merupakan contoh masalah yang mengganggu aspek ini. 9

10 Penggunaan anti virus, enkripsi, dan digital signature, merupakan contoh usaha untuk mengatasi masalah ini. c. Authentication atau otentikasi, berkaitan dengan keabsahan pemilik informasi. Harus ada cara untuk mengetahui bahwa disana informasi memang asli, kemudian yang mengakses informasi merupakan orangorang yang berhak, dan hanya yang berhak saja yang boleh memberikan sebuah informasi kepada orang lain. Penggunaan access control seperti login dan password adalah usaha yang dilakukan untuk memenuhi aspek ini. Digital signature dan watermarking juga merupakan salah satu usaha untuk melindungi intellectual property yang sesuai dengan aspek authentication. d. Avaibility. Aspek ini berhubungan dengan ketersediaan adanya informasi. Contoh serangan terhadap aspek ini yaitu Denial of Service attack atau DoS attack. Misalkan, server dikirim request palsu sacara bertubitubi sehingga tidak dapat melayani permintaan lain Konsep Keamanan Jaringan Pada saat ini issue keamanan jaringan menjadi sangat penting dan patut untuk diperhatikan, jaringan yang terhubung dengan internet tidak aman dan selalu dapat diekploitasi oleh para hacker, baik jaringan LAN maupun Wireless. Pada saat data dikirim akan melewati beberapa terminal untuk sampai tujuan berarti akan memberikan kesempatan kepada pengguna lain yang tidak bertanggung jawab atau mengubah data tersebut. Dalam pembangunan perancangannya, sistem keamanan jaringan yang terhubung ke Internet harus 10

11 direncanakan serta dipahami dengan baik agar dapat melindungi sumber daya yang berada di dalam jaringan tersebut secara efektif dan meminimalisir terjadinya serangan oleh para hacker Keamanan Informasi Keamanan Informasi adalah penjagaan informasi dari seluruh ancaman yang mungkin terjadi di dalam upaya untuk memastikan dan menjamin kelangsungan bisnis (business continuity), meminimasi risiko bisnis (reduce business risk) dan memaksimalkan dan mempercepat pengembalian investasi dan peluang bisnis (ISO dalam Sarno dan Iffano, 2009 : 27). Menurut Syafrizal, M, (2007), Keamanan informasi terdiri dari perlindungan terhadap aspek-aspek berikut: (1) Confidentiality (kerahasiaan) aspek yang menjamin kerahasiaan data atau informasi, memastikan bahwa informasi hanya dapat diakses oleh orang yang berwenang dan menjamin kerahasiaan data yang dikirim, diterima dan disimpan.; (2) Integrity (integritas) aspek yang menjamin bahwa data tidak dirubah tanpa ada ijin fihak yang berwenang (authorized), yang menjaga keakuratan atau keutuhan informasi serta metode prosesnya untuk menjamin aspek integrity ini.; (3) Availability (ketersediaan) aspek yang menjamin bahwa data tersedia saat dibutuhkan, memastikan user yang berhak dapat menggunakan informasi dan perangkat terkait (aset yang berhubungan bilamana diperlukan). 11

12 2.4. Server Server adalah sebuah komputer yang berisi DBMS (Data Base Management System) serta basis data, dan menjadi pusat / inti dari seluruh kegiatan untuk menangani permintaan yang dilakukan oleh client. Server merupakan pihak yang bertanggung jawab untuk menangani tugas-tugas yang diminta oleh client dengan tujuan utamanya memberikan servis kepada banyak client. Aplikasi server adalah aplikasi yang dibangun dan dikhususkan penempatannya pada server. Beberapa contoh aplikasi server yang besar dan sering kita gunakan seperti web server, mail server, remote access server. Pengguna komputer umumnya berinteraksi ke server melalui perangkat lunak client dalam hal ini browser yang di install di PC / workstation si pengguna. Karena pengguna tidak secara langsung duduk di layar (console) server maka umumnya aplikasi grafik / Grafik User Interface (GUI) tidak dipasang di server (Hendayun, 2005 : 16) Backdoor Backdoor adalah cara yang digunakan untuk masuk kedalam sistem tanpa sepengetahuan administrator. Backdoor bertujuan untuk mempermudah memasuki sistem itu kembali jika jalan yang sudah dibuat dengan exploit telah ditutup oleh administrator (Juju, 2008 : 205). Menurut Prabawati (2010 : 91), Backdoor bertujuan untuk menembus sistem komputer tertentu dengan cara membuat pintu belakang. Pintu belakang yang dimaksud adalah sebuah port. Backdoor akan menanti si pembuat backdoor tersebut datang. Apabila pembuat backdoor datang, backdoor akan membukakan 12

13 pintu dan mempersilakan masuk dan melindunginya dari pengawasan keamanan dan hacker tersebut akan melakukan apa saja yang diinginkan dengan leluasa pada komputer IDS (Intrusion Detection System) IDS dapat berfungsi sebagai sensor, director, communication service, atau peringatan dini dari sebuah percobaan kegiatan anomali. IDS akan memberikan peringatan secara dini jika ada yang mencoba yang menyerang atau men-scan port jaringan. Pada IDS terdapat Network Security Database dan Remote Monitoring and Management Sensor (IDSMs). IDS juga melayani komunikasi antara backbone device lain yang semuanya menggunakan komunikasi point-to-point. Sensor akan ditempatkan dibelakang firewall. Posisi ini menguntungkan dan akan menggambarkan serangan tersebut. Dengan menempatkan diposisi ini, maka firewall akan memonitor trafik paket yang masuk dan keluar (Stiawan, 2005 : 120) IPS (Intrusion Prevention System) Intrusion Prevention System (IPS) adalah pendekatan yang sering digunakan untuk membangun system keamanan komputer, IPS mengkombinasikan teknik firewall dan metode Intrusion Detection System (IDS) dengan sangat baik. Teknologi ini dapat digunakan untuk mencegah serangan yang akan masuk ke jaringan lokal dengan memeriksa dan mencatat semua paket data serta mengenali paket dengan sensor, disaat attack telah teridentifikasi, IPS akan menolak akses (block) dan mencatat (log) semua paket data yang 13

14 teridentifikasi tersebut. Jadi IPS bertindak sepeti layaknya Firewall yang akan melakukan allow dan block yang dikombinasikan seperti IDS yang dapat mendeteksi paket secara detail. IPS menggunakan signatures untuk mendeteksi di aktivitas traffic di jaringan dan terminal, dimana pendeteksian paket yang masuk dan keluar (inbound-outbound) dapat di cegah sedini mungkin sebelum merusak atau mendapatkan akses ke dalam jaringan lokal. Jadi early detection dan prevention menjadi penekanan pada IPS ini ( E. Carter, 2006 ) Penelitian Sebelumnya Penulis akan memaparkan beberapa penelitian sebelumnya yang akan dijadikan bahan referensi dan acuan dalam menyelesaikan penelitian ini. Danang Prasetio Nugroho, 2014, dengan judul Analisa Metode Anomaly Detection IDS Menggunakan Anomaly Baseline Pada Sebuah Jaringan Komputer. Penelitian ini membahas tentang penerapan metode anomaly detection untuk mengetahui paket data serta port pada jaringan komputer yang memungkinkan terjadinya serangan. Kesimpulan yang didapat dari penelitian ini adalah mengetahui hasil dari penggunaan metode anomali yang digunakan dalam penggunaannya untuk mengatasi serangan yang ada pada jaringan komputer. Mick Sandy Pratama, 2012, dengan judul Pengamanan Jaringan Komputer Menggunakan Metode IPS (Intrusion Prevention System) Terhadap Serangan Backdoor Dan Synflood Berbasis Snort Online. Penelitian ini membahas tentang cara mendeteksi jenis-jenis serangan yang mungkin terjadi dalam suatu jaringan komputer dengan metode IPS dan mencegah dari serangan backdoor dan synflood. Kesimpulam yang didapat dari penelitian ini adalah 14

15 mengetahui hasil dari pengaplikasian pendeteksian dan pencegahan seranganserangan menggunakan IPS dan memahani serangan backdoor dan synflood Kerangka Berpikir START Rancang Lab.Topologi Lakukan Penetrasi di PC / Laptop Capture Data Target Analisis Hasil Log Penetrasi Hasil Analisis Kesimpulan END Gambar 2.1. Kerangka Berpikir 15

16 BAB V KESIMPULAN DAN SARAN 5.1. KESIMPULAN 1. Dengan menggunakan snort backdoor, dapat dideteksi backdoor yang mencurigakan. Dalam kasus ini, peneliti menemukan dua backdoor, yaitu type c99.php dan r57.php karena backdoor tersebut terdapat script yang mencurigakan yang bertujuan untuk mengakses hak penuh server dan merusak sistem nya. Tetapi, snort belum dapat mendeteksi backdoor secara baik, hanya backdoor yang tidak terenkripsi seperti r57.php dan c99.php yang dapat terdeteksi didalam snort. 2. Untuk sistem pendeteksian dan pencegahan yang lebih real, peneliti menggunakan backdoor scanner yang berisi script.php karena backdoor terdeteksi dengan baik. Akan tetapi, untuk pencegahannya, perlu dideteksi dulu dengan cara di scan, kemudian hapus manual script.php yang terdapat backdoor di folder tersebut SARAN 1. Sebagai saran dikarenakan snort ids tidak terlalu baik dalam menangkap signature dari backdoor maka lebih baik ditambahkan aplikasi pihak ke 3 sebagai pendamping deteksi serangan backdoor pada server, aplikasi pihak ke 3 yang dapat digunakan seperti RIPS dan backdoor scanner. 16

17 2. Untuk pencegahan backdoor dapat pula kita tambahkan rules firewall, dan beberapa konfigurasi hardening server yang dapat memblock ativitas backdoor. 3. Keterbatasan user interface fitur pada snort seperti acidbase dan barnyard dalam memberikan alert notifikasi secara realtime kepada administrator juga menjadi kekurangan snort diharapkan snort sebagai IDS opensource dapat terus berkembang dan fitur-fiturnya terus meningkat. 4. Untuk log dan penangkapan aktivitas serangan terhadap server kita dapat menggunakan SIEM (Security Information and Event Management). SIEM adalah sistem informasi yang mencakup fungsi agregasi data, korelasi data, deteksi dan alert, reporting, serta penyimpanan data (misal: untuk kebutuhan forensik). Dengan begitu, segala aktifitas / log terhadap server bisa di tangkap yang sudah terintegrasi dengan snort, mrtg, trafic analysis, dan nagios dengan fitur yang lebih lengkap diharapkan dapat membantu Administrator server dalam mengelola server web. 17