Deteksi Malware dalam Jaringan Komputer dengan. Open Source Security Information Management. Laporan Tugas Akhir

Transkripsi

1 Deteksi Malware dalam Jaringan Komputer dengan Open Source Security Information Management Laporan Tugas Akhir Oleh: Galih Kanigoro Program Studi Teknik Elektro Sekolah Teknik Elektro dan Informatika Istitut Teknologi Bandung 2007

2 Lembar Pengesahan Deteksi Malware dalam Jaringan Komputer dengan Open Source Security Information Management Oleh: Galih Kanigoro LAPORAN TUGAS AKHIR Telah diterima dan disahkan sebagai syarat memenuhi persyaratan memperoleh gelar SARJANA TEKNIK pada PROGRAM STUDI TEKNIK ELEKTRO SEKOLAH TEKNIK ELEKTRO DAN INFORMATIKA INSTITUT TEKNOLOGI BANDUNG Pembimbing I Bandung, September 2007 Pembimbing II Sarwono Sutikno, Dr.Eng, CISA,CISSP NIP Indra Simalango, ST ii

3 Abstrak Security Information Management (SIM) merupakan suatu kerangka kerja yang terdiri dari beberapa program monitor dan keamanan yang membantu administrator agar dapat menjalankan tugasnya dengan mudah. Open Source Security Information Management (OSSIM) yang menjadi objek dalam penelitian ini merupakan salah satu SIM yang bersifat Open Source. Seiring dengan berjalannya waktu, serangan malware semakin meningkat baik dari kuantitas maupun kualitasnya. Tentu saja hal tersebut membuat pekerjaan bagi administrator jaringan semakin berat. Untuk itu tugas akhir ini menambahkan konfigurasi dalam OSSIM dalam mendeteksi adanya serangan malware dalam jaringan komputer. Deteksi malware yang diimplementasikan menggunakan teknik deteksi statis dan teknik deteksi dinamis. Pengujian sistem deteksi tersebut dilakukan pada jaringan komputer Laboratorium VLSI, Labtek VIII dengan menggunakan Malware Testing File. Kata kunci: OSSIM, malware, signature, rule, keamanan, alert, alarm, tool, plugin iii

4 Abstract Security Information Management is a framework consisted of monitoring and security tools which help network administrator to make their job easier. Open Source Security Information Management (OSSIM), an object in this research is one of SIM with Open Source characteristic. As time goes by, malware threat increases significantly from both quantity and quality sides. Obviously this thing make network administrator jobs more difficult. For that reason, this final project added new configuration to detect malware attack in computer network. Malware detection implemented in this final project is using two approaches, with static detection and dynamic detection. Detection malware testing had been done in VLSI Laboratory computer network, labtek VIII with Malware Testing File. Keyword: OSSIM, malware, signature, rule, security, alert, alarm, tool, plugin iv

5 Kata Pengantar Bismillahirrahmaanirrahiim, segala puji bagi Allah Subhanahu wa Ta ala atas ijin-nya penulis akhirnya dapat menyelesaikan Tugas Akhir dan penyusunan buku laporan Tugas Akhir ini. Buku ini berisi laporan pengerjaan Tugas Akhir yang telah dilakukan oleh penulis pada Very Large Integrated Circuits Research Group, Laboratorium Elektronika dan Komponen, Program Studi Teknik Elektro, Institut Teknologi Bandung. Penulis menyadari akan keterbatasan yang dimilikinya sehingga Tugas Akhir ini tidak akan diselesaikan tanpa bantuan dan dukungan dari berbagai pihak. Untuk itu pada kesempatan ini penulis ingin menyampaikan ucapan terima kasih kepada: 1. Bapak ibu tercinta yang telah membimbing dan memberikan dukungan moral serta material semenjak kecil sampai sekarang. 2. Adikku yang selalu memberikan dukungan dan semangat untuk menyelesaikan studi di ITB ini. 3. Bapak Sarwono Sutikno, Dr.Eng, CISA,CISSP dan Indra Simalango, ST, selaku pembimbing Tugas Ahir yang telah memberikan pengarahan dan fasilitas selama pengerjaan Tugas Akhir. 4. Bapak Waskita, ST. MT, bapak Dr. Agung Harsono, ST. M.Sc. dan bapak Dr. Ary Setijadi P, ST. MT, yang telah meluangkan waktunya untuk hadir sebagai penguji dalam sidang Tugas Akhir. 5. Seluruh karyawan staff Tata Usaha Program Studi Teknik Elektro atas segala bantuan administrasinya. 6. Rekan-rekan penulis dalam pengerjaan Tugas Akhir ini, Bramantya bram Gautama, Muh. Iqbal Arsyad, Mikael mike Simalango, Andi madu, Andi crot Hermawan, Puguh bule, Yan Adriansyah, Miftakur takur Rohman, Fauzan pocit Chaniago, Raden Fikri, Rokhman bang Fauzi, Rahmat mamat Mulyawan, Winnu Ayie Satria, Aji GPS, dan Nugroho goho Ari untuk dukungan dan kerjasamanya. v

6 7. Teman-teman rumah Ciheulang: Abdil Halimi Stani, Permata Rizki NMR, Tomy Ardianto, Zaimuddin Labibi, Muh. Firmansyah, Yudhistira Tri Ananda, dan Winnu Ayi Satria atas dukungan dan kebersamaan selama ini. 8. Soraya Dian Insani bagaikan bintang yang selalu memancarkan cahayanya bagi penulis selama pengerjaan Tugas Akhir ini. 9. Teman-teman Elektro angkatan 03 semoga persahabatan kita terus berlanjut. 10. Pihak-pihak lain yang tidak dapat disebutkan satu persatu, yang telah membantu dan memberikan dukungan baik secara langsung maupun tidak langsung. Akhir kata, penulis menyadari masih banyak kekurangan dan kesalahan pada isi buku laporan Tugas Akhir ini, namun penulis berharap semoga buku ini bermanfaat bagi pembaca dan memberikan sesuatu bagi masyarakat. Bandung, September 2007 Galih Kanigoro vi

7 Daftar Isi Lembar Pengesahan... ii Abstrak...iii Abstract... iv Kata Pengantar... v Daftar Isi... vii Daftar Gambar... ix Daftar Tabel... x Daftar Tabel... x Bab I Pendahuluan Latar Belakang Masalah Tujuan Penelitian dan Batasan Masalah Metode Penelitian Hasil dan Manfaat yang Diharapkan... 4 Bab II Studi Literatur Ossim Arsitekstur Ossim Proses Kerja Ossim Aliran Data pada OSSIM Mallicious Software Bab III Implementasi Ossim Implementasi OSSIM dalam Jaringan Sensor Server Console Databases Penanganan Terhadap Serangan Malware dengan OSSIM Instalasi dan Konfigurasi Ossim dalam Jaringan Audit Jaringan Organisasi vii

8 3.2.3 Plugin Intrusion Detection pada Ossim Monitoring Jaringan Organisasi Bab IV Konfigurasi Ossim dalam Deteksi Malware Sistem Deteksi Statis Snort Sistem Deteksi Dinamis Osiris Ntop Correlation Bab V Analisa Pengujian OSSIM berdasarkan OSSTMM Pengujian Plugin Intrusion Detection System Review Monitoring Skenario Pengujian Serangan Malware Analisa Hasil Pengujian OSSIM berdasarkan OSSTMM Analisa Hasil Pengujian Malware Bab VI Kesimpulan dan Saran Kesimpulan Saran Daftar Pustaka viii

9 Daftar Gambar Gambar 2. 1 Arsitektur Ossim... 6 Gambar 2. 2 Diagram Ossim... 9 Gambar 2. 3 Aliran Data Pada OSSIM Gambar 3. 1 Plugin Ntop Session...29 Gambar 3. 2 Plugin Ntop Traffik Gambar 4. 1 Subsistem Alarm...53 Gambar 4. 2 Aliran Data Pada Ntop Gambar 4. 3 Hierarki dalam Korelasi Gambar 4. 4 Tampilan Directive Correlation Ossim Gambar 5. 1 Topologi Jaringan Gambar 5. 2 Informasi Sensor ix

10 Daftar Tabel Tabel 3. 1 Informasi Host Spesifik 31 Tabel 3. 2 Statistik Trafik Global..31 x