ANALISA SERANGAN REMOTE EXPLOIT MELALUI JAVA APPLET ATTACK METHOD TERHADAP SISTEM OPERASI WINDOWS 8

Transkripsi

1 ANALISA SERANGAN REMOTE EXPLOIT MELALUI JAVA APPLET ATTACK METHOD TERHADAP SISTEM OPERASI WINDOWS 8 SKRIPSI Disusun Sebagai Salah Satu Syarat Menyelesaikan Jenjang Strata I Program Studi Informatika Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta Oleh: Bryan Pingkan Ramadhan NIM : L PROGRAM STUDI INFORMATIKA FAKULTAS KOMUNIKASI DAN INFORMATIKA UNIVERSITAS MUHAMMADIYAH SURAKARTA JULI 2015 i

2 ii

3 iii

4 iv

5 MOTTO Maka sesungguhnya bersama kesulitan itu ada kemudahan. Sesungguhnya bersama kesulitan itu ada kemudahan. ( Q.S. Al-Insyirah : 5-6 ) Perang yang perlu dilakukan sekarang adalah perang terhadap ketidaktahuanmu bahwa dirimu masih dalam penjara. Dan penjaranya adalah ukuran-ukuran dalam fikiranmu yang bukan berasal dari dirimu sendiri. ( Sabrang MDP ) Kalau kita tidak memiliki kedaulatan atas diri kita, kalau kita tidak berdaulat atas apa yang kita putuskan sebagai belief system dalam diri kita maka orisinalitas tidak akan kita temukan. ( Sabrang MDP ) Kebenaran yang sesungguhnya tidak akan pernah bisa dicapai, yang bisa dilakukan hanyalah terus mencari. ( Penulis ) v

6 PERSEMBAHAN Sebagai rasa syukur dan terima kasih saya persembahkan skripsi ini kepada: 1. Allah SWT yang selalu memberikan kesehatan, kelapangan ilmu dan kemudahan jalan dalam mengerjakan skripsi ini. 2. Orang tuaku tercinta Bapak Mujiyono dan Ibu Surani yang selalu memberikan semangat, motivasi, dan senantiasa mendoakan untuk kebahagiaan dan kesuksesanku dengan penuh keikhlasan. 3. Adikku Prasetya Tegar Fitriaji yang selalu memberikan pengertian dan doa untuk penulis. 4. Bapak Gunawan Ariyanto, Ph.D. yang telah membimbing saya, terima kasih atas semuanya dan maafkan jika ada tutur kata ataupun ada tingkah laku yang kurang baik selama ini. 5. Teman-teman IDM karpet biru angkatan 2011 terima kasih atas keceriaan dan semangat yang diberikan. 6. Mas Aji Saputra sebagai biro skripsi yang telah banyak membantu. 7. Keluarga besar Program Studi Informatika Universitas Muhammadiyah Surakarta. vi

7 KATA PENGANTAR Alhamdulillah, puji syukur kami panjatkan kepada Allah SWT yang telah melimpahkan rahmat dan hidayahnya sehingga penulis dapat menyelesaikan skripsi dengan judul Analisa Serangan Remote Exploit Melalui Java Applet Attack Method Terhadap Sistem Operasi Windows 8. Skripsi ini disusun untuk memenuhi kurikulum pada Program Studi Informatika Universitas Muhammadiyah Surakarta, sebagai kewajiban mahasiswa dalam rangka menyelesaikan program sarjana. Dengan segala kemampuan yang dimiliki, penulis telah berusaha untuk menyelesaikan laporan skripsi ini. Namun penulis menyadari bahwa laporan ini masih jauh dari kesempurnaan dan masih banyak kekurangan. Oleh sebab itu penulis berkenan menerima saran dan kritik yang bersifat membangun demi perbaikan laporan ini. Di sisi lain, skripsi ini juga merupakan hasil karya dan kerja sama semua pihak, walaupun yang terlihat hanya sebuah nama. Sehingga dalam kesempatan ini, penulis mengucapkan terima kasih dan penghargaan setinggi-tingginya dengan segala kerendahan hati, kepada : 1. Bapak Husni Thamrin, S.T, MT., Ph.D. selaku Dekan Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta. 2. Bapak Dr. Heru Supriyono, M.Sc. selaku Ketua Program Studi Informatika Universitas Muhammadiyah Surakarta. 3. Bapak Fatah Yasin Irsyadi, S.T., M.T. selaku Pembimbing Akademik. 4. Bapak Gunawan Ariyanto, Ph.D. selaku pembimbing skripsi yang telah memberikan bimbingan dan pengarahan dalam penyusunan skripsi ini. vii

8 5. Segenap dosen Universitas Muhammadiyah Surakarta yang telah memberikan ilmu kepada penulis. 6. Kedua orang tua yang selalu mendoakan dan memberikan semangat dalam penyusunan skripsi ini. 7. Teman-teman IDM karpet biru yang telah bersama selama 4 tahun ini, terima kasih atas keceriaan yang telah dibagikan. 8. Semua pihak yang tidak dapat disebutkan satu persatu yang telah banyak membantu. Surakarta, Mei 2015 Penulis viii

9 DAFTAR ISI HALAMAN JUDUL... HALAMAN PERSETUJUAN... HALAMAN PENGESAHAN... DAFTAR KONTRIBUSI... MOTTO... PERSEMBAHAN... KATA PENGANTAR... DAFTAR ISI... DAFTAR TABEL... DAFTAR GAMBAR... ABSTRAKSI... i ii iii iv v vi vii ix xii xiii xvii BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian Sistematika Penulisan... 5 BAB II TINJAUAN PUSTAKA Telaah Penelitian Landasan Teori Keamanan Jaringan Komputer... 9 ix

10 2.2.2 Java Applet Attack Method Teknik Analisa Malware Metasploit Framework Firewall BAB III METODOLOGI PENELITIAN Gambaran Umum Penelitian Waktu dan Tempat Peralatan yang Dibutuhkan Metode Penelitian Alur Penelitian Pengujian Serangan Menyiapkan Komputer Sebagai Klien/Target Menyiapkan Komputer Sebagai Penyerang Membuat Jaringan Wi-Fi dengan Mode Ad-Hoc Serangan Remote Exploit Melalui Java Applet Attack Method Terhadap Sistem Operasi Windows Analisa Serangan Teknik Analisa Runtime Memory Capture Volatility CaptureBat Wireshark Decompiling Malcious Java Applet Comodo Firewall BAB IV HASIL DAN PEMBAHASAN x

11 4.1 Hasil Penelitian Perilaku Dan Karakterstik Serangan Remote Expoit Melalui Java Applet Attack Method Java exploit CVE Java Meterpreter Reverse_TCP Optimalisasi Firewall Pengujian Firewall Pembahasan BAB V PENUTUP Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN xi

12 DAFTAR TABEL Tabel 3.1. Alokasi waktu xii

13 DAFTAR GAMBAR Gambar 1.1. Persentase exploit yang terdeteksi oleh Trustwave... 2 Gambar 3.1. Flowchart alur penelitian Gambar 3.2. Firewall klien aktif Gambar 3.3. Installasi Firefox tahap Gambar 3.4. Installasi Firefox tahap Gambar 3.5. Installasi Firefox tahap Gambar 3.6. Installasi Firefox tahap Gambar 3.7. Installasi Java JRE tahap Gambar 3.8. Installasi Java JRE tahap Gambar 3.9. Installasi Java JRE tahap Gambar Installasi CaptureBat tahap Gambar Installasi CaptureBat tahap Gambar Menjalankan CaptureBat Gambar Membuat jaringan Wi-Fi tahap Gambar Membuat jaringan Wi-Fi tahap Gambar Jaringan Wi-Fi berhasil dibuat Gambar Ping dari komputer klien ke komputer penyerang Gambar Ping dari komputer penyerang ke komputer target Gambar Menjalankan Metasploit Framework Gambar Konfigurasi module exploit Gambar Melihat hasil konfigurasi module exploit Gambar Menjalankan module exploit xiii

14 Gambar Klien mengeksekusi malicious Java applet Gambar Meterpreter sessions terbuka Gambar Penyerang mendapatkan akses shell target Gambar Membuat backdoor dengan msfpayload Gambar Penyerang mengunggah backdoor ke komputer klien Gambar Berhasil menambahkan key pada Windows Registry Gambar Penyerang masuk ke sistem klien melalui backdoor Gambar Penyerang menanam virus pada komputer klien Gambar Virus menghapus dokumen klien Gambar Tampilan aplikasi FTK Imager Gambar 3.32 Langkah-langkah capturing memory Gambar 3.33 Proses capturing memory Gambar 3.34 Capturing memory selesai Gambar 3.35 Synaptic package manager Gambar 3.36 Memilih package Volatility yang akan diinstal Gambar 3.37 Dialog box persetujan Gambar 3.38 Mengunduh Volatility Gambar 3.39 Installasi Volatility selesai Gambar 3.40 Process tree pada sistem klien Gambar 3.41 Command line dari proses jp2launcher.exe PID Gambar 3.42 Command line dari proses java.exe PID Gambar 3.43 Command line dari proses java.exe PID 216i Gambar 3.44 Command line dari proses connhost.exe PID Gambar 3.45 Command line dari proses cmd.exe PID Gambar 3.46 Command line dari proses cmd.exe PID xiv

15 Gambar 3.47 Command line dari proses connhost.exe PID Gambar 3.48 Command line dari proses reg.exe PID Gambar 3.49 Proses yang di handle oleh jp2launcher.exe Gambar 3.50 Proses yang di handle oleh Java.exe PID Gambar 3.51 Proses yang di handle oleh Java.exe PID Gambar 3.52 Proses yang di handle oleh conhost.exe PID Gambar 3.53 Proses yang di handle oleh cmd.exe PID Gambar 3.54 Proses yang di handle conhost.exe PID Gambar 3.55 File yang di handle oleh java.exe PID Gambar 3.56 File yang di handle oleh java.exe PID Gambar 3.57 File DLL yang di load oleh cmd.exe PID Gambar 3.58 Koneksi yang terjadi pada komputer klien Gambar 3.59 CaptureBat selesai melakukan log Gambar 3.60 Tampilan aplikasi Wireshark Gambar 3.61 Wireshark membaca file log CaptureBat Gambar 3.62 Traffic data antara komputer peneyerang dengan klien Gambar 3.63 Paket data yang melalui protokol HTTP Gambar 3.64 Mendapatkan Malicious Java applet Gambar 3.65 Paket data yang melalui port Gambar 3.66 Installasi aplikasi JD-GUI Gambar 3.67 Tampilan aplikasi JD-GUI Gambar 3.68 Decompling terhadap malicious Java applet Gambar 3.69 Installasi Comodo firewall tahap Gambar 3.70 Installasi Comodo firewall tahap Gambar 3.71 Installasi Comodo firewall tahap xv

16 Gambar 3.72 Installasi Comodo firewall tahap Gambar 3.73 Installasi Comodo firewall tahap Gambar 3.74 Installasi Comodo firewall tahap Gambar 3.75 Menu Firewall Task Gambar 4.1 dentifikasi malicous Java applet oleh virustotal Gambar 4.2 Java exploit CVE Gambar 4.3 DisableSecurityManagerAction.class Gambar 4.4 Isi dari Java cache 171d96cd-3873ba Gambar 4.5 Isi dari Java cache Gambar 4.6 Isi dari Java cache Gambar 4.7 Menu Application Rules Gambar 4.8 Memilih aplikasi pada Application Rules Gambar 4.9 Membuat rule firewall Gambar 4.10 Rule firewall aktif Gambar 4.11 Meterpreter sessions gagal terbuka Gambar 4.12 Serangan tersebut terdeteksi oleh Comodo Firewall Gambar 4.13 Log serangan yang ditampilkan Comodo Firewall xvi

17 ABSTRAKSI Dalam 5 tahun terakhir jenis serangan client-side attacks jumlahnya meningkat secara dramatis. penyerang mengalihkan fokus mereka ke sisi klien yang memiliki celah lebih besar karena klien mempunyai perlindungan terhadap sistem yang lebih sederhana daripada server. Eksploitasi dengan menggunakan malicous Java yang memanfaatkan kerentanan pada Java adalah yang paling sering terdeteksi oleh Trustwave Secure Web Gateway anti-malware technology dengan persentase sebesar 78% dan sebagian besar penjahat cyber mengandalkan Java applet sebagai metode untuk mengirimkan malware maupun payload. Java applet attack method adalah salah satu teknik serangan yang memanfaatkan kerentananan pada Java untuk mengeksploitasi sistem user menggunakan Java applet dan dapat menyerang ke berbagai sistem operasi termasuk Windows 8 yang merupakan sistem operasi keluaran terbaru dari Microsoft. Skripsi ini bertujuan untuk menganalisa serangan remote exploit melalui Java applet attack method terhadap sistem operasi Windows 8 yang terproteksi firewall. Penelitian yang dilakukan menggunakan metode studi pustaka dan melakukan eksperimen yang melalui beberapa tahapan diantaranya studi kepustakaan, pengolahan data, pengujian serangan, analisa serangan, optimalisasi firewall, pengujian firewall dan penulisan laporan. Dengan menganalisa serangan tersebut akan diketahui perilaku dan karakterisiknya, karakteristik dari serangan tersebut terletak pada Java exploit dan Java payload yang ada didalam Java applet. Java exploit berfungsi untuk melewati Java Virtual Machine (JVM) sandbox dan menonaktifkan SecurityManager dan payload Java meterpreter berfungsi untuk mengelabuhi firewall dan sebagai media interaksi antara penyerang dengan sistem klien. Kemudian dibuat rule firewall pada Comodo Firewall yang mampu mencegah payload untuk melakukan reverse connection dan mencegah payload melakukan staging. Kata Kunci : Remote exploit, Java applet attack method, Windows 8, firewall. xvii