UNIVERSITAS INDONESIA PENGEMBANGAN PROGRAM PENYARINGAN DATA WEBLOG UNTUK ANALISIS POLA AKSES PENGUNJUNG WEBSERVER TESIS BENNY NIXON 0806424245 FAKULTAS TEKNIK PROGRAM STUDI TEKNIK ELEKTRO DEPOK JULI 2010
UNIVERSITAS INDONESIA PENGEMBANGAN PROGRAM PENYARINGAN DATA WEBLOG UNTUK ANALISIS POLA AKSES PENGUNJUNG WEBSERVER TESIS Diajukan sebagai salah satu syarat untuk memperoleh gelar Magister Teknik BENNY NIXON 0806424245 FAKULTAS TEKNIK PROGRAM STUDI TEKNIK ELEKTRO KEKHUSUSAN JARINGAN INFORMASI DAN MULTIMEDIA DEPOK JULI 2010
UCAPAN TERIMA KASIH Puji syukur saya panjatkan kepada Tuhan Yang Maha Esa, karena atas berkat dan rahmat-nya, saya dapat menyelesaikan tesis ini. Penulisan tesis ini dilakukan dalam rangka memenuhi salah satu syarat untuk mencapai gelar Magister Teknik Jurusan Teknik Elektro pada Fakultas Teknik Universitas Indonesia. Saya menyadari bahwa, tanpa bantuan dan bimbingan dari berbagai pihak, dari masa perkuliahan sampai pada penyusunan tesis ini, sangatlah sulit bagi saya untuk menyelesaikan tesis ini. Oleh karena itu, saya mengucapkan terima kasih kepada : (1) Prof. Dr. Ir. Bagio Budiardjo, MSc., selaku dosen pembimbing yang telah menyediakan waktu, tenaga, dan pikiran untuk mengarahkan saya dalam penyusunan tesis ini; (2) Muhammad Salman S.T., MIT, yang telah menyediakan waktu, tenaga, dan pikiran untuk membantu mengarahkan saya dalam penyusunan tesis ini; (3) Segenap dosen pada Program Studi Teknik Elektro Kekhususan Multimedia dan Jaringan Informasi Program Pasca Sarjana Universitas Indonesia; (4) Segenap Pimpinan Politeknik Negeri Jakarta yang telah yang telah memberikan kesempatan dan ijin menempuh pendidikan pasca sarjana di Universitas Indonesia; (5) Orang tua, Kakak, Adik, istri dan anakku tercinta yang telah memberikan dukungan dan semangat; (6) Segenap rekan-rekan di Jurusan Teknik Elektro Politeknik Negeri Jakarta yang telah memberikan dukungan dan motivasi; dan (7) Rekan-rekan mahasiswa Program Studi Teknik Elektro Kekhususan Multimedia dan Jaringan Informasi Program Pasca Sarjana Universitas Indonesia. Akhir kata, saya berharap Tuhan Yang Maha Esa berkenan membalas segala kebaikan semua pihak yang telah membantu. Semoga tesis ini membawa manfaat bagi pengembangan ilmu di masa mendatang. Depok, Juli 2010 Penulis v
ABSTRAK Nama : Benny Nixon Program Studi : Teknik Elektro Judul : Pengembangan Program Penyaringan Data Web Log untuk Analisis Pola Akses Pengunjung Web Server Pengunjung website dapat berinteraksi dengan web server melalui serangkaian permintaan yang disediakan oleh website. Semua aktifitas pengunjung web server akan tercatat di dalam web log. Web log dan webalizer pada webserver www.pnj.ac.id merupakan sumber data yang dipergunakan untuk proses analisis pola akses pengunjung website. Makalah ini membahas tentang perancangan program penyaringan data menggunakan bahasa pemrograman berbasis web (PHP) dan analisis data weblog. Hasil perancangan program antara lain : User access pattern pada tiap halaman website sebagian besar dilakukan dengan cara direct request yaitu sebesar 305.379 hit (69,81%), Browser yang banyak dipergunakan adalah browser Mozilla, dan Behaviour user pattern berdasarkan waktu akses, halaman favorit dan kapasitas file (Kbytes) terjadi pada jam 10.00, 14.00 dan 19.00. Hasil ini dipergunakan oleh administrator website untuk perbaikan kinerja website. Kata kunci : Web Server, Web log, Pola Akses ABSTRACT Name : Benny Nixon Study Program : Teknik Elektro Title : Development Screening Program Web Log Data for the analysis of Web Server Visitor Access Patterns. Visitors can interact with the web server through a series of requests provided by the website. All of the visitors' activities will be listed on a web server in the web log. Web logs and Webalizer on www.pnj.ac.id webserver is a source of data used for the analysis of website visitor access patterns. This thesis discusses the planning of screening programs using data program web-based language (PHP) and data analysis of weblogs.the results of the program design include: User access patterns on each page of the website are mostly done by way of direct request is equal to 305.379 hits (69.81%), it used for many Mozilla browsers, and Behavior patterns based on time of access, favorite pages and capacity of the file (Kbytes) occured 10:00 hours, 14:00 and 19:00. These results are Used by the administrators of the website for improved performance. Keywords: Web Server, Web logs, Pattern Access vi Universitas Indonesia
DAFTAR ISI HALAMAN JUDUL... i HALAMAN PERNYATAAN ORISINALITAS... ii HALAMAN PENGESAHAN... iii UCAPAN TERIMA KASIH... iv HALAMAN PERSETUJUAN PUBLIKASI KARYA ILMIAH... v ABSTRAK... vi ABSTRACT... vi DAFTAR ISI... vii DAFTAR TABEL... ix DAFTAR GAMBAR... x DAFTAR LAMPIRAN... xii I PENDAHULUAN... 1 1.1. Latar Belakang... 1 1.2. Perumusan Masalah... 2 1.3. Tujuan Penelitian... 2 1.4. Manfaat Penelitian... 3 1.5. Metodologi Penyelesaian Masalah... 3 1.6. Sistematika Penulisan... 4 II TINJAUAN PUSTAKA... 5 2.1. Sejarah Internet... 5 2.2. Web Server... 7 2.3. Memonitor Aktifitas Web Server... 9 2.4. Web log... 10 2.5. Common Log Format (CLF)... 10 2.6. Combined Log Format... 11 2.7. IP Address... 11 2.8. Authuser... 12 2.9. Request Method... 12 2.10. Definisi Kode Status (Status Code)... 13 2.10.1. Informational... 13 2.10.2. Successful... 13 2.10.3. Redirection... 14 2.10.4. Client Error... 15 2.10.5. Server Error... 17 2.11. Web Browser... 18 2.12. Pola Akses Pengunjung Website... 18 III IDENTIFIKASI DAN KLASIFIKASI WEB LOG.. 19 3.1. Struktur Web log.. 19 3.2. Tahapan Persiapan Analisis Data Akses Web Server... 20 3.2.1. Raw Web Log Data... 20 3.2.2. Data Cleaning... 21 3.2.3. Identifikasi User... 21 vii Universitas Indonesia
3.2.4. Identifikasi Session... 21 3.2.5. Database of clean log... 22 3.3. Perancangan Program Aplikasi untuk Data Cleaning... 22 3.3.1. Tampilan Awal Program Aplikasi untuk Data Cleaning... 23 3.3.2. Data Cleaning... 24 3.3.3. Jumlah Pengunjung Berdasarkan IP Address... 26 3.3.4. Frekuensi Akses berdasarkan Halaman yang dikunjungi... 27 3.3.5. Kode Status yang terjadi pada saat Mengakses Halaman Website... 29 3.3.6. Kapasitas File yang dikunjungi... 30 3.3.7. Frekuensi Akses Berdasarkan Rujukan (Referrer)... 31 3.3.8. Frekuensi Akses Berdasarkan Penggunaan User Agent (Browser)... 33 3.4. Tahapan Proses Analisis Pola Akses Pengunjung Web Server... 35 3.5. Mengamati Web log menggunakan Software Webalizer... 36 IV ANALISIS WEBLOG DAN DATA WEBALIZER. 37 4.1. Data pada web server www.pnj.ac.id... 37 4.2. Analisis Data Web Log Politeknik Negeri Jakarta... 39 4.2.1. Jumlah Pengunjung... 40 4.2.2. Jumlah Halaman yang dikunjungi... 41 4.2.3. Kode Status yang terjadi pada saat mengakses halaman website... 42 4.2.4. Kapasitas File yang diakses... 43 4.2.5. Halaman Rujukan (Referrer)... 44 4.2.6. Browser yang banyak dipergunakan oleh user... 45 4.3. Data akses website www.pnj.ac.id pada webalizer... 46 4.3.1. Jumlah hit Pengunjung... 46 4.3.2. Jumlah Halaman yang dikunjungi... 48 4.3.3. Kapasitas File yang diakses... 49 4.3.4. Kode Status yang terjadi pada saat mengakses web page... 50 4.3.5. Browser yang banyak dipergunakan oleh user... 51 4.3.6. Pola Akses User pada tiap Halaman Website... 52 4.3.7. Pola Tingkah Laku User dalam Mengakses Halaman Website... 54 V PENUTUP.... 59 DAFTAR REFERENSI.. 61 LAMPIRAN.... 63 viii Universitas Indonesia
DAFTAR TABEL Tabel 4.1. Statistik Harian pada Bulan Maret 2010... 38 Tabel 4.2. Jumlah Pengunjung berdasarkan IP Address... 40 Tabel 4.3. Frekuensi Akses Halaman yang dikunjungi... 41 Tabel 4.4. Kode Status yang terjadi pada saat mengakses website... 42 Tabel 4.5. Kapasitas File yang diakses... 44 Tabel 4.6. Frekuensi Akses berdasarkan Rujukan (referrer)... 45 Tabel 4.7. Browser (User Agent) yang digunakan Pengunjung... 46 Tabel 4.8. Jumlah Hit Pengunjung... 47 Tabel 4.9. Jumlah Pengunjung... 47 Tabel 4.10. Jumlah Halaman yang dikunjungi... 48 Tabel 4.11. Jumlah File yang diakses Pengunjung... 49 Tabel 4.12. Kapasitas File yang diakses Pengunjung... 50 Tabel 4.13. Kode Status yang terjadi saat mengakses halaman web page... 50 Tabel 4.14. Total Unique User Agents... 51 Tabel 4.15. Frekuensi Akses berdasarkan Penggunaan User Agent... 52 Tabel 4.16. Total Unique Referrer... 53 Tabel 4.17. Frekuensi Akses berdasarkan Rujukan (referrer)... 54 Tabel 4.18. Frekuensi Akses berdasarkan Search String... 54 Tabel 4.19. Frekuensi Akses berdasarkan Waktu... 55 Tabel 4.20. Frekuensi Akses berdasarkan Halaman Website... 56 Tabel 4.21. Frekuensi Akses berdasarkan Kapasitas File (Kbytes)... 58 ix Universitas Indonesia
DAFTAR GAMBAR Gambar 2.1. Proses client mengakses halaman website... 8 Gambar 2.2. Format IP Address versi 4... 12 Gambar 2.3. Format IP Address versi 6... 12 Gambar 3.1. Proses penyiapan data web log... 20 Gambar 3.2. Nilai default untuk lama waktu session pada webserver Apache.. 22 Gambar 3.3. Memasukkan data web log ke dalam Database MySQL... 22 Gambar 3.4. Tampilan Awal Program Aplikasi untuk Data Cleaning... 23 Gambar 3.5. Menyimpan Data dalam Format.csv... 23 Gambar 3.6. Tabel Weblog pada Database MySQL... 24 Gambar 3.7. Flowchart Data Cleaning... 25 Gambar 3.8. Tampilan Program Hasil Proses Data Cleaning... 25 Gambar 3.9. Flowchart Jumlah Pengunjung Berdasarkan IP Address... 26 Gambar 3.10. Tampilan Program Jumlah Pengunjung Berdasarkan IP Address.. 27 Gambar 3.11. Flowchart Frekuensi Akses berdasarkan Halaman yang Dikunjungi... 28 Gambar 3.12. Tampilan Program Frekuensi Akses berdasarkan Halaman yang Dikunjungi...... 28 Gambar 3.13. Flowchart Frekuensi Kode Status yang terjadi... 29 Gambar 3.14. Tampilan Program Kode Status yang terjadi... 30 Gambar 3.15. Flowchart Kapasitas File yang Dikunjungi... 32 Gambar 3.16. Tampilan Program Kapasitas File yang Dikunjungi... 32 Gambar 3.17. Flowchart Frekuensi Akses berdasarkan Rujukan (Referrer)... 32 Gambar 3.18. Tampilan Program Frekuensi Akses berdasarkan Rujukan (Referrer)... 33 Gambar 3.19. Flowchart Frekuensi Akses berdasarkan Penggunaan User Agent (Browser)... 34 Gambar 3.20. Tampilan Program Frekuensi Frekuensi Akses berdasarkan Penggunaan User Agent (Browser)... 34 Gambar 3.21. Webalizer logs... 36 Gambar 4.1. Data Web log pada tanggal 22 Maret 2010... 37 Gambar 4.2. Statistik Harian pada Bulan Maret 2010... 39 Gambar 4.3. Hasil Proses Penyaringan Data Web Log... 40 Gambar 4.4. Statistik Jumlah Pengunjung Berdasarkan IP Address... 41 x Universitas Indonesia
Gambar 4.5. Statistik Halaman yang dikunjungi... 42 Gambar 4.6. Statistik Kode Status yang terjadi pada saat mengakses website.. 43 Gambar 4.7. Statistik Kapasitas File yang diakses... 44 Gambar 4.8. Statistik Frekuensi Akses berdasarkan Rujukan (referrer)... 45 Gambar 4.9. Statistik Jumlah Hit Pengunjung... 47 Gambar 4.10. Statistik Jumlah Pengunjung... 48 Gambar 4.11. Statistik Jumlah halaman yang dikunjungi... 48 Gambar 4.12. Statistik Jumlah File yang diakses Pengunjung... 49 Gambar 4.13. Statistik Kapasitas File yang diakses pengunjung... 50 Gambar 4.14. Statistik Frekuensi Akses berdasarkan Penggunaan User Agent.. 51 Gambar 4.15. Statistik Total Unique Referrer... 53 Gambar 4.16. Statistik Frekuensi Akses Rata-Rata berdasarkan Waktu... 56 Gambar 4.17. Statistik Frekuensi Akses berdasarkan Halaman Website... 57 Gambar 4.18. Statistik Frekuensi Akses berdasarkan Kapasitas File (Kbyte)... 58 xi
DAFTAR LAMPIRAN Lampiran 1. Statistik Bulan Januari 2010... 63 Lampiran 2. Statistik Bulan Februari 2010... 64 Lampiran 3. Statistik Bulan Maret 2010... 65 Lampiran 4. Statistik Bulan April 2010... 66 Lampiran 5. Statistik Bulan Mei 2010... 67 Lampiran 6. Statistik Bulan Juni 2010... 68 xii Universitas Indonesia