PEMBANGUNAN PROTOTIPE PENCARIAN BARANG DI BERBAGAI TOKO ONLINE MENGGUNAKAN TEKNIK WEB SCRAPING (STUDI KASUS : TOKO ONLINE DI INDONESIA)

Transkripsi

1 PEMBANGUNAN PROTOTIPE PENCARIAN BARANG DI BERBAGAI TOKO ONLINE MENGGUNAKAN TEKNIK WEB SCRAPING (STUDI KASUS : TOKO ONLINE DI INDONESIA) TUGAS AKHIR Disusun sebagai salah satu syarat untuk kelulusan Program Strata 1, Program Studi Teknik Informatika, Universitas Pasundan Bandung oleh : Aziz Firmansyah Nrp PROGRAM STUDI TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS PASUNDAN BANDUNG JANUARI 2017

2

3 LEMBAR PENGESAHAN LAPORAN TUGAS AKHIR Telah diujikan dan dipertahankan dalam Sidang Sarjana Program Studi Teknik Informatika Universitas Pasundan Bandung, pada hari dan tanggal sidang sesuai berita acara sidang, tugas akhir dari : Nama : Aziz Firmansyah Nrp : Dengan judul : PEMBANGUNAN PROTOTIPE PENCARIAN BARANG DI BERBAGAI TOKO ONLINE MENGGUNAKAN TEKNIK WEB SCRAPING (STUDI KASUS : TOKO ONLINE DI INDONESIA) Bandung, Januari 2017 Pembimbing Utama (Dr.Ir.Leony Lidya.MT)

4 2

5 LEMBAR PERNYATAAN KEASLIAN TUGAS AKHIR Saya menyatakan dengan sesungguhnya bahwa : 1. Tugas akhir ini adalah benar-benar asli dan belum pernah diajukan untuk mendapatkan gelar akademik, baik di Universitas Pasundan Bandung maupun di Perguruan Tinggi lainnya 2. Tugas akhir ini merupakan gagasan, rumusan dan penelitian saya sendiri, tanpa bantuan pihak lain kecuali arahan dari tim Dosen Pembimbing 3. Dalam tugas akhir ini tidak terdapat karya atau pendapat orang lain, kecuali bagian-bagian tertentu dalam penulisan laporan Tugas Akhir yang saya kutip dari hasil karya orang lain telah dituliskan dalam sumbernya secara jelas sesuai dengan norma, kaidah, dan etika penulisan karya ilmiah, serta disebutkan dalam Daftar Pustaka pada tugas akhir ini 4. Kakas, perangkat lunak, dan alat bantu kerja lainnya yang digunakan dalam penelitian ini sepenuhnya menjadi tanggung jawab saya, bukan tanggung jawab Universitas Pasundan Bandung Apabila di kemudian hari ditemukan seluruh atau sebagian laporan tugas akhir ini bukan hasil karya saya sendiri atau adanya plagiasi dalam bagian-bagian tertentu, saya bersedia menerima sangsi akademik, termasuk pencabutan gelar akademik yang saya sandang sesuai dengan norma yang berlaku di Universitas Pasundan, serta perundang-undangan lainnya. Bandung, Januari 2017 Yang membuat pernyataan, Materai 6000,- ( Aziz Firmansyah ) NRP

6

7 ABSTRAK Masyarakat memiliki kebutuhan akan sarana untuk pencarian barang dagang secara online. Dalam melakukan pencarian barang dapat menggunakan search engine atau langsung mengunjungi situs e-commerce tertentu. Cara ini agak sulit untuk membandingkan barang. Web Scraping dan curl memiliki manfaat besar untuk pengembangan perangkat lunak contohnya untuk aplikasi pencarian barang di berbagai toko online. Aplikasi ini berjalan dengan cara mengumpulkan informasi dari berbagai toko online untuk ditampilkan kembali ke pengguna. Pada tugas akhir ini dilakukan pemodelan dan pembuatan prototipe pencarian barang di berbagai toko online menggunakan web scraping dan curl. Hasil dari tugas akhir ini berupa prototipe pencarian barang dengan fitur yaitu dapat melakukan pencarian barang dengan mengunjungi beberapa toko online yang sudah terdaftar, dapat mengurutkan hasil pencarian berdasarkan harga. Kata Kunci : Web Scraping, curl, aplikasi web, search engine, e-commerce i

8 ABSTRACT Community has a need for a means to search the merchandise online. In their search item can use the search engine or go directly to a specific e-commerce site. This is quite difficult to compare the goods. Web scraping and curl have major benefits for the development of software applications for example to search items in various online stores. The application runs by collecting information from various online stores to be displayed back to the user. In this final project modeling and prototyping quest items at various stores online using web scraping and curl. The results of this thesis a prototype search items with features that can search items by visiting some online stores are already registered, can sort search results by price. Keywords: Web scraping, curl, web application, search engine, e-commerce. ii

9 KATA PENGANTAR Assalmu alaikum, Wr. Wb Segala puji dan syukur penulis panjatkan kehadirat Allah SWT. Dengan ridho-nya penulis mampu mengerjakan dan menyelesaikan laporan sseminar tugas akhir ini dengan judul Pembangunan Prototipe Pencarian Barang di berbagai Toko Online Menggunakan Teknik Web Scraping. Serta sholawat selalu terlimpahkan untuk sang pencerah dalam gulita, pribadi mulia, rahmat bagi seluruh semesta, Muhammad SAW. Laporan Tugas Akhir ini ditujukan untuk memenuhi kelulusan strata 1 (satu) di Program Studi Teknik Informatika Fakultas Teknik Universitas Pasundan. Dalam penulisan Proposal tugas akhir ini, penulis ingin mengucapkan terima kasih kepada pihak yang terlibat baik secara langsung maupun tak langsung serta moril maupun materil terhadap tugas akhir ini. Dengan segala hormat dan kerendahan hati perkenankanlah penulis mengucapkan terimakasih kepada : 1. Pembimbing tugas akhir, Ibu Dr. Ir. Leony Lidya, M.T. 2. Kepada Orang Tua tersayang, yang selalu memberikan semangat, motivasi, dan do anya dalam pembuatan tugas akhir. 3. Seluruh civitas akademika Teknik Informatika di Universitas Pasundan Bandung yang telah memberikan bekal ilmu selama penulis menimba ilmu. 4. Kepada teman-teman seperjuangan Universitas Pasundan Bandung yang tidak bisa semua penulis sebutkan. Penulis menyadari ketidaksempurnaan dalam penulisan Laporan Seminar Tugas Akhir ini dan masih perlu belajar. Saran dan kritik di kemudian hari sangat penulis harapkan agar dapat memberikan kontribusi serta manfaat yang lebih signifikan terkait topik Laporan Tugas Akhir ini. Wasalamu alaikum Wr.Wb Bandung, Januari 2017 Penulis iii

10 DAFTAR ISI ABSTRAK... i ABSTRACT...ii KATA PENGANTAR... iii DAFTAR ISI... iv DAFTAR TABEL... vii DAFTAR GAMBAR...viii DAFTAR LAMPIRAN... ix DAFTAR SIMBOL... x BAB 1 PENDAHULUAN Latar Belakang Identifikasi Masalah Tujuan Tugas Akhir Lingkup Tugas Akhir Metodologi Tugas Akhir Sistematika Penulisan Tugas Akhir BAB 2 LANDASAN TEORI Prototipe Pengenalan Serch Engine Pengenalan Web Scrapting Pengenalan curl PHP Struktur Dasar Request curl Model Proses Pembangunan Perangkat Lunak Perancangan Pemodelan Perangkat Lunak Tinjauan Teknologi Boostrap MySQL Codeigniter BAB 3 ANALISIS Kerangka Tugas Akhir Analisis Peta Analisis Analisis Solusi Analisis Penggunaan Konsep Objek Penelitian BAB 4 ANALISIS DAN PERANCANGAN iv

11 4.1 Analisis Sistem yang Berjalan Analisis Perbedaan Web Scraping dengan Web Crawler Analisis Web Scraping Create Scraping Template Explore Site Navigation Automate Navigation and Extraction Extracted Data and Package Kesimpulan Analisis Web Scraping Aplikasi yang akan Dibangun Digram Aktivitas Analisis Pengguna Analisis Kebutuhan Fungsional Perancangan Fungsional Sistem Deskripsi Use Case Skenario Cara Kerja Fungsi Diagram Sequence Digram Sequence Cari Barang Diagram Sequence Kelola Toko Online (Tambah Daftar Toko Online) Diagram Sequence Kelola Toko Online (Ubah Daftar Toko Online) Kelas Analisis Perancangan Perangkat Lunak Perancangan Arsitektur Perancangan Kelas Perancangan Data Perancangan Antarmuka Antarmuka Halaman Utama Antarmuka List Barang Antarmuka Form Tambah Daftar Toko Online Antarmuka Form Ubah Data Toko Online Antarmuka Daftar Toko Online BAB 5 IMPLEMENTASI Implementasi Implementasi Perangkat Lunak Kebutuhan Implementasi Implementasi Data Implementasi Arsitektur v

12 5.4 Implementasi Antarmuka Antarmuka Halaman Utama Antarmuka Profile Pengguna BAB 5 KESIMPULAN DAN SARAN KESIMPULAN SARAN DAFTAR PUSTAKA LAMPIRAN vi

13 DAFTAR TABEL Tabel 3.1 Rancangan Penelitian Tabel 3.2 Tahapan Rencana Analisis Tabel 4.1 Create Scraping Template Tabel 4.2 Explore Site Navigation Tabel 4.3 Deskripsi Pengguna Tabel 4.4Kebutuhan Fungsional Sitem Tabel 4.5 Deskripsi Use Case Tabel 4.6Skenario Use Case Cari Barang Tabel 4.7 Skenariao Use Case Sorting Barang Tabel 4.8 Skenario Use Case Kelola Daftar Toko Online (Tambah daftar Toko Online) Tabel 4.9 Skenario Use Case Kelola Daftar Toko Online (Ubah Data Toko Online) Tabel 4.10Skenario Use Case Kelola Daftar Toko Online (Hapus daftar Toko Online) Tabel 4.11 Kelas Analisis Tabel 4.12 Perancangan Kelas Perangkat Lunak Tabel 4.13 Perancangan Atribut Kelas Tabel 4.14 Perancangan Data Perangkat Lunak Tabel 5-1Kebutuhan Perangkat Keras Tabel 5-2 Kebutuhan Perangkat Lunak Tabel 5-3 Struktur Folder Perangkat Lunak vii

14 DAFTAR GAMBAR Gambar 2.1 Ilustrai Cara Kerja Web Scraper Gambar 2.2 Basic Structure curl PHP Gambar 2.3 Metodologi pengembangan perangkat lunak ( RUP ) Gambar 3.1 Peta Analisis Gambar 4.1 Proses Pencarian Barang di Google Gambar 4.2 Proses Pencarian Barang dari berbagai Toko Online Gambar 4.4 Automate Navigation and Extraction Gambar 4.5 Struktru Array Gambar 4.3Gambaran Sistem yang Akan Dibangun Gambar 4.6 Diagram Aktivitas Pendaftaran Toko Online Gambar 4.7 Diagram Aktivitas Pencarian Pengunjung Gambar 4.8 Diagram Aktivitas Pengurutan Harga Gambar 4.9 Diagram Use Case Aplikasi CRIS Gambar 4.10 Diagram Sequence Cari Barang Gambar 4.11 Diagram Sequence Kelola Toko Online (Tambah Daftar Toko Online) Gambar 4.12 Diagram Sequence Kelola Toko Online (Ubah Data Toko Online) Gambar 4.13 Perancangan Arsitektur Perangkat Lunak Gambar 4.14 Digram Kelas Perancangan Gambar 4.15 Antarmuka Halaman Utama Gambar 4.16Antarmuka List barang Gambar 4.17 AntarmukaForm Tambah Daftar Toko Online Gambar 4.18Antarmuka Ubah Toko Online Gambar 4.19Antarmuka daftar Toko Online Gambar 5.1 Implementasi Data Gambar 5.2 Arsitektur Gambar 5.3 Antarmuka Halaman Utama Gambar 5.4 List barang viii

15 DAFTAR LAMPIRAN LAMPIRAN A... A-1 A.1 Observasi pencarian Barang Menggunakan Search Engine... A-1 A.2 Observasi pencarian Barang Langsung Mengunjungi Website Penyedia Jasa... A-2 LAMPIRAN B... B-1 B.1 Statistka Situs e-commerce familiar di tahun B-1 B.2 Code Sumber Scraping dan DOM... B-2 B.3 Code Aplikasi Pencarian Barang di Berbagai Toko Online... B-5 ix

16 DAFTAR SIMBOL Activity Diagram No Simbol Nama Keterangan 1. Start state Start state dengan tegas menunjukan dimulainya suatu workflow pada sebuah activity diagram. 2. Activity Activity mengambarkan sebuah pekerjaan atau tugas dalam workflow. 3. Decision Decision adalah suatu titik atau point pada activity diagram yang mengindikasikan suatu kondisi dimana ada kemungkinan perbedaan transisi. 4. End state End state menggambarkan akhir atau terminal dari pada sebuah activity diagram. 5. State Transition State transition menunjukan kegiatan apa berikutnya setelah suatu kegiatan sebelumnya. Diagram Use Case No Simbol Nama Keterangan 1. Actor Simbol yang merepresentasikan pengguna yang sedang berinteraksi dengan usecase. 2. Use Case Deskripsi dari urutan aksi-aksi yang ditampilkan sistem yang menghasilkan suatu hasil yang terukur bagi suatu aktor. 3. Association Simbol yang menghubungkan antara objek satu dengan objek lainnya. 4. Include Simbol yang menspesifikasikan bahwa use case sumber secara eksplisit. 5. Extend Simbol yang merepresentasikan bahwa use case target memperluas perilaku dari us case sumber pada suatu titik yang diberikan. x

17 Sequence Diagram No Simbol Nama Keterangan 1. Actor Simbol yang menggambarkan pengguna yang sedang berinteraksi dengan sistem. 2. : Boundary Simbol yang menggambarkan sebuah penggambaran dari form. 3. Boundary : ViewLogin Controller Simbol yang menggambarkan penghubung antara boundary dengan tabel atau entity. 4. Controller : Entity Simbol yang menggambarkan hubungan kegiatan yang akan dilakukan. 5. Entity : User Object Message Simbol yang menggambarkan pengiriman pesan 6. Return Message Simbol yang menggambarkan pengiriman pesan kembali. Flowchart No Simbol Nama Keterangan 1 Start/End Simbol untuk permulaan (start) atau akhir (stop) dari suatu kegiatan. 2 Process Simbol yang menunjukkan pengolahan yang dilakukan oleh rototyp. 3 Data Simbol yang menyatakan proses input dan output tanpa tergantung dengan jenis peralatannya. 4 Decision Simbol pemilihan proses berdasarkan kondisi yang ada. xi

18