IMPLEMENTASI EKSTRAKSI WEB (WEB SCRAPING) PADA MESIN PECARI JURNAL ILMIAH MENGGUNAKAN METODE EKSPRESI REGULER

Transkripsi

1 IMPLEMENTASI EKSTRAKSI WEB (WEB SCRAPING) PADA MESIN PECARI JURNAL ILMIAH MENGGUNAKAN METODE EKSPRESI REGULER Muhammad Spi i Batubara Jurusan Teknik Informatika Sekolah Tinggi Teknik Harapan Medan Jl. HM Jhoni N0 70 Medan, Indonesia m.spiibatubara@gmail.com ABSTRAK Web scraping adalah proses pengambilan sebuah dokumen semi-terstruktur dari internet, umumn berupa halaman-halaman web dalam bahasa markup seperti HTML atau XHTML, dan menganalisis dokumen tersebut untuk diambil data tertentu dari halaman tersebut untuk digunakan bagi kepentingan lain. Kesulitan penggunaan mesin pencari google diantaran, dalam proses pencarian, hasil pencarian ng ditampilkan terlalu luas, mengakibatkan kesulitan dalam mengumpulkan informasi mengenai artikel atau jurnal ilmiah. Adapun cara mengurangi permasalahan tersebut itu dengan mempelajari dokumen HTML dari website ng akan diambil informasin untuk di tag HTML tujuann ialah untuk mendapatkan kembali informasi ng diambil (Create Scraping Template), setelah itu pembuat program mempelajari teknik navigasi pada website ng akan diambil informasin untuk ditirukan pada aplikasi web scraping ng akan dibuat (Explore Site Navigation), kemudian aplikasi web scraping akan mengotomatisasi informasi ng didapat dari website ng telah ditentukan (Automate Navigation and Extraction), informasi ng didapat tersebut akan disimpan kedalam table basis data. Ekspresi regular adalah metode ng digunakan untuk mencocokkan pola-pola karakter tertentu dalam suatu kumpulan string. Ada dua macam ekspresi regular itu karakter biasa dan meta karakter. Sehingga sebagai output hasil penelitian menghasilkan aplikasi ng mengimplementasikan teknik ekstraksi web (web scraping) pada mesinpencari jurnal ilmiah menggunakan metode ekspresi regular. Kata Kunci : aplikasi, web, web scraping, ekstraksi web, metode ekspresi regular ABSTRACT Web scraping is the process of making a semi-structured document from the Internet, generally in the form of web pages in a markup language such as HTML or XHTML, and analyzing the document for certain data taken from the pages to be used for other purposes. Difficulties include the use of the Google search engine, in the search process, search results are displayed too broad, resulting in difficulties in collecting information on an article or a scientific journal. As for how to reduce the problem is by studying the HTML documents of a website that will be taken in the tag information for HTML the goal is to get back the captured information (scraping Create Template), after that program makers learn the techniques of navigation on the website which will take the information to simulated on web scraping application to be made (Explore Site Navigation), then scraping the web application will automate the information obtained from the website that has been determined (Automate Navigation and Extraction), The information obtained will be saved into a database table. Regular expression is a method used to match patterns of a particular character in a set of strings. There are two kinds of regular expressions are regular characters and meta characters. So as output the results to produce applications that implement web extraction techniques (web scraping) in the scientific journal mesinpencari using regular expressions. Keywords: applications, web, web scraping, web extraction, regular expression method 1. Pendahuluan Salah satu fasilitas pendukung perkembangan internet adalah search engine (mesin pencari). Mesin pencari (Search engine) itu kombinasi perangkat keras dan perangkat lunak komputer ng disediakan oleh perusahaan tertentu melalui website ng telah ditentukan. Pemakaian mesin pencari masih sering mempersulit pengguna diantaran, pada saat mengumpulkan informasi mengenai artikel atau jurnal ilmiah, hasil pencarian ng ditampilkan masih terlalu luas, sehingga informasi ng dicari terkait artikel atau jurnal ilmiah tidak spesifik. Search engine mengumpulkan informasi dari web melalui program bot (robot) atau web crawler ng secara periodik menelusuri web. Proses pengambilan informasi dari website-website ng ada ini disebut dengan web scraping. Web Scraping adalah proses pengambilan sebuah dokumen semi-terstruktur dari internet,

2 umumn berupa halaman-halaman web dalam bahasa markup seperti HTML atau XHTML, dan menganalisis dokumen tersebut untuk diambil data tertentu dari halaman tersebut untuk digunakan bagi kepentingan lain. Web scraping sering dikenal sebagai screen scraping [1]. Tujuan dialkukann ekstraksi web (web scraping) pada mesin pencari jurnal/ artikel ilmiah adalah mengotomatisasi informasi ng didapat dari website ng telah ditentukan (Automate Navigation and Extraction) sehingga hasil pencarian artikel atau jurnal ilmiah lebih khusus atau spesifik. Manfaat dari web scraping ialah agar informasi ng diambil atau digunakan lebih terfokus sehingga memudahkan dalam melakukan pencarian sesuatu. Adapun cara mengembangkan teknik web scraping itu dengan mempelajari dokumen HTML dari website ng akan diambil informasin untuk di tag HTML tujuann ialah untuk mendapatkan kembali informasi ng diambil (Create Scraping Template), setelah itu mempelajari teknik navigasi pada website ng akan diambil informasin untuk ditirukan pada aplikasi web scraping ng akan dibuat (Explore Site Navigation), kemudian aplikasi web scraping akan mengotomatisasi informasi ng didapat dari website ng telah ditentukan (Automate Navigation and Extraction), informasi ng didapat tersebut akan disimpan ke dalam tabel basis data (Extracted Data and Package History). [2]. Selain itu sebagai pendukung dalam fasilitas data, aplikasi ini dilengkapi dengan metode ekspresi regular. Teknik scraping dapat dilakukan teknik regular ekspresi, regular ekspresi ditentukan pola ng mengawali dan mengakhiri suatu konten utama pada halaman situs. [3]. Metode ekspresi regular adalah sebuah metode ng memberikan pola dari suatu bahasa ng kemudian di implementasikan kedalam computer. Contoh, Finite State Automata untuk mengenal bilangan bulat atau integer tidak bertanda. Regular expression atau ekspresi regular adalah metode ng digunakan untuk mencocokan pola-pola karakter tertentu dalam suatu kumpulan string. Ada dua macam ekspresi regular itu karakter biasa dan metakarakter. Regular expression akan menjadi mesin utama dalam pembuatan e-course untuk menjadi virtual Linux Shell sekaligus mencocokan perintah Linux sesuai dengan kasus atau soal ng diberikan. [4] 2. Metodologi Penelitian Web Scraping adalah proses pengambilan sebuah dokumen semi ter-stuktur dari internet, umumn berupa halaman web dalam bahasa markup seperti HTML atau XHTML, dan menganalisis dokumen tersebut untuk diambil data tertentu dari halaman tersebut untuk digunakan bagi kepentingan lain. Web Scraping dikenal sebagai screen scraping. Web Scraping tidak dapat dimasukkan dalam bidang data mining karena data mining menyiratkan upa untuk memahami pola semantik atau tren dari sejumlah besar data ng telah diperoleh. Web Scraping memiliki sejumlah langkah : 1. Create Scraping Template: Pembuat program mempelajari dokumen HTML dari website ng akan diambil informasin untuk tag HTML ng mengapit informasi ng akan diambil. 2. Explore Site Navigation: Pembuat program mempelajari teknik navigasi pada website ng akan diambil informasin untuk ditirukan pada aplikasi web scraper ng akan dibuat. 3. Automate Navigation and Extraction : Berdasarkan informasi ng didapat pada langkah 1 dan 2 diatas, aplikasi web scraper dibuat untuk mengotomatisasi pengambilan informasi dari website ng ditentukan 4. Extracted Data and Package History: Informasi ng didapat dari langkah 3 (tiga) disimpan dalam tabel-tabel database Gambar 1. Aplikasi Web Scraping (sumber: Mardi, 2013) Teknik scraping dapat dilakukan teknik regular ekspresi, regular ekspresi ditentukan pola ng mengawali dan mengakhiri suatu konten utama pada halaman situs.regular expression atau ekspresi regular adalah metode ng digunakan untuk mencocokan pola-pola karakter tertentu dalam suatu kumpulan string.ada dua macam ekspresi regular itu karakter biasa dan metakarakter. Secara singkat ekspresi regular ini menyediakan cara untuk memanipulasi dan mencocokan string sesuai dengan formula ng dibikin. Kemampuan ng bisa ditangani oleh ekspresi reguler ini antara lain validasi , validasi angka, huruf, kombinasi keduan dan

3 lain-lain. Fungsi ini dieksekusi di server side tidak seperti javascript ng dieksekui di client side, sehingga lebih aman.bank sekali jenis fungsi regular expression ng disediakan oleh PHP. Fungsi dan rumusn ekspresi reguler berdasarkan pola, sumber adalah : 1. Memeriksa suatu substring ng berada dalam suatu string. ereg( pono, Supono ) = TRUE ereg( poy, supono ) = FALSE Akan menghasilkan nilai TRUE jika string pada pola cocok dengan string pada sumber.akan menghasilkan nilai FALSE jika pola tidak cocok dengan string pada sumber. Kalau diatas akan menghasilkan nilai true, karena pola string pono terdapat pada sumber Supono. 2. Mencocokan di awal string, melakukan pencarian suatu substring ng terletak diawal suatu string. ereg( ^susu, susu itu baik untuk kesehatan ) = TRUE. ereg( ^susu, aku suka susu, terutama susu murni ) = FALSE 3. Mencocokan di akhir string, melakukan pencarian suatu substring ng terletak akhir suatu string. ereg( supono$, orang ganteng itu bernama supono ) = TRUE ereg( supono$, dia itu supono orang ng jelek ) = FALSE 4. Memeriksa keberadaan sebuah karakter dan memeriksa suatu string apakah mengadung karakter sesuai dengan pola atau tidak. Berikut ini contoh mencari suatu string ng mengandung huruf vokal (a,i,u,e,o) dari sebuah sumber. ereg( [aiueo], poy ) = TRUE ereg( [aiueo], spn ) = FALSE ereg( [aiueo], ono ) = TRUE ereg( [a-z], supono ) = TRUE //mengecek huruf a kecil s/d z kecil 5. Pengulangan sejumlah karakter dan mengecek substring dasi string dengan pengulangan sesuai dengan pola. ereg( o{2}, pooy ) = TRUE // mencocokan 2 huruf 0 secara berurutan ereg( o{2}, pono ) = FALSE 6. Karakter +.? dan * ereg( s*, supono ) = TRUE // mengadung s atau tidak mengadung s ereg( s, pono ) = TRUE ereg( s?, pono ) = TRUE // mirip seperti * ereg( s+, supono ) = TRUE // harus mengandung s minimal satu s ereg( s+, pono ) = FALSE ereg( s.*, supono ) = TRUE // mengandung s dan diikuti oleh nol karakter atau beberapa karakter. Jika melibatkan simbol, maka gunakan tanda \ (backslash). ereg( ^[1-9][0-9]{4}$, $kode_pos) Keterangan: ^ = Memeriksa awal string (lihat keterangan nomor 2 diatas) [1-9] = Memeriksa awal string harus di dengan angka 1 s/d 9 atau dengan kata lain tidak mengijikan memasukan angka 0. [0-9] = Memeriksa string angka 0 s/d 9 {4} = Melakukan pengulangan sejumlah 4 kali setelah string awal [1-9], jadi hasiln akan menghasilkan 5 angka. $ = Akhir dari sebuah pola string Model perancangan aplikasi implementasi ekstraksi web (web scraping) pada mesin pencari jurnal ilmiah menggunakan metode ekspresi regular digambarkan dalam bentuk flowchart sistem.model perancangan aplikasi perancangan aplikasi implementasi ekstraksi web (web scraping) pada mesin pencari jurnal ilmiah menggunakan metode ekspresi regular dengan flowchart sistem. Flowchart Sistem Proses Login Admin. Proses login istrator dapat digambarkan dalam bentuk flowchart sistem sebagai berikut: Mulai Tampil form login Masukkan nama dan Pasword Cek nama dan password benar? Gambar 2. Flowchart Sistem Proses Login Administrator

4 Berdasarkan gambar 2 flowchart sistem proses login istrator dapat dijelaskan bahwa flowchart menggambarkan proses login istrator dengan memasukkan nama dan password pada form login ng tersedia. Kemudian sistem akan melakukan pengecekan atas kebenaran nama dan password hak akses. Jika hasil pengecekan sistem mentakan bahwa nama dan password sesuai dengan hak akses maka sistem akan menampilkan halaman utama. Namun jika hasil pengecekan sistem mentakan bahwa nama dan password tidak sesuai dengan hak akses maka sistem tidak akan menampilkan halaman utama. Sistem akan menampilkan notifikasi nama dan password tidak cocok. Flowchart Sistem Proses Input Data Artikel/Jurnal Oleh Administrator. Proses input data artikel atau jurnal oleh pengguna dapat digambarkan dalam bentuk flowchart sistem sebagai berikut: saat dihalaman utama, memilih form input data. Setelah itu mengisi form input dan sistem akan melakukan proses input data. Jika hasil pengecekan sistem mentakan bahwa form data input sudah lengkap maka sistem akan menyimpan data ng diinput ke dalam database sistem. Namun jika hasil pengecekan sistem mentakan bahwa form data input tidak lengkap maka sistem tidak akan melakukan penyimpanan data. Sistem akan menampilkan notifikasi data belum lengkap. Flowchart Sistem Proses Update Data Artikel/Jurnal Oleh Administrator. Proses update data artikel atau jurnal oleh pengguna dapat digambarkan dalam bentuk flowchart sistem sebagai berikut: Form Update Data Form Input data Update Data Input data Proses Update Data Proses input data Proses Updatet data sukses? Proses input data sukses? Data ng Diupdae tetersimpan Data ng diinput tersimpan Gambar 4. Flowchart Sistem Proses Update Data Oleh Administrator Gambar 3. Flowchart Sistem Proses Input Data Oleh Administrator Berdasarkan gambar 3 flowchart sistem proses input data oleh istrator dapat dijelaskan bahwa flowchart menggambarkan pada Berdasarkan gambar 4. flowchart sistem proses update data oleh istrator dapat dijelaskan bahwa flowchart menggambarkan pada saat dihalaman utama, memilih form update data. Setelah itu mengisi form update data dan sistem akan melakukan proses update data. Jika hasil pengecekan sistem mentakan bahwa form

5 data ng di update sudah lengkap maka sistem akan menyimpan data ng diupdate ke dalam database sistem. Namun jika hasil pengecekan sistem mentakan bahwa form data ng diupdate tidak lengkap maka sistem tidak akan melakukan penyimpanan hasil update data. Sistem akan menampilkan notifikasi update data belum lengkap. Flowchart Sistem Proses Hapus Data Artikel/Jurnal Oleh Administrator. Proses hapus data artikel atau jurnal oleh pengguna dapat digambarkan dalam bentuk flowchart sistem sebagai berikut: Flowchart Sistem Proses Pencarian Artikel/ Jurnal Oleh User. Proses pencarian artikel atau jurnal oleh pengguna dapat digambarkan dalam bentuk flowchart sistem sebagai berikut: Buka aplikasi webscarping ng dibangun dan memasukan kata kunci pencarian artikel/jurnal Cek data artikel/jurnal secara khusus Form Hapus Data tidak Proses lihat artikel/jurnal secara luas menjadi khusus sesuai? Hapus Data Proses Hapus Data Proses lihat artikel/jurnal secara khusus ditampilkan Proseshapus t data sukses? Data Dihapus tetersimpan Gambar 6. Flowchart Sistem Proses Pencarian Artikel/ Jurnal Oleh User Berdasarkan gambar 6 flowchart sistem proses pencarian jurnal oleh user dapat dijelaskan bahwa flowchart menggambarkan pada saat dihalaman pencarian, user masuk ke aplikasi webscraping dan memasukkan kata kunci kemudian sistem melakukan pencarian jurnal secara khusus. Gambar 5. Flowchart Sistem Proses Hapus Data Oleh Administrator Berdasarkan gambar 5 flowchart sistem proses hapus data oleh istrator dapat dijelaskan bahwa flowchart menggambarkan pada saat dihalaman utama, memilih form hapus data. Setelah itu mengisi form hapus data dan sistem akan melakukan proses hapus data. Jika hasil pengecekan sistem mentakan bahwa form data sudah di hapus maka sistem akan menghapus data n di hapus dari dalam database sistem. Namun jika hasil pengecekan sistem mentakan bahwa form data ng di hapus tidak dapat didelete maka sistem akan menampilkan notifikasi hapus data tidak dapat dilakukan. 3. Hasil dan Pembahasan Langkah terakhir dari perancangan aplikasi ng dibuat adalah menjalankan sistem ng sudah dibangun dan melihat hasil akhir dari berjalann sistem apakah sama dengan seperti ng diinginkan. Ketika aplikasi dijalankan, maka tampilan ng akan muncul pertama sekali adalah seperti Gambar 7 berikut: Gambar 7 Halaman Login

6 Gambar 7 merupakan tampilan login ng berfungsi sebagai login admiinistrator untuk masuk ke tampilan berikutn (halaman utama ). Halaman update data artikel atau jurnal dapat dilihat seperti gambar 10 berikut: Setelah tampilan pembuka ini maka akan muncul tampilan berikutn itu tampilan halaman menu utama, pada tampilan halaman menu utama ini terdapat menu menu ng dapat dipilih oleh user/. tampilan halaman utama ini dapat dillihat pada gambar 8 berikut: Gambar 10. Halaman Update Data Artikel/Jurnal Gambar 8 Halaman Utama Administrator Halaman utama istrator pada gambar 8 menampilkan informasi halaman utama istrator dan dilengkapi dengan menu input data artikel atau jurnal, menu edit atau hapus data artikel atau jurnal dan menu update data artikel atau jurnal. Gambar 10 merupakan halaman update data artikel atau jurnal pada implementasi ekstraksi web (web scraping) pada mesin pencari jurnal ilmiah menggunakan metode ekspresi regular. Halaman update data artikel dan jurnal dilengkapi informasi id artikel atau jurnal, judul, pengarang, link dan lokasi. Halaman edit/hapus data artikel atau jurnal dapat dilihat seperti gambar 11 berikut: Halaman input data artikel atau jurnal dapat dilihat seperti gambar 9 berikut: Gambar 11. Halaman Edit/Hapus Data Artikel/Jurnal Gambar 9. Halaman Input Data Artikel/Jurnal Gambar 9 merupakan halaman input data artikel atau jurnal pada implementasi ekstraksi web (web scraping) pada mesin pencari jurnal ilmiah menggunakan metode ekspresi regular. Halaman input data artikel dan jurnal dilengkapi informasi id artikel atau jurnal, judul, pengarang, link dan lokasi. Gambar 11 merupakan halaman edit atau hapus data artikel atau jurnal pada implementasi ekstraksi web (web scraping) pada mesin pencari jurnal ilmiah menggunakan metode ekspresi regular. Halaman edit atau hapus data artikel dan jurnal dilengkapi informasi id artikel atau jurnal, judul, pengarang, link dan lokasi Halaman Proses Pencarian Halaman proses pencarian artikel atau jurnal aplikasi pada implementasi ekstraksi web (web scraping) pada mesin pencari jurnal ilmiah menggunakan metode ekspresi regular dapat di lihat seperti gambar 12 berikut:

7 melakukan pencarian jurnal ilmiah atau artikel ng lebih terfokus dan khusus 4. Penerapan metode ekspresi regular membantu pengguna dalam melakukan pencarian jurnal ilmiah atau artikel 5. Daftar Pustaka Gambar 12. Halaman Proses Pencarian Artikel/Jurnal Gambar 12. merupakan halaman proses pencarian artikel/jurnal pada implementasi ekstraksi web (web scraping) pada mesin pencari jurnal ilmiah menggunakan metode ekspresi regular. Halaman ini bertujuan untuk mendukung aplikasi ng diusulkan. Yang mana selama ini pemakaian mesin pencari masih sering mempersulit pengguna diantaran, pada saat mengumpulkan informasi mengenai artikel atau jurnal ilmiah, hasil pencarian ng ditampilkan masih terlalu luas, sehingga informasi ng dicari terkait artikel atau jurnal ilmiah tidak spesifik atau khusus. Dengan pemanfaatan search engine atau mesin pencari dengan web scraping dapatmengumpulkan informasi dari web melalui program bot (robot) atau web crawler ng secara periodik menelusuri web. Proses penggunaan aplikasi web scraping itu dengan proses me dengan pencarian data dengan membuka situs ng dibangun, kemudian masukan atau input kata kunci pencarian artikel atau jurnal, kemudian sistem melakukan pencarian artikel/jurnal secara luas menjadi lebih spesifik atau khusus dan jika prsoses pencarian sukses maka sistem akan menampilkan artikel atau jurnal secara lebih spesifik dan khusus jika tidak proses pencarian gagal dan pencarian di dari awal kembali. [1] Turland Analisis Dan Perancangan Sistem Informasi Untuk Keunggulan Bersaing Perusahaan Dan Organisasi Modern. ANDI Offset, Yogkarta [2] Juliasari, Sitompul Panduan Menguasai PHP & MySQL Secara Otodidak. MediaKita, Jakarta Selatan [3] Mardi, Database Processing, Dasar- Dasar Sistem & Implementasi. Erlangga, Jakarta [4] Akhsan Desain Dan Implementasi Tunneling Ipsec Berbasis Unix Dengan ESP (Encapsulating Security Payload) (Studi Kasus : T. Sumeks Tivi Palembang & Pt. Sumatera Ekspres). STMIK PalComTech Palembang 4. Kesimpulan Kesimpulan dari hasil implementasi ekstrasi web (web scraping) pada mesin pencari jurnal ilmiah menggunakan metode ekspresi regular itu: 1. Salah satu fasilitas pendukung perkembangan internet adalah mesin pencari (search engine). 2. Mesin pencari (search engine) merupakan kombinasi perangkat keras dan perangkat lunak komputer ng disediakan oleh perusahaan tertentu melalui website ng telah ditentukan. 3. Aplikasi dengan menerapkan implementasi ekstraksi web (web scraping) pada mesin pencari memudahkan pengguna dalam