BAB I PENDAHULUAN 1.1 Tujuan Merancang sebuah sistem yang dapat meringkas teks dokumen secara otomatis menggunakan metode generalized vector space model (GVSM). 1.2 Latar Belakang Dunia informasi yang semakin tidak mengenal batas ruang dan waktu membuat semua orang bisa mengakses informasi kapan saja dan di mana saja. Salah satu informasi yang sangat banyak dicari adalah berita. Dalam prosesnya pengguna yang mengakses berita yang ingin dicari melalui internet biasa menggunakan bantuan mesin pencari seperti Google, Bing, dan berbagai mesin pencari lainnya. Akan tetapi hasil yang didapat hanya berupa halaman web yang mengandung informasi berita secara umum seperti judul dan link menuju berita tersebut. Untuk mengetahui kesesuaian dan isi berita pengguna harus membaca secara keseluruhan dari halaman web tersebut. Selain itu terkadang didapat hasil pencarian yang tidak akurat dan juga tidak bersumber dari media berita yang terpercaya. Sementara sebagian pengguna lebih ingin mengetahui ringkasan dari suatu berita dahulu sebelum membaca secara keseluruhan isi berita tersebut dan juga hanya membutuhkan teks berita saja tanpa membutuhkan keseluruhan halaman web yang terkadang memuat informasi informasi di luar yang diinginkan oleh pengguna. 1
2 Gambar 1.1 Contoh pencarian pada Google Gambar 1.1 menunjukkan model pencarian pada mesin pencari dan dalam hal ini adalah Google. Hasil yang didapatkan pengguna dengan query yang digunakan yaitu berita pendidikan adalah sekumpulan link dan potongan dari isi halaman pada link tersebut beserta kecocokan kata kunci. Sementara pengguna sangat membutuhkan gambaran dari berita pendidikan tanpa harus membuka link hasil pencarian. Dapat dilihat juga bahwa link hasil pencarian tidak selalu mengarah pada situs media massa online yang resmi terdaftar sehingga menyulitkan pengguna mendapatkan berita yang terpercaya. Contoh pada Gambar 1.1 ada link menuju ke beritapendidikan.com, padahal situs web tersebut hanya berisi referensi berita saja bukan isi berita sesungguhnya.
3 TOPIK Ringkasan Berita Ringkasan Berita TOPIK Ringkasan Berita Gambar 1.2. Keluaran pencarian pada sistem yang diusulkan Sementara Gambar 1.2 menunjukkan keluaran dari sistem yang diusulkan. Sistem akan membuat keluaran berupa beberapa ringkasan yang sudah dikelompokkan berdasarkan topiknya masing-masing. Hasil pada Gambar 1.2 memudahkan pengguna yang ingin melihat gambaran berita secara singkat. Dengan ringkasan yang ada pengguna dapat membaca dan mendapat gambaran berita yang dicari dan dengan pembagian per topik pengguna akan sangat dimudahkan dalam mencari berita yang sesuai. Ringkasan adalah suatu pokok permasalahan dari suatu paragraf ataupun suatu dokumen [3]. Dengan melihat sebuah ringkasan saja seorang pembaca dapat memahami garis besar dari suatu berita tanpa perlu membaca secara detil berita tersebut. Secara umum pembaca dari suatu berita hanya fokus melihat pada garis besar suatu berita yang dicari sebelum melihat lebih detil lagi berita hasil pencarian [8, h.l11]. Pembentukan ringkasan secara otomatis bisa dilakukan dengan berbagai macam metode. Metode yang paling umum dilakukan adalah dengan mencari pokok pikiran utama atau kalimat utama dari setiap paragraf berita. Salah satu cara pencarian dilakukan dengan melakukan perhitungan menggunakan metode natural language processing (NLP) yaitu vector space model (VSM). Inti utama pada metode VSM adalah melihat nilai kemiripan
4 dokumen terhadap suatu query pencarian. Pembobotan nilai dilakukan dengan melakukan pengecekan istilah satu persatu dimana istilah tersebut akan dicari jumlahnya dalam dokumen tersebut. Semakin banyak ditemukan maka istilah tersebut akan mendapat bobot yang lebih besar [7, h.g12]. Akan tetapi terkadang metode VSM masih menghasilkan hasil yang kurang akurat. Hal ini disebabkan penghitungan pada VSM sama sekali tidak melibatkan aspek semantik, dan juga aspek arti kata. Dari hasil penelitian yang dilakukan oleh Haryono (2005:4) pembentukan topik menggunakan metode VSM, topik berita yang dibentuk menghasilkan hasil yang buruk. Didapat hasil yang mempunyai tingkat kesalahan hingga 60%. Oleh karena itu untuk memenuhi aspek semantik dan aspek arti kata dibutuhkan referensi yang berkaitan dengan bahasa alamiah yang digunakan oleh berita tersebut untuk mendapatkan hasil yang lebih sesuai. Referensi yang dimaksud bisa menggunakan suatu thesaurus atau kumpulan sinonim kata yang berfungsi membantu pembobotan similarity coefficient untuk menentukan kalimat utama dari suatu paragraf. [7,h.G14] Pada faktanya ada aplikasi yang mengarah ke arah peringkasan berita menjadi suatu ringkasan yang digunakan pada mobile smart phone. Akan tetapi aplikasi yang ada masih terbatas pada pemberitaan bahasa Inggris saja yaitu aplikasi Summly. Sementara dengan pergantian bahasa tentunya diperlukan proses yang berbeda pula. Peringkasan menggunakan Bahasa Indonesia membutuhkan pengembangan algoritma baru dan tentu saja membutuhkan pencarian yang lebih terarah ke sumber berita dari media massa online yang menggunakan Bahasa Indonesia dan juga media massa online yang terpercaya. Oleh karena itu sebuah sistem baru perlu dibuat untuk memenuhi kebutuhan kebutuhan tersebut.
5 Perbedaan Basis Aplikasi Algoritma Pencarian Tabel 1.1 Perbandingan mesin pencari dengan aplikasi yang diusulkan Mesin pencari Biasa Web-based Desktop-Based / Web-Based Page rank Sistem yang diusulkan Deskripsi Kelebihan Kekurangan Algoritma genetik Mudah dan praktis dalam pengolahan data Lebih terarah karena menggunakan batasan domain Tidak mudah diakses Tidak universal pada semua bahasa Hasil Pencarian Pembatasan Pencarian Kumpulan link menuju halaman hasil pencarian Membutuhkan masukan untuk membatasi Ringkasan dari halaman hasil pencarian dan link menuju halaman lengkapnya Sudah terbatasi secara otomatis Sumber Segala sumber Situs situs media massa Indonesia Bahasa Tergantung Bahasa masukan Indonesia Hasil didapat ringkas yang lebih Mempercepat proses pencarian Sumber terbatas dan terpercaya Lebih terarah bagi pengguna Akan tidak relevan hasilnya jika penyaringan ringkasan gagal Tidak selalu sesuai keinginan user Situs harus up to date Kurang fleksibel Tabel 1.1 menunjukkan perbandingan antara aplikasi yang akan diusulkan dengan mesin pencari biasa seperti Google, Bing, dan sejenisnya. Basis sistem dibuat desktop based untuk mempermudah pengolahan data dan penyimpanan data oleh pengguna. Selain itu walaupun sudah membatasi hasil pencarian pengguna tetap tidak mendapatkan sebuah informasi yang sudah dalam bentuk suatu ringkasan. Hal ini tentu saja terkadang menyulitkan pengguna yang ingin mendapat hasil pencarian yang ringkas. Pengguna membutuhkan suatu ringkasan berita yang memuat bagian dari berita tersebut untuk mempermudah proses pencarian. Pada sebuah mesin pencari biasa pengguna yang ingin membatasi hasil pencariannya harus menggunakan fasilitas advanced search dimana
6 pengguna perlu memasukkan informasi-informasi tambahan yang dibutuhkan untuk membantu dan membatasi proses pencarian. Informasi-informasi yang digunakan untuk membatasi pencarian adalah nama situs atau domain, daerah, bahasa yang digunakan, dan yang paling utama adalah membatasi kata kunci. 1.3 Gambaran Sistem direalisasikan. Gambar 1.3 menampilkan sistem yang sudah ada (crawler) dan sistem yang Gambar 1.3. Blok Diagram Sistem
7 Sistem yang dibuat adalah sistem yang memiliki fungsi utama membentuk ringkasan dari dokumen secara otomatis dengan menggunakan metode yang bersifat text mining. Sifat-sifat text mining yang digunakan adalah tokenizing, filtering, dan analyzing. Sistem akan menggunakan berita sebagai dokumen sumber yang akan dibentuk ringkasannya. Sistem ini bersifat desktop based dan menggunakan internet sebagai sumber pencarian dokumen berita. Pencarian akan menggunakan focused crawler dan bersifat text mining yakni hanya diambil teks beritanya saja. Gambar 1.4 Keluaran pencarian pada sistem yang diusulkan Contoh kasus dari sistem ini adalah mengenai pencarian dengan query berita pendidikan. Pencarian akan dilakukan dengan input seperti pada mesin pencari biasa seperti yang tertampil pada Gambar 1.1. Yang membedakan dari sistem ini dengan mesin pencari biasa adalah keluaran dari sistem yang berupa ringkasan langsung. Gambar 1.4 menggambarkan keluaran dari sistem. Dari diagram pada Gambar 1.3 dapat diperjelas blok beserta masukan dan keluaran dari sistem. Secara berurutan blok-blok yang ada pada sistem ini adalah focused crawler, kemudian pembentuk ringkasan, dan terakhir penyortir topik. Blok-blok tersebut akan berjalan secara berurutan dari awal hingga akhir proses.
8 Masukan dari blok pertama adalah query pencarian dari pengguna yang akan dijadikan patokan pencarian oleh sistem. Keluaran adalah halaman-halaman yang berasal dari situs-situs media massa Indonesia yang tersebar di internet. Crawler bertugas mencari dan menyalin halaman halaman berita dari situs media massa yang sesuai dan kemudian disimpan pada database. Crawler yang digunakan bersifat focused yang berarti bahwa crawler akan mencari hasil yang paling relevan dengan query pencarian. Halaman-halaman akan diambil teksnya saja karena teks adalah bagian yang akan diproses oleh sistem di blok kedua. Link dari halaman-halaman juga akan disimpan sebagai acuan yang akan disertakan juga di akhir proses. Blok selanjutnya yang akan dijalankan oleh sistem adalah peringkas berita. Masukan yang akan digunakan dari blok ini ada dua yaitu halaman-halaman hasil pencarian yang dilakukan oleh blok pertama dan kata-kata yang bersumber dari database thesaurus. Masukan pertama berfungsi sebagai dokumen masukan utama yang akan diproses menjadi suatu ringkasan. Dokumen yang berupa teks berita hasil pencarian akan dibentuk ringkasannya menggunakan algoritma GVSM dimana perhitungannya sudah tertera pada Persamaan 2.3. Hal yang spesifik pada algoritma GVSM yang digunakan pada skripsi ini adalah ditambahkannya nilai relevansi dengan thesaurus yang akan masuk ke dalam variabel t pada persamaan 2. Nilai relevansi yang dimaksud didapat dengan melakukan pencocokan kata-kata pada query dengan kata-kata yang ada pada dokumen dari segi makna kata yang dibantu dengan thesaurus. Thesaurus yang merupakan kamus sinonim memberikan masukan tambahan mengenai kata-kata yang serupa sehingga pencarian kecocokan kata tidak hanya dari segi kesamaan string kata tapi juga menggunakan kesamaan makna kata. Contoh misalkan dicari kata: Saya tidak hanya kata saya saja yang dicari kecocokannya akan tetapi juga kata yang bermakna sama dengan Saya seperti Aku. Jika sudah menghasilkan suatu ringkasan dari setiap halaman berita hasil pencarian maka selanjutnya ringkasan-ringkasan tersebut akan di sortir sesuai topiknya. Penyortiran dilakukan dengan mencocokkan kata-kata dari database thesaurus yang sudah dikategorikan per topik dengan kata-kata hasil pencarian. Kemudian jika dilihat ringkasan tersebut akan cocok dengan kategori jika bobotnya terhadap topik tersebut semakin besar. Pembobotan bersifat sederhana dimana jika banyak kata dari database thesaurus pada suatu
9 topik cocok dengan kata-kata dari suatu berita maka dapat dipastikan bobot akan semakin besar. Bobot diberikan sesuai dengan banyaknya kata yang cocok. Hasil yang tersaji pada pengguna adalah berupa ringkasan berita hasil pencarian yang sudah terbagi dalam kelompok-kelompok. Pengujian sistem secara spesifik dilakukan dalam dua tahap yaitu : 1. Pengujian focused crawler 2. Pengujian ringkasan hasil bentukan sistem Dalam melakukan pengujian bagian yang dilakukan secara lebih detil adalah bagian pengujian ringkasan hasil bentukan sistem. 1.4 Spesifikasi Sistem Berdasarkan surat tugas dari Fakultas Teknik Elektronika dan Komputer Program Studi Sistem Komputer Universitas Kristen Satya Wacana Salatiga nomor 34/I.3/FTEK/V/2013 spesifikasi sistem yang dibuat adalah sebagai berikut : 1. Sistem dirancang desktop based menggunakan Visual C#.NET 2010 2. Crawler digunakan berupa focused crawler dengan algoritma genetik hasil penelitian dosen FTEK Banu Wirawan Yohanes, S.T. [2]. 3. Database penyimpanan hasil pencarian dan thesaurus menggunakan Oracle 11g yang menyimpan data-data hasil pencarian dan thesaurus dalam bentuk tabel. 4. Sistem dapat memilah hasil-hasil pencarian yang paling relevan menggunakan focused crawler. 5. Sistem dapat membatasi pencarian pada situs-situs berita tertentu dan juga dapat melakukan update terhadap daftar situs berita yang akan dicari. 6. Sistem mampu mengambil dan menyimpan hanya teks berita saja dari hasil pencarian. 7. Sistem membentuk ringkasan menggunakan algoritma GVSM dan kemudian menyimpan ringkasan hasil bentukan untuk kemudian ditampilkan pada pengguna
10 8. Sistem mampu mengelompokkan hasil berita yang sudah dibentuk ringkasannya dan kemudian menampilkannya sesuai topik umum pada berita yaitu bisnis, pemerintahan, kriminal, kesehatan, olahraga, dan politik. 9. Sistem mampu memberikan link lengkap berita pada tampilan hasil ringkasan. 10. Sistem mampu memilih kalimat terpendek apabila ditemukan kalimat yang berbobot sama. 11. Sistem ditargetkan mampu menghasilkan hasil ringkasan yang relevan sejumlah 75% dari sampel percobaan 12. Sistem ditargetkan dapat mengambil halaman-halaman berita yang sesuai dengan ketepatan sebesar 75% dari sampel percobaan. 13. Sistem dapat menghapus database yang menyimpan hasil pencarian sebelumnya setiap dilakukan pencarian baru 14. Sistem diuji dengan cara pencocokan secara manual dengan sampel yang diambil secara acak. Pencocokan dilakukan dengan melihat hasil dan membandingkan dengan teori ringkasan yang baik dari segi ilmu Bahasa Indonesia. 1.5 Sistematika Penulisan Skripsi ini secara penulisan dibagi menjadi lima bab. Dengan rincian secara umum tiap bab sebagai berikut : Bab I berisi tentang Tujuan, Latar Belakang Permasalahan, Gambaran Sistem, Spesifikasi Sistem dan Sistematika Penulisan. Bab II membahas teori dari algoritma VSM, algoritma GVSM, dan text mining. Bab III meliputi perancangan dan realisasi sistem peringkas berita otomatis dengan algoritma GVSM yang meliputi perancangan database, proses parsing halaman web, perancangan pengguna interface, dan penerapan algoritma VSM dan GVSM. Bab IV berisi pembahasan metode dan hasil dari pengujian terhadap focused crawler, dan sistem peringkas berita. Disertakan juga analisa hasil rangkuman semua pengujian.
11 Bab V berisi kesimpulan dari sistem peringkas berita yang telah direalisasikan dan saran-saran pengembangan pada sistem sehingga dapat memperbaiki kinerja sistem.