BAB III PERANCANGAN. Tabel 3.1 Detil Tabel mpage

Transkripsi

1 BAB III PERANCANGAN Bab ini menjelaskan mengenai perancangan sistem peringkas berita otomatis pada media massa online berbasis GVSM. Perancangan dibagi dalam beberapa bagian antara lain perancangan database, perancangan user interface, proses kerja sistem, dan pengujian sistem Perancangan Database Database yang digunakan pada sistem ini terdiri dari dua macam database. Database pertama adalah database bawaan dari focused crawler yang berfungsi menyimpan halaman-halaman web selama proses pencarian. Database focused crawler tidak dibahas dalam sistem karena tidak ada modifikasi dan juga tidak digunakan setelah proses crawler selesai. Database yang kedua adalah database penyimpanan isi berita yang didapat dari halaman web hasil pencarian. Database server yang digunakan dalam sistem ini adalah Microsoft SQL Server Pembentukan Tabel Database penyimpanan isi berita dan hasil ringkasan terdiri dari tiga buah tabel. Ketiga tabel tersebut antara lain : tabel mpage, tabel mpagecontent, tabel mresultpage. Tabel-tabel tersebut dirancang sebagai berikut. Tabel 3.1 Detil Tabel mpage Nama Kolom Tipe Data Keterangan pkpage bigint Primary Key pageurl varchar(max) Not Allow Null pagetitle varchar(100) Not Allow Null sourcemedia varchar(50) Not Allow Null 24

2 25 Tabel 3.2 Detil Tabel mpagecontent Nama Kolom Tipe Data Keterangan pkpagecontent bigint Primary Key pkpage bigint Not Allow Null, foreign key newscontent varchar(max) Not Allow Null Tabel 3.3 Detil Tabel mresultpage Nama Kolom Tipe Data Keterangan pkresultpage bigint Primary Key pkpage bigint Not Allow Null, foreign key resultsummary varchar(max) Not Allow Null resultcategory varchar(50) Not Allow Null Tabel 3.1. merupakan tempat penyimpanan data-data umum pada halaman yang sudah diunduh oleh proses crawling. Kolom pageurl dan pagetitle juga didapat langsung dari proses crawling dimana proses crawling sudah mendeteksi kedua hal tersebut. Ukuran kolom pageurl dibuat maksimal karena sering kali terjadi URL suatu halaman web memiliki panjang yang cukup lebar baik karena get dan post dari suatu halaman atau karena penamaan halaman yang terlalu detil. Tabel 3.2 merupakan bagian dari Tabel 3.1 yang khusus memuat isi berita dari halaman web pada Tabel 3.1. Pada Tabel 3.2 kolom newscontent dibuat dengan tipe data yang maksimal. Karena isi berita pasti sangat besar dan tidak bisa ditentukan rata-rata jumlah karakternya. Dengan tipe data maksimal diharapkan dapat memuat isi berita secara keseluruhan dan mengurangi error saat proses memasukkan data. Tabel 3.3 adalah tabel penyimpanan hasil peringkasan. Pada Tabel 3.3 tetap diberikan foreign key dari Tabel 3.1 supaya dapat dijadikan referensi ringkasan tersebut berasal dari URL dan dengan judul sesuai isi dari Tabel 3.1 Kolom ringkasan berita tetap dibuat maksimal karena tidak menentunya ukuran sebuah berita. Jika berita tersebut pada dasarnya adalah berita yang panjang maka ringkasannya pun berkemungkinan lebih panjang dari ringkasan berita pada umumnya.

3 Entity Relationship Diagram (ERD) Berikut adalah ERD dari sistem database ini. Gambar 3.1. ERD Sistem Peringkas Berita Dapat dilihat dari ERD pada Gambar 3.1 bahwa tabel mresultpage dan tabel mpagecontent tetap mengacu pada tabel mpage. Tabel mpage adalah tabel utama yang memuat informasi-informasi kunci mengenai halaman web berita yang diunduh. Sementara kedua tabel lainnya mengandung data-data berita secara lebih detil Perancangan User Interface (UI) UI pada sistem ini terbagi ke dalam beberapa form yang terpisah. Tujuan form yang dibuat terpisah agar memudahkan pengerjaan sistem dan juga memudahkan pengguna memilih form yang sesuai dengan kebutuhan. Form dirancang dengan jenis Windows Form menggunakan bahasa pemrograman Visual C#.NET. Dengan menggunakan compiler Microsoft Visual Studio 2010 dan berbasis pada.net Framework 4. Berikut modul modul UI yang ada pada sistem Form Awal (frmadmin) Form Crawling (frmcrawling)

4 27 Form Summarizer (frmsummarizer) Form Debugging Mode Summarizer (frmsummarizertrial) Form UI awal yang akan dihadapi oleh user adalah frmadmin. Pada frmadmin user dapat melakukan pilihan form yang akan digunakan. Tampilan pilihan dibuat minimalis menggunakan tools menu strip pada visual studio. Setelah membuka form yang diinginkan user dapat kembali ke frmadmin lagi. Pada frmadmin ini juga user dapat melakukan pencarian berita yang sudah diringkas dan langsung mendapatkan hasil sesuai dengan gambaran sistem yang sudah dijelaskan pada Bab I. Proses crawling mendapat form khusus yaitu frmcrawling. Jika pada penelitian focused crawler sebelumnya beberapa variabel harus diubah melalui file app.config maka pada penelitian ini terjadi perubahan [2]. Perubahan pada masukan untuk proses crawling adalah menggunakan bantuan UI untuk jenis masukan domain lexicon dan juga keyword. Perubahan dilakukan karena dirasa menyulitkan jika user harus mengubah file app.config setiap kali akan mengganti topik pencarian, sehingga dibuat field khusus yang terdiri dari dua text box untuk menerima masukan domain lexicon dan keyword dari user. Sementara proses peringkasan dibagi menjadi dua form. Form pertama adalah peringkasan yang akan bersifat otomatis dan tidak diperlihatkan proses detilnya (frmsummarizer) dan form kedua adalah form yang menampilkan detil-detil variabel dan angka pada perhitungan untuk pembentukan ringkasan berita (frmsummarizertrial). Tujuan dari dibentuknya frmsummarizertrial adalah untuk mempermudah proses perancangan dan melihat pergerakan dari nilai-nilai variabel untuk memudahkan proses perhitungan Proses Kerja Sistem Keseluruhan Proses kerja sistem beserta diagram alir dalam sistem akan dijelaskan terbagi ke dalam empat bagian. Empat bagian tersebut antara lain proses parsing hasil crawling, proses perhitungan nilai SC dengan VSM, pengembangan nilai SC pada VSM dengan metode GVSM. Dan proses mengkategorikan berita.

5 Proses Parsing pada Focused Crawler Proses parsing adalah suatu proses pengambilan isi berita secara khusus dari isi halaman web yang sudah diunduh oleh crawler. Dalam proses parsing diharapkan akan didapat hasil berita yang bersih dari elemen-elemen yang tidak diperlukan. Elemen-elemen yang tidak diperlukan dalam berita yang dimaksud adalah elemen-elemen tag HTML. Pemilihan isi berita yang sesuai dilakukan dengan mengamati tag-tag HTML yang khusus dimiliki oleh halaman berita pada media massa online. Dalam setiap halaman berita kebanyakan ada suatu tag identifier yang mengidentifikasi bahwa diantara tag tersebut adalah isi berita. Jika ditemukan tag yang unik tersebut maka sistem akan melakukan splitting pada isi halaman web dan mengambil isi berita. Dengan proses pemilihan ini maka secara tidak langsung halaman yang tidak ada isi berita akan tereliminasi dengan sendiri dan tidak dimasukkan ke dalam database. Seperti umumnya sebuah halaman online, halaman berita pada media massa online juga memiliki tag-tag HTML untuk penulisan di web. Tag-tag yang umum ada adalah untuk mengganti baris (line break / </br>) dan tag-tag khusus untuk font ( misalkan <b> untuk bold). Tag-tag tersebut akan mengganggu proses peringkasan karena bukanlah merupakan kata, selain itu ringkasan juga tidak membutuhkan tag-tag dan formatting yang berlebihan. Oleh karena itu dalam proses parsing dilakukan pembersihan isi berita dari tagtag yang tidak diperlukan. Setelah proses pembersihan selesai dilakukan maka isi berita beserta data-data lain yang diperlukan (judul, URL, dan sumber media) akan dimasukkan ke dalam database dan proses parsing selesai.

6 Gambar 3.2. Diagram Alir Automatic Parsing 29

7 Perhitungan Nilai SC pada VSM Gambar 3.3.a Diagram Alir perhitungan SC pada VSM (a)

8 31 Gambar 3.3.b Diagram Alir Perhitungan SC pada VSM (b) Dua diagram alir pada Gambar 3.3.a dan Gambar 3.3.b menjelaskan mengenai proses perhitungan SC untuk setiap kalimat terhadap query. Pada penerapan di peringkasan berita, metode VSM mengalami beberapa perubahan seperti sudah dijabarkan pada Bab II yaitu pada istilah dokumen. Pada peringkasan berita di penelitian ini metode VSM

9 32 melakukan pembobotan kalimat terhadap query. Query pada peringkasan berita adalah judul berita. Oleh karena itu metode VSM pada peringkasan berita adalah pembobotan SC antara kalimat dengan judul berita. Semakin besar nilai SC maka kalimat tersebut semakin penting bagi berita. Langkah pertama dari proses perhitungan nilai SC adalah pemecahan atau tokenizing berita. Tokenizing berita dilakukan dua kali yaitu memecah menjadi kalimat dan menjadi kata. Kata dibentuk dari memecah-mecah kalimat, akan tetapi kalimat tetap dipertahankan dalam bentuk asli untuk dilakukan proses penghitungan panjang vektor dan juga pembobotan SC. Setiap kata yang dibentuk diambil hanya satu sehingga tidak ada kata yang terduplikat. Setelah proses tokenizing selesai maka akan dilakukan perhitungan nilai idf untuk setiap kata. Perhitungan nilai idf dalam penelitian ini sesuai dengan perhitungan pada persamaan 2.1. Selain perhitungan idf dilakukan juga perhitungan tf untuk setiap kata terhadap setiap kalimat. Jika dalam suatu kalimat tidak dimuat kata yang sedang dihitung nilai tf-nya maka nilai tf dari kata tersebut terhadap kalimat yang tidak mengandung kata tersbut adalah nol. Setelah nilai tf-idf dari setiap kata didapat maka perhitungan panjang vektor setiap kalimat dapat dilakukan. Perhitungan panjang vektor kalimat dihitung dengan menghitung nilai root mean square (RMS) dari setiap tf dikalikan dengan idf. Perhitungan panjang kalimat dijabarkan dalam persamaan berikut : t Ld ij = tf ij idf 2 j j (3.1) Ld ij = bobot kata t j terhadap kalimat d i tf ij idf j i j t = jumlah kemunculan kata t j dalam kalimat d i = invers document frequency dari kata j = indeks kalimat = indeks kata = jumlah total kata Setelah perhitungan panjang vektor kalimat maka dilakukan juga perhitungan panjang vektor query dengan cara yang sama dengan persamaan 3.1. Setelah semua panjang vektor dari semua elemen (query dan kalimat) didapat maka dapat dilakukan

10 33 perhitungan SC dengan Persamaan 2.2. Nilai SC kemudian diolah kembali dengan memperhitungkan sinonim kata pada proses GVSM Pengembangan VSM menjadi GVSM Gambar 3.4 Diagram Alir Pengembangan Nilai SC pada GVSM

11 34 Dalam Gambar 3.4 proses pengembangan nilai pada GVSM sebenarnya lebih menekankan pada proses pencarian sinonim untuk setiap kata di kalimat. Sinonim yang digunakan dicari dari sinonim yang ada di dalam database thesaurus. Selain pencocokan sinonim juga dilakukan pencocokan kata-kata pada kalimat dengan query. Sehingga pada akhirnya sinonim yang dicari hanya sinonim dari kata-kata yang berkaitan dengan query. Proses perhitungan nilai vektor t j dan t s menggunakan persamaan 2.4. Setelah didapat nilai SC yang terakhir dan final. Tahap berikutnya adalah melakukan pengurutan terhadap ringkasan. Sebuah ringkasan tidak boleh menukar posisi dari kalimat di teks asli. Sehingga yang dilakukan adalah proses eliminasi terhadap kalimat dengan ranking nilai SC kelima dan seterusnya ke bawah. Ringkasan selanjutnya akan diklasifikasikan oleh modul penyortir topik Pembentukan Penyortir Topik Modul penyortir topik adalah modul pengklasifikasi suatu ringkasan berita ke dalam kategori-kategori tertentu. Pengklasifikasian dilakukan secara sederhana yaitu dengan mencocokkan seluruh kata dari ringkasan dengan kata-kata dalam daftar istilah topik. Topik dengan banyak kata yang sama akan dijadikan sebagai topik berita tersebut. Daftar kata-kata untuk tiap topik akan dipilih secara manual oleh manusia dan kemudian disimpan dalam setiap text file. Data disimpan dalam setiap text file untuk memudahkan perubahan dan penyimpanan data kata. Setelah itu data akan di scan setiap kali dilakukan proses pencocokan antara ringkasan dengan setiap topik. Terdapat enam topik yang bisa digunakan sebagai topik dari ringkasan berita. Keenam topik tersebut antara lain Bisnis Pemerintahan Kriminal Olahraga Politik Kesehatan

12 Metode Pengujian Sistem Sistem peringkas berita otomatis pada media massa online akan diuji menggunakan metode klasifikasi Metode Klasifikasi Metode klasifikasi adalah metode pengujian paling sederhana. Pada meotde ini user akan diberikan lima klasifikasi kualitas dari ringkasan. Responden kemudian memilih klasifikasi mana yang paling tepat untuk ringkasan yang sedang diuji. Kelima klasifikasi yang akan digunakan antara lain : 1. Sangat Baik 2. Baik 3. Buruk 4. Sangat Buruk