PERINGKASAN TEKS OTOMATIS DOKUMEN TUNGGAL PADA BERITA KRIMINAL BERBAHASA INDONESIA MENGGUNAKAN METODE MAXIMAL MARGINAL RELEVANCE (MMR) TUGAS AKHIR

Transkripsi

1 PERINGKASAN TEKS OTOMATIS DOKUMEN TUNGGAL PADA BERITA KRIMINAL BERBAHASA INDONESIA MENGGUNAKAN METODE MAXIMAL MARGINAL RELEVANCE (MMR) TUGAS AKHIR Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Disusun Oleh : Yuan Aulia Rahma ( ) JURUSAN TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG 2013 i

2 LEMBAR PERSETUJUAN PERINGKASAN TEKS OTOMATIS DOKUMEN TUNGGAL PADA BERITA KRIMINAL BERBAHASA INDONESIA MENGGUNAKAN METODE MAXIMAL MARGINAL RELEVANCE (MMR) TUGAS AKHIR Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Menyetujui, Dosen Pembimbing I Dosen Pembimbing II Yudha Munarko,S.Kom,MSc. Yufis Azhar, S.Kom ii

3 LEMBAR PENGESAHAN PERINGKASAN TEKS OTOMATIS DOKUMEN TUNGGAL PADA BERITA KRIMINAL BERBAHASA INDONESIA MENGGUNAKAN METODE MAXIMAL MARGINAL RELEVANCE (MMR) TUGAS AKHIR Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Disusun Oleh : Yuan Aulia Rahma Tugas Akhir ini telah diuji dan dinyatakan lulus melalui sidang majelis penguji Pada :, Menyetujui, Penguji I Penguji II (Setio Basuki, S.T) Nip (Wahyu Andhyka Kusuma,S.Kom) Nidn Mengetahui, Ketua Jurusan Informatika Eko Budi Cahyono, S.Kom, MT iii

4 SURAT PERNYATAAN Yang bertanda tangan dibawah ini: Nama : Yuan Aulia Rahma NIM : Tempat,Tanggal Lahir : Banyuwangi, 06 Agustus 1989 NIM : Fakultas / Jurusan : Teknik / Teknik Informatika Menyatakan bahwa hasil karya ilmiah / skripsi /tugas akhir yang berjudul: Automated Text Summarization Dokumen Tunggal Berita Kriminal Berbahasa Indonesia Menggunakan Metode MMR. Adalah bukan merupakan hasil karya tulis orang lain, bak sebagian maupun keseluruhan, kecuali dalam kutipan yang telah disebutkan sumbernya. Demikian surat pernyataan ini dibuat dengan sebenar-benarnya, dan apabila pernyataan ini tidak benar, saya siap mendapatkan sanksi akademis. Mengetahui Malang, 6 Maret 2013 Dosen Pembimbing I Yang Menyatakan Yuda Munarko,S.Kom. M.Sc YuanAulia Rahma NIP iv

5 ABSTRAK Pembaca cenderung lebih menyukai membaca ringkasan teks daripada membaca keseluruhan isi dokumen. Dengan bentuk ringkasan pembaca lebih mudah memahami isi tulisan serta menghemat waktu. Namun pada kenyataannya tidak semua teks dokumen mempunyai ringkasan teks. Oleh karena itu diperlukan sebuah sistem yang dapat meringkas dokumen secara otomatis.ats (Automated Text Summarization) atau dalam bahasa Indonesia disebut dengan Peringkasan Teks Otomatis merupakan perangkat lunak berbasis komputer untuk menghasilkan teks yang lebih pendek dari teks aslinya namun masih menyimpan poin utama dari teks yang diringkas. Terdapat dua pendekatan pada peringkasan teks otomatis, yaitu ekstraksi dan abstraksi. Dalam tugas akhir ini Peringkasan Teks Otomatis menggunakan metode ekstraksi. Proses perhitungan menggunakan perhitungan TF-IDF dan Cosine Similarity. Proses selanjutnya yaitu pencocokan dokumen hasil ringkasan dengan dokumen aslinya dengan mencari nilai relevance-nya menggunakan algoritma MMR (Maximal Marginal Relevance). Dengan menggunakan algoritma MMR sistem mampu menghasilkan sebuah dokumen dengan imput dan output dalam bahasa Indonesia secara otomatis,yaitu mengambil sumber informasi,mengekstrak informasi terpenting dan mempresentasikannya kepada user. Sistem Peringkasan Teks Otomatis mampu menghasilkan ringkasan sebesar 70% dari jumlah kalimat dokumen asli. Kata Kunci: Peringkasan teks otomatis,ekstraksi,tf-idf,cosine Similarity,MMR v

6 ABSTRACT Readers tend to prefer reading the summary of the text than to read this entire document. In summary form the reader to more easily understand the content of posts and save time. But in reality, not all have the document text summary text. Therefore we need a system that can summarize documents automated.ats (Automated Text Summarization) or in the Indonesian language called Peringkasan Teks Otomatis is a computer-based software to generate text that is shorter than the originals, but still keep the main points of the text summarized. There are two approaches in automatic text peringkasan, that is extraction and abstraction. In this final Automated Text Summarization extraction method. Calculation process using TF-IDF calculation and Cosine Similarity. The next process is the matching document with a summary of the results of the original document by finding its value relevance algorithm MMR (Maximal Marginal Relevance). By using the algorithm MMR system is able to produce a document with the imput and output in the Indonesian language automatically, ie taking information sources, extract the most important information and present it to the user. Automatic Text Peringkasan system able to produce summaries for 70% of the original sentences. Keywords: automatic text summarization, extraction, TF-IDF, Cosine Similarity, MMR vi

7 PERSEMBAHAN Tugas Akhir ini saya persembahankan kepada: 1. Allah Subhananahu wa ta ala, yang tiada henti melimpahkan rahmat dan hidayah-nya. 2. Rasulullah Muhammad SAW. 3. Mama dan Ayah, tiada kata yang bisa menggambarkan rasa terima kasih atas do a dan pengorbanan yang telah Mama dan Ayah berikan. 4. Adikku satu-satunya yang kusayangi,terima kasih selalu mendo akanku dan menyemangatiku. 5. Bapak Yuda Munarko dan Bapak Yufis Azhar,terima kasih atas bimbingan dan kesediaannya meluangkan waktu untuk membantu menyelesaikan Tugas Akhir ini. 6. Seluruh dosen Teknik Informatika Universitas Muhammadiyah Malang. 7. Sandi Jaya Pratama,terima kasih selalu memberikan semangat,do a dan dukungannya. 8. Pipo terima kasih selalu memberikan semangat dan do anya. 9. Ibu Emy,Ayah Sugeng,Dek Tanty,Tante Vila,Yeni Ae,Wiwin Winastri,Widya(Tyas),Kiky, Yudha S,Ismy S,Cintya,Liza,Novi, Mbak Dhian dan semuanya, terima kasih atas supportnya dan do a dari kalian semua. vii

8 KATA PENGANTAR Alhamdulillah,segala puji bagi Allah SWT yang telah memberi petunjuk dan rahmat sehingga penulis dapat menyelesaikan tugas akhir yang berjudul Automated Text Summarization Dokumen Tunggal Berita Kriminal Berbahasa Indonesia Dengan Metode MMR ini. Pada tugas akhir ini dibuat sebuah perangkat lunak yang dapat meringkas teks dokumen tunggal yang berupa berita criminal berbahasa Indonesia secara otomatis atau biasa disebut dengan ATS (Automated Text Summarization). Dengan memanfaatkan teknologi ATS, system ini nantinya diharapkan dapat memudahkan pengguna dalam mrndapatkan informasi garis besar tentang dokumen yang dikehendaki. Penulis menyadari bahwa penelitian ini masih jauh dari kesempurnaan.oleh karena itu penulis mengharapkan saran dan kritik yang bersifat membangun untuk pengembangan ke depannya. Perangkat lunak ini juga masih membutuhkan pengembangan lebih lanjut sehingga dapat lebih bermanfaat. Akhir kata penulis mengucapkan terimakasih kepada semua pihak yang telah membantu hingga tugas akhir ini terselesaikan. Malang,6 Maret 2013 Yuan Aulia Rahma viii

9 DAFTAR ISI HALAMAN JUDUL... i LEMBAR PERSETUJUAN... ii LEMBAR PENGESAHAN... iii LEMBAR PERNYATAAN... iv ABSTRAK... v ABSTRACT... vi LEMBAR PERSEMBAHAN... vii KATA PENGANTAR... viii DAFTAR ISI... ix DAFTAR GAMBAR... xii DAFTAR TABEL... xiii BAB I : PENDAHULUAN 1.1. Latar Belakang Rumusan Masalah Tujuan Batasan Masalah Metodologi Penyelesaian Masalah Sistematika Penulisan... 5 BAB II : LANDASAN TEORI 2.1 Automated Text Summarization Berita dan Kriminal Kamus Kriminal atau Kamus Hukum Data Mining Text Mining Pemecahan Kalimat Case Folding Tokenizing Kata ix

10 2.5.4 Filtering Kata Stemming Pembobotan TF-IDF Cosine Similarity MMR BAB III : ANALISA DAN PERANCANGAN SISTEM 3.1. Teknologi Yang Digunakan Bahasa Pemrograman Analisa Perancangan Sistem Desain Perangkat Lunak Use Case Diagram dan Scenario Activity Diagram Activity Diagram TextPreprocesing Activity Diagram Pemecah Kalimat Activity Diagram Case Folding Activity Diagram Filtering Activity Diagram Tokenizing Kalimat Activity Diagram Stemming Activity Diagram Sistem Pembobotan Kalimat Activity Diagram Pembobotan Relevance Query Sequence Diagram Perancangan Antar Muka BAB IV : IMPLEMENTASI DAN PENGUJIAN 4.1. Implementasi Sistem Implementasi Preprosessing Class TextMining Proses Implementasi Kamus Kriminal Implementasi TF-IDF Implementasi Cosine Similarity Implementasi Algoritma MMR x

11 Hasil Ringkasan Perbandingan Hasil Pengujian Pengujian Pengujian Fungsi Pengujian Menu Awal Halaman Proses Pengujian Summary BAB V : KESIMPULAN DAN SARAN 5.1. Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN xi

12 DAFTAR GAMBAR Gambar 2.1. Tahapan Text Mining... 9 Gambar 3.1 Flowchart Sistem ATS Gambar 3.2 Proses Pembobotan Kalimat Gambar 3.3 Use Case Diagram Sistem Gambar 3.34 Activity Diagram TextPreprocesing Gambar 3.5 Activity Diagram Pemecahan Kalimat Gambar 3.5 Activity Diagram Case Folding Gambar 3.6 Acitivity Diagram Filtering Gambar 3.7 Acitivy Diagram Tokenizing Gambar 3.7 Acitivy Diagram Stemming Gambar 3.5 Activity Diagram Sistem Pembobotan tf-idf Gambar 3.5 Activity Diagram Relevance Query Gambar 3.6 Activity Diagram Pembobotan Cosine Similarity Gambar 3.7 Activity Diagram Pembobotan MMR Gambar 3.9 Perancangan Menu Utama Gambar 3.10 Perancangan Halaman Proses Gambar 4.7. Class TextMiningProses Gambar 4.8 Class MMR Gambar 4.9 Tampilan menu Gambar 4.10 Tampilan menu awal Gambar 4.12 Hasil Query Gambar 4.13 Hasil IDF Gambar 4.14 Hasil Sentence Gambar 4.15 Hasil Table TF Gambar 4.16 Hasil Table DF Gambar 4.17 Hasil pengujian MMR Gambar 4.18 View output hasil pengujian MMR Gambar 4.19 Hasil ringkasan Gambar 4.20 Table perbandingan hasil xii

13 DAFTAR TABEL Tabel 2.1 Contoh Pemecahan Kalimat Tabel 2.2 Contoh Case Folding Tabel 2.3 Contoh Tokenizing Kata Tabel 2.4 Filtering Tabel 2.5 Stemming Tabel 2.6 Contoh Perhitungan Cosine Similarity Tabel 3.1 Scenario Aktor Tabel 3.2 Scenario use case Peringkasan Teks Otomatis Berita Kriminal Tabel 3.1 Hasil Pemecahan kalimat Tabel 3.2 Hasil Case Folding Tabel 3.3 Hasil Filtering Tabel 3.4 Tokenizing Tabel 3.5 Stemming Table 4.1 Perhitungan manual oleh user xiii

14 DAFTAR PUSTAKA [1] Abdul Kadir Dasar Pemrograman Java 2. Yogyakarta : ANDI OFFSET. [2] Milkha Harlian Ch. 2006, Text Mining, Machine Learning Text Categorization, University of Texas [3] Rolly Intan, Andrew Defeng. Hard : Subject-Based Search Engine Menggunakan Tf-Idf Dan Jaccard s Coefficient. Surabaya : Jurusan Teknik Informatika, Fakultas Teknologi Industri, Universitas Kristen Petra Surabaya. [4] Muhamad Iqbal Aziz Development Program Application To The Measurement Of Documents Resemblance Text Mining, Tf-Idf, And Vector Space Model Algorithm. Undergraduate Program, Faculty of Industrial Engineering, Gunadarma University [5] Carbonell, J., &Goldstein, J. (1998). TheUse of MMR,Diversity- BasedReranking for ReorderingDocumentsandProducingSummaries. Prosiding SIGIR, New York. [6] Lianthy Mellia, 2005, Otomatisasi Pembuatan Ringkasan dari Suatu Teks (Automatic Text Summarizer), Indonesia: Universitas Pasundan Bandung. [7] Pengenalan Bahasa Java. Bab 2 Modul JENI xiv