IMPLEMENTASI METODE TERMS FREQUENCY INVERSE DOCUMENT FREQUENCY (TF-IDF) DAN MAXIMUM MARGINAL RELEVANCE UNTUK MONITORING DISKUSI ONLINE TUGAS AKHIR

Transkripsi

1 IMPLEMENTASI METODE TERMS FREQUENCY INVERSE DOCUMENT FREQUENCY (TF-IDF) DAN MAXIMUM MARGINAL RELEVANCE UNTUK MONITORING DISKUSI ONLINE TUGAS AKHIR Diajukan Sebagai Salah Satu Syarat Untuk Memperoleh Gelar Sarjana Teknik Pada Jurusan Teknik Informatika oleh : AHLI HIDAYAT FAKULTAS SAINS DAN TEKNOLOGI UNIVERSITAS ISLAM NEGERI SULTAN SYARIF KASIM RIAU PEKANBARU 2015

2 iii

3 IMPLEMENTASI METODE TERMS FREQUENCY INVERSE DOCUMENT FREQUENCY (TF-IDF) DAN MAXIMUM MARGINAL RELEVANCE UNTUK MONITORING DISKUSI ONLINE AHLI HIDAYAT Jurusan Teknik Informatika Fakultas Sains dan Teknologi Universitas Islam Negeri Sultan Syarif Kasim Riau ABSTRAK Penggunan media sosial dan forum diskusi online pada saat ini semakin meningkat. Namun, para penggunanya sering tidak menghiraukan batasan dan etika dalam berkomunikasi. Sehingga sering terjadi kesalahpahaman bahkan menjadi pertikaian yang serius. Oleh karena itu, admin harus berperan aktif dalam membatasi dan mengontrol jalannya diskusi pada forum online. Untuk membatasi itu, salah satu caranya adalah membuat sistem yang bisa memonitoring jalannya diskusi online. Metode yang digunakan adalah TF-IDF, Cosine Similarity dan MMR. Penelitian ini diawali dengan lima tahap text preprocessing yaitu pemecahan kalimat, case folding, tokenizing, filtering, dan stemming. Proses selanjutnya yaitu menghitung bobot TF-IDF, bobot query relevance dan bobot similarity. Ringkasan dihasilkan dari ekstraksi kalimat dengan menggunakan metode maximum marginal relevance. Metode ekstraksi maximum marginal relevance digunakan untuk mengurangi redudansi dalam perangkingan kalimat. Kemudian, untuk menghitung kelayakan komentar digunakan metode TF-IDF. Komentar yang tidak layak, adalah komentar yang bernilai nol (0) dari nilai keseluruhan perbandingan postingan yang telah diringkas dengan komentar. Komentar yang bernilai nol (0) nantinya a kan dihapus oleh admin. Metode TF IDF berhasil diterapkan pada penentuan bobot kelayakan komentar. Kata kunci : Cosine Similarity, Diskusi Online, Relevance, Text Processing, TF-IDF. Kelayakan komentar, Maximum Marginal

4 THE IMPLEMENTION METHOD OF TERMS FREQUENCY INVERSE DOCUMENT FREQUENCY (TF-IDF) AND MAXIMUM MARGINAL RELEVANCE FOR ONLINE DISCUSSION MONITORING AHLI HIDAYAT Informatics Engineering Department Faculty of Science and Technology Universitas Islam Negeri Sultan Syarif Kasim Riau ABSTRACT Social media usage and online discussion forums is currently increased. However, the users are often ignore the boundariesand ethnics in communication. Till the common misconceptions become a serious conflicts. Therefore, admin must take an active roe in curbing and controlling the discussion in online forum. To limmit it, one way is to create a system that can monitor the running online discussions. The method that used is the TF-IDF, cosine similarity and MMR. The research was initiated with a five stage preprocessing text that sentence solving, case folding, tokenizing, filtering and stemming. The next process is to calculate the weight of TF-IDF, weight of query relevance and weight of similarity. Summary is generated from the extraction of the sentence by using the method of maximum marginal relevance. Maximum marginal relevance extraction method use to reduce the redudancies in ranking of the sentences. Subsequently, to calculate the feasibility of comments then TF-IDF method to be used. Comments are not feasible, are comments that zero (0) of the overal value ratio of posts which have been summarized by the comment. Comments are equal to zero (0) will be removed by admin. TF -IDF methods been succesfully applied to determination of weights the feasibility of the comments. Keywords: Cosine Similarity, Feasibilisty of the Comments, Maximum Marginal Relevance, Online Discussion, Text Processing, TF-IDF.

5 KATA PENGANTAR Assalammu alaikum wr wb. Alhamdulillahi rabbil alamin, puji dan syukur penulis ucapkan kepada Allah SWT atas segala rahmat dan hidayah yang diberikan-nya, sehingga penulis dapat melaksanakan dan menyelesaikan tugas akhir ini dengan baik. Shalawat beriring salam diucapkan untuk junjungan kita Rasulullah Muhammad SAW, karena jasa Beliau kita bisa menikmati zaman yang penuh dengan ilmu pengetahuan seperti sekarang ini. Tugas akhir yang berjudul IMPLEMENTASI METODE TERMS FREQUENCY INVERSE DOCUMENT FREQUENCY (TF-IDF) DAN MAXIMUM MARGINAL RELEVANCE UNTUK MONITORING DISKUSI ONLINE ini disusun sebagai satu syarat untuk mendapatkan gelar kesarjanaan pada jurusan Teknik Informatika Universitas Islam Negeri Sultan Syarif Kasim Riau. Dalam penulisan dan penyusunan laporan tugas akhir ini penulis tidak terlepas dari bantuan berbagai pihak yang telah memberikan masukan berupa kritik, saran, motivasi dan dorongan yang sangat bermanfaat bagi penulis. Untuk itu dalam kesempatan ini penulis menyampaikan terima kasih yang tak terhingga kepada : 1. Bapak Prof. Dr. H. Munzir Hitami, selaku Rektor Universitas Islam Negeri Sultan Syarif Kasim Riau. 2. Bapak Dr. Hartono, M.Pd, selaku Dekan Fakultas Sains dan Teknologi, Universitas Islam Negeri Sultan Syarif Kasim Riau. 3. Bapak Muhammad Irsyad, ST, MT, selaku Ketua Jurusan Teknik Informatika. 4. Pak Benny Sukma Negara, ST, MT, selaku Pembimbing Akademik Penulis. ix

6 5. Ibu Dr. Okfalisa, ST., M.Sc, selaku pembimbing tugas akhir yang selalu sabar dan meluangkan waktu untuk membimbing, memberikan saran dan kritik dalam penyusunan tugas akhir ini. Terimakasih sebanyak-banyaknya bu. 6. Bapak M. Fikri, ST., MT, selaku penguji I dan Bapak Nazruddin Safaat H, ST, MT selaku penguji II. Terimakasih atas bimbingan bapak, 7. Ibu Fadila Safria, ST, MT selaku Koordinator Tugas akhir Jurusan Teknik Informatika. 8. Seluruh dosen dan staf Fakultas Sains dan Teknologi khususnya pada Jurusan Teknik Informatika. Terima kasih atas ilmu yang telah diberikan. 9. Kedua Orang tua tercinta, Ayahanda dan Ibunda yang telah mendo akan dan memberikan dukungan yang sangat luar biasa kepada penulis dalam menyelesaikan tugas akhir ini. 10. Kakanda Pangkat Martua Nasution ST, dan Kakanda Roina Hasnah Harahap Amd, yang telah memberikan dorongan, semangat dan do a untuk menyelesaikan tugas akhir ini. 11. Seluruh keluarga saya, Kakanda Ahmad Husein Harahap, Kakanda Yuson Hakim Harahap, Kakanda Solahuddin Harahap, Kakanda Amna Sahni Harahap Spd, Kakanda Rida Maharani Harahap Spd, Kakanda Rizki Maduma Harahap Amd, yang selalu memberikan support yang luar biasa kepada penulis, sehingga penulis bisa melewati masa-masa sulit ini. 12. Haholongan Emmaida Safitriani Nasution Spd, yang selalu ada dan memberikan dorongan untuk menyelasikan tugas ahir ini. 13. Keluarga besar CB, Meirina Handayani ST, Sapri yani ST, Rimadhiani Anas ST, Felnindia Restu Safitri ST, Mardeni ST, Dayub ST, Khairul Umam ST, Fadli Suandi ST, Muhammad Adri ST, dan Abdullah ST, yang selalu ada memberikan support, meluangkan waktu, pikiran dan tenaga untuk sahabat mada ini. 14. Teman- teman Tif angatan 2009 terutama TIF A 2009 yang telah memotivasi dan membantu penulis. 15. Seluruh pihak yang belum penulis cantumkan, terima kasih atas dukungannya. x

7 Penulis menyadari bahwa dalam penulisan laporan ini masih banyak kesalahan dan kekurangan, oleh karena itu kritik dan saran yang sifatnya membangun penulis harapkan untuk kesempurnaan laporan ini. Akhirnya penulis berharap semoga laporan ini dapat memberikan sesuatu yang bermanfaat bagi siapa saja yang membacanya. Amin. Wassalamu alaikum wr.wb. Pekanbaru, 21 Desember 2015 AHLI HIDAYAT xi

8 DAFTAR ISI HALAMAN JUDUL LAPORAN... i LEMBAR PERSETUJUAN... ii LEMBAR PENGESAHAN... iii LEMBAR HAK ATAS KEKAYAAN INTELEKTUAL... iv LEMBAR PERNYATAAN... v LEMBAR PERSEMBAHAN... vi ABSTRAK... vii ABSTRACT... viii KATA PENGANTAR... ix DAFTAR ISI... xii DAFTAR GAMBAR... xv DAFTAR TABEL... xvii DAFTAR ISTILAH... xviii DAFTAR LAMPIRAN... xviv DAFTAR SIMBOL... xvv BAB I PENDAHULUAN 1.1. Latar Belakang... I Rumusan Masalah... I Batasan Masalah... I Tujuan Penelitian... I Sistematika Pembahasan... I-3 BAB II LANDASAN TEORI 2.1. Information Retrieval System... II Text Preprocessing... II Pemecahan Kata... II Case Folding... II Filtering Kalimat... II Tokenisasi Kata... II Stemming Bahasa Indonesia... II-3 xii

9 2.3. Pembobotan... II TF-IDF... II Cosine Simliarty... II Maximum Marginal Relevance (MMR)... II Spam... II Disuksi Online... II-12 BAB III METODOLOGI PENELITIAN 3.1. Alur Metodologi Penelitian... III Perumusan Masalah... III Pengumpulan Data... III Analisa... III Perancangan... III Implementasi... III Pengujian... III Kesimpulan dan Saran... III-4 BAB IV ANALISA DAN PERANCANGAN 4.1 Analisa Sistem Baru... IV Analisa Subsistem Dialog... IV Analisa Fungsional Sistem... IV Contex Diagram... IV Data Flow Diagram (DFD)... IV Entity Relationship Diagram (ERD)... IV Analisa Subsistem Model... IV Proses Peringkasan Dokumen Postingan... IV Proses Perbandingan Komentar... IV perancangan Sistem... IV Perancangan Tabel... IV Perancangan Subsistem Model... IV Perancangan Struktur Menu Sistem... IV-46 BAB V IMPLEMENTASI DAN PENGUJIAN 5.1 Implementasi Sistem... V Batasan Implementasi... V-1 xiii

10 5.1.2 Lingkungan Implementasi Sistem... V Implementasi Sistem Monitoring Diskusi Online... V Pengujian Sistem... V Pengujian Blackbox... V-8 BAB VI PENUTUP 6.1 Kesimpulan... VI Saran... VI-1 DAFTAR PUSTAKA LAMPIRAN DAFTAR RIWAYAT HIDUP xiv