TWEET SUMMARIZATION BERDASARKAN TRENDING TOPIC TWITTER MENGGUNAKAN ALGORITMA TF-IDF DAN SINGLE LINKAGE AGGLOMERATIVE HIERARCHICAL CLUSTERING

Transkripsi

1 TWEET SUMMARIZATION BERDASARKAN TRENDING TOPIC TWITTER MENGGUNAKAN ALGORITMA TF-IDF DAN SINGLE LINKAGE AGGLOMERATIVE HIERARCHICAL CLUSTERING TUGAS AKHIR Diajukan Untuk Memenuhi Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Oleh: Annisa JURUSAN INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG April 2016

2

3

4

5 KATA PENGANTAR Alhamdulillah, segala puji bagi Allah SWT yang telah memberikan rahmat dan petunjuk serta melancarkan jalan sehingga penulis dapat menyelesaikan penelitian yang berjudul Tweet Summarization Berdasarkan Trending Topic Twitter Menggunakan Algoritma TF-IDF dan Single Linkage Agglomerative Hierarchical Clustering. Pada penelitian ini dibuat suatu sistem tweet summarization berdasarkan trending topic Twitter dalam bahasa Indonesia berbasis web. Sistem ini dirancang untuk menghasilkan ringkasan teks otomatis dari multitweet berdasarkan trending topic. Penulis berharap dengan dibuatnya sistem ini dapat membantu para pengguna Twitter dalam membaca info trending topic melalui ringkasan otomatis yang dihasilkan oleh sistem. Penulis menyadari bahwa penelitian ini masih jauh dari kesempurnaan. Oleh karena itu penulis mengharapkan kritik dan saran yang membangun untuk pengembangan kedepannya. Akhir kata penulis mengucapkan terima kasih kepada semua pihak yang telah membantu hingga tugas akhir ini terselesaikan. Malang, April 2016 Penulis

6 DAFTAR ISI ABSTRAK... i ABSTRACT... ii KATA PENGANTAR... iii DAFTAR ISI... iv DAFTAR GAMBAR... vii DAFTAR TABEL...viii BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Tujuan Penelitian Batasan Masalah Metodologi Sistematika Penulisan... 4 BAB II LANDASAN TEORI Twitter Cluster Text Summarization Pengertian Text Summarization Pendekatan Text Summarization Tahapan Membuat Ringkasan Tujuan Text Summarization Proses Text Summarization Algoritma Text Summarization Pra Proses Data Pemecahan Tweet Case Folding Tokenizing Editing Menghilangkan Stopwords Normalisasi... 12

7 Stemming TF-IDF Single Linkage Hierarchical Clustering Teknik Pengujian Pengujian Cluster Precision Recall F-Measure Pengujian Ringkasan BAB III ANALISIS DAN PERANCANGAN SISTEM Analisis Masalah Analisis Sistem Analisis Data Masukan Analisis Preprocessing Analisis Metode TD-IDF Analisis Metode Cluster Analisis Metode Summarization Perancangan Sistem Perancangan Basis Data Perancangan Arsitektur Perancangan Antarmuka Spesifikasi Kebutuhan Perangkat Lunak BAB IV IMPLEMTASI DAN PENGUJIAN SISTEM Implementasi Sistem Implementasi Perangkat Keras Implementasi Perangkat Lunak Implementasi Basis Data Implementasi Antarmuka Pengujian Pengujian Cluster Hasil Pengujian Cluster Skenario Pengujian Cluster... 39

8 Evaluasi Pengujian Cluster Pengujian Ringkasan Hasil Pengujian Ringkasan Skenario Pengujian Ringkasan Evaluasi Pengujian Ringkasan BAB V PENUTUP Kesimpulan Saran DAFTAR PUSTAKA... 49

9 DAFTAR GAMBAR Gambar 3.1 Gambaran Sistem Gambar 3.2 Gambaran Sistem tes.txt Gambar 3.3 Flowchart Data Masukan Pertama Gambar 3.4 Test.txt Gambar 3.5 Flowchart Data Masukan Kedua Gambar 3.6 Nilai Ketidakmiripan Gambar 3.7 Nilai Keterkaitan Gambar 3.8 Perancangan Arsitektur Sistem Ringkasan Gambar 3.9 Antarmuka Halaman Utama Gambar 3.10 Antarmuka Halaman Memilih Dokumen Gambar 3.11 Antarmuka Halaman Hasil Ringkasan Gambar 4.1 Antarmuka Halaman Utama Gambar 4.2 Antarmuka Memilih Dokumen Gambar 4.3 Antarmuka Halaman Hasil Ringkasan Gambar 4.4 Ringkasan BSM Tabungan Berencana... 46

10 DAFTAR TABEL Tabel 2.1 Pemecahan Tweet Tabel 2.2 Case Folding Tabel 2.3 Tokenizing Tabel 2.4 Editing Tabel 2.5 Menghilangkan Stopwords Tabel 2.6 Normalisasi Tabel 2.7 Stemming Tabel 2.8 Confusion Matrix Tabel 3.1 Trending Topic PHK Tabel 3.2 Pemecahan Tweet Tabel 3.3 Case Folding Tabel 3.4 Tokenizing Tabel 3.5 Menghilangkan Stopwords Tabel 3.6 Perhitungan TF-IDF Tabel 3.7 Euclidean Matrix Tabel 3.8 Matrix Level Tabel 3.9 Matrix Level Tabel 3.10 Matrix Level Tabel 3.11 Sampel Data Tweet tes Tabel 3.12 Struktur Tabel data_tweet Tabel 3.13 SKPL Tabel 4.1 Tabel data_tweet Tabel 4.2 Memilih Cluster Optimal Tema BSM Tabungan Berencana Tabel 4.3 Cluster Optimal 30 data Uji dengan UPGMA Tabel 4.4 Precision Tabel 4.5 Recall Tabel 4.6 F-Measure Persen Tabel 4.7 Retweet Tabel 4.8 Cluster BSM Tabungan Berencana Tabel 4.9 Nilai Keterkaitan Antar Tweet BSM Tabungan Berencana... 44

11 Tabel 4.10 Ringkasan BSM Tabungan Berencana Tabel 4.11 ROUGE Tabel 4.12 Beda Ringkasan... 47

12 DAFTAR LAMPIRAN Lampiran 1. Data Tweet Trending Topic BSM Tabungan Berencana Lampiran 2. TF-IDF Trending Topic BSM Tabungan Berencana Bag Lampiran 3. TF-IDF Trending Topic BSM Tabungan Berencana Bag Lampiran 4. Matrix Euclidan Distance BSM Tabungan Berencana Lampiran 5. Matrix Euclidan Distance BSM Tabungan Berencana Lampiran 6. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 7. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 8. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 9. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 10. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 11. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 12. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 13.. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 14. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 15. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 16. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 17. Hirarki Cluster BSM Tabungan Berencana Bag Lampiran 18. Hasil Klasterisasi BSM Tabungan Berencana Bag Lampiran 19. Hasil Klasterisasi BSM Tabungan Berencana Bag

13 DAFTAR PUSTAKA [1] Erkan, Günes, dan Dragomir R. Radev. "LexRank: Graph-based lexical centrality as salience in text summarization." Journal of Artificial Intelligence Research (2004): [2] Móro, Róbert, dan M. Bielikov. "Personalized text summarization based on important terms identification." Database and Expert Systems Applications (DEXA), rd International Workshop on. IEEE, [3] Berkhin, Pavel. A survey of clustering data mining techniques. Grouping multidimensional data. Springer Berlin Heidelberg, [4] Fauzi, Ahmad. All About Twitter. Depok: Yureka, [5] Kwak, Haewoon, Changhyun Lee, Hosung Park, dan Sue Moon. "What is Twitter, a social network or a news media?." Proceedings of the 19th international conference on World wide web. ACM, [6] Alfina, Tahta, Budi Santosa, dan Ali Ridho Barakbah. "Analisa Perbandingan Metode Hierarchical Clustering, K-Means dan Gabungan Keduanya dalam Cluster Data (Studi Kasus: Problem Kerja Praktek Teknik Industri ITS)." Jurnal Teknik ITS 1.1 (2012): A521-A525. [7] Many, I. dan Maybury Advance in Automatic Text Summarization. The MIT Press: Cambrige. [8] Zaman, B., dan E Winarko Analisis Fitur Kalimat untuk Peringkas Teks otomatis pada Bahasa Indonesia. Indonesian Journal of Computing and Cybernetics Systems 5 (2): [9] Juhara, E., Budiman, E., dan Rohayati, R Cendekia berbahasa. Bahasa dan Sastra Indonesia. Bandung: PT Setia Purna Inves. [10] Mustaqhfiri, Muchammad Peringkasan Teks Otomatis Berita Olahraga Berbahasa Indonesia Menggunakan Metode Maximum Marginal Relevance. Skripsi.Teknik Informatika Fakultas Sains dan Teknologi Universitas Islam Negeri Maulana Malik Ibrahim Malang. [11] Amin, Fathhul Sistem Temu Kembali dengan Metode Vector Space Model. Semarang, Fakultas Teknologi Informasi, Universitas Stikubank.

14 [12] Hamzah, Amir, F.Soesianto, dan Jazi Eko Istiyanto. "Studi Kinerja Fungsi- Fungsi Jarak dan Similaritas dalam Clustering Dokumen Teks Berbahasa Indonesia." Seminar Nasional Informatika (SEMNASIF). Vol. 1. No [13] Steinbach, Michael, George Karypis, dan Vipin Kumar. "A comparison of document clustering techniques." KDD workshop on text mining. Vol No [14] Xu, Lei, Adam Krzyżak, dan Erkki Oja. "Rival penalized competitive learning for clustering analysis, RBF net, and curve detection." Neural Networks, IEEE Transactions on 4.4 (1993): [15] LIN, C.Y ROUGE: A Package for Automatic Evaluation of Summaries. Proceedings of Workshop on Text Summarization Brances Out. [16] Santika, Putu Praba, and Gus Nanang Syaifuddin. "Semantic Clustering Dan Pemilihan Kalimat Representatif Untuk Peringkasan Multi Dokumen." Jurnal Teknologi Informasi dan Ilmu Komputer 1.2 (2015).