REKOMENDASI TAG PADA BERITA ONLINE MENGGUNAKAN TF-IDF DAN COLLABORATIVE TAGGING SKRIPSI SALMAN ALL FARIZI 091402007 PROGRAM STUDI S1 TEKNOLOGI INFORMASI FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA MEDAN 2015
REKOMENDASI TAG PADA BERITA ONLINE MENGGUNAKAN TF-IDF DAN COLLABORATIVE TAGGING SKRIPSI Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Sarjana Teknologi Informasi SALMAN ALL FARIZI 091402007 PROGRAM STUDI S1 TEKNOLOGI INFORMASI FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA MEDAN 2015
i PERSETUJUAN Judul : REKOMENDASI TAG PADA BERITA ONLINE MENGGUNAKAN TF-IDF DAN COLLABORATIVE TAGGING Kategori : SKRIPSI Nama : SALMAN AL FARIZI Nomor Induk Mahasiswa : 091402007 Program Studi : SARJANA (S1) TEKNOLOGI INFORMASI Departemen : TEKNOLOGI INFORMASI Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI (FASILKOM-TI) UNIVERSITAS SUMATERA UTARA Diluluskan di Medan, April 2015 Komisi Pembimbing : Pembimbing 2 Pembimbing 1 Dr. Erna Budhiarti Nababan, M.IT Mohammad Fadly Syahputra, B.Sc, M.Sc.IT NIP- NIP 198301292009121003 Diketahui/Disetujui oleh Program Studi S1 Teknologi Informasi Ketua, Muhammad Anggia Muchtar, S.T., MM.IT. NIP198001102008011010
ii PERNYATAAN REKOMENDASI TAG PADA BERITA ONLINE MENGGUNAKAN TF-IDF DAN COLLABORATIVE TAGGING SKRIPSI Saya mengakui bahwa skripsi ini adalah hasil karya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya. Medan, April 2015 Salman Al Farizi 091402007
iii UCAPAN TERIMA KASIH Puji dan syukur penulis sampaikan kehadirat Allah SWT yang telah memberikan rahmat dan hidayah-nya sehingga penulis dapat menyelesaikan skripsi ini sebagai syarat untuk memperoleh gelar Sarjana Teknologi Informasi, Program Studi S1 Teknologi Informasi Universitas Sumatera Utara. Ucapan terima kasih penulis sampaikan kepada Bapak Mohammad Fadly Syahputra, B.Sc, M.Sc.IT selaku pembimbing satu dan Ibu Dr. Erna Budhiarti Nababan, M.IT selaku pembimbing dua yang telah banyak meluangkan waktu dan pikirannya, memotivasi dan memberikan kritik dan saran kepada penulis. Ucapan terima kasih juga ditujukan kepada Bapak Dani Gunawan ST.,M.T dan Ibu Sarah Purnamawati ST.,M.Sc yang telah bersedia menjadi dosen pembanding. Ucapan terima kasih juga ditujukan kepada Ketua dan Sekretaris Program Studi Teknologi Informasi, Muhammad Anggia Muchtar, S.T., MM.IT dan Mohammad Fadly Syahputra, B.Sc, M.Sc.IT, Dekan dan Pembantu Dekan Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara, semua dosen serta pegawai di Program Studi S1 Teknologi Informasi. Skripsi ini terutama penulis persembahkan untuk kedua orang tua dan keluarga penulis yang telah memberikan dukungan dan motivasi, Ayahanda Achyar Hasanuddin dan Ibunda Suwarni yang selalu sabar dalam mendidik dan membesarkan penulis. Untuk adik Umi Kalsum dan Sulastri Ningsih yang selalu memberikan dorongan kepada penulis. Terima kasih penulis ucapkan kepada Bapak M. Safri Lubis selaku dosen dan pembimbing penulis dalam kegiatan akademik dan non akademik, Lydia Alissa, Wildan Afifi, Masryan Siregar, Alvin Rizki, Badruts Tsani, Jihan Meutia, Amira Akhmad, Fadhilah Hasyim, Fadil Haryudi, M. Fadhullah, Nurul Fadlia, Muslim Ramli, Yudhitya Syahputra yang tidak pernah bosan dalam menyemangati dan membantu penulis, teman-teman seperjuangan, bang Franheit Sangapta, bang Billy Azzahry, bang Ilham Akbar, bang Nanda Putra, bang Reyhan Samantha, Putra Fitrawan, Kak Umi Hani dan bang Muhammad Fadhly Sani yang sudah penulis anggap seperti saudara sendiri serta teman-teman mahasiswa Teknologi Informasi lainnya yang tidak dapat penulis sebutkan satu persatu. Semoga Allah SWT membalas kebaikan kalian dengan nikmat yang berlimpah.
iv ABSTRAK Perkembangan teknologi internet yang sangat pesat menyebabkan semakin tingginya arus informasi dan semakin meningkatkannya jumlah berita yang terpublikasikan secara online. Teknologi social tagging hadir untuk mempermudah proses pencarian berita online dan pengaturan arsip berita berdasarkan kesamaan informasi tag. Untuk mempermudah pemberian tag, sistem autotag terus dikembangkan. Dalam penelitian ini, sistem autotag dikembangkan menggunakan metode TF-IDF dan Collaborative tagging dimana tahapannya diawali dengan text preprocessing kemudian feature selection dan proses menghitung bobot TF-IDF. Kemudian diterapkan metode Collaborative tagging yaitu pengukuran kesamaan dengan menghitung persentase kemiripan tag hasil ekstraksi TF-IDF dengan tag -tag berita yang telah dipublikasikan sebelumnya. Hasil dari penelitian ini menunjukkan bahwa metode TF-IDF dapat digunakan untuk memberikan rekomendasi tag secara otomatis dengan relevansi tag terhadap isi berita yaitu 79,97% dan 80,6% untuk relevansi rata rata menggunakan Collaborative Tagging. Kata kunci: social tagging, rekomendasi tag, TF-IDF, collaborative tagging, berita
v TAG RECOMMENDATIONS ON NEWS ONLINE USING TF-IDF AND COLLABRORATIVE TAGGING ABSTRACT The rapid development of internet technology leads to increase the flow of information and further increase the amount of published news online. Social tagging techonology exists to simplyfy the search process of news online and news archive settings based on tag infomation similarity. To facilitate tagging process, autotag system is developed. In this study, the autotag system is developed by using TF-IDF and Collaborative Tagging where the process begins with text preprocessing until feature selection and the TF-IDF weight calculating process. The Collaborative tagging method is used for measuring the tag similarity by calculating the similarity tag percentage which is the result of TF-IDF extraction with news' tag that has been published beforehand. The result of this study shows that TF-IDF method can be used to provide tag recommendation automatically with the tag relevance of news' content is 79,97% and 80,6% for the average relevance using Collaborative Tagging. Keyword: social tagging, tag recommendation, TF-IDF, collaborative tagging, news.
vi DAFTAR ISI Persetujuan Pernyataan Ucapan Terima Kasih Abstrak Abstract Daftar Isi Daftar Tabel Daftar Gambar Hal. i ii iii iv v vi viii ix Bab 1 Pendahuluan 1 1.1. Latar Belakang 1 1.2 Rumusan Masalah 2 1.3 Batasan Masalah 2 1.4 Tujuan Penelitian 3 1.5 Manfaat Penelitian 3 1.6 Metode Penelitian 3 1.7 Sistematika Penulisan 4 Bab 2 Landasan Teori 6 2.1 Rekomendasi Tag 6 2.2 Text Mining 7 2.2.1 Pre-Processing 8 2.2.2 Processing 10 2.3 Algoritma Nazief & Adriani 10 2.4 Term Frequency-Invers Document Frequency (TF-IDF) 13 2.5 Collaborative Tagging 15 2.6 Penerapan TF-IDF dan Collaborative Tagging pada Rekomendasi Tag 16 2.7 Teknik Rekomendasi Tag Terdahulu 18 Bab 3 Analisa Dan Perancangan Sistem 23 3.1 Identifikasi Masalah 23 3.2 Data yang Digunakan 24 3.3 Rekomendasi Tag Menggunakan TF-IDF dan Collaborative Tagging 30 3.4 Perancangan Sistem 34 3.4.1 Usecase Diagram 34 3.4.2 Usecase Specification 36 3.4.3 Activity Diagram 43 3.4.4 Perancangan Database 50 3.4.5 Rancangan Menu Sistem 51 3.4.6 Perancangan Antarmuka 52
Bab 4 Implementasi dan Pengujian Sistem 58 4.1 Implementasi Sistem 58 4.1.1 Spesifikasi Perangkat Keras dan Lunak yang Digunakan 58 4.1.2 Implementasi Perancangan Antarmuka 58 4.2 Pengujian Kinerja Sistem 65 Bab 5 Kesimpulan dan Saran 87 5.1 Kesimpulan 87 5.2 Saran 87 Daftar Pustaka vii
viii DAFTAR TABEL Tabel 2.1 Tabel kombinasi awalan akhiran tidak diijinkan (Adriani, et al. 2007) 12 Tabel 2.2 Tabel aturan peluruhan kata dasar (Adriani, et al. 2007) 12 Tabel 2.3 Penelitian Sebelumnya 21 Tabel 3.1 Data Testing 24 Tabel 3.2 Data Berita yang Telah Dipublikasikan 25 Tabel 3.3 Tahap Tokenizing 31 Tabel 3.4 Stopword 31 Tabel 3.5 Hasil Tahap Filtering 31 Tabel 3.6 Tahap Stemming 32 Tabel 3.7 Hasil Perhitungan TF.IDF 32 Tabel 3.8 Hasil Pengurutan Bobot TF.IDF 33 Tabel 3.9 Berita Dalam Database 33 Tabel 3.10 Contoh Collaborative Tag 34 Tabel 3.11 Tabel Rekomendasi Tag Akhir 34 Tabel 3.12 Usecase Spesifikasi untuk Usecase Berita 36 Tabel 3.13 Usecase Spesifikasi untuk Usecase Hubungi Kami 36 Tabel 3.14 Usecase Spesifikasi untuk Usecase Sign Up 37 Tabel 3.15 Usecase Spesifikasi untuk Usecase Manajemen Modul 37 Tabel 3.16 Usecase Spesifikasi untuk Usecase Identitas Web 38 Tabel 3.17 Usecase Spesifikasi untuk Usecase Manajemen User 38 Tabel 3.18 Usecase Spesifikasi untuk Usecase Manajemen Template 39 Tabel 3.19 Usecase Spesifikasi untuk Usecase Menu Utama 39 Tabel 3.20 Usecase Spesifikasi untuk Usecase Sub Menu 40 Tabel 3.21 Usecase Spesifikasi untuk Usecase Manajemen Hubungi Kami 40 Tabel 3.22 Usecase Spesifikasi untuk Usecase Manajemen Berita 41 Tabel 3.23 Usecase Spesifikasi untuk Usecase Sensor Kata 41 Tabel 3.24 Usecase Spesifikasi untuk Usecase Kategori Berita 42 Tabel 3.25 Usecase Spesifikasi untuk Usecase Tag/Label 42 Tabel 4.1 Data Masukan yang Akan Diuji 65 Tabel 4.2 Data Hasil TF-TDF 66 Tabel 4.3 Jumlah kemiripan Tag Minimal dengan Similarity 50% 67 Tabel 4.4 Hasil Rekomendasi Tag Terhadap Max Kata 67 Tabel 4.5 Hasil Rekomendasi Tag Terhadap Similarity 78 Hal.
ix DAFTAR GAMBAR Hal. Gambar 2.1 Representasi Grafik Triplet (u, d, t) (Song et al, 2008) 6 Gambar 2.2 Flow Chart Algoritma Nazief & Adriani (Nazief et al, 1996) 11 Gambar 3.1 General Architecture Rekomendasi tag 30 Gambar 3.2 Input Text Berita pada Kategori Teknologi 30 Gambar 3.3 Use Case Diagram Sistem Rekomendasi Tag 35 Gambar 3.4 Diagram Aktivitas untuk Menampilkan Berita 43 Gambar 3.5 Diagram Aktivitas untuk Memberikan Pesan dan Saran 44 Gambar 3.6 Diagram Aktivitas untuk Sign Up 44 Gambar 3.7 Diagram Aktivitas untuk Manajemen Modul 45 Gambar 3.8 Diagram Aktivitas untuk Memberikan Identitas Web 45 Gambar 3.9 Diagram Aktivitas untuk Manajemen User 46 Gambar 3.10 Diagram Aktivitas untuk Manajemen Template 46 Gambar 3.11 Diagram Aktivitas untuk Menu Utama 47 Gambar 3.12 Diagram Aktivitas untuk Sub Menu 47 Gambar 3.13 Diagram Aktivitas untuk Pengaturan Pesan dan Saran 48 Gambar 3.14 Diagram Aktivitas untuk Kategori Berita 48 Gambar 3.15 Diagram Aktivitas untuk Manajemen Berita 49 Gambar 3.16 Diagram Aktivitas untuk Tag/Label 49 Gambar 3.17 Diagram Aktivitas untuk Kategori Berita 50 Gambar 3.18 Database 51 Gambar 3.19 Struktur Menu Sistem 52 Gambar 3.20 Rancangan Halaman Utama 52 Gambar 3.21 Rancangan Halaman Hubungi Kami 53 Gambar 3.22 Rancangan Halaman Sign up 54 Gambar 3.23 Rancangan Halaman Manajemen User 55 Gambar 3.24 Rancangan Halaman Setting menu Utama 56 Gambar 3.25 Rancangan Halaman Manajemen Isi Berita 56 Gambar 3.26 Rancangan Halaman Manajemen Hubungi Kami 57 Gambar 4.1 Halaman Berita 59 Gambar 4.2 Halaman Hubungi Kami 60 Gambar 4.3 Halaman Sign up 60 Gambar 4.4 Halaman Manajemen User 61 Gambar 4.5 Halaman Menu Utama 61 Gambar 4.6 Halaman Kategori Berita 62 Gambar 4.7 Halaman Berita 62 Gambar 4.8 Halaman Tambah Berita 63 Gambar 4.9 Halaman Tag 64 Gambar 4.10 Halaman Sensor Kata 64 Gambar 4.11 Halaman Manajemen Hubungi Kami 65