DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITION-LATENT SEMANTIC INDEXING TUGAS AKHIR Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Oleh : RONI HIDAYATULAH 09560467 JURUSAN TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG 2014 i
LEMBAR PERSETUJUAN DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITION- LATENT SEMANTIC INDEXING TUGAS AKHIR Oleh : Roni Hidayatulah 0 9 5 6 0 4 6 7 Telah Direkomendasikan Untuk Diajukan Sebagai Judul Tugas Akhir Di Teknik Informatika Universitas Muhammadiyah Malang Menyetujui, Pembimbing I Pembimbing II Yuda Munarko,S.kom.,M.Sc NIP : 108.0611.0443 Galih Wasis Wicaksono,S.kom,M.Cs NIP : 0723028801 ii
LEMBAR PENGESAHAN DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITION- LATENT SEMANTIC INDEXING TUGAS AKHIR Diajukan Untuk Memenuhi Persyaratan Guna Meraih Gelar Sarjana Strata Satu Teknik Informatika Universitas Muhammadiyah Malang Disusun Oleh : Roni Hidayatulah 0 9 5 6 0 4 6 7 Tugas Akhir ini telah diuji dan dinyatakan lulus oleh tim penguji pada tanggal 22 Juli 2014 Mengetahui/Menyetujui Penguji I Penguji II Eko Budi C,S.kom,M.T Gita Indah M,S.T,M.Kom NIP : 108.9504.0330 NIP : 108.0611.0442 Mengetahui Ketua Jurusan Teknik Informatika Yuda Munarko,S.kom.,M.Sc NIP : 108.0611.0443 iii
LEMBAR PERNYATAAN Yang bertanda tangan di bawah ini: Nama : Roni Hidayatulah Tempat / Tgl Lahir : Bangkalan, 21 April 1991 NIM : 0 9 5 6 0 4 6 7 Fakulats / Jurusan : Teknik / Teknik Informatika Dengan ini saya menyatakan bahwa Tugas Akhir dengan judul DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITION-LATENT SEMANTIC INDEXING beserta seluruh isinya adalah karya saya sendiri dan bukan merupakan karya tulis orang lain, baik sebagian maupun keseluruhan, kecuali dalam bentuk kutipan yang telah disebutkan sumbernya. Demikian surat pernyataan ini saya buat dengan sebenar-benarnya. Apabila kemudian ditemukan adanya pelanggaran terhadap etika keilmuan dalam karya saya ini, atau ada klaim dari pihak lain terhadap keaslian karya saya ini maka saya siap menanggung segala bentuk resiko/sanksi yang berlaku. Malang, Juli 2014 Yang Membuat Pernyataan Roni Hidayatulah Dosen Pembimbing I Mengetahui, Dosen Pembimbing II Yuda Munarko,S.kom.,M.Sc NIP : 108.0611.0443 Galih Wasis Wicaksono,S.kom.,M.Cs NIP : 0723028801 iv
KATA PENGANTAR Puji syukur kehadirat Allah SWT, yang telah memberi kekuatan dan petunjuk serta melimpahkan rahmat, dan hidayah-nya, sehingga penulis dapat menyelesaikan Tugas Akhir yang berjudul DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITION-LATENT SEMANTIC INDEXING. Dengan menyadari adanya keterbatasan kemampuan, pengetahuan, referensi dan pengalaman, Tugas Akhir ini masih jauh dari sempurna. Untuk itu saran dan masukkan untuk kesempurnaan sangat penulis harapkan. Akhir kata penulis berharap semoga Tugas Akhir ini dapat bermanfaat dan menjadi tambahan ilmu pengetahuan. Malang, Juli 2014 Penulis v
DAFTAR ISI Lembar Persetujuan... i Lembar Pengesahan... ii Lembar Pernyataan... iii Abstraksi... iv Abstract... v Kata Pengantar... vi Daftar Isi... vii Daftar Gambar... viii Daftar Tabel... xi BAB I PENDAHULUAN... 1 1.1 LATAR BELAKANG... 1 1.2 RUMUSAN MASALAH... 2 1.3 TUJUAN... 2 1.4 BATASAN MASALAH... 2 1.5 METODOLOGI... 2 1.5.1 Studi Pustaka dan Pengumpulan Data... 2 1.5.2 Analisa Sistem... 2 1.5.3 Implementasi Sistem... 4 1.5.4 Evaluasi dan Ujicoba... 4 1.6 SISTEMATIKA PENULISAN... 4 BAB II LANDASAN TEORI... 6 2.1 TOPIC SHIFTING... 6 2.2 SINGULAR VALUE DECOMPOSITION... 7 2.3 LATENT SEMANTIC INDEXING... 8 2.4 CLUSTERING... 10 2.5 K-MEANS ALGORITHM... 11 2.6 PREPROCESSING... 12 BAB III ANALISA DAN PERANCANGAN SISTEM... 15 3.1 ANALISA SISTEM... 15 3.1.1 Kebutuhan Fungsional... 15 vi
3.1.2 Kebutuhan Non Fungsional... 15 3.2 PERANCANGAN... 16 3.2.1 Alur Sistem... 16 3.2.2 Flowchart Preprocessing... 16 3.2.2.1 Case Folding... 17 3.2.2.2 Tokenizing... 18 3.2.2.3 Filtering... 18 3.2.3 Flowchart SVD-LSI... 19 3.2.4 Flowchart K-means... 21 3.3 PERANCANGAN ANTARMUKA / INTERFACE... 23 3.3.1 Design Interface... 23 BAB IV IMPLEMENTASI DAN PENGUJIAN SISTEM... 23 4.1 SPESIFIKASI KEBUTUHAN HARDWARE DAN SOFWARE... 23 4.2 IMPLEMENTASI SISTEM... 23 4.2.1 Pembuatan Basis Data... 24 4.2.2 Pembuatan Fungsi Koneksi ke Database... 24 4.2.3 Pembuatan Class-class yang Dibutuhkan... 25 4.3 IMPLEMENTASI KODE PROGRAM... 26 4.3.1 Kode Program Pilih Document dari Database... 26 4.3.2 Kode Program Preprocessing... 27 4.3.3 Kode Program Proses SVD-LSI... 29 4.3.4 Kode Program Proses Clustering dengan k-means... 33 4.3.4.1 Kode Program Mengambil DocVector... 34 4.3.4.2 Kode Program SetCluster... 35 4.3.4.3 Kode Program SetCentroid... 35 4.3.4.4 Kode Program StartClustering... 35 4.3.4.5 Kode Program InitialCentrid... 36 4.3.4.6 Kode Program CalcCentroid... 37 4.3.4.7 Kode Program getminvalue... 37 4.3.4.8 Kode Program EucDistance... 38 4.3.4.9 Kode Program Chart... 38 4.4 PENGUJIAN... 41 vii
4.4.1 Pengujian Akurasi Sistem... 41 4.4.2 Pengujian Vektor,Kedekatan, dan Pergeseran Topik... 44 4.4.3 Pengujian Penentuan Nilai k... 50 BAB V KESIMPULAN DAN SARAN... 52 5.1 Kesimpulan... 52 5.2 Saran... 53 DAFTAR PUSTAKA... 54 viii
DAFTAR GAMBAR Gambar 1.1 Rancangan Sistem... 3 Gambar 1.2 Tahapan Preprocessing... 3 Gambar 2.1 Dekomposisi Matrik A dengan SVD menjadi Matrik TSD T... 7 Gambar 2.2 Representasi Geometri 2 Dimensi dari Term dan Dokumen Pada Analisis SVD... 9 Gambar 2.3 Contoh Case Folding... 13 Gambar 2.4 Contoh Tokenizing... 14 Gambar 2.5 Contoh Filtering... 14 Gambar 3.1 Alur Sistem... 16 Gambar 3.2 Flowchart Preprocessing... 17 Gambar 3.3 Flowchart Case Folding... 17 Gambar 3.4 Flowchart Tokenizing... 18 Gambar 3.5 Flowchart Filtering... 18 Gambar 3.6 Flowchart SVD-LSI... 19 Gambar 3.7 Flowchart K-means... 21 Gambar 3.8 Design Interface... 23 Gambar 4.1 Data Tabel MySQL... 25 Gambar 4.2 Class-class yang dibutuhkan... 27 Gambar 4.3 Screenshot Pilih Document... 28 Gambar 4.4 Screenshot List of Term... 30 Gambar 4.5 Screenshot Term Document Matrix... 32 Gambar 4.6 Screenshot Hasil Perhitungan SVD-LSI... 34 Gambar 4.7 Class-class pada Package Clustering... 34 Gambar 4.8 Screenshot Chart hasil Clustering... 40 Gambar 4.9 Screenshot pengujian vektor posting ke 502... 44 Gambar 4.10 Screenshot pengujian vektor posting ke 505... 46 Gambar 4.11 Screenshot pengujian vektor posting ke 509... 48 ix
DAFTAR TABEL Tabel 2.1 Perbandingan Sitasi... 7 Table 4.1 Pengujian Akurasi Sistem... 41 Table 4.2 Pengujian Akurasi Sistem Tahap Kedua... 42 Table 4.3 Presentase Hasil Clustering... 43 Tabel 4.4 Presentase Hasil Clustering Tahap Kedua... 43 Tabel 4.5 Document Vektor Posting ke 502... 44 Tabel 4.6 Tabel uji pergeseran topik post 502... 45 Tabel 4.7 Document Vektor Posting ke 505... 46 Tabel 4.8 Tabel uji pergeseran topik post 505... 47 Tabel 4.9 Document Vektor Posting ke 509... 48 Tabel 4.10 Tabel uji pergeseran topik post 509... 49 Tabel 4.11 Hasil pengujian penentuan k pada post 502... 50 Tabel 4.12 Hasil pengujian penentuan k pada post 505... 51 Tabel 4.13 Hasil pengujian penentuan k pada post 509... 51 x
DAFTAR PUSTAKA [1] Topic Shifting http://issuepedia.org/topic_shifting (15-Desember- 2013) [2] Umran,Munzir & Fuadi Abidin, Taufik, 2009. Pengelompokan Dokumen Menggunakan K-Means dan Singular Value Decomposition : Studi Kasus Menggunakan Data Blog. Jurusan Sistem Informasi. ITS. [3] SVD Tutorial http://alias-i.com/lingpipe/demos/tutorial/svd/readme.html (20-April-2014) [4] Garcia, Edel, 2006. Latent Semantic Indexing (LSI) A Fast Track Tutorial. [5] Garcia, Edel, 2006. Singular Value Decomposition (SVD) A Fast Track Tutorial. [6] Deerwester, Scott, 1990. Indexing by Latent Semantic Analysis. Center for Information and Language Studies. University of Chigago. [7] Geib, Johanna, 2006. Latent Semantic Indexing and Information Retrieval a Quest with BosSE. Universitas Heiderberg. [8] Landauer, T. K., Foltz, P. W., & Laham, D. (1998). Introduction to Latent Semantic Analysis. University of Colorado at Boulder. xi