PEMBUATAN MODEL NAMED ENTITY RECOGNITION UNTUK TWITTER BAHASA INDONESIA DENGAN MENGGUNAKAN STANFORD NER

Transkripsi

1 PEMBUATAN MODEL NAMED ENTITY RECOGNITION UNTUK TWITTER BAHASA INDONESIA DENGAN MENGGUNAKAN STANFORD NER TUGAS AKHIR Diajukan Untuk Memenuhi Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang Oleh: Mar ie Saniy JURUSAN TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG Juli 2016

2 i

3 ii

4 iii

5 KATA PENGANTAR Assalamu alaikum Wr. Wb. Puji syukur ke hadirat Allah SWT yang telah memberi kekuatan dan petunjuk serta melimpahkan rahmat dan hidayah-nya sehingga penulis dapat menyelesaikan tugas akhir yang berjudul Pembuatan Model Named Entity Recognition Untuk Twitter Bahasa Indonesia Dengan Menggunakan Stanford NER, dimana tugas akhir ini adalah persyaratan untuk menyelesaikan studi di Jurusan Teknik Informatika jenjang Strata-1 Universitas Muhammadiyah Malang. Dengan segala kerendahan hati, penulis menyadari bahwa dalam menyelesaikan tugas akhir ini tidak lepas dari peran berbagai pihak yang telah banyak memberikan bantuan, bimbingan dan dukungan. Dalam kesempatan ini penulis ingin mengucapkan terima kasih yang tak terhingga kepada: 1. Bapak Yuda Munarko, S.Kom., M.Sc selaku Ketua Jurusan Teknik Informatika dan dosen pembimbing I yang telah memberikan pengarahan, bimbingan, serta masukan selama pelaksanaan tugas akhir dan penelitian serta penulisan laporan. 2. Bapak Ilyas Nuryasin, S.Kom., M.Kom selaku dosen pembimbing II yang telah memberikan pengarahan, bimbingan, serta masukan selama pelaksanaan tugas akhir dan penelitian serta penulisan laporan. 3. Ayah dan Ibuku tercinta dan tersayang yang telah banyak memberikan cinta, kasih, sayangnya dan tak pernah berhenti kiriman doanya kepada penulis, hingga penulis mampu menyelesaikan skripsi ini, serta untuk dua adikku tersayang terima kasih buat doa, dorongan semangat dan keceriaan yang diberikan kepada penulis. 4. Sahabat sahabat dan teman teman di Universitas Muhammadiyah Malang, khususnya teman-teman di jurusan Teknik Informatika angkatan 2012 dan teman-teman KKN kelompok 116 tahun Serta semua pihak yang mungkin belum saya sebutkan dan sahabat-sahabat yang telah membantu penulis hingga terselesaikannya tugas akhir ini, semoga Allah SWT memberikan balasan yang sesuai atas jasa dan bantuan yang telah diberikan. vi

6 Penulis menyadari sepenuhnya bahwa sebagai manusia biasa tentunya tidak akan luput dari kekurangan dan keterbatasan. Maka dengan segenap kerendahan hati, penulis mengharapkan saran dan kritik yang dapat menyempurnakan penulisan ini sehingga dapat bermanfaat dan berguna untuk pengembangan ilmu pengetahuan. Malang, Juli 2016 Penulis vii

7 DAFTAR ISI Halaman Judul Lembar Persetujuan...i Lembar Pengesahan...ii Lembar Pernyataan...iii Abstrak...iv Abstract...v Kata Pengantar...vi Daftar Isi...viii Daftar Gambar...x Daftar Tabel...xii BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Tujuan Batasan Masalah Sistematika Penulisan...3 BAB II LANDASAN TEORI Twitter Bahasa Indonesia Formal Bahasa Indonesia Informal Conditional Random Field Natural Language Processing Named Entity Recognition Stanford NER Teknik Pengujian Recall Presisi...12 viii

8 BAB III ANALISA DAN PERANCANGAN SISTEM Analisa Tweet Tweet Bahasa Indonesia Formal Tweet Bahasa Indonesia Informal Analisa Kebutuhan Hardware Analisa Kebutuhan Software Perancangan Sistem Pengumpulan Data Pengelompokan Data Tagging Data Training Data Dengan Stanford NER...18 BAB IV IMPLEMENTASI DAN PENGUJIAN SISTEM Implementasi Model pada Stanford NER Model Formal Model Informal Model Umum Perhitungan Nilai Recall dan Presisi Hasil Perhitungan Pengujian Model Formal Pengujian Model Informal Pengujian Model Umum Pengujian Cross Validation Kesimpulan Hasil Perhitungan...47 BAB V PENUTUP Kesimpulan Saran...48 DAFTAR PUSTAKA...49 ix

9 DAFTAR GAMBAR Gambar 2.1. Lambang Twitter... 4 Gambar 2.2. Contoh Tweet... 5 Gambar 2.3. Contoh Penggunaan Hashtag... 5 Gambar 2.4. Contoh Trending Topic... 6 Gambar 2.5. Contoh Re Tweet... 7 Gambar 2.6. Contoh Reply... 7 Gambar 2.7. Contoh Implementasi CRF... 9 Gambar 2.8. Stanford NER Gambar 2.9. Alur Pembuatan Model pada Stanford NER Gambar 3.1. Arsitektur Sistem Gambar 3.2. Kode Program PHP Untuk Pencarian Sesuai Kata Kunci Gambar 3.3. Kode Program PHP Untuk Pencarian Sesuai Username Gambar 3.4. Dataset Tweet Bahasa Indonesia Formal Gambar 3.5. Dataset Tweet Bahasa Indoensia Informal Gambar 3.6. Data yang sudah ditandai Gambar 3.7. Flowchart Pembuatan Model Gambar 3.8. Hasil Tokenisasi Data Formal Gambar 3.9. Hasil Penghilangan Tanda Slash Data Formal Gambar File Prop Formal Gambar File Model Formal Gambar Hasil Tokenisasi Data Informal Gambar Hasil Penghilangan Tanda Slash Data Informal Gambar File Prop Informal Gambar File Model Informal Gambar Hasil Tokenisasi Data Umum Gambar Hasil Penghilangan Tanda Slash Data Umum Gambar File Prop Umum Gambar File Model Umum Gambar 4.1. Membuka Tweet Formal Gambar 4.2. Membuka Model Formal x

10 Gambar 4.3. Hasil Tag Model Formal Gambar 4.4. Membuka Tweet Informal Gambar 4.5. Membuka Model Informal Gambar 4.6. Hasil Tag Model Informal Gambar 4.7. Membuka Tweet Umum Gambar 4.8. Membuka Model Umum Gambar 4.9. Hasil Tag Model Umum Gambar Perbandingan Kalimat Formal dan Kalimat Informal Gambar Grafik Perbandingan Rata-rata Nilai Recall Model Formal Gambar Grafik Perbandingan Rata-rata Nilai Presisi Model Formal Gambar Grafik Perbandingan Rata-rata Hasil Pengujian Model Formal Gambar Grafik Perbandingan Rata-rata Nilai Recall Model Informal Gambar Grafik Perbandingan Rata-rata Nilai Presisi Model Informal Gambar Grafik Perbandingan Rata-rata Hasil Pengujian Model Informal.. 41 Gambar Grafik Perbandingan Rata-rata Nilai Recall Model Umum Gambar Grafik Perbandingan Rata-rata Nilai Presisi Model Umum Gambar Grafik Perbandingan Rata-rata Hasil Pengujian Model Umum Gambar 4.20 Grafik Perbandingan Rata-rata Hasil Pengujian Cross Validation. 47 xi

11 DAFTAR TABEL Tabel 3.1. Tabel Pengelompokan Data Tabel 3.2. Aturan (Tagset) Tabel 4.1. Hasil Pengujian Model Formal + Data Tes Formal Tabel 4.2. Hasil Recall dan Presisi Model Formal + Data Tes Formal Tabel 4.3. Hasil Pengujian Model Formal + Data Tes Informal Tabel 4.4. Hasil Recall dan Presisi Model Formal + Data Tes Informal Tabel 4.5. Hasil Pengujian Model Formal + Data Tes Umum Tabel 4.6. Hasil Recall dan Presisi Model Formal + Data Tes Umum Tabel 4.7. Hasil Pengujian Model Informal + Data Tes Informal Tabel 4.8. Hasil Recall dan Presisi Model Informal + Data Tes Informal Tabel 4.9. Hasil Pengujian Model Informal + Data Tes Formal Tabel Hasil Recall dan Presisi Model Informal + Data Tes Formal Tabel Hasil Pengujian Model Informal + Data Tes Umum Tabel Hasil Recall dan Presisi Model Informal + Data Tes Umum Tabel Hasil Pengujian Model Umum + Data Tes Umum Tabel Hasil Recall dan Presisi Model Umum + Data Tes Umum Tabel Hasil Pengujian Model Umum + Data Tes Formal Tabel Hasil Recall dan Presisi Model Umum + Data Tes Formal Tabel Hasil Pengujian Model Umum + Data Tes Informal Tabel Hasil Recall dan Presisi Model Umum + Data Tes Informal Tabel Hasil Recall dan Presisi Model Formal Data Tes Formal Tabel Hasil Recall dan Presisi Model Formal Data Tes Formal Tabel Pembagian Data Untuk Pengujian Cross Validation Tabel Hasil Rata-rata Pengujian Cross Validation xii

12 DAFTAR PUSTAKA [1] H. Kwak, C. Lee, H. Park, and S. Moon, What is Twitter, a Social Network or a News Media? Categories and Subject Descriptors, Www 2010, pp , [2] Lukman, Enricko , Twitter-close-20-million-active-users-indonesia. Diakses pada 16 Juni [3] Jurafsky, D. and Martin, J. Speech and language processing, Prentice Hall, [4] The Stanford Natural Natural Language Processing Group. Diakses pada 26 Januari [5] Budi, I. et al., Named Entity Recognition for the Indonesian language: Combining contextual, morphological and part-of-speech features into a knowledge engineering approach. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 3735 LNAI, pp [6] Mengenal Kode dan Istilah Twitter. Diakses pada 16 Juni [7] Fitria, Ayu Mirza. Bahasa Indonesia Baku dan Tidak Baku. Diakses pada 16 Juni [8] Definisi, Fungsi dan Ciri-ciri Bahasa Baku. Diakses pada 16 Juni [9] Lim, R., Wibowo, A., Sutjiadi, R., & Oktian, Y. E. (2012). Pengembangan Paper Citation Extraction Bahasa Indonesia Berbasis Parscit. Seminar Nasional Teknologi Informasi SNTI [10] Lafferty, J., McCallum, A., Pereira, F., 1999, Conditional random fields: Probabilistic models for segmenting and labeling sequence data", Computer, pp [11] Mozict , Natural Language Processing. Diakses pada 16 Juni [12] Twitter. Diakses pada 16 Juni

13 [13] J. Ling and T. B. Oka, ANALISIS SENTIMEN MENGGUNAKAN METODE NAÏVE BAYES CLASSIFIER DENGAN SELEKSI FITUR CHI SQUARE, vol. 3, no. 3, pp , [14] D. Benikova, S. Muhie, Y. Prabhakaran, and S. Chris, GermaNER : Free Open German Named Entity Recognition Tool, vol. 1, no. 1, [15] Kalimat Baku dan Tidak Baku: Ciri, Syarat, dan Contohnya. Diakses pada 2 Juli