PART-OF-SPEECH TAGGING UNTUK DOKUMEN BAHASA BALI MENGGUNAKAN ALGORITMA BRILL TAGGER KOMPETENSI KOMPUTASI SKRIPSI NI PUTU MERI SRIYATI NIM.

Transkripsi

1 PART-OF-SPEECH TAGGING UNTUK DOKUMEN BAHASA BALI MENGGUNAKAN ALGORITMA BRILL TAGGER KOMPETENSI KOMPUTASI SKRIPSI NI PUTU MERI SRIYATI NIM PROGRAM STUDI TEKNIK INFORMATIKA JURUSAN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS UDAYANA 2016 i

2 ii LEMBAR PENGESAHAN TUGAS AKHIR Judul : Part-Of-Speech Tagging untuk Dokumen Bahasa Bali Menggunakan Algoritma Brill Tagger Kompetensi : Komputasi Nama : Ni Putu Meri Sriyati NIM : Tanggal Seminar : 07 Januari 2016 Disetujui oleh : Pembimbing I Penguji I I Putu Gede Hendra Suputra, S.Kom, M.Kom. NIP Pembimbing II I Gede Santi Astawa, S.T., M.Cs. NIP Penguji II Agus Muliantara, S.Kom.,M.Kom. NIP Ida Bagus Made Mahendra, S.Kom., M.Kom. NIP Penguji III I Dewa Made Bayu Atmaja Darmawan, S.Kom., M.Cs. NIP Mengetahui, Ketua Jurusan Ilmu Komputer FMIPA UNUD Agus Muliantara, S.Kom.,M.Kom. NIP ii

3 iii Judul : Part-Of-Speech Tagging untuk Dokumen Bahasa Bali Menggunakan Algoritma Brill Tagger Nama : Ni Putu Meri Sriyati NIM : Pembimbing I : I Putu Gede Hendra Suputra, S.Kom, M.Kom. Pembimbing II : Agus Muliantara, S.Kom., M.Kom. ABSTRAK Setiap hari pertumbuhan data semakin meningkat, sehingga diperlukan text processing untuk mengelola data yang besar. Namun, dalam text processing sering kali muncul permasalahan ambiguitas kata. Hal ini menyebabkan perbedaan arti yang dapat mempengaruhi makna dari sebuah kalimat. Sehingga diperlukan sebuah pelabelan kelas kata atau biasa disebut Part-of-Speech Tagging. Perkembangan teknologi dapat digunakan untuk melestarikan budaya Bali. Penelitian Part-of-Speech Tagging ini digunakan untuk memberikan label pada dokumen bahasa Bali. Metode Brill Tagger menghasilkan aturan yang diperoleh berdasarkan Transformation-based Error Driven Learning sehingga membuat metode Brill Tagger menjadi sangat kompetitif dibandingkan metode stokastik. Metode ini menggunakan dua aturan pembelajaran, yaitu : aturan leksikal dan aturan kontekstual. Pembelajaran aturan leksikal menggunakan pola imbuhan dalam bahasa Bali dan aturan kontekstual menggunakan aturan frasa, pola bigram, dan trigram. Pada proses pembelajaran digunakan 70% kalimat dari dataset yaitu sebanyak 507 kalimat menghasilkan 175 aturan leksikal dan 21 aturan kontesktual. Kedua aturan ini diaplikasikan pada data testing yaitu 30% kalimat dari dataset yang terdiri dari 3413 kata menghasilkan nilai akurasi 90,16%. Kata Kunci : Part-of-Speech Tagging, Brill Tagger, Lexical, Contextual. iii

4 iv Title : Part-Of-Speech Tagging for Document Bali Language Using Brill Tagger Algorithm Name : Ni Putu Meri Sriyati NIM : Main Supervisor : I Putu Gede Hendra Suputra, S.Kom, M.Kom. Co-Supervisor : Agus Muliantara, S.Kom., M.Kom. ABSTRACT Everyday data growth is increasing, so that text processing is required to manage large data. However, in a text processing, it often appears problems of lexical ambiguity. This causes differences that may affect the meaning of a sentence. So, we need a word class labeling or the so-called Part-of-Speech Tagging. The development of technology can be used to preserve the Balinese culture. The research on Part-of-Speech Tagging is used to label Balinese language documents. Brill Tagger method generates rules obtained from Transformation-Based Error Driven Learning, thus causing methods Brill Tagger to be very competitive compared with stochastic method. This method uses two learning rules, namely the lexical rules and contextual rules. Learning lexical rules using affix pattern in Balinese while contextual rules use phrase rules, bigram and trigram patterns. The process of learning uses 70% of sentences from the dataset i.e. as many as 507 sentences generating 175 lexical rules and 21 contextual rules. Both of these rules are applied to the data testing that is 30% of the dataset consisting of 3,413 words generating accuracy value of 90.16%. Keyword : Part-of-Speech Tagging, Brill Tagger, Lexical, Contextual. iv

5 v KATA PENGANTAR Penelitian dengan judul Part-Of-Speech Tagging untuk Dokumen Bahasa Bali menggunakan Algoritma Brill Tagger ini disusun dalam rangkaian kegiatan pelaksanaan Tugas Akhir di Jurusan Ilmu Komputer FMIPA UNUD. Sehubungan dengan telah terselesaikannya penelitian ini, maka diucapkan terimakasih dan penghargaan kepada berbagai pihak yang telah membantu penyusun, antara lain : 1. Bapak I Putu Gede Hendra Saputra, S.Kom., M.Kom. selaku Pembimbing I yang telah membimbing dan membantu menyempurnakan penelitian ini. 2. Bapak Agus Muliantara, S.Kom., M.Kom. selaku Pembimbing II sekaligus Ketua Jurusan Ilmu Komputer FMIPA UNUD yang telah banyak membantu dan meluangkan waktu untuk penelitian ini. 3. Bapak Drs. I Gede Nala Antara, M.Hum. selaku Narasumber yang membantu dalam pembuatan dataset pada penelitian ini. 4. Bapak-bapak dan ibu-ibu dosen di Jurusan Ilmu Komputer yang bersedia meluangkan waktunya untuk memberikan masukan dalam penyempurnaan penelitian ini. 5. Rekan-rekan mahasiswa di Jurusan Ilmu Komputer khususnya angkatan 2012 yang telah memberi dukungan, motivasi, semangat dan kerja sama dalam penelitian ini. Penulis menyadari bahwa tugas akhir ini masih belum sempurna, untuk itu kritik dan saran yang bermanfaat demi kesempurnaan tugas akhir ini sangat penyusun harapkan. Bukit Jimbaran, 4 Januari 2016 Penyusun Ni Putu Meri Sriyati v

6 vi DAFTAR ISI HALAMAN JUDUL... i LEMBAR PENGESAHAN TUGAS AKHIR... ii ABSTRAK... iii ABSTRACT... iv KATA PENGANTAR... v DAFTAR ISI... vi DAFTAR TABEL... viii DAFTAR GAMBAR... ix DAFTAR LAMPIRAN... xi BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Tujuan Penelitian Batasan Masalah Manfaat Penelitian Metodelogi Penelitian Desain Penelitian Pengumpulan Data Pengolahan Data Awal Metode yang Digunakan... 6 BAB II TINJAUAN PUSTAKA Tinjauan Empiris Tinjauan Teoritis Part-of-SpeechTagging Penentuan Kelas Kata Morfologi Tata Bahasa Bali Brill Tagger BAB III ANALISIS DAN PERANCANGAN Kebutuhan Fungsional Melakukan Persiapan Rancangan Data Rancangan Antar Muka Sistem Form Tab Persiapan Form Tab Inisialisasi Form Tab Training Form Tab Testing Pengolahan Data Tahap Persiapan Tahap Inisialisasi vi

7 vii Tahap Training Data Pengujian dan Evaluasi Skenario Pengujian Evaluasi Sistem BAB IV HASIL DAN PEMBAHASAN Pengumpulan Dataset Implementasi Pembuatan Lexicon Implementasi Pembuatan Aturan Kontekstual Implementasi Pembuatan Bigram Implementasi Pembuatan Trigram Implementasi Inisialisasi Tag Implementasi Pelatihan Data Training Implementasi Aturan Leksikal Implementasi Aturan Kontekstual Impelentasi Data Testing Tampilan Antar Muka Sistem Hasil dan Pengujian Sistem Analisis Nilai Threshold pada Hasil Pengujian Pengujian Data Testing BAB V KESIMPULAN DAN SARAN Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN vii

8 viii DAFTAR TABEL Tabel Halaman Tabel 2. 1 Contoh Lexicon... 9 Tabel 2. 2 Daftar Kelas Kata yang Digunakan dalam Penelitian Tabel 2. 3 Aturan Imbuhan Prefiks (Awalan) Tabel 2. 4 Aturan Imbuhan Infiks (Sisipan) Tabel 2. 5 Aturan Imbuhan Sufiks (Akhiran) Tabel 2. 6 Aturan Imbuhan Konfiks Tabel 2. 7 Daftar Proses Hilangnya Fonem Tabel 3. 1 Contoh Kata dan Tag dengan nilai frekuensi Tabel 3. 2 Contoh Aturan Imbuhan Beserta Tag Tabel 3. 3 Contoh Aturan Imbuhan dengan Nilai Skornya Tabel 3. 4 Aturan Frasa untuk Membuat Aturan Kontekstual Tabel 3. 5 Contoh Aturan Kontekstual dari Aturan Frasa Tabel 3. 6 Contoh Aturan Kontekstual Menggunakan Pola Bigram Tabel 3. 7 Contoh Aturan Kontekstual Menggunakan Pola Trigram Tabel 3. 8 Tabel Pengujian Tabel 4. 1 Dataset yang Digunakan Dalam Penelitian Tabel 4. 2 Hasil Pengujian Menggunakan Nilai Threshold Tabel 4. 3 Hasil Testing Data viii

9 ix DAFTAR GAMBAR Gambar Halaman Gambar 1.1 Tahapan dalam POS Tagging Dokumen Bahasa Bali...15 Gambar 2.1 Error-driven learning module(brill,1995)...16 Gambar 2.2 Contoh Transformation-based Error Driven Learning(Brill,1995)...17 Gambar 3. 1 Rancangan Tampilan Memasukkan Data Gambar 3. 2 Rancangan Tampilan Proses Inisialisasi Gambar 3. 3 Rancangan Tampilan Tahap Training Rule Gambar 3. 4 Rancangan Tampilan Pengujian Data Testing Gambar 3. 5 Contoh Tagged Corpus Gambar 3. 6 Contoh Untagged Corpus Gambar 3. 7 Contoh Lexical Rule Gambar 3. 8 Contoh Contextual Rule Gambar 3. 9 Flowchart Proses Inisialisasi Gambar Flowchart Proses Training Lexical Gambar Flowchart Proses Training Aturan Kontekstual Gambar Pengujian dengan Melihat Keakuratan Tag Sistem Gambar 4. 1 Pemisahan Kata dan Menghitung Frekuensi Kata Gambar 4. 2 Sintak Pembuatan Lexicon Gambar 4. 3 Sintak Membuat Bigram Depan Gambar 4. 4 Sintak Membuat Bigram Belakang Gambar 4. 5 Sintak Pembuatan Trigram Gambar 4. 6 Sintak Proses Inisialisasi Tag Unknown Word Gambar 4. 7 Sintak Menentukan Nilai Tag Pada Unknown Word Gambar 4. 8 Sintak Method Aturan Leksikal Gambar 4. 9 Sintak ArrayList dari Aturan Leksikal Gambar Sintak Menghitung Nilai Score Gambar Sintak Menetukan Nilai Tag Gambar Sintak Memanggil Class Contextual Rule Gambar Sintak Method Bigram Aturan Kontekstual Gambar SIntak Method Trigram Aturan Kontekstual ix

10 x Gambar Sintak ArrayList Aturan Kontesktual Gambar Sintak Menghitung Nilai Score Gambar Sintak Menerapkan Aturan Leksikal Gambar Sintak Menerapkan Aturan Kontekstual Gambar Sintak Membandingkan Hasil Tag Sistem dengan Goal Tag Gambar Tampilan Pada Tab Persiapan Gambar Proses Pada Tab Inisialisasi Tag Gambar Tampilan Daftar Lexical dan Contextual Rule Gambar Tampilan Tab Proses Training Data Gambar Tampilan Tab Testing Gambar Grafik Pengujian Nilai Threshold Gambar Grafik Pengaruh Nilai Threshold Terhadap Jumlah Rule Gambar Kesalahan Tag Karena Kata Dasar Tidak Ada Pada Lexicon Gambar Kesalahan Tag Karena Rule Tidak Masuk Dalam Output Rule x

11 xi DAFTAR LAMPIRAN Lampiran 1. Daftar Aturan Leksikal 2. Daftar Aturan Kontekstual xi