IMPLEMENTASI ALGORITMA COCKE-YOUNGER-KASAMI (CYK) DAN LEVENSHTEIN UNTUK MENGOREKSI KESALAHAN PENGEJAAN KALIMAT BAHASA INGGRIS SKRIPSI

Transkripsi

1 IMPLEMENTASI ALGORITMA COCKE-YOUNGER-KASAMI (CYK) DAN LEVENSHTEIN UNTUK MENGOREKSI KESALAHAN PENGEJAAN KALIMAT BAHASA INGGRIS SKRIPSI BERRY SAFAAT HARAHAP PROGRAM STUDI (S-1) ILMU KOMPUTER FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA MEDAN 2013

2 IMPLEMENTASI ALGORITMA COCKE-YOUNGER-KASAMI (CYK) DAN LEVENSHTEIN UNTUK MENGOREKSI KESALAHAN PENGEJAAN KALIMAT BAHASA INGGRIS SKRIPSI Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Komputer BERRY SAFAAT HARAHAP PROGRAM STUDI (S-1) ILMU KOMPUTER FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA MEDAN 2013

3 ii PERSETUJUAN Judul Kategori Nama : IMPLEMENTASI ALGORITMA COCKE- YOUNGER-KASAMI (CYK) DAN LEVENSHTEIN UNTUK MENGOREKSI KESALAHAN PENGEJAAN KALIMAT BAHASA INGGRIS : SKRIPSI : BERRY SAFAAT HARAHAP Nomor Induk Mahasiswa : Program Studi : SARJANA (S1) ILMU KOMPUTER Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI (FASILKOM-TI) UNIVERSITAS SUMATERA UTARA Diluluskan di Medan, 18 Juli 2013 Komisi Pembimbing : Pembimbing 2 Pembimbing 1 ( Drs. Yulianus Harefa, MEd TESOL ) ( Dian Rachmawati, S.Si., M.Kom. ) NIP NIP Diketahui / Disetujui oleh Program Studi (S1) Ilmu Komputer FASILKOM-TI USU Ketua, ( Dr. Poltak Sihombing, M.Kom. ) NIP

4 iii PERNYATAAN IMPLEMENTASI ALGORITMA COCKE-YOUNGER-KASAMI (CYK) DAN LEVENSHTEIN UNTUK MENGOREKSI KESALAHAN PENGEJAAN KALIMAT BAHASA INGGRIS SKRIPSI Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya. Medan, 18 Juli 2013 BERRY SAFAAT HARAHAP

5 iv PENGHARGAAN Puji dan syukur kehadirat Tuhan Yang Maha Esa karena atas limpahan rahmat dan karunianya skripsi ini dapat diselesaikan dalam waktu yang telah ditetapkan. Penulis menyadari bahwa dalam pelaksanaannya banyak pihak yang telah membantu hingga selesainya skripsi ini. Ucapan terima kasih penulis sampaikan kepada : 1. Bapak Prof. Dr. dr. Syahril Pasaribu, DTM&H, MSc(CTM). Sp.A(K) selaku Rektor USU. 2. Bapak Prof. Dr. Muhammad Zarlis selaku Dekan FASILKOM-TI USU. 3. Bapak Dr. Poltak Sihombing, M.Kom. selaku ketua Program Studi (S-1) Ilmu Komputer FASILKOM-TI USU yang telah memberi izin untuk melaksanakan kegiatan penelitian. 4. Ibu Dian Rachmawati, S.Si. dan Bapak Drs. Yulianus Harefa, MEd TESOL selaku dosen pembimbing yang telah memberikan panduan ringkas, padat dan profesional kepada penulis untuk menyempurnakan skripsi ini. 5. Bapak M. Andri Budiman, S.T., M.Comp. Sc., MEM dan Bapak Amer Sharif, S.Si., M.Kom selaku pembanding yang telah memberikan kritik dan saran untuk peningkatan mutu skripsi. 6. Semua dosen, staff, pegawai dan teman-teman kuliah di Program Studi (S1) Ilmu Komputer FASILKOM-TI USU. 7. Orang tua penulis, dan semua ahli keluarga yang telah memberikan dukungan beserta do a. Semoga Tuhan Yang Maha Kuasa memberikan berkat kepada semua pihak yang telah memberikan dukungan dalam menyelesaikan skripsi ini. Medan, 18 Juli 2013 Penulis

6 v ABSTRAK Bahasa Inggris adalah salah satu bahasa yang sering digunakan baik pada percakapan sehari-hari maupun pada dunia akademik. Bentuk komunikasi tertulis sangat bergantung pada aturan pola kalimat dan penulisan kata yang tepat untuk menghindari ambiguitas penulisan bahasa. Pemeriksaan pola kalimat dapat dilakukan dengan menguraikan kalimat menjadi beberapa bagian (token) untuk diperiksa apakah sesuai dengan aturan yang telah ditentukan atau tidak. Pada penelitian ini, penentuan apakah suatu pola kalimat dikenali benar atau salah dilakukan dengan menggunakan algoritma Cocke-Younger-Kasami (CYK) berdasarkan prediksi jenis kata dari setiap token, dan aturan pola kalimat dibuat dalam bentuk normal Chomsky. Secara default, aturan tersebut dibuat hanya untuk mengenali pola kalimat tunggal, tetapi dapat dimodifikasi sehingga dapat mengenali pola kalimat majemuk berdasarkan simbolsimbol yang telah dipetakan. Simbol-simbol tersebut terdiri beberapa variabel dan terminal dari semua kemungkinan hasil prediksi jenis kata. Penentuan jenis kata dilakukan dengan menggunakan alat bantu opennlp. Selanjutnya, kesalahan penulisan kata dikoreksi dengan algoritma Levenshtein berdasarkan nilai minimum perbedaan antar string. String yang dijadikan sebagai acuan terdapat pada kamus dalam format *.txt. Akurasi usulan penulisan kata tersebut sangat bergantung pada kelengkapan kamus yang digunakan, dan akurasi pemeriksaan pola kalimat sangat bergantung pada prediksi jenis kata oleh opennlp dan aturan pola kalimat. Secara sederhana kedua algoritma tersebut diterapkan hanya sampai pada langkah kedua di dalam pemrosesan bahasa alami, yaitu analisis morfologi dan sintaksis. Katakunci : parsing, Cocke-Younger-Kasami, pencocokan string, jarak Levenshtein, Bahasa Inggris

7 vi IMPLEMENTATION OF COCKE-YOUNGER-KASAMI (CYK) AND LEVENSHTEIN ALGORITHMS TO CORRECT SPELLING MISTAKE IN ENGLISH SENTENCES ABSTRACT English is one of the languages which is often used in daily conversation and academic world. The form of a written communication depends on the rules of sentence structure and appropriate diction to avoid ambiguity in written language. Analysis on the sentence rules can be done by parsing sentence into several parts (tokens) to be checked whether they are in accordance with predetermined rules or not. In this research, the correctness of the sentence structures can be determined using Cocke-Younger-Kasami (CYK) algorithm based on part of speech tags (POS Tags) and the sentence rules are made into Chomsky s Normal Form (CNF). By default, the rules that have been made are utilized to recognize the structure of single sentences, but they can be modified based on the symbols that have been mapped to recognize the structure of complex sentences. These symbols consist of variables and terminals for each possibility of POS Tags. POS Tags performed using opennlp library. Furthermore, spelling mistakes can be corrected using Levenshtein algorithm based on the minimum value of differences between input string and target string. Strings used for reference are contained in *.txt file. The accurracy of spelling suggestions depends on the reference and the accuracy of sentence structures analysis depends on POS Tags by opennlp and the sentence rules. In simple terms, both of the algorithms are applied to the study of natural language processing on the second steps: the analysis of morphology and syntax. Keywords : parsing, Cocke-Younger-Kasami, string suggestion, Levenshtein distance, English

8 vii DAFTAR ISI Halaman Persetujuan Pernyataan Penghargaan Abstrak Abstract Daftar Isi Daftar Tabel Daftar Gambar ii iii iii v vi vii x xi BAB I PENDAHULUAN 1.1 Latar Belakang Masalah Rumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian Metode Penelitian Sistematika Penulisan 7 BAB II TINJAUAN PUSTAKA 2.1 Bahasa Inggris Ejaan Kata Kalimat Pemrosesan Bahasa Alami Analisis Morfologi Analisis Sintaksis Kamus Struktur Data HashSet opennlp (Natural Language Processing) Jarak Levenshtein Ekspresi Regular Bentuk Normal Chomsky Penghilangan Produksi Useless Penghilangan Produksi Unit dan ɛ Pembentukan Bentuk Normal Chomsky Teknik Dasar Parsing Top-Down Parsing Bottom-Up Parsing Teknik Parsing Cocke-Younger-Kasami (CYK) 35

9 viii BAB III Analisis dan Perancangan Sistem 3.1 Analisis Sistem Analisis Masalah Cause and Effect Diagram Analisis Kebutuhan Sistem Kebutuhan Fungsional Sistem Kebutuhan Nonfungsional Sistem Pemodelan Use Case Diagram Activity Diagram Sequence Diagram Pseudocode Pseudocode Algoritma Cocke-Younger-Kasami (CYK) Pseudocode Algoritma Levenshtein Flowchart Flowchart Pemeriksaan Spelling Error Flowchart Pemeriksaan Tenses Review Perancangan Sistem Chomsky Normal Form (CNF) Perancangan Kamus Txt Files Perancangan Interface Halaman Utama Menu Strip CNF Rules Sub Menu Tool Strip Tab Control Tab Page Tenses Review Tab Page Spelling Error Tab Page Sentence Analysis 73 BAB IV Implementasi dan Pengujian Sistem 4.1 Implementasi Sistem Konfigurasi Perangkat Keras dan Lunak yang Dibutuhkan Perangkat Keras Perangkat Lunak Penggunaan Program Halaman Utama CNF Rules Menu Strip Tenses Review Menu Strip Spelling Error Tab Page Sentence Analysis Pengujian Aplikasi Pengujian Menu Strip Tenses Review Pengujian Menu Strip Spelling Error Pengujian Sentence Analysis 89

10 ix BAB V Kesimpulan dan Saran 5.1 Kesimpulan Saran 92 DAFTAR PUSTAKA 93 LAMPIRAN A [KODE PROGRAM] 96 LAMPIRAN B [DAFTAR RIWAYAT HIDUP] 128

11 x DAFTAR TABEL Halaman Tabel 2.1 Daftar personal pronoun dalam Bahasa Inggris 13 Tabel 2.2 Daftar jenis tenses yang sering digunakan dalam Bahasa Inggris 15 Tabel 2.3 Beberapa methods pada kelas HashSet 20 Tabel 2.4 Notasi ekspresi regular 26 Tabel 2.5 Penerapan ekspresi regular 26 Tabel 3.1 Tahap pertama pengisian tabel CYK 45 Tabel 3.2 Tahap kedua pengisian tabel CYK 46 Tabel 3.3 Tahap ketiga pengisian tabel CYK 47 Tabel 3.4 Tahap keempat pengisian tabel CYK 48 Tabel 3.5 Tahap kelima pengisian tabel CYK 49 Tabel 3.6 Penentuan tabel jarak Lenveshtein 53 Tabel 3.7 Daftar nonterminal aturan CNF 61 Tabel 3.8 Daftar terminal aturan CNF 61 Tabel 3.9 Tools yang digunakan pada perancangan halaman utama 66 Tabel 3.10 Tools yang digunakan pada perancangan menu strip 67 Tabel 3.11 Tools yang digunakan pada perancangan form CNF rules 69 Tabel 3.12 Tools yang digunakan pada perancangan sub menu tool rules 70 Tabel 3.13 Tools yang digunakan pada perancangan tab page tenses review 71 Tabel 3.14 Tools yang digunakan pada perancangan tab page spelling error 73 Tabel 3.15 Tools yang digunakan pada perancangan page sentence analysis 73

12 xi DAFTAR GAMBAR Halaman Gambar 2.1 Pemetaan data ke dalam hash table 19 Gambar 2.2 Penyederhanaan tata bahasa bebas konteks 29 Gambar 2.3 Tahapan-tahapan pembentukan bentuk normal Chomsky 30 Gambar 2.4 Contoh sebuah pohon penurunan 32 Gambar 2.5 Cara kerja Top-Down Parsing 33 Gambar 2.6 Cara kerja Bottom-Up Parsing 34 Gambar 3.1 Analisis masalah dalam membangun aplikasi pengoreksi kalimat 37 Gambar 3.2 Interaksi actor dengan sistem pengoreksi kalimat Bahasa Inggris 41 Gambar 3.3 Activity diagram aplikasi pengoreksi kalimat Bahasa Inggris 42 Gambar 3.4 Sequence diagram aplikasi pengoreksi kalimat Bahasa Inggris 43 Gambar 3.5 Pohon penurunan untuk input I paint the house 49 Gambar 3.6 Flowchart pemeriksaan spelling error 54 Gambar 3.7 Flowchart pemeriksaan tenses review 55 Gambar 3.8 Sampel kata-kata dalam perancangan kamus 62 Gambar 3.9 Sampel kata-kata dalam perancangan kamus setelah diurutkan 63 Gambar 3.10 Sampel kata-kata dalam perancangan kamus di dalam Hashset 64 Gambar 3.11 Hasil akhir dari sampel kata-kata di dalam file kamus.txt 65 Gambar 3.12 Perancangan form halaman utama 66 Gambar 3.13 Perancangan menu strip 67 Gambar 3.14 Perancangan form CNF rules 69 Gambar 3.15 Perancangan sub menu tool strip 70 Gambar 3.16 Perancangan tab page tenses review 71 Gambar 3.17 Perancangan tab page spelling error 72 Gambar 3.18 Perancangan tab page sentence analysis 73 Gambar 4.1 Implementasi form halaman utama 77 Gambar 4.2 Menu strip CNF rules 78 Gambar 4.3 Implementasi form CNF rules 78 Gambar 4.4 Menu strip tenses review 79 Gambar 4.5 Tab page tenses review 79 Gambar 4.6 Menu strip spelling Error 80 Gambar 4.7 Tab page spelling error 80 Gambar 4.8 Tab page sentence analysis 81 Gambar 4.9 Tampilan pengujian menu strip tenses review 83 Gambar 4.10 Tampilan menu strip open 84 Gambar 4.11 Tampilan direktori penyimpanan 84 Gambar 4.12 Tampilan pengujian menu strip tenses review 85 Gambar 4.13 Tampilan direktori penyimpanan 84 Gambar 4.14 Tampilan usulan penulisan dengan klik kanan 87 Gambar 4.15 Tampilan usulan penulisan kata dengan distance 1 87

13 xii Gambar 4.16 Tampilan usulan penulisan kata dengan distance 2 88 Gambar 4.17 Tampilan usulan penulisan kata dengan distance 3 88 Gambar 4.18 Tampilan pengujian sentence analysis 89 Gambar 4.19 Tampilan matriks CYK 90