Aplikasi Peringkasan Teks Berita Otomatis Menggunakan Pembobotan Kalimat. Pendahuluan

Transkripsi

1 Aplikasi Peringkasan Teks Berita Otomatis Menggunakan Pembobotan Kalimat Yuandri Trisaputra Mirza Rakhmadianti Muhammad Zulfikar Annisa Trianadewi Gema Abriantini G G G G G Departemen Ilmu Komputer Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor Latar Belakang Pendahuluan Setiap peristiwa penting yang terjadi di sekitar akan didokumentasikan oleh media. Salah satu bentuk dokumentasi yang dihasilkan berupa berita. Pada zaman modern ini, berita lebih mudah diakses karena ketersediannya di Internet. Berita dapat diakses melalui web browser dengan menggunakan Personal Computer maupun Smartphone. Berita yang dapat dipublikasikan pada suatu situs dapat mencapai puluhan artikel dengan berbagai topik. Bagi pembaca yang hanya memiliki sedikit waktu luang, mereka tidak dapat membaca semua berita pada hari tersebut karena jumlahnya yang banyak. Oleh karena itu peringkasan teks berita akan sangat berguna untuk pembaca tersebut. Peringkasan teks adalah suatu proses penyunting sebagian besar informasi penting dari sumber teks. Peringkasan teks khususnya berita dapat digunakan untuk mendapatkan intisari dari teks berita tanpa membaca keseluruhan teks. Namun kegiatan meringkas ini tidak efisien dilakukan manual oleh manusia karena memerlukan waktu lama. Oleh karena itu, dapat dikembangkan aplikasi peringkasan teks yang dapat memberikan intisari dari teks berita secara otomatis. Pengembangan aplikasi ini yaitu dengan menerapkan metode peringkasan teks dan pembobotan kalimat. Rumusan Masalah Rumusan masalah pada proyek ini adalah bagaimana menerapkan metode peringkasan teks dan membuat aplikasi peringkasan teks secara otomatis. 1

2 Tujuan Tujuan dari proyek ini adalah membuat aplikasi dan menerapkan metode peringkasan teks dengan pembobotan kalimat. Ruang Lingkup Ruang lingkup pada proyek ini adalah teks yang dapat diringkas merupakan teks yang mempunyai judul atau teks berita. Manfaat Manfaat dalam proyek ini adalah untuk mempermudah pihak media yang mengeluarkan berita untuk meringkas teks berita secara otomatis. Metode Tahapan tahapan yang dilakukan untuk melakukan peringkasan teks dapat dilihat pada Gambar 1. Gambar 1 Tahapan Peringkasan Teks Data Data teks diambil dari situs berita online Indonesia. Teks yang digunakan adalah teks berita yang mempunyai judul. Teks yang digunakan sebanyak 13 teks berita. Korpus stopword dan kata dasar Bahasa Indonesia diambil dari situs Putra (2012) yang menyediakan korpus tersebut. Parsing Kalimat Parsing kalimat dilakukan pada teks. Teks dipisahkan berdasarkan pemisah titik (.). Pemisahan teks tersebut akan menghasilkan beberapa kalimat. Kalimat kalimat tersebut yang kemudian akan diambil term dalam setiap kalimatnya. Hasil dari tahapan ini didapatkan list kalimat yang akan digunakan untuk tahap pengambilan term/ word. 2

3 Pengambilan Term Pengambilan term dilakukan untuk setiap kalimat hasil parsing dan judul teks. Pengambilan term yang penting dilakukan dengan beberapa tahap yaitu: case folding, menghilangkan tanda baca, split kata, membuang stopwords, stemming, dan terakhir menyimpan term. Tahap stemming menggunakan Algoritme Nazief dan Andriani yaitu menggunakan tahap kedua dengan menghapus Inflection Suffixes ( lah, kah, pun atau nya ) (Liyantanto 2011). Hasil dari tahapan ini berupa list term untuk setiap kalimatnya. Pembobotan Kalimat Pada tahapan ini setiap kalimat yang sudah dipisahkan dilakukan pembobotan kalimat menggunakan pembobotan TF IDF. Pembobotan TF IDF menggunakan algoritme dari Schwartz (2015). Pembobotan ini digunakan karena memiliki perhitungan nilai similarity yang sederhana dan lebih cepat. Algoritme yang digunakan sebagai berikut: Input : list distinct term setiap kalimat dan list term judul Output : nilai bobot untuk setiap kalimat Langkah 1 : untuk setiap kalimat lakukan langkah 2 3 Langkah 2 : hitung frekuensi term kalimat Langkah 3 : normalisasi frekuensi term kalimat Langkah 4 : hitung frekuensi term judul Langkah 5 : normalisasi frekuensi term judul Langkah 6 : untuk setiap kalimat lakukan langkah 7 Langkah 7 : hitung similarity antara judul dengan kalimat Hasil nilai similarity antara judul dan kalimat digunakan sebagai bobot kalimat. Perhitungan similarity dapat dilihat pada Persamaan 1. WS sim(j, s ) = ( i ), jika i L S (1) i LJ WJ i NS + NS Dengan j adalah judul, s adalah kalimat, LJ adalah list term judul, LS adalah list term kalimat, NS adalah total kalimat teks, W J i adalah nilai normalisasi frekuensi term ke i pada list term judul, dan W S i adalah nilai normalisasi frekuensi term i pada list term kalimat. Semakin nilai similarity besar semakin penting kalimat tersebut. Pemilihan Kalimat Pada tahapan ini dilakukan pemilihan kalimat yang penting berdasarkan bobot kalimat yang dihasilkan. Hasil pemilihan kalimat akan ditampilkan sebagai hasil peringkasan. Pemilihan kalimat dilakukan dengan beberapa tahapan sebagai berikut: Input : list bobot setiap kalimat 3

4 Output : hasil peringkasan teks Langkah 1 : hitung rata rata bobot dari setiap kalimat Langkah 2 : tetapkan nilai threshold = rata rata Langkah 3 : untuk setiap kalimat lakukan langkah 4 Langkah 4 : jika bobot kalimat >= threshold, kalimat ditampilkan Nilai threshold ditetapkan untuk memilih kalimat yang ditampilkan. Threshold tersebut dapat digunakan sebagai compression rate dari hasil peringkasan. Hasil peringkasan teks ini bergantung terhadap kalimat judul yang diberikan. Kalimat yang relevan atau berkaitan dengan judul akan ditampilkan pada hasil peringkasan. nr Compression rate (cr) = nt * 100%, dengan nt adalah banyak kalimat pada teks dan nr banyak kalimat pada hasil ringkasan. Evaluasi Salah satu metode untuk evaluasi hasil peringkasan adalah dengan Kappa Statistics (Hori et al. dalam Yuliawati et al. 2011). Metode ini memungkinkan proses perhitungan tingkat kesepakatan/ agreement di antara dua interobserver atau lebih atas sebuah kondisi/permasalahan yang sama secara analisis statistik (Vierra dan Garrett dalam Yuliawati et al. 2011). Secara umum perhitungan Kappa dilakukan berdasarkan perbedaan tingkat kesepakatan antara berapa banyak kesepakatan yang diperoleh ( observed agreement) dibandingkan dengan berapa banyak kesepakatan yang diharapkan ( expected agreement). Secara perhitungan statistik Kappa dinyatakan dalam Persamaan 2. (p p ) o e k = (1 p e) (2) Pada Persamaan 2, k menyatakan nilai Kappa, Po menyatakan observer agreement, dan Pe menyatakan expected agreement. Berdasarkan Tabel 1, a dan d menyatakan jumlah kedua observer setuju atas kalimat yang dihasilkan, sedangkan b dan c menyatakan jumlah kedua observer tidak setuju. (Vierra dan Garrett dalam Yuliawati et al. 2011). Tabel 1 Confusion Matrix observer Observer 1 Hasil Observer 2 Hasil Tidak (0) Ya (1) Total Tidak (0) a b m1 Ya (1) c d m0 4

5 Total n1 n0 n Perhitungan po dan pe dijelaskan dalam Persamaan 3 dan 4 berikut: n1 m1 n0 m0 p e = (( n ) * ( n )) + (( n ) * ( n )) (3) a + d p o = n (4) Intepretasi nilai Kappa dapat dilihat pada Tabel 2. Tabel 2 Intrepetasi Nilai Kappa Nilai Kekuatan agreement < 0 Poor Slight Fair Moderate Substatial Almost perfect Lingkungan Pengembangan Proyek ini dilakukan dengan menggunakan perangkat keras dan perangkat lunak sebagai berikut: 1. Perangkat keras berupa laptop dengan spesifikasi sebagai berikut: Intel Core i3 GHz RAM 6 GB Harddisk 500 GB Monitor Mouse dan keyboard 2. Perangkat lunak: Sistem operasi Windows 10 Bahasa pemrograman Python Pycharm 5 sebagai IDE Python Library Python tkinter untuk GUI Library Python threading Matlab untuk menghitung nilai Kappa 5

6 Data Hasil dan Pembahasan Data teks diambil dari beberapa situs berita online Indonesia. Teks yang digunakan adalah teks berita yang mempunyai judul sebanyak 13 teks berita. Data teks yang digunakan dapat dilihat pada Tabel 3. Tabel 3 Data Teks yang digunakan No Judul Berita Sumber Berita 1 "Apple Car" Dirumorkan Bakal Meluncur di Polisi Kantongi Identitas Pembacok Remaja di Tebet 3 Rencana di Bursa Transfer Januari, Milan Sudah Ada Tiga Pemain Baru 4 Ini Kondisi Kantin Kantin di Kampus IPB 5 Hadiah tahun baru dari TNI AL, 10 kapal pencuri ikan ditenggelamkan 6 Ini formasi pengamanan di sekitar Monas pada malam tahun baru 7 Tahun Baru, Polisi di Kota Kediri Ganti Peluit dengan Trompet 8 Alasan Pengunjung Tetap ke Ragunan Meski Ramai: Tiketnya Cuma Rp 4 Ribu 9 Polisi tangkap pembuat terompet bersampul Alquran di Cianjur apple car dirumorkan bakal meluncurdi 2019.html lisi kantongi identitas pembacok remaja di tebet rencana.di.bursa.transfer.januari.milan.sudah.ada.tiga.pemain.baru kondisi kantin kantin di kampus ipb ah tahun baru dari tni al 10 kapal penc uri ikan ditenggelamkan.html f ormasi pengamanan di sekitar monas p ada malam tahun baru.html 527/tahun baru polisi di kota kediri gan ti peluit dengan trompet asan pengunjung tetap ke ragunan mes ki ramai tiketnya cuma rp 4 ribu si tangkap pembuat terompet bersampul 6

7 alquran di cianjur.html 10 Idrus Marham Mengaku Dapat Surat soal Pencabutan SK Golkar Agung Laksono 11 Ini Start Up yang Paling Diincar Pencari Kerja 12 Pengunjung TMII Membludak, Polisi Sampai Turun Tangan Cegah Keributan karena Parkir 13 Tahun Baru, Server WhatsApp Sempat Down 15/12/31/idrus marham mengaku dapatsurat soal pencabutan sk golkar agung l aksono ini istart upi yang paling diincar penca ri kerja.html ngunjung tmii membludak polisi sampa i turun tangan cegah keributan karena p arkir tahun baru server whatsapp sempat ido wni.html Peringkasan Teks Peringkasan teks dilakukan dengan beberapa tahapan yaitu pemisahan kalimat dari teks, pengambilan term/ word dari dari setiap kalimat, pembobotan kalimat, pemilihan kalimat, dan menampilkan hasil peringkasan. Peringkasan teks pada proyek ini menggunakan teks berita. Contoh peringkasan teks pada proyek ini akan dijelaskan sebagai berikut: 1. Teks yang digunakan teks berita dengan judul Tahun Baru, Server WhatsApp Sempat Down seperti teks dibawah ini: Aplikasi chat paling populer dunia WhatsApp sempat tak bisa diakses saat pergantian tahun, Jumat (1/1). Para pengguna WhatsApp di Eropa dan Amerika sempat tak bisa mengirimkan atau menerima pesan melalui aplikasi tersebut. Belum jelas apa yang menjadi penyebab gagal berfungsinya server milik WhatsApp, tapi menurut laporan dari situs DownDetector, gagal berfungsinya aplikasi tersebut terjadi pada pukul 4.30 GMT. Kegagalan server WhatsApp melayani permintaan pengguna diduga terjadi karena kelebihan beban dimana pada saat itu banyak pengguna saling mengirimkan pesan setelah pergantian tahun baru. Terakhir kali WhatsApp mengungkapkan jumlah pengguna mereka, September lalu, perusahaan yang dimiliki Facebook ini mengklaim telah memiliki lebih dari 900 juta pengguna. Diyakini saat ini WhatsApp telah memiliki jumlah pengguna lebih dari satu miliar di seluruh dunia. 7

8 2. Kemudian dari teks tersebut dipisahkan kalimat kalimat dengan pemisah titik. Hasil pemisahan kalimat sebagai berikut: 1. Aplikasi chat paling populer dunia WhatsApp sempat tak bisa diakses saat pergantian tahun, Jumat (1/1) 2. Para pengguna WhatsApp di Eropa dan Amerika sempat tak bisa mengirimkan atau menerima pesan melalui aplikasi tersebut 3. Belum jelas apa yang menjadi penyebab gagal berfungsinya server milik WhatsApp, tapi menurut laporan dari situs DownDetector, gagal berfungsinya aplikasi tersebut terjadi pada pukul GMT 5. Kegagalan server WhatsApp melayani permintaan pengguna diduga terjadi karena kelebihan beban dimana pada saat itu banyak pengguna saling mengirimkan pesan setelah pergantian tahun baru 6. Terakhir kali WhatsApp mengungkapkan jumlah pengguna mereka, September lalu, perusahaan yang dimiliki Facebook ini mengklaim telah memiliki lebih dari 900 juta pengguna 7. Diyakini saat ini WhatsApp telah memiliki jumlah pengguna lebih dari satu miliar di seluruh dunia 3. Pengambilan term yang penting untuk setiap kalimat dan judul. Hasil pengambilan term sebagai berikut: 1. ['aplikasi', 'chat', 'populer', 'dunia', 'whatsapp', 'diakses', 'pergantian', 'jumat'] 2. ['pengguna', 'whatsapp', 'eropa', 'amerika', 'mengirimkan', 'menerima', 'pesan', 'aplikasi'] 3. ['penyebab', 'gagal', 'berfungsi', 'server', 'milik', 'whatsapp', 'laporan', 'situs', 'downdetector', 'gagal', 'berfungsi', 'aplikasi'] 4. ['gmt'] 5. ['kegagalan', 'server', 'whatsapp', 'melayani', 'permintaan', 'pengguna', 'diduga', 'kelebihan', 'beban', 'dimana', 'pengguna', 'mengirimkan', 'pesan', 'pergantian'] 6. ['kali', 'whatsapp', 'pengguna', 'september', 'perusahaan', 'dimiliki', 'facebook', 'mengklaim', 'memiliki', 'juta', 'pengguna'] 7. ['diyakini', 'whatsapp', 'memiliki', 'pengguna', 'miliar', 'dunia'] 8. Term Judul: ['server', 'whatsapp', 'down'] 4. Kemudian dilakukan pembobotan kalimat untuk setiap kalimat berdasarkan list term kalimat dan list term judul. Pembobotan kalimat sebagai berikut: Normalisasi frekuensi kata 1. {'chat': 0.125, 'populer': 0.125, 'jumat': 0.125, 'whatsapp': 0.125, 'aplikasi': 0.125, 'dunia': 0.125, 'pergantian': 0.125, 'diakses': 0.125} 2. {'menerima': 0.125, 'whatsapp': 0.125, 'pesan': 0.125, 'aplikasi': 0.125, 'amerika': 0.125, 'pengguna': 0.125, 'eropa': 0.125, 'mengirimkan': 0.125} 3. {'gagal': , 'milik': , 'berfungsi': , 'penyebab': , 'aplikasi': 8

9 , 'downdetector': , 'whatsapp': , 'laporan': , 'server': , 'situs': } 4. {'gmt': 1.0} 5. {'kegagalan': , 'server': , 'kelebihan': , 'melayani': , 'permintaan': , 'pengguna': , 'whatsapp': , 'pesan': , 'beban': , 'pergantian': , 'dimana': , 'mengirimkan': , 'diduga': } 6. {'september': , 'perusahaan': , 'whatsapp': , 'memiliki': , 'mengklaim': , 'kali': , 'juta': , 'facebook': , 'dimiliki': , 'pengguna': } 7. {'whatsapp': , 'memiliki': , 'dunia': , 'miliar': , 'diyakini': , 'pengguna': } 8. Term Judul: {'server': , 'whatsapp': , 'down': } Score similarity antara term judul dan setiap kalimat Pemilihan kalimat yang akan ditampilkan untuk hasil peringkasan melihat dari nilai similarity. Kalimat dipilih apabila nilai similarity lebih besar sama dengan nilai threshold. Threshold yang digunakan adalah nilai rata rata dari nilai similarity. Pada kasus ini nilai threshold yang digunakan adalah Sehingga kalimat yang akan dipilih adalah kalimat 3 dan Dari pemilihan kalimat tersebut akan digunakan sebagai hasil peringkasan. Berikut hasil ringkasan teks berita tersebut: Belum jelas apa yang menjadi penyebab gagal berfungsinya server milik WhatsApp, tapi menurut laporan dari situs DownDetector, gagal berfungsinya aplikasi tersebut terjadi pada pukul 4. Kegagalan server WhatsApp melayani permintaan pengguna diduga terjadi karena kelebihan beban dimana pada saat itu banyak pengguna saling mengirimkan pesan setelah pergantian tahun baru. 9

10 Evaluasi Evaluasi peringkasan teks pada proyek ini berdasarkan nilai Kappa. Pada proyek ini digunakan dua observer dalam melakukan judgment dalam hasil peringkasan. Hasil evaluasi peringkasan teks menggunakan nilai Kappa dapat dilihat pada Tabel 4. Evaluasi dua observer dalam hasil ringkasan untuk setiap teks berita dapat dilihat pada Lampiran 1. Dari evaluasi tersebut didapatkan bahwa dengan menggunakan threshold adalah rata rata bobot kalimat menghasilkan rata rata compression rate adalah 35%. Tabel 4 Hasil Evaluasi No Judul Berita Nilai Kappa Intrepetasi 1 "Apple Car" Dirumorkan Bakal Meluncur di Substatial 2 Polisi Kantongi Identitas Pembacok Remaja di Tebet 3 Rencana di Bursa Transfer Januari, Milan Sudah Ada Tiga Pemain Baru 1 Almost perfect 0.6 Substatial 4 Ini Kondisi Kantin Kantin di Kampus IPB 1 Almost perfect 5 Hadiah tahun baru dari TNI AL, 10 kapal pencuri ikan ditenggelamkan 6 Ini formasi pengamanan di sekitar Monas pada malam tahun baru 7 Tahun Baru, Polisi di Kota Kediri Ganti Peluit dengan Trompet 8 Alasan Pengunjung Tetap ke Ragunan Meski Ramai: Tiketnya Cuma Rp 4 Ribu 9 Polisi tangkap pembuat terompet bersampul Alquran di Cianjur 10 Idrus Marham Mengaku Dapat Surat soal Pencabutan SK Golkar Agung Laksono 0 Slight 0 Slight 1 Almost perfect 0 Slight 1 Almost perfect 1 Almost perfect 11 Ini Start Up yang Paling Diincar Pencari Kerja 0 Slight 12 Pengunjung TMII Membludak, Polisi Sampai 0 Slight 10

11 Turun Tangan Cegah Keributan karena Parkir 13 Tahun Baru, Server WhatsApp Sempat Down 1 Almost perfect Berdasarkan Tabel 4 dapat dilihat bahwa sebanyak 6 teks berita yang memberikan hasil Almost Perfect, 5 teks berita yang memberikan hasil Slight, dan 2 teks berita yang memberikan hasil Substatial. Rata rata nilai kappa yang dihasilkan adalah 0.56 atau Moderate. Sehingga dapat dikatakan cukup sepakat antar observer bahwa hasil evaluasi peringkasan pada teks berita yang digunakan memberikan hasil yang sesuai. Implementasi Peringkasan teks diimplementasikan ke dalam sebuah aplikasi desktop menggunakan bahasa pemrograman Python. Sumber kode program dapat dilihat di News Text Summarization P ython. Aplikasi ini menggunakan library tkinter untuk membuat Graphical User Interface (GUI). GUI dibuat untuk memudahkan melakukan peringkasan teks. Tampilan aplikasi dapat dilihat pada Gambar 1 dan 2. Waktu eksekusi dalam menjalankan program ini tidak terlalu cepat, rata rata 30 detik dalam menjalankannya. Hal ini disebabkan setiap kata harus dibandingkan satu satu terlebih dahulu ke setiap korpus kata bahasa Indonesia dan stopwords. Gambar 1 Tampilan Aplikasi sebelum dijalankan 11

12 Gambar 2 Tampilan Aplikasi Setelah dijalankan Kesimpulan dan Saran Kesimpulan Kesimpulan pada proyek ini adalah: 1. Metode peringkasan teks secara otomatis dapat diterapkan 2. Hasil peringkasan teks cukup baik dengan rata rata nila Kappa Aplikasi untuk peringkasan teks secara otomatis berhasil dibuat Saran Saran pada proyek ini adalah menggunakan seluruh algoritme stemming bahasa Indonesia dan metode pembobotan kalimat yang berbeda. Daftar Pustaka Liyantanto R, Stemming bahasa indonesia dengan algoritme Nazief dan Andriani. [internet] Tersedia: bahasa indonesia dengan alg oritma nazief dan andriani/ Putra PA, Kamus Kata Dasar dan Stopword List Bahasa Indonesia. [internet] Tersedia: kata dasar dan stopword list bahasa indon esia/ Schwartz HR, An extremely simple Python library to perform TF IDF document comparison. [internet] Tersedia: tf idf 12

13 Yuliawati A, Purwitasari D, Yuhana UL Implementasi peringkasan otomatis pada dokumen terstruktur dengan metode faktorisasi matriks nonnegatif. [skripsi]. Surabaya (ID): ITS. Lampiran Lampiran 1 Evaluasi dua observer No Judul Berita a b c d nr nt cr (%) 1 "Apple Car" Dirumorkan Bakal Meluncur di Polisi Kantongi Identitas Pembacok Remaja di Tebet Rencana di Bursa Transfer Januari, Milan Sudah Ada Tiga Pemain Baru Ini Kondisi Kantin Kantin di Kampus IPB Hadiah tahun baru dari TNI AL, 10 kapal pencuri ikan ditenggelamkan 6 Ini formasi pengamanan di sekitar Monas pada malam tahun baru 7 Tahun Baru, Polisi di Kota Kediri Ganti Peluit dengan Trompet 8 Alasan Pengunjung Tetap ke Ragunan Meski Ramai: Tiketnya Cuma Rp 4 Ribu 9 Polisi tangkap pembuat terompet bersampul Alquran di Cianjur 10 Idrus Marham Mengaku Dapat Surat soal Pencabutan SK Golkar Agung Laksono Ini Start Up yang Paling Diincar Pencari Kerja Pengunjung TMII Membludak, Polisi Sampai Turun Tangan Cegah Keributan karena Parkir Tahun Baru, Server WhatsApp Sempat Down