PERINGKASAN TEKS MODEL GRAF PADA SINGLE DOKUMEN DENGAN METODE SPARSE NON NEGATIVE MATRIX FACTORIZATION

Transkripsi

1 PERINGKASAN TEKS MODEL GRAF PADA SINGLE DOKUMEN DENGAN METODE SPARSE NON NEGATIVE MATRIX FACTORIZATION Irwan Darmawan *1, Reddy Alexandro Harianto 2, Hendrawan Armanto 3 1,2,3 Sekolah Tinggi Teknik Surabaya pasca sarjana teknologi informasi, Kontak Person : Irwan Darmawan, Reddy Alexandro Harianto, Hendrawan Armanto irwandarmawan547@gmail.com, Reddy@stts.edu, Hendrawan@stts.edu Abstrak Isi dari sebuah dokumen yang memiliki pembahasan panjang akan menyulitkan bagi pembaca untuk menentukan ide pokok dari pembahasan dokumen tersebut. Pendekatan yang digunakan dalam mengaplikasikan sistem peringkasan ini adalah pendekatan ekstraktif yaitu menghasilkan ringkasan dengan cara memotong bagian penting dari teks asli dan menyusunnya untuk membentuk ringkasan yang koheren Dengan menggunakan sistem peringkasan teks model graf ini diharapkan akan mempermudah bagi pembaca untuk mengetahui secara tepat dan cepat topik atau ide pokok yang dibicarakan pada dokumen yang dibaca. Salah satu metode untuk menemukan hubungan antar kalimat yang satu dengan kalimat yang lain adalah menggunakan model graf. Kemudian diperlukan metode SNMF (sparse non negative matrix factorization) untuk mengelompokkan / mengcluster kalimat didalam sebuah dokumen. Kumpulan cluster dengan metode SNMF tersebut dapat diambil beberapa bagian yang penting untuk dijadikan sebagai penentu dari topik yang ada didalam single dokumen tersebut. Kata Kunci : Cluster, Kalimat, SNMF 1. Pendahuluan Peringkasan teks secara otomatis dapat digunakan untuk mengelola sejumlah besar informasi di web atau dokumen. Ringkasan dapat membantu pembaca untuk mendapatkan gambaran singkat keseluruhan dokumen atau kumpulan dokumen dan dengan demikian mengurangi waktu untuk membaca. Proses dokumen summarization dapat berguna untuk berbagai aplikasi seperti (document indexing) pengindekan dokumen, (question-answering system) sistem tanya jawab, sistem pencarian, dan klasifikasi dokumen. peringkasan teks otomatis dapat dikategorikan sebagai peringkasan dokumen tunggal dan peringkasan multi dokumen. Bila inputannya hanya satu dokumen, maka disebut summarization teks dokumen tunggal dan bila inputannya adalah satu set dokumen teks yang saling berhubungan maka disebut multi-dokumen (kamal sakar 2013). Dalam penelitian ini yang akan dibahas adalah kalimat didalam single dokumen yang akan di buat ringkasannya secara automatic. Ada tiga pendekatan utama dalam meringkas sebuah dokumen. Yang pertama adalah mengurangi inputan panjang teks dengan menghapus kata-kata dalam text asli namun tetap memperhatikan susunan katanya ini dikenal dengan nama compressive summarization. Model kedua adalah ekstraktif menghasilkan ringkasan dengan cara memotong bagian penting dari teks asli dan menyusunnya untuk membentuk ringkasan yang koheren yang ketiga adalah model abstraktif menghasilkan ringkasan dari tulisan yang sudah ada tanpa dibatasi untuk menggunakan kembali ungkapan ungkapan Dari teks aslinya (Alex Alifimoff 2015). Jadi intinya abstraktif memanfaatkan metode linguistik dalam menafsirkan teks asli sehingga kalimat yang tersusun tidak ada dalam kalimat aslinya. Rangking kalimat bertujuan untuk menentukan kalimat mana yang paling banyak dirujuk oleh kalimat yang lain sehingga menghasilkan kalimat yang paling penting berdasarkan rumus pembobotan rangking kalimat. Hal ini tujuannya sama dalam menentukan peringkat halaman pada sebuah situs di internet (Larry Page, S. Brian, R.Motwani dan T.Winograd 1998) Metode cluster dokumen dalam penelitian ini yang digunakan adalah metode SNMF. SNMF sendiri berasal dari metode NMF(Non Negative matrix faktorization) dimana metode ini merepresentasikan objek-objek individu sebagai kombinasi liner tidak negative dari bagian informasi SENTRA 2017 V - 1

2 yang diekstrak dari sejumlah objek yang berukuran besar. Cara kerja metode ini adalah memecah dokumen teks ke dalam kalimat-kalimat dan menghitung frekuensi masing-masing term dalam kalimat yang direpresentasikan dengan matrik tidak negative A berukuran m x n, m jumlah term dan n jumlah kalimat dalam dokumen. Matrik A didekomposisi ke dalam suatu perkalian matrik fitur semantik berukuran m x r W dan matrik variabel semantik tidak negative berukuran r x n H. Nilai r dipilih lebih kecil dari m atau n sehingga total ukuran W dan H lebih kecil dari matrik A (Patrik O. Hoyer 2004) Cluster-cluster yang sudah terbentuk selanjutnya akan diurutkan berdasarkan bobot kalimat yang paling penting dan dilakukan pemilihan kalimat representatif pada setiap cluster berdasarkan bobot kalimat pada hasil cluster tersebut. 2. Metode Penelitian Dalam peringkasan sebuah dokumen, algoritma yang umum digunakan adalah algoritma yang merangkum sebuah dokumen tanpa menambahkan informasi apapun. Jenis algoritma yang lain adalah melakukan perangkuman dari dokumen berdasarkan topik atau query yang diberikan. Proses ektraksi sebuah kalimat yang penting dari sebuah dokumen dapat dihasilkan dari kalkulasi semua kalimat, dan memilih kalimat dengan skor yang tinggi. Membuat sebuah graph model untuk sebuah dokumen dan mengimplementasikan graph ranking algorithm seperti algoritma PageRank untuk menghitung skor dari sebuah kalimat adalah metode yang sangat efisien. V - 2 SENTRA 2017 Gambar 1 Ilustrasi Graph Model Pada gambar diatas graph G={V,E} dibagun untuk pemodelan dokumen dimana V adalah himpunan simpul atau vertex dan E adalah himpunan Edge dari graph. Setiap kalimat dimodelkan vertex dari graph, jika kemiripan antar dokumen melebihi 0 (nol) maka dua vertex tersebut akan dihubungkan dengan sebuah bobot antar keduanya yaitu antar kalimat Si dan kalimat Sj Rumus persamaannya adalah : wij = λwsim(si, sj) + (1 λ)wdis(si, sj) (1) Dimana wsim (si, sj) adalah kesamaan cosinus antara vektor dari dua kalimat dan wdis (si, sj) adalah bobot kalimat itu dan λ [0,1] adalah parameter yang menyeimbangkan bobot kesamaan, dan jika sebuah kalimat menghubungkan ke dirinya sendiri Wii maka nilainya 0 (nol). Sedangka n rumus Wdis adalah : Wdis( sj,) si { (2) Dimana nilai -1 adalah diawali dengan discourse connectors (DC) seperti kata because, after, before (Shuzhi Sam Ge dkk 2013). Dan 0 (nol) jika dipisahkan dengan tanda titik atau koma 1 0

3 Berikut penanda discourse konektor berdasarkan jenis hubungan Hubungan Cause - effect Temporal Comparison Expansion Tabel 1 Bagian dari discourse connectors penanda wacana Karena jadi, karena alasan itulah, karenanya Sebelum, setelah, baru baru ini, sekarang nanti, masa lalu Meskipun, tapi, meskipun, sementara, bagaimanapun sebaliknya selain itu, misalnya Metode Cosine Similarity merupakan metode yang digunakan untuk menghitung similarity (tingkat kesamaan) antar dua buah objek. Secara umum penghitungan metode ini didasarkan pada vector space similarity measure. Metode cosine similarity ini menghitung similarity antara dua buah objek (misalkan D1 dan D2) yang dinyatakan dalam dua buah vector dengan menggunakan keywords (kata kunci) dari sebuah dokumen sebagai ukuran. CosSim(d,q) i, Keterangan : = bobot istilah j pada dokumen i= = bobot istilah j pada dokumen i= i qi. di q d i i t j 1 (q.d) ij t t 2 2 () qij.() dij j 1 j 1 Untuk mencari peringkat dari sebuah kalimat kita dapat menggunakan algoritma pagerank dengan cara semua kalimat di peringkat dalam sebuah dokumen. Berdasarkan model graph diatas maka peringkat masing-masing vertex dapat dihitung sebagai berikut : Untuk mencari peringkat dari sebuah kalimat kita dapat menggunakan algoritma pagerank dengan cara semua kalimat di peringkat dalam sebuah dokumen. Berdasarkan model graph diatas maka peringkat masing-masing vertex dapat dihitung sebagai berikut : n r(u)(u) w(1 d rd) i j ji j 1 ij (4) (3) Dimana r(u) i dan u j dua vertex pada graph dan d adalah parameter antara 0 dan 1. Mapping dari dokumen dibentuk dalam bentuk matrix dan algoritma faktorisasi matrix seperti Singular Value Decomposition (SVD), Non-Negative Matrix Factorization (NMF) dan Symmetric Matrix Factorization juga digunakan untuk proses perangkuman dokumen. Dari berbagai kalimat dibagi menjadi beberapa group dan setiap group akan dilakukan ektraksi kalimat pentingnya. Dari pandangan terkait dengan artinya, metode cluster kalimat akan menemukan sematiknya dengan cara menelusuri kumpulan sub topic yang tersebunyi ( latent) dari dokumen yang secara tidak langsung memberikan informasi tambahan untuk cluster tersebut. Dalam paper ini, diusulkan sebuah metode untuk melakukan perangkuman dokumen yang tidak menambahkan informasi tambahan, metode yang diusulkan adalah memanfaatkan informasi dari efek saling kalimat (sentence mutual effects) dan cluster kalimat. Penelitian dibentuk pemodelan graph dari dokumen yang ada, yang dilakukan perangkingan menggunakan graph-rangking algorithm. Sebuah matriks tambahan juga dibentuk dari kalimat yang diklasifikasikan berdasarkan perbedaan group menggunakan algoritma yang didasarkan pada Sparse Non-negative Matrix Factorization (SNMF). Kalimat yang berkaitan dalam satu cluster dan cluster tersebut memiliki rangking yang tinggi akan dipilih sebagai kalimat dalam menyusun rangkuman. Kontribusi pada penelitian ini adalah: 1. Algoritma perangkuman dokumen yang mengkombinasikan perangkingan kalimat dan clustering 2. Sebuah metode clustering untuk kalimat berdasarkan SNMF SENTRA 2017 V - 3

4 3. Sebuah model graph berbobot (weighted graph) yang mempertimbangkan hubungan antar kalimat pada cluster dan pengurutan kalimat dalam suatu dokumen. Pada permasalahan ini tidak perlu dilakukan perangkuman isi dari dokumen lain (multi dokumen ) karena yang akan dibandingkan hanya antar kalimat pada satu dokumen. Cara mendapatkan hasil evaluasi pada paper ini memanfaatkan perhitungan ROUGE dan diterapkan pada dataset yang berasal dari 103 tugas akhir mahasiswa yang terdiri dari bagian abstrak dan isi tugas akhir. 3. Hasil Penelitian dan Pembahasan Pada proses tahap awal isi dari single dokumen yang yang terformat Pdf dipecah terlebih dahulu menjadi kata perkata dengan tujuan untuk mengambil kata pokok atau kata dasar didalam dokumen. Dalam mengambil kata dasar ini melalui proses preprocessing yaitu tokenizing atau membaca isi perkata didalam dokumen Pdf kemudian menjadikan casefolding atau merubah format huruf menjadi kecil semua setiap kata, tahap berikutnya melewati cek stopword jika kata dalam dokumen merupakan kata yang ada di list kata yang termasuk stopword maka dilewati atau dibuang. Tahapan selanjutnya adalah stemming atau pemotongan kata untuk mengambil kata dasar dari setiap kata. Kemudian setelah didapatkan kata dasar tersebut dihitung bobot perkata dengan metode tf-idf. Dalam kasus ini tf-idf diasumsikan bahwa satu kalimat dianggap satu dokumen. Setelah mendapatkan bobot perkata langkah selanjutnya adalah menghitung tingkat kemiripan kalimat yang satu dengan kalimat yang lain menggunakan perhitungan panjang vektor dan metode cosinus similarity untuk mengukur tingkat kemiripan kalimat yang satu dengan kalimat yang lainnya. Perhitungan tingkat kemiripan ini dimaksudkan untuk menemukan keterhubungan kalimat yang satu dengan kalimat yang lain jika memiliki nilai tidak nol (0) maka kalimat tersebut dapat dikatakan memiliki hubungan similaritas. Pada tahap selanjutnya nilai cosinus similarity antar kalimat tersebut dihubungkan satu sama lain dengan menggunakan simpul (kalimat) dan vertex (bobot antar kalimat yang satu dengan kalimat yang lain) pada graph tidak ber-arah ( undirected graph) dengan tujuan mencari bobot kalimat pada simpul-simpul graph tersebut. Setelah didapatkan masing-masing bobot antar kalimat tahap berikutnya adalah melakukan rangking pada kalimat dengan tujuan kalimat mana yang memiliki paling banyak hubungannya dengan kalimat yang lain. Tahap berikutnya adalah kalimat tersebut di cluster menggunakan metode snmf dari metode snmf inilah nanti didapatkan kalimat inti dari masing-masing cluster sebagai summarization kemudian hasil summarization tersebut disorting. dan berikutnya hasil dari peringkasan tersebut (ekstraktif) dibandingkan dengan hasil peringkasan abstraktif yg dilakukan oleh para ahli menggunakan metode rouge dan kesesuaian antar hasil keduanya diberikan dalam bentuk prosentase nilai prosentase ini dimaksudkan untuk memberikan nilai ambang batas kesesuaian abstrak dan isi yang dianggap baik menurut para pakar dan system yang dibuat. Hasil dari system dan hasil dari para ahli inilah yang dibuat sebagai data latih dan sebagai data uji adalah dari tugas akhir mahasiswa Universitas Madura. Apabila abstrak tersebut tidak menggambarkan isi dari laporan tugas akhir maka mahasiswa yang bersangkutan direkomendasikan untuk menulis ulang abtrak tugas akhirnya. Apabila mencapai dalam nilai prosentase yang telah ditentukan maka secara otomatis abstrak dan isi laporan tugas akhir mahasiswa tersebut diterima oleh system. Ruang lingkup yang akan digunakan dalam penelitian ini akan dijabarkan sebagai berikut: Pada bab hasil dan penelitian dijelaskan hasil dari penelitian dan pembahasan yang lengkap. Hasil dapat direpresentasikan dalam gambar, grafik, tabel dan lainnya yang dapat mempermudah pembaca dalam memahami makalah [5]. Penjelasan dapat dibuat dalam bentuk sub bab Rancangan dan Metode Rancangan Metode yang digunakan pada proses sistem untuk meringkas dokumen memiliki langkah-langkah sebagai berikut: Preprocessing Pembobotan kalimat Rangking kalimat Cluster Kalimat Pemilihan Kalimat Representatif Penyusunan Ringkasan V - 4 SENTRA 2017

5 Gambar 2 Blok Diagram proses sistem peringkasan dokumen Blok diagram proses dari penelitian yang digunakan dalam penelitian ini dapat dilihat pada Gambar 2. Penjelasan mengenai tahapan-tahapan dari blok diagram di atas: 3.2. Preprocessing Gambar 3 Blok Diagram proses Preprocessing Pada tahapan preprocessing meliputi Tahapan tokenizing adalah tahap pemotongan string input bersadarkan tiap kata yang menyusunnya, pada permasalahan ini satu dokumen dibaca secara keseluruhan isinya yang berupa teks serta hanya mengambil isi dari teksnya saja dan file tersebut bertipe PDF, penanganan seluruh subbab akan dianggap satu dokumen. Selanjutnya tahapan case folding adalah tahapan merubah huruf kapital menjadi lowercase, kemudian tahapan stop word dan menghilangkan tanda baca kecuali tanda titik (sebagai pembatas akhir kalimat) dan tidak dihilangkan. Stop words merupakan kata umum yang dimanfaatkan dalam information retrival yang biasanya muncul dalam jumlah besar dan dianggap tidak memiliki makna, contoh stop words dalam bahasa indonesia: adalah, dia, dan, dan lain-lain. Stemming adalah pemotongan kata dengan tujuan mencari kata dasar dari kata dalam dokumen SENTRA 2017 V - 5

6 3.3. Bobot Kalimat dengan graf model Setelah tahapan preprocessing dilalui maka tahap berikutnya adalah menentukan bobot perkalimat. Untuk memperoleh bobot perkalimat pertama kali yang harus dilakukan adalah menghitung bobot perkata dengan menggunakan metode tf-idf. Setelah ditemukan masing-masing bobot perkata didalam satu dokumen langkah selanjutnya adalah menentukan panjang vektor masing-masing kalimat kemudian menghitung cosinus similarity atau tingkat kemiripan antar kalimat yang satu dengan kalimat yang lain. Apabila nilai cosinus similarity memiliki nilai 0 (nol) berarti kalimat tersebut tidak memiliki hubungan. Dari hasil cosinus similarity kemudian dimasukkan ke pembobotan model graph. Pada model graph ini berdasarkan jurnal rujukan utama dikatakan satu kalimat apabila dipisahkan oleh titik (.) atau koma (,) 3.3. Rangking kalimat Pada tahap ini kalimat yang sudah memiliki bobot berdasarkan model graph di rangking menggunakan algoritma pagerank dengan tujuan untuk menemukan kalimat mana yang paling banyak memiliki hubungan atau keterkaitan dengan kalimat yang lain Cluster kalimat menggunakan SNMF Cluster kalimat merupakan suatu komponen penting yang berbasis pada sistem perangkuman karena sub topik atau beberapa tema pada single dokumen harus dapat diidentifikasi menemukan persamaan dan perbedaan di dalam single dokumen, dalam hal ini kita menggunakan metode SNMF untuk mengcluster kalimat. Berikut adalah algoritma SNMF V - 6 SENTRA 2017 Gambar 4 Algoritma SNMF

7 3.5. Ekstraksi Kalimat Gambar 5 Ilustrasi hasil ekstraksi dari cluster Gambar diatas mengilustrasikan algoritma ekstraksi kalimat setelah merangking kalimat dan meng-cluster kalimat. Hal itu bisa dilihat dari gambar, dokumen tersebut memiliki 13 kalimat dan mereka dibagi menjadi 4 kelompok. Sumbu Y dari gambar menunjukkan signifikansi sebuah kalimat yang diperoleh oleh algoritma peringkat kalimat. Indeks dari setiap kalimat di dokumen ditampilkan di sisi kanan gambar. Untuk setiap cluster, kalimat yang didapat berpangkat tertinggi dipilih sebagai komponen summarization. Dalam dokumen ini, kalimat ke 6, 2, 1 dan 13 dipilih sebagai rangkuman. kalimat tersebut ditambahkan ke ringkasan mengikuti perintah dari kalimat dalam dokumen Jika panjang ringkasan yang diinginkan masih belum tercapai bila kalimat teratas dari setiap cluster dipilih, kalimat yang tidak terpakai dengan skor tertinggi di setiap cluster dipilih sebagai bagian dari summarization. Kalimat itu kemudian ditandai seperti yang digunakan. Prosesnya berulang sampai panjang yang diinginkan dari summarization tercapai Penyusunan Ringkasan Setelah mengelompokkan kalimat, cluster diperintahkan menggunakan algoritma pengurutan cluster. Satu kalimat representatif dari setiap cluster dipilih dengan memanfaatkan algoritma representatif pemilihan. Dipilih satu kalimat yang sudah tercluster pada posisi paling atas dan kemudian memilih memilih kalimat dari subsequence cluster berada pada daftar cluster urutan sampai panjang dari ringkasan ditemukan. 3.7 Hasil Penelitian Gambar 6 Proses memasukkan kalimat SENTRA 2017 V - 7

8 Gambar 7 Proses stopword dan stemming Gambar 8 Proses Tf-Idf V - 8 SENTRA 2017 Gambar 9 Proses menghitung panjang vektor

9 Gambar 10 Proses menghitung cosinus similarity Gambar 11 Proses Final cosinus similarity Gambar 12 Proses Iterasi untuk penentuan ranking kalimat SENTRA 2017 V - 9

10 V - 10 SENTRA 2017 Gambar 13 Hasil akhir rangking kalimat s1 s5 s2 s4 s3 dolar naik harga hasil turun gaji premium pengaruh laptop Gambar 14 Hasil cluster SNMF Gambar 15 Hasil data matrix W dengan nilai sw 0,1 dan SH 0, Gambar 16 Hasil data matrix H dengan nilai sw 0,1 dan SH 0,1

11 s1 s5 s2 s4 s3 dolar naik harga hasil turun gaji premium pengaruh laptop Gambar 17 Hasil perkalian matrix W dan H setelah difaktorisasi Gambar 18 Hasil ringkasan 4. Kesimpulan Dengan menggunakan metode SNMF untuk cluster setiap kalimat dapat meringkas teks yang panjang menjadi lebih singkat sehingga dapat ditemukan topik yang dibahas pada sebuah dokumen. Untuk pengembangan kedepannya diharapkan misalnya dapat menentukan sebuah abstrak dari paper yang dibahas pada masing-masing paper 5. Daftar Notasi Daftar notasi dapat diuraikan dengan keterangan sebagai berikut: wsim (si, sj) : kesamaan cosinus antara vektor dari dua kalimat wdis (si, sj) : adalah bobot kalimat itu dan λ [0,1] adalah parameter yang menyeimbangkan bobot kesamaan : bobot istilah j pada dokumen i= : bobot istilah j pada dokumen i= r dan u j dua vertex pada graph dan d adalah parameter antara 0 dan 1 (u) i sw, sh : adalah nilai konvergensi dari 2 matrix W dan H Referensi [1] Shuzhi Sam Ge, Zhengchen Zhang, Hongsheng He (2013), Weighted graph Model based sentence clustering and Rangking for Document Summarization, Journal of IEEE,2013 [2] Anyman El-Kilany, Iman Saleh (2012), Unsupervised Document Summarization Using Clusters of Dependency Graph Nodes, Journal of International Conference on Intelligent Systems Design and Applications (ISDA), IEEE (2012),hal [3] Ailin Li, Tao Jiang, Qingshuai Wang, Hongzhi Yu (2016), The Mixture of TextRank and LexRank Techniques of Single Document Automatic Summarization Research in Tiben, Journal of International Conference on Intelligent Human-Machine Systems and Cybernetics, IEEE (2016) hal [4] Patrik O. Hoyer, (2004), Non-Negative Matrix Factorization with Sparseness Constrains, International Journal of Machine Learning Research, 5,(2004), hal [5] L. Page, S. Brin, R. Motwani, and T. Winograd, The pagerank citation ranking: Bringing order to the web, Technical report, Stanford Digital Library Technologies Project, Tech. Rep., [6] Sarkar, Kamal, (2013), Automatic single document Text Summarization Using Key Consepts in Document, The Journal of J Inf Process Syst, vol. 9,no.4, pp , [7] Alex Alifimoff, Abstraktive sentence Summarization with Attentive Deep RecurrentNeural Networks, Journal of (2015) SENTRA 2017 V - 11