4 HASIL DAN PEMBAHASAN

Transkripsi

1 24 4 HASIL DAN PEMBAHASAN 4.1 Data Korpus Data korpus berisi berita-berita nasional berbahasa Indonesia dari tanggal 11 Maret 2002 sampai 11 April Berita tersebut berasal dari berita online harian Kompas yang didapat dari korpus penelitian Ridha (2002). Dokumen yang digunakan pada tahap pelatihan sebanyak 100 dokumen. Dokumen-dokumen tersebut dirangkum dengan batas pemampatan (compression rate) sebesar 30%, 20%, dan 10%, rangkuman tersebut dibuat oleh dua orang yang berbeda. Hasil rangkuman manual ini digunakan untuk mengevaluasi hasil dari ringkasan yang dibuat oleh sistem. Dokumen yang digunakan pada tahap pengujian sebanyak 50 dokumen. Dokumen-dokumen tersebut dirangkum dengan batas pemampatan (compression rate) sebesar 30%, 20%, dan 10%, rangkuman tersebut dibuat oleh satu orang. Hasil rangkuman manual ini digunakan untuk mengevaluasi hasil dari ringkasan yang dibuat oleh sistem. Rata-rata jumlah kalimat pada dokumen berita adalah Format Dokumen Penelitian ini menggunakan dokumen dalam bentuk format XML sederhana, dan jenis dokumen yang digunakan bertipe teks. Gambar 13 merupakan contoh format dokumen yang digunakan pada tahap pelatihan dan pengujian. Gambar 13 Format dokumen pada tahap pelatihan dan pengujian.

2 Pemotongan Kalimat Penelitian ini menggunakan teknik ekstraksi teks untuk membuat ringkasan, oleh karena itu diperlukan pemotongan kalimat yang baik. Pengertian kalimat adalah satu atau lebih string kata diakhiri dengan suatu tanda berhenti sepenuhnya, tanda tanya, atau tanda seru. Penelitian ini menggunakan bentuk pemotongan kalimat berupa yaitu: 1. Batas kalimat sesudah tanda baca.?! Contoh : - Aku mau pulang ke desa. - Dia mau kemana? - Akhir dari sebuah cerita! 2. Batas kalimat sesudah tanda petik, bukan setelah tanda titik Contoh : Pindahkan lemari itu. Lemari itu bukan milik mu., kata Amir kepada Joko. 3. Dapat mengenali singkatan seperti Prof. Dr. Jaka, M.Sc akan berkunjung ke Lampung. 4.4 Metode Evaluasi Menurut Mani dan Maybury (1999) terdapat dua teknik untuk mengevaluasi hasil ringkasan teks yaitu extrinsic evaluation dan instrinsic evaluation. Extrinsic evaluation adalah proses penilaian hasil ringkasan berdasarkan pada fungsi tertentu, sedangkan instrinsic evaluation merupakan metode yang berdasarkan perhitungan antara sistem (peringkasan teks oleh sistem) dengan hasil ringkasan manual. Penelitian ini menggunakan metode instrinsic evaluation dengan menggabungkan metode recall (R), precision (P), dan F-Measure (F) pada hasil ringkasan oleh manusia (ringkasan manual) dengan hasil ringkasan yang dibuat oleh mesin. Berikut ini perhitungan F-Measure, precision, dan recall menurut (Baeza-Yates & Ribeiro-Neto 1999) : (5.1) asumsikan S adalah hasil ringkasan teks dari mesin dan T adalah hasil ringkasan teks manual.

3 Kalimat Semantik Asumsikan D adalah sebuah dokumen, adalah banyaknya kata dalam D, dan adalah banyaknya kalimat dalam D. Matriks kata dapat dilihat pada (5.2), dengan adalah kalimat ke-j dalam dokumen dan adalah term ke-i yang muncul didalam dokumen. Pada penelitian ini menggunakan semua keyword yang ada dalam dokumen kecuali kata-kata stoplist. A = dimana didefinisikan pada (5.3), dan adalah banyaknya kemunculan term ke-i pada kalimat. sentences frequency i merupakan banyak kalimat yang mengandung term ke-i, sedangkan merupakan ukuran diskriminan kemunculan term ke-i dalam dokumen, N adalah banyaknya kalimat dalam satu dokumen. (5.3) Perlakuan Singular Value Decomposition (SVD) diterapkan pada matriks dengan, dengan adalah matriks vektor singular kiri, adalah matriks diagonal singular value, dan adalah matriks vektor singular kanan. Fungsi utama dari SVD adalah mengurangi matriks yang besar menjadi matriks yang lebih kecil disebut sebagai reduksi dimensi. Kegunaan dari reduksi dimensi ini adalah mengurangi waktu komputasi tanpa menghilangkan makna dari matriks tersebut. Penelitian tetap mempertahankan dua dimensi sehingga nilai adalah 2. Penentuan nilai ini belum ada acuan yang jelas, dikarenakan masih dalam topik penelitian. Matriks reduksi berbentuk. Berdasarkan nilai SVD, maka pemberian skor pada kalimat dilakukan teknik (Berry & Dumais 1995), dikarenakan matriks adalah diagonal singular maka. Matrik V terdiri dari n baris, dimana baris tersebut merepresentasikan vektor kalimat, sehingga vektor kalimat dapat dilihat pada (5.4).

4 27 (5.4) Penelitian ini memodifikasi hasil Persamaan 5.4 dengan perkalian antar-matriks S*V (Baker 2005). Untuk mencari hubungan kemiripan antar kalimat digunakan Persamaan 5.5. Sehingga akan terbentuk matriks kemiripan antar-kalimat yaitu: (5.5) Vektor U merepresentasikan term yang ada pada suatu dokumen. Vektor S merupakan tingkat penciri dari matrik A. Proses pembobotan matrik A dilakukan pada tiap-tiap dokumen pelatihan dan dokumen pengujian. Proses SVD dilakukan setelah pembobotan telah dilakukan. Berikut ini contoh perhitungan kalimat semantik menggunakan proses SVD: s1 : Pengiriman emas rusak karena kebakaran s2 : Pengiriman perak tiba di sebuah truk perak s3 : Pengiriman emas tiba di truk Tabel 1 Term frequency dan inverse sentences frequency S1 s2 s3 SF ISF emas kebakaran pengiriman perak rusak tiba truk Matriks A dibentuk dari perkalian antara Pada Tabel 2 menunjukkan hasil pembobotan term pada tiap kalimat. Tahap selanjutnya adalah proses SVD dilakukan dengan tujuan mendapatkan vektor kalimat. Vektor kalimat ini yang digunakan sebagai perhitungan kemiripan antar kalimat.

5 28 Tabel 2 Pembobotan term pada kalimat Tabel 3 Vektor kalimat s1 s2 s3 emas kebakaran pengiriman perak rusak tiba truk s s s Berdasarkan vektor kalimat, dilakukan perhitungan kemiripan antar kalimat menggunakan Persamaan 5.5, sehingga terbentuk matriks kemiripan, ditunjukkan pada Tabel 4. Hasil akhir dari proses kalimat semantik adalah kalimat 1 memiliki skor terendah dan kalimat 3 memiliki skor tertinggi, sehingga makna yang didapat bahwa kalimat 3 memiliki hubungan semantik yang tinggi, sedangkan kalimat 1 memiliki hubungan semantik yang rendah. Tabel 4 Data matriks kemiripan s1 s2 s3 Total skor s s s jumlah Pemodelan Algoritme Genetika Pemodelan algoritme genetika dilakukan pada tahap pelatihan dengan lima percobaan. Pemodelan algoritme genetika dilakukan terhadap compression rate (CR) 10%, CR 20%, dan CR 30%. Tujuan dari pemodelan algoritme genetika adalah menentukan bobot yang optimal pada tiap-tiap fitur teks. Hasil dari pemodelan algoritme genetika berupa model kromosom terbaik dari CR 10%,

6 29 CR 20%, dan CR 30%. Model-model kromosom tersebut digunakan pada tahap pengujian. Pemodelan algoritme genetika terdiri beberapa bagian yaitu: 1. Representasi kromosom Salah satu komponen penting pada algoritme genetika adalah kromosom. Kromosom pada pemodelan algoritme genetika direpresentasikan sebagai gen yang berisi nilai bobot fitur teks dalam bentuk. Nilai bobot tersebut dihasilkan dari proses acak antara 0 sampai 1 dan dilakukan proses normalisasi agar jumlah bobot bernilai 1. Bentuk representasi kromosom ditunjukkan pada Gambar 14. Gambar 14 Representasi kromosom. 2. Penentuan nilai awal Penentuan nilai awal pada pemodelan algoritme genetika terdiri atas 1000 kromosom untuk tiap populasi, 250 generasi, peluang pindah silang adalah 0.88, dan peluang mutasi adalah 0.2 sedangkan penentuan peluang pindah silang dan peluang mutasi ditentukan berdasarkan eksperimental. 3. Fungsi evaluasi Pada tahap pelatihan, proses evaluasi pada algoritme genetika berfungsi sebagai evaluasi tingkat akurasi irisan antara ringkasan oleh sistem dan manual, ditunjukkan pada Persamaan 5.2. Proses fungsi evaluasi adalah sebagai berikut: - Pada satu generasi, sebuah kromosom yang berisi gen ( ) diterapkan pada setiap kalimat pada dokumen pelatihan dan pengujian. Namun pada tahap pengujian hanya digunakan model kromosom yang terbaik yang didapat pada tahap pelatihan. - Skor(S) = - Skor kalimat dilakukan pada tiap dokumen pelatihan dan pengujian, diurutkan secara descending.

7 30 - Ringkasan dari sistem berdasarkan pada proses pemampatan atau compression rate (CR) sebesar 10%, 20 %, dan 30%, artinya bahwa banyaknya kalimat pada tiap dokumen dikalikan dengan CR 10%, CR 20%, dan CR 30%. - Hasil ringkasan dari sistem dievaluasi dengan ringkasan manual (5.1), sehingga menghasilkan akurasi atau F-measure dari tiap dokumen. - F-measure pada sebuah kromosom adalah rata-rata F-measure atau nilai akurasi dari seluruh dokumen pelatihan. - Setiap satu generasi, diambil empat kromosom terbaik dan dikembalikan kedalam populasi. 4. Seleksi kromosom Proses seleksi kromosom pada pemodelan algoritme genetika didasari oleh F- measure dari tiap-tiap kromosom, bila F-measure di bawah batas minimum maka kromosom tersebut tidak akan diseleksi. Penelitian ini tidak menggunakan F- measure statis, artinya batas minimun F-measure yang diciptakan berdasarkan nilai terendah F-measure terbaik dari masing-masing generasi atau tiap iterasi. Jumlah F-measure terbaik dari masing-masing generasi ditentukan berdasarkan jumlah kromosom dibagi dengan jumlah iterasi. 5. Proses pindah silang Proses pindah silang terjadi jika peluang yang dihasilkan lebih kecil dibandingkan peluang pindah silang. Pada penelitian ini, gen yang mengalami pindah silang diantara gen nomor 1 sampai gen nomor 11 dan diseleksi secara acak. Pertukaran antar kromosom dilakukan pada titik gen yang telah diseleksi secara acak. Pertukaran antar kromosom ini bertujuan untuk mendapat kromosom yang terbaik. Nilai gen ditentukan berdasarkan nilai acak diantara nol sampai satu. Nilai gen yang mengalami pindah silang akan dinormalisasi kembali dengan tujuan menjaga nilai gen dalam kromosom berjumlah satu. Gambar 15 menunjukkan proses pindah silang antar dua induk. 6. Proses mutasi Proses mutasi terjadi jika peluang yang dihasilkan lebih kecil dibandingkan peluang mutasi. Gen yang dimutasi adalah gen yang berada diantara gen nomor 1 sampai gen nomor 11 sedangkan nilai gen ditentukan berdasarkan

8 31 nilai acak diantara nol sampai satu dan dilakukan secara acak. Mutasi gen hanya berjumlah satu. Nilai gen yang mengalami mutasi akan dinormalisasi kembali dengan tujuan menjaga nilai gen dalam kromosom berjumlah satu. Pada Gambar 16 menunjukkan diagram alir proses mutasi. Gambar 15 Diagram alir proses pindah silang antar dua induk. Gambar 16 Diagram alir proses mutasi. 7. Model kromosom terbaik Proses algoritme genetika dimulai dari penentuan nilai awal, evaluasi fitness, proses pindah silang, sampai proses mutasi. Pada penelitian ini, proses algoritme genetika berhenti jika nilai generasi telah mencapai 250, diasumsikan bahwa jika

9 32 iterasi selesai maka didapat model kromosom yang terbaik. Model kromosom terbaik ini yang akan digunakan sebagai bobot yang optimal pada tahap pengujian. Pada Tabel 5 menunjukkan hasil model kromosom terbaik pada CR 30% untuk 10 fitur dan 11 fitur. Tabel 5 Contoh model kromosom terbaik untuk CR 30% 10 fitur fitur Hasil Pengujian Model Algoritme Genetika Pengujian dilakukan sebanyak lima percobaan untuk masing-masing CR 10%, CR 20%, dan CR 30%. Hasil F-measure dihitung berdasarkan rataan dari seluruh dokumen pengujian. Pada tahap ini, pengujian dilakukan pada model kromosom terbaik pada CR 10%, CR 20%, dan CR 30% Hasil F-measure Tahap Pengujian Gambar 17 menunjukkan rata-rata F-measure pada tahap pengujian untuk masing-masing compression rate (CR 10%, CR 20%, dan CR 30%). F-measure tersebut terdiri dari F-measure yang menggunakan sepuluh fitur teks dan F- measure yang menggunakan sebelas fitur teks. Berdasarkan Gambar 17, F- measure tidak mengalami kenaikan secara signifikan di tiap compression rate. Penggunaan sepuluh fitur teks dan sebelas fitur teks pada CR 10% hanya mengalami kenaikan F-measure sebesar 3.26%, pada CR 20% mengalami penurunan sebesar 0.58%, dan CR 30% mengalami peningkatan sebesar 1.55%. Namun, rata-rata F-measure mengalami kenaikan secara linier dari CR 10% ke CR 20% sebesar 6.28%, dari CR 20% ke CR 30% sebesar 6.17%. Pada CR 30% menunjukkan tingkat akurasi paling tinggi dibandingkan dengan hasil akurasi dari CR 10%, dan CR 20%. Hal ini menunjukkan bahwa semakin besar compression rate maka nilai kemiripan hasil ringkasan sistem dengan hasil ringkasan manual semakin besar.

10 33 100% 90% 80% 70% Akurasi 60% 50% 40% 30% 20% 10% 0% 10% 20% 30% Compression rate Gambar 17 Perbandingan pengujian F-measure sepuluh fitur teks ( ) dan sebelas fitur teks ( ) pada CR 10%, CR 20%, dan CR 30% Analisa Model Kromosom Berdasarkan Gambar 17, CR 30% memiliki F-measure paling tinggi dibandingkan dengan hasil F-measure dari CR 10%, dan CR 20%. Oleh karena itu, penelitian ini melakukan analisa model kromosom menggunakan model kromosom CR 30%. Tujuan analisa model kromosom pada penelitian ini adalah menentukan bobot fitur teks yang penting didalam peringkasan teks sehingga bobot-bobot fitur teks yang tidak penting dapat diabaikan didalam peringkasan teks. Model kromosom CR 30% (lampiran 1) diilustrasikan pada Tabel 6. Pada Tabel 6, bobot tertinggi diberi nilai 10 dan bobot terendah diberi nilai 0 sehingga total maksimum bobot berjumlah 50. Tujuan ilustrasi tersebut adalah melakukan perangkingan bobot fitur teks dan menganalisa fitur-fitur teks. Berdasarkan Tabel 6, bobot tertinggi terdapat pada fitur teks kalimat yang menyerupai judul yaitu. Pada memiliki rata-rata nilai bobot yang tinggi setiap percobaan yang dilakukan pada tahap pelatihan. Artinya fitur teks kalimat yang menyerupai judul sering muncul di setiap kalimat dalam dokumen dan fitur

11 34 teks tersebut memiliki peluang tinggi untuk menentukan kalimat yang penting dalam dokumen. Oleh karena itu, fitur teks kalimat yang menyerupai judul memiliki tingkat kepentingan yang paling tinggi dalam peringkasan teks. Tabel 6 Ilustrasi nilai bobot pada model kromosom CR 30% Bobot Percobaan Jumlah total bobot Bobot (fitur teks kemiripan antar-kalimat ) merupakan nilai bobot tertinggi kedua setelah fitur teks kalimat yang menyerupai judul. Berdasarkan Tabel 6, fitur teks kemiripan antar-kalimat rata-rata memiliki nilai 9 pada tiap percobaan kecuali pada percobaan tiga. Makna skor bobot tersebut adalah fitur teks kemiripan antar-kalimat mempertimbangkan kemunculan kata dalam kalimat sama dengan kemunculan kata dalam kalimat lain sehingga keterlibatan fitur teks kemiripan antar-kalimat dalam peringkasan teks dapat memberikan kontribusi untuk menentukan kalimat yang penting dalam dokumen teks. Oleh karena itu, fitur teks kemiripan antar-kalimat merupakan bagian penting dalam peringkasan teks. Fitur teks positive keyword memiliki nilai bobot ( ) tertinggi ketiga dari sebelas fitur teks. Analisa skor bobot tersebut adalah fitur teks positive keyword

12 35 mempertimbangkan kemunculan kata di setiap kalimat dalam dokumen sehingga fitur teks tersebut memberikan kontribusi untuk menentukan kalimat yang penting dalam dokumen. Oleh karena itu, fitur teks positive keyword perlu dilibatkan dalam peringkasan teks. Fitur teks kalimat semantik dan fitur teks kalimat yang mengandung data numerik memiliki nilai bobot yang sama yaitu 28. Namun nilai bobot fitur teks kalimat yang mengandung data numerik pada percobaan tiga memiliki nilai bobot paling rendah yaitu 1, artinya stabilitas bobot relatif rendah sedangkan nilai bobot fitur tek kalimat semantik relatif stabil. Analisa dari skor bobot tersebut adalah fitur teks kalimat semantik mempertimbangkan hubungan makna semantik antar kalimat dalam dokumen sehingga fitur teks tersebut memiliki tingkat kepentingan yang tinggi dalam peringkasan teks dan penelitian ini menggunakan bobot untuk melakukan pengujian (penentuan empat fitur teks). Fitur teks seperti posisi kalimat (f1), kalimat yang mengandung nama entiti (f6), panjang kalimat (f8), koneksi antar-kalimat (f9), penjumlahan bobot koneksi antar-kalimat (f10) mempunyai peranan penting dalam peringkasan teks namun nilai bobot dari fitur-fitur teks tersebut masih dibawah nilai 25. Maknanya adalah beberapa fitur teks tersebut dapat diabaikan dalam peringkasan teks tetapi akurasi tetap dapat dipertahankan (lihat Gambar 18). Fitur teks negative keyword memiliki bobot terendah dengan ratarata nol pada setiap percobaan yang dilakukan pada tahap pelatihan. Analisa dari skor bobot tersebut adalah fitur teks negative keyword mempertimbangkan ketidakmunculan kata di setiap kalimat dalam dokumen sehingga fitur teks tersebut tidak memberikan kontribusi untuk menentukan kalimat yang penting dalam dokumen. Oleh karena itu, fitur teks negative keyword dapat diabaikan dalam peringkasan teks. Tabel 7 menunjukkan perangkingan bobot fitur teks dari bobot terbesar sampai bobot terkecil. Tujuan dari perangkingan bobot fitur teks adalah menganalisa fitur teks yang penting dalam peringkasan teks. Berdasarkan perangkingan bobot tersebut, penelitian ini melakukan pengujian dengan menggunakan dua bobot fitur teks empat bobot fitur teks

13 36, enam bobot fitur teks, delapan bobot fitur teks dan sebelas bobot fitur teks Tujuan pengujian dengan menggunakan beberapa macam fitur teks adalah menentukan jumlah fitur teks yang mewakili sebelas fitur teks namun bisa mempertahankan akurasi tetap tinggi. Tabel 7 Perangkingan bobot Ranking Bobot Fitur Teks Jumlah Bobot Gambar 18 menunjukkan kinerja fitur teks terhadap akurasi. Berdasarkan Gambar 18, penggunaan dua bobot fitur teks pada tahap pengujian menghasilkan rata-rata akurasi sebesar 41.16%, empat bobot fitur teks menghasilkan rata-rata akurasi sebesar 46.44%, enam bobot fitur teks menghasilkan rata-rata akurasi sebesar 47.12%, delapan bobot fitur teks menghasilkan rata-rata akurasi sebesar 47.20%, dan sebelas bobot fitur teks menghasilkan rata-rata akurasi sebesar 47.63%. Penggunaan empat fitur teks pada tahap pengujian meningkat 5.28% dibandingkan dengan menggunakan dua fitur teks. Namun, perbedaan tingkat akurasi dengan menggunakan enam fitur teks, delapan fitur teks, dan sebelas fitur

14 37 teks adalah sebesar 1%. Oleh karena itu, penggunaan empat fitur teks (f5, f4, f2, f11) pada tahap pengujian dapat merepresentasikan hasil akurasi dari sebelas fitur teks. 100% 90% 80% 70% Akurasi 60% 50% 40% 30% 20% 10% 0% Jumlah Fitur Teks Gambar 18 Kinerja fitur teks terhadap akurasi. 4.8 Waktu Komputasi Analisa waktu komputasi digunakan untuk mengukur waktu komputasi terhadap penggunaan jumlah fitur teks. diperlukan agar menunjukkan perbandingan waktu komputasi pemodelan algoritme genetika yang menggunakan compression rate 10%, 20% dan 30%. Penelitian ini menggunakan lima percobaan pemodelan algoritme genetika (tahap pelatihan). Perbedaan waktu running program dengan lima percobaan (tahap pelatihan) pada compression rate 10%, 20%, dan 30% dengan satuan jam. Pembentukan model kromosom dengan sebelas fitur teks pada CR 30% membutuhkan waktu

15 38 komputasi rata-rata jam, CR 20% membutuhkan waktu komputasi rata-rata jam, dan CR 10% membutuhkan waktu komputasi rata-rata 5.41 jam. Berdasarkan Gambar 19, dua bobot fitur teks terhadap akurasi memerlukan waktu komputasi rata-rata 256 detik, empat bobot fitur teks memerlukan waktu komputasi rata-rata detik, enam bobot fitur teks membutuhkan waktu komputasi rata-rata detik, delapan bobot fitur teks memerlukan waktu komputasi rata-rata detik, dan sebelas bobot fitur teks membutuhkan waktu komputasi rata-rata detik. Selisih waktu komputasi dengan menggunakan dua fitur teks dan empat fitur teks adalah detik, artinya terjadi kenaikan secara signifikan dengan menggunakan empat fitur teks. Kenaikan waktu komputasi tersebut disebabkan karena empat fitur teks tersebut menggunakan fitur teks tambahan yaitu kalimat semantik. Waktu komputasi untuk fitur teks kalimat semantik membutuhkan rata-rata 300 detik Waktu (detik) Jumlah Fitur Teks Gambar 19 Jumlah fitur teks terhadap waktu akurasi.