INTEGRASI PEMBOBOTAN TF-IDF PADA METODE K-MEANS UNTUK CLUSTERING DOKUMEN TEKS

Transkripsi

1 INTEGRASI PEMBOBOTAN TF-IDF PADA METODE K-MEANS UNTUK CLUSTERING DOKUMEN TEKS Deddy Wijaya Sulianoro 1, *), Irya Wisnubhadra 2) dan Ernawai 3) 1) Magiser Teknik Informaika, Universias Ama Jaya Yogyakara Gedung Bonavenura Kampus III, Jl. Babarsari 43, Yogyakara Telp : ex 3208, dzedzdzy@gmail.com 2) Magiser Teknik Informaika, Universias Ama Jaya Yogyakara 3) Magiser Teknik Informaika, Universias Ama Jaya Yogyakara ABSTRAK Pada era eknologi informasi seperi saa ini, dokumen eks, beria, dan jurnal-jurnal sudah cenderung ersimpan dalam forma digial karena mudah dan cepa dalam penyimpanan. Terlalu banyaknya dokumen eks yang ersimpan dalam kompuer membua pencarian informasi menjadi suli. Kesulian dalam pencarian informasi yang sesuai dengan kebuuhan seringkali menjadi penghamba proses pembelajaran. Pengelompokan daa ( clusering) menjadi salah sau solusi unuk mengorganisasi dokumen-dokumen eks digial yang berjumlah besar. Meode k-means clusering, dipadukan dengan pemboboan TF-IDF yang diimplemenasikan ke dalam sebuah aplikasi pengelompokan dokumen dapa melakukan proses clusering dokumen eks secara oomais sehingga menghema waku unuk mengelompokkan dokumen secara manual. Hasil proses clusering dari aplikasi pengelompokan dokumen ini menunjukkan ingka presisi yang inggi dalam mengelompokkan dokumen-dokumen berdasarkan isi dokumen ersebu sehingga diyakini mampu membanu proses pencarian informasi dari daa yang erlalu banyak. Kaa kunci: clusering, k-means, TF-IDF, dokumen eks PENDAHULUAN Dengan banyaknya dokumen eks seperi jurnal, buku, dan beria yang sudah ersimpan secara digial, muncul permasalahan dimana informasi yang adinya ersedia dengan baik menjadi kabur/hilang karena erlalu banyak dokumen/berkas yang ersimpan dalam media penyimpanan digial. Imbasnya, proses mencari informasi erenu yang dibuuhkan dari berkas-berkas ersebu menjadi makin suli dan lama. Masalah lain akan erjadi keika seiap dokumen ersebu ingin dikaegorikan ke dalam kelas-kelas erenu, karena harus diliha, dibaca, dan dipahami isi iap dokumen dalam korpus, barulah bisa dienukan kelas-kelas bagi dokumen dan membagi dokumen dalam kelas ersebu. Sebuah kajian ilmu yang bernama Informaion Rerieval (IR) memunculkan beberapa meodologi yang memudahkan pencarian informasi dari sejumlah besar dokumen digial, salah saunya adalah dengan proses clusering/classificaion, yaiu pengelompokan daa/berkas berbasis eks berdasarkan kemiripannya. Beberapa meode clusering elah dikembangkan unuk mengelompokkan daa ersrukur sejenis relaional daabase seperi k-means, decision ree, Naïve Bayes, dan sebagainya. Salah sau meode clusering, k-means, erkenal simpel dan cepa dalam perhiungannya (Arhur, 2006), sera menjadi dasar pengembangan meode clusering yang C-1-1

2 lain (Kanungo, 2002; Bhaia, 2004; Pham, 2004, Mahdavi, 2008; Tarpey 2007). Meode k- Means yang dipadukan dengan pemboboan TF-IDF menjadi solusi unuk pengelompokan daa ak ersrukur seperi dokumen eks secara oomais. Peneliian ini bermaksud menggabungkan dan mengevaluasi kinerja perpaduan meode k-means dan TF-IDF dalam proses clusering dokumen eks ke dalam suau aplikasi clusering dokumen eks digial. Aplikasi ini diharapkan mampu melakukan klasifikasi secara oomais bagi dokumen-dokumen dalam korpus. Bagian kedua akan menjelaskan enang meode k-means clusering. Selanjunya, konsep TF- IDF dan normalisasinya dijelaskan pada bagian keiga. Bagian keempa adalah merupakan konsribusi uama dari paper ini, yaiu memperkenalkan inegrasi pemboboan TF-IDF ke meode k-means clusering besera hasil pengujian dan peneliian yang elah dilakukan. METODE TF-IDF (erms frequency inverse documen frequency) Meode TF-IDF (Roberson, 2004) merupakan suau cara unuk memberikan bobo hubungan suau kaa (oken) erhadap suau dokumen. Meode ini menggabungkan dua konsep dalam perhiungan bobo yaiu, frekuensi kemunculan sebuah kaa di dalam sebuah dokumen dan inverse dari frekuensi dokumen yang mengandung kaa ersebu. Frekuensi dokumen yang mengandung kaa ersebu menunjukkan seberapa umum kaa ersebu. Bobo hubungan anara sebuah kaa dan sebuah dokumen akan inggi apabila frekuensi kaa ersebu inggi didalam dokumen dan frekuensi keseluruhan dokumen yang mengandung kaa ersebu yang rendah pada kumpulan dokumen (daabase). Rumus umum unuk pemboboan TF-IDF: w w f idf (1) N f log( ) (2) df Keerangan: w = bobo kaa/oken erhadap dokumen dd f = jumlah kemunculan kaa/oken dalam dokumen dd N = jumlah semua dokumen dalam daabase df = jumlah dokumen yang mengandung kaa/oken Berdasarkan rumus (2), berapapun besarnya nilai f, apabila N = df dimana sebuah kaa/oken muncul di semua dokumen, maka akan didapakan hasil 0 (nol) unuk perhiungan idf, sehingga perhiungan bobonya diubah menjadi sebagai beriku: N w f (log( ) 1) (3) df Rumus (3) dapa dinormalisasi dengan rumus (4) dengan ujuan mensandarisasi nilai bobo (w) ke dalam inerval 0 s.d. 1, seperi yang diulis oleh Inan (2006): C-1-2

3 w ( f k 1 f (log( N df ) 2 (log( ) 1) N df ) 1) 2 (4) Tabel 1. Conoh daa Term Frequency Doc Token f D1 1 1 D1 2 2 D1 3 4 D2 1 1 D2 2 2 D2 3 3 D3 1 2 D3 2 3 D3 3 4 Sebagai conoh menghiung normalisasi TF-IDF oken 1 pada dokumen D1 di abel 1 dapa dilakukan dengan menggunakan rumus (4) sebagai beriku: N = 3, f11 = 1, dan df1 = 3, sehingga: idf 3 1 (log ) 1) w ((1 1 ) (2 1 ) (4 1 )) 1 w w Tabel 2. Hasil normalisasi TF-IDF Doc Token f w D D D D D D D D D Dapa diliha pada hasil perhiungan normalisasi TF-IDF di Tabel 2, semakin sediki sebuah kaa/oken diemukan dalam dokumen di daabase dan semakin banyak oken ersebu diemukan dalam sebuah dokumen, maka bobo hubungan anara oken erhadap dokumen akan semakin besar. C-1-3

4 K-MEANS CLUSTERING K-Means clusering (Llyoid, 1982) merupakan meode clusering/pengelompokan daa yang erkenal simpel dan cepa (Arhur, 2006). k-means clusering adalah meode clusering yang mengelompokkan semua daa yang dimiliki ke dalam k cluser, dimana nilai k sudah dienukan sebelumnya. k-means mengelompokkan daa berdasarkan jarak vekor/parameer dari iap daa ke vekor/parameer dari pusa cluser (cenroid) yang sudah dienukan sebanyak k, dan mengelompokkan daa-daa ke pusa cluser yang erdeka. Gambar 1. Ilusrasi proses k-means clusering Algorima dari meode k-means iu seperi yang digambarkan pada Gambar 1 adalah sebagai beriku: a. Pilih secara acak vekor daa yang akan digunakan sebagai cenroid awal sebanyak k. b. Cari cenroid yang paling deka dari seiap daa dengan cara menghiung jarak seiap daa dengan seiap cenroid cluser. c. Hiung ulang unuk menenukan cenroid baru dari seiap cluser dengan menghiung raa-raa nilai vekor semua daa dalam cluser ersebu. d. Lakukan langkah b dan c hingga cenroid idak mengalami perubahan lagi (Tidak ada daa yang berpindah cluser lagi) aau perubahan cenroid lebih kecil dari nilai error/hreshold yang dieapkan. Dalam menenukan jarak anara sebuah daa dengan cenroid sebuah cluser, digunakan rumus euclidean disance seperi pada rumus (5). d ij 2 2 ( xi1 x j1 xi2 x j 2...) (5) Keerangan: dij = jarak dari daa i erhadap daa j xi(n) = nilai vekor ke-n pada daa i = nilai vekor ke-n pada daa i xj(n) INTEGRASI TF-IDF DALAM K-MEANS CLUSTERING Menginegrasikan pemboboan TF-IDF ke dalam k-means clusering dilakukan dengan cara menggunakan nilai w (bobo oken) yang didapa dalam perhiungan TF-IDF sebagai vekor/parameer dalam proses clusering menggunakan k-means clusering, sehingga banyaknya vekor daa akan didapa dari jumlah oken unik di dalam kamus oken ( lexicon) seluruh dokumen dalam daabase. Beriku ini diberikan conoh penerapan k-means clusering yang diinegrasikan dengan pemboboan TF-IDF seperi yang sudah dijelaskan sebelumnya unuk mempermudah pemahaman. Sebagai sampel, erdapa 4 buah dokumen sebagai beriku yang akan dikelompokkan ke dalam 2 cluser: C-1-4

5 D1 D2 D3 D4 : Shipmen of gold damage in a fire : Delivery of silver arrived in a silver ruck : Shipmen of gold arrived in a ruck : Silver ruck arrived in he silver ciy Nilai k adalah 2 dan cenroid awal dileakkan secara acak, dalam conoh ini, cenroid 1 dileakkan pada dokumen D1 dan cenroid 2 pada dokumen D2. Berdasarkan daa sampel di aas, perama-ama dilakukan proses pembangunan indeks unuk membenuk lexicon (kamus oken) dan pemboboan dengan TF-IDF hingga didapa nilai w (bobo) sesuai dengan rumus TF-IDF sandar yang belum dinormalisasi seperi pada rumus (2). Beriku ini diberikan lexicon yang erbenuk dan conoh perhiungan unuk oken shipmen. Token shipmen dimiliki oleh Dokumen D1 sebanyak 1, dan dokumen D3 sebanyak 1. Jadi df unuk oken shipmen adalah 2. Hasil perhiungan f dan idf diunjukkan pada Tabel 3. Tabel 3. Tabel perhiungan f dan idf f,d1 f,d2 f,d3 f,d4 idf df shipmen of gold damage in a fire delivery silver arrived ruck he ciy Seelah dikeahui nilai f, df, dan idf unuk masing-masing dokumen dan masingmasing oken, kemudian dihiung nilai w unuk iap oken dalam iap dokumen. Conoh perhiungan: wsilver, D2 f silver, D2 w silver, D2 2 w silver, D idf silver Hasil perhiungan keseluruhannya erliha pada Tabel 4. C-1-5

6 Tabel 4. Tabel w (bobo oken) w,d1 w,d2 w,d3 w,d4 shipmen of gold damage in a fire delivery silver arrived ruck he ciy Dengan daa pemboboan ersebu, maka dapa dihiung jarak anara masing-masing dokumen dengan masing-masing cenroid menggunakan rumus euclidean disance. Hasil perhiungannya diunjukkan pada Tabel 3. Tabel 3. perhiungan jarak dokumen dengan cenroid Dokumen Cenroid Jarak D1 Cenroid 1 0 D1 Cenroid D2 Cenroid D2 Cenroid 2 0 D3 Cenroid D3 Cenroid D4 Cenroid D4 Cenroid Diliha dari hasil perhiungan ersebu, dokumen D1 dan D3 masuk ke cluser 1, sedangkan dokumen D2 dan D4 masuk ke cluser 2. Kemudian cenroid 1 dan 2 dihiung kembali dengan cara menghiung raa-raa nilai w unuk iap oken dari iap dokumen dalam cluser masing-masing. Seelah nilai cenroid baru dihasilkan, maka dilakukan perulangan unuk menenukan cluser baru dari iap dokumen. Proses akan berulang erus sampai idak ada lagi dokumen yang berpindah cluser. HASIL DAN PEMBAHASAN Seelah membangun sebuah perangka lunak yang mengimplemenasikan k-means clusering yang dipadukan dengan pemboboan TF-IDF, dilakukan sejumlah percobaan dengan beberapa jenis dokumen yang berbeda. Jenis dokumen yang digunakan dalam pengujian ini adalah dokumen eks beria yang didownload dari sius beria kompas yang dikopikan ke dalam file plain ex (.x). C-1-6

7 Nilai w yang dihasilkan dari rumus (2) ernyaa menunj ukkan hasil clusering yang idak baik. Terjadi anomali hasil clusering dimana hampir seluruh dokumen masuk ke dalam sau cluser erenu saja. Namun seelah perhiungan w menggunakan rumus normalisasi TF- IDF, maka hasil clusering menunjukkan peningkaan presisi. Percobaan juga dilakukan pada perubahan nilai cenroid awal. Dari percobaan ersebu didapakan bahwa unuk cenroid awal yang berbeda, akan dihasilkan cluser yang berbeda pula. Pengujian akurasi dilakukan dengan parameer precision dan recall (Buckland, 1994). Nilai precision didapa dari meliha berapa persen dokumen dalam suau cluser yang masuk ke cluser yang benar, sedangkan nilai recall didapa dari berapa persen dokumen yang seharusnya masuk ke dalam sau cluser benar-benar berada di cluser ersebu. Cluser Cluser 1 (ekonomi) Cluser 2 (poliik-hukum) Cluser 3 (olahraga) Jumlah Dokumen 13 dokumen 18 dokumen Tabel 4. Hasil Pengujian Clusering Isi Cluser P R 11 beria ekonomi, 2 beria poliik-hukum 13 beria poliik-hukum, 4 beria ekonomi, dan 1 beria olahraga 85% 73% 72% 87% 14 dokumen 14 beria olahraga 100% 93% Conoh perhiungan nilai precision dan recall dari hasil pengujian yang diunjukkan oleh Tabel 4 adalah: Pada cluser 1, dari 13 dokumen yang masuk, 11 dokumen adalah beria ekonomi dan sisanya adalah 2 beria poliik hukum, sehingga didapa nilai precision adalah 11/13 = 0.85 = 85%, sedangkan nilai recall-nya didapa dari 11 beria ekonomi yang masuk ke cluser 1 dibagi dengan 15 beria ekonomi yang seharusnya masuk semua ke cluser 1. 11/15 = 0.73 = 73%. Tingka precision dan recall yang didapa dari percobaan-percobaan lain yang sudah dilakukan cukup inggi (di aas 50%). Hasil percobaan juga menunjukkan bahwa semakin besar jumlah dokumen dalam daabase, semakin inggi pula raa-raa precision dan recall dari hasil clusering yang dilakukan. Raa-raa nilai precision dan recall dari iap pengujian diunjukkan pada Tabel 5. Tabel 5. Raa-raa nilai precision dan recall Jumlah dokumen dalam korpus (N) Raa-raa Precision (%) Raa-raa Recall (%) 6 dokumen sampel 68,2 66,4 20 beria olahraga 75,25 80,5 20 beria umum 75,3 73,3 45 beria umum 85,6 84,3 Proses clusering yang dilakukan oleh sisem juga idak memakan waku lama. Pada saa uji coba dengan 45 dokumen dalam korpus, sisem hanya membuuhkan waku 3 meni unuk melakukan clusering meskipun membuuhkan waku sampai 3 jam dalam melakukan proses penghiungan w (bobo) oken dari seluruh dokumen dalam daabase. C-1-7

8 KESIMPULAN DAN SARAN Dengan ingka precision dan recall inggi yang dihasilkan dan waku kerja yang relaif singka oleh sisem yang mengimplemenasikan meode k-means clusering yang dipadukan dengan pemboboan TF-IDF, maka meode ini cocok digunakan unuk clusering dokumen eks. Pengembangan peneliian ini dapa dilakukan pada jenis dokumen berbeda sera penggunaan meode pemboboan yang lain. DAFTAR PUSTAKA Arhur, D. dan Vassilviskii, S. (2006) How Slow is he k-means Mehod, Sanford Universiy, Sanford, CA. Kanungo, T., Moun, D. M., Nehanyahu N. S., Piako, C. D., Silverman R., Wu A. Y. (2002) An Efficien k-means clusering Algorihm: Analysis and Implemenaion, IEEE Transacions on Paern Analysis and Machine Inelligence. Bhaia, S. K. (2004) Adapive K-Means clusering, Deparmen of Mahemaics & Compuer Science, Universiy of Missouri S. Louis. Pham, D. T., Dimov S. S., dan Nguyen C. D. (2004) An Incremenal k-means Algorihm, Proceedings of he Insiuion of Mechanical Engineers; Jul 2004; 218, 7; ProQues Science Journals. Mahdavi, M. dan Abolhassani H. (2008) Harmony k-means Algorihm for Documen clusering, Springer Science+Business Media, LLC Tarpey, T. (2007) A Parameric k-means Algorihm, Springer Verlag 2007, Compuaional Saisic 22: Ramos, J. (2010) Using TF-IDF o Deermine Word Relevance in Documen Queries, Deparmen of Compuer Science, Rugers Universiy, Piscaaway. Roberson, S. (2004). Undersanding Inverse Documen Frequency: On Theoriical Argumens for IDF, Journal of Documenaion; 2004; 60, 5; ABI/INFORM Global. Inan, R. dan Defeng, A. (2006). Subjec Based Search Engine Menggunakan TF-IDF dan Jaccard s Coefficien, Universias Krisen Pera, Surabaya. Lloyd., S. P. (1982). Leas squares quanizaion in PCM. IEEE Transacions on Informaion Theory 28 (2): doi: /tit Buckland, M. dan Gey F. (1994) The Relaion beween Recall and Precision, Journal of he American Sociey for Informaion Science ( ); Jan 1994; 45, 1; ABI/INFORM Global pg. 12. C-1-8