PERBANDINGAN FEATURE KATA DAN FRASA DALAM KINERJA CLUSTERING DOKUMEN TEKS BERBAHASA INDONESIA

Transkripsi

1 PERBANDINGAN FEATURE KATA DAN FRASA DALAM KINERJA CLUSTERING DOKUMEN TEKS BERBAHASA INDONESIA Amir Hamzah 1, Adhi Susano, F.Soesiano, Jazi Eko Isyano 3 1 Insiu Sains dan Teknologi AKPRIND, Jalan Kalisahak 8, Yogyakara 55 Telepon: (074)-56309; Fax: (074) amir@akprind.ac.id Universias Gadah Mada, Jurusan Tekni k Elekro, Jalan Grafika Yogyayakara 5581 Phone: (6) ; se@e.ugm.ac.id 3 Universias Gadah Mada, Jurusan Fisika,Yogyakara azi@ugm.ac.id ABSTRACT Tex documen clusering has been inensively sudied because of is imporan role in ex-mining and informaion rerieval. High dimensionaliy problem caused by high number of words is always happened in word-based clusering echnique using vecor space model. Alhough exracing words in he preprocessing phase is simple, he collecion iself is no only can be viewed as a se of words bu also a se of parly more han one word phrase. Separaing a phrase ino is pars can eliminae he acual meaning of phrase. Therefore in order o mainain he conex of words a phrase mus be mainain as a phrase. I is assumed ha by adding phrases o words as feaures in clusering will improve he performance. This paper will sudy he comparison of word-base and phrase-based clusering. Three clusering models was chosen i.e. hierachical, parional and hybrid model. Four similariy echnique i.e. GroupAverage, CompleeLink, SingleLink, and CluserCener was ried for hierarchical, K-Means and Bisecing K-Mean for parional and bucksho for hybrid. Documen collecions from news ex ha has been caegorized manually was used o es hese algorihms by using F-measure as crieria of clusering performance. This value was derived from Recall and Precision and can be used o measure he performance of he algorihms o correcly classify he collecions. Resuls show ha by adding phrases or simply word pair, alhough i s sill no saisically significan, i slighly improves he performance of clusering. Keywords: word-base documen clusering, phrase-based documen clusering, clusering performance 1. INTRODUCTION Clusering dokumen eks menduduki posisi pening dalam ex daa mining dan ex informaion rerieval. Hal ini karena dengan inensifnya eknologi digial dalam manaemen menyebabkan koleksi dokumen meningka eksponensial. Saa ini dalam web lebih dari 16 Milyar dokumen eks dikoleksi google [18]. Diperkirakan bahwa sebagian besar informasi dalam suau perusahaan adalah eks. Hal ini mendorong kebuuhan rise unuk elaborasi koleksi eks (ex-mining) dan rise unuk opimalisasi mesin pencari informasi (IR-sysem). Dalam model ruang vekor dimana koleksi dokumen diwakili oleh marik kaa-dokumen dan sebuah dokumen diwakili oleh sebuah vekor dalam ruang dimensi, dengan umlah kaa dalam koleksi dokumen ersebu, umum diumpai bahwa dimensi sanga inggi [5]. Dalam dimensi inggi arak anar iik akan cenderung bernilai sama [1]. Hal ini berakiba algorima clusering yang berumpu pada fungsi arak menghasilkan solusi yang bias. Reduksi dimensi ruang vekor dapa diempuh pada ahap clusering aau ahap pre-processing. Pada ahap clusering reduksi diempuh dengan pendekaan misalnya proeced clusering [1], analisis SVD aau PCA [9]. Reduksi ahap pre-processing diempuh anara lain dengan seleksi kaa [6][11]. Kaa yang erlalu inggi frekuensinya dibuang dengan cara sop-word removal, yaiu membuang kaa seperi dan, ini, iu, dengan dan lain-lain. Sedang kaa frekuensi rendah dibuang dengan baas suau reshold erenu. Cara baku lain reduksi dimensi dalam ahap pre-processing adalah dengan semming kaa [16][10], yaiu mengembalikan kaa ke dalam kaa dasarnya. Dalam model bag of word koleksi dokumen hanya diandaikan sebagai koleksi kaa, padahal pada kenyaaannya dalam dokumen sanga mungkin ada banyak frasa yang ersusun dari dua kaa seperi pasar modal, kambing hiam, aau frasa iga kaa seperi erapi usuk arum. Memisahkan semua frasa menadi inggal kaa-kaa penyusunnya bisa berakiba makna kaa menyimpang auh dari koneks sebenarnya. Oleh karena iu edealnya feaure adalah kaa dan frasa, seperi yang bukikan oleh [0] bahwa feaure frasa lebih baik dalam kinera pembeda dokumen. Tidak seperi eksraksi kaa dari dokumen yang secara eknis sanga mudah, eksraksi frasa memerlukan algorima yang idak mudah. Dalam dokumen bahasa inggris rise dalam bidang eksraksi frasa dari dokumen eks elah banyak dilakukan, anara lain oleh [8][14]. Sayangnya dalam eks bahasa indonesia rise seperi ini belum banyak dilakukan karena rise bidang kompuasi linguisik masih sanga minim [15]. Peneliian ini B-53

2 dimaksudkan sebagai peneliian awal unuk eksraksi kaa dari dokumen eks menggunakan eknik saisik pasangan kaa. Selanunya pengaruh frasa yang dieksraksi dalam kinera clusering dokumen eks berbahasa indonesia akan dilakukan.. LANDASAN TEORI 4.1 Model Ruang Vekor Unuk Koleksi Dokumen Model ruang vekor unuk koleksi dokumen mengandaikan dokumen sebagai sebuah vekor dalam ruang kaa (feaure). Klusering dokumen dipandang sebagai pengelompokan vekor berdasarkan suau fungsi similariy anar dua vekor ersebu. Jika koleksi n buah dokumen dapa diindeks oleh buah erm/feaure maka suau dokumen dapa dipandang sebagai vekor berdimensi dalam ruang erm ersebu. Dengan demikian koleksi dokumen dapa diuliskan sebagai marik kaa-dokumen X, yang dapa diulis : X = {x i } i= 1,,.. ; =1,,.. n (1) x i adalah bobo erm i dalam dokumen ke Menuru Luhn [13], kekuaan pembeda erkai dengan frekuensi erm (erm-frequency, f). Term yang memiliki kekuaan diskriminasi adalah erm dengan frekuensi sedang. Pemoongan erm dengan frekuensi inggi dilakukan dengan membuang sop-word, seperi ini, iu, yang, yaiu dan lain-lain yang dapa mengurangi frekuensi feaure 30 sampai 40 persen [16 ]. Pemboboan dasar dilakukan dengan menghiung frekuensi kemunculan erm dalam dokumen karena dipercaya bahwa frekuensi kemunculan erm merupakan peunuk seauh mana erm ersebu mewakili isi dokumen. Menuru Luhn [13], kekuaan pembeda erkai dengan frekuensi erm (erm-frequency, f), di mana erm yang memiliki kekuaan diskriminasi adalah erm dengan frekuensi sedang. Memperimbangkan panang dokumen dan kemunculan erm dalam dokumen pemboboan baku yang digunakan adalah ermferkeunsi invers-documen freqeuency (TF-IDF) [17] sebagai beriku: Kesamaan anara dokumen D i dengan dokumen D umumnya diukur dengan fungsi similarias erenu. Menuru [3] unuk uuan clusering dokumen fungsi yang baik adalah fungsi similarias Cosine, beriku: Cosine-sim(D i,d )= D D () i= 1 ( Di ) i= 1 i= 1 i ( D ) Jika vekor Di dan D masing-masing ernormalisasi sehingga masing-masing panangnya sau, maka fungsi cosine menadi: Cosine-sim(D i,d ) = D D (3) i i= 1 4. Feaure kaa dan feaure frasa Secara umum feaure yang digunakan unuk mewakili dokumen dalam model raung vekor adalah kaa. Hal ini karena eksraksi kaa dari dokumen relaif mudah, yaiu hanya mendeeksi derean karaker yang diakhiri dengan spasi. Jika dirancang bahwa angka idak merupakan bagian dari kaa maka dalam bahasa Indonesia karaker khusus yang mewakili kaa hanya anda hypen ( - ), yang menunukkan kaa ulang, selainnya adalah karaker abad. Peneliian unuk eks bahasa inggris yang melibakan frasa menunukkan bahwa melibakan frasa dalam feaure dapa meningkakna kinera clusering [0]. Peneliian enang deeksi dan eksraksi frasa dalam bahasa Inggris uga elah cukup banyak dilakukan [8]. Meode seleksi beragam mulai dengan pendekaan saisik sampai pendekaan naural language processing (NLP). Unuk kasus bahasa Indonesia peneliian di bidang ini masih sanga minim [15]. Dengan laar belakang iu dalam peneliian ini frasa didefinisikan sebagai dua kaa yang saling berdekaan yang memiliki makna erenu yang bisa berbeda dengan makna kaa-kaa unggalnya, misalnya kambing hiam. Teknik eksraksi kaa diempuh dengan cara sederhana yaiu melakukan penghiungan frekuensi kemunculan dari pasangan dua kaa. Selanunya seperi pada kaa seelah dibaasi frekuensi minimal kemunculan, analisis variansi frekuensi dilakukan unuk melakukan seleksi. sebagai persamaan beriku [5][6]: ni ni q i ()= 1 f f (4) = 1 ni = 1 dengan q i adalah variansi ika frekuensi minimal kaa/frasa muncul dalam analisis adalah i (i=0,1,,...). 4.3 Clusering Dokumen Clusering didefinisikan sebagai upaya pengelompokan daa ke dalam kluser sehingga daadaa didalam kluser yang sama memiliki lebih kesamaan dibandingkan dengan daa-daa pada kluser yang berbeda [8]. Dikenal dua pendekaan, yaiu herarchical dan parisional dengan masingmasing memiliki banyak variasi. Meode Hierarchi Agglomeraive unuk Clusering dokumen Meode klusering secara aglomeraive berawal dari n= cacah dokumen sebagai cluser. Dengan menggunakan fungsi similarias anar kluser kemudian proses penggabungan kluser erdeka dilakukan. Ukuran similarias anar kluser anara lain, misalnya: UPGMA CST dan IST Single Link, Complee Link [5][7]. Beriku ini ringkasan masing-masing eknik ersebu: Unweighed Pair Group Mehod Average similariy (UPGMA): Similarias dua kluser B-54

3 diukur dengan raa-raa hiung similarias anar seluruh pasangan iik anara kedua kluser. Cenorid- Similariy Technique(CIST): Jarak anar kluser dienukan dengan arak anar pusa kluser. Inra-Cluser Similariy (IST): Dua kluser digabungkan ika selisih similarias dua cluser gabungan dengan similarias masing-masing kluser adalah maksimal. Single Link (SL): arak erbaik dua kluser diwakili oleh arak erdeka (similarias eringgi) dari dua iik dari dua kluser. Complee Link(CL): arak erbaik dua kluser diwakili oleh arak erauh (similarias erendah) dari dua iik dari dua kluser. Secara eknis masukan bagi algorima hierarchical clusering adalah mariks similarias anar dokumen yang berukuran NxN. Ierasi yang seiap ahapnya melakukan penggabungan kluser dilakukan dengan melakukan updae pada marik similarias. Hal inilah yang menyebabkan algorima ini memiliki kompleksias waku dan ruang O(N ). K-Means Clusering Algorima K-means clusering merupakan algorima ieraif dengan meminimalkan umlah kuadra error anara vekor obek dengan pusa kluser erdekanya [7], yaiu: k = 1 x π x m (5) di mana m adalah pusa kluser (mean vecor) dalam kluser ke. Proses dimulai dengan mula-mula memilih secara random k buah dokumen sebagai pusa kluser awal. Bisecing K-Means Clusering Meode Bisecing K-means [16] mencoba menggabungkan pendekaan pariional dengan divisive hierarchi, yaiu mula-mula seluruh dokumen dibagi dua dengan cara K-means (bisecing-sep). Selanunya cara iu dikenakan pada iap-iap kluser sampai diperoleh K buah kluser. Bucksho Clusering Algorima Bucksho menggunakan pendekaan hierarchie agglomeraive unuk mendapakan k buah vekor sebagai pusa kluser awal. Langkah Bucksho mula-mula mengambil sampel acak sebesar kn dokumen, dikluser dengan prosedur hierarchie agglomeraive unuk mendapakan k buah kluser. Selanunya dari parisi awal Bucksho proses refinemen dilakukan sebagaimana dalam K-means clusering [4]. 4.4 Validias Clusering (Cluser validiy) Validias yang digunakan diurunkan dari Confusion Marix yaiu mariks yang disusun berdasarkan berapa banyak obek yang diklasifikasikan dengan benar oleh proses clusering. Parameer kualias clusering yang dapa diurunkan dari confusion marix yang umum digunakan unuk documen clsuering adalah F-measure (persamaan (5)). F-measure = PR P + R (6) 3. EKSPERIMEN Koleksi dokumen yang digunakan unuk eksperimen adalah koleksi yang diambil dari koleksi Asian [] dikemas menadi 5 koleksi yang masingmasing elah dikluser secara manual. Saisik koleksi es ersai dalam Tabel 1. Tabel 1. Koleksi Dokumen Unuk Penguian algorima clusering Colec Name doc clus Clus Size uniq Word avg word/ doc T Sama T Beda T Beda T Beda T Beda Seiap koleksi erdiri dari seumlah dokumen dengan forma seiap dokumen seperi gambar 1. <DOC> <DOCNO>news035-hml</DOCNO> banyaknya calha kalsel bukan indikaor membaiknya perekono mian... </DOC> Gambar 1. Forma koleksi dokumen unuk Tes Proses pre-processing berupa eksrak kaa, frasa, kompuasi saisik frekuensi sampai dengan penyusunan marik dilakukan dengan kode program JAVA (dk1.4.). Frase dalam eksperimen ini adalah dua buah kaa yang muncul berdampingan dengan frekuensi erenu. Selanunya diuikan meodemeode clusering yaiu : meode hierarchi aglomeraive (sraegi similarias: Single Link, Complee Link, Group Average, cenroid similariy, inra cluser similariy), meode pariional (Kmeans, bisecing k-means, Bucksho). Program dirancang dengan scrip MATLAB. Hasil penguian kinera feaure kaa dan frasa diukur melalui nilai F-measure yang membandingkan feaure kaa saa, frasa saa dan feaure campuran. Ui saisik hasil dengan ui wilcoxon sign-rank unuk pengamaan berpasangan. 4. HASIL DAN PEMBAHASAN Pada semua koleksi dilakukan pre-processing dengan baas minimal nilai erenu. Dienukan 3 B-55

4 macam penggunaan feaure, yaiu campuran, kaa saa dan frasa saa. Selanunya clusering dilakukan dengan 100% feaure yang didapa dengan pembaasan minimal ersebu. Seleksi feaure dengan prosenase 0%,15%,10% dan 5% dengan analisis varian frekuensi kemunculan uga dilakukan. Saisik feaure berdasarkan hreshold minimal pada koleksi ersai dalam Tabel. Perbandingan Feaure Kaa+Frasa dengan Kaa Frasa didefinisikan sebagai pasangan dua kaa yang beruruan dalam eks yang sering muncul. Asumsinya ika dua kaa ersebu merupakan frasa maka kemungkinan besar frekeunsi kemunculannya cukup inggi karena ika pasangan kaa ersebu acak maka kemunculannya akan rendah sehingga ia akan dominan pada frekuensi rendah. Hal ini dapa didielaskan pada pola kemunculan kaa dan pasangan kaa yang sama pada seluruh koleksi, salah saunya unuk koleksi 00 kaa seperi dalam Tabel 3 Gambar. Tabel. Saisik Kaa+Frasa, Kaa dan Frasa Kol Min f Σ K+Fr Σ Kaa Σ Frasa T T T T T Tabel 3. Saisik frekuensi erm 00 dokumen Kaa dan Pas Kaa Hanya Kaa % Pas Kaa ToFreq 8,106 1, % Freq=1 19,694 16, % Freq= 3,981, % Freq=3 1, % Freq= % Freq= % Freq>5 1, % Terliha dari able 3 dan Gambar bahwa diaas frekuensi 5 pasangan kaa hanya 15% dari campuran kaa dan pasangan kaa. Frequency Word Analysis (00 Dok) ToFreq Freq=1 Freq= Freq=3 Freq=4 Freq=5 Word Frequency Freq>5 Kaa+ Frasa Frasa saa Gambar. Frekuensi Kaa+Frasa dengan Frasa Analisis kinera clusering berdasar nilai F- measure menggunakan seluruh meode dilakukan pada iap koleksi. Perbandingan dilakukan anara feaure campuran (Kaa+Frasa) dan feaure hanya kaa. Pada koleksi T00 (00 dokumen) hasil perbandingan ersai pada Tabel 4. Karena sempinya ruang perbandingan unuk koleksi T300,T400, T500 dan T800 idak diampilkan dan hanya akan diampilkan hasil ui saisik perbandingan kinera ersebu. Terliha dari Tabel 4 bahwa kinera cluering pada berbagai meode erkadang unggul unuk feaure kaa+frasa dan kadang unggul unuk kaa saa. Pola seperi ini eradi idak hanya pada koleksi T00 eapi pada semua koleksi yang diuikan. Secara raa-raa feaure campuran bernilai lebih inggi dari feaure kaa saa, eapi dari ui saisika rank wilcoxon unuk sampel berpasangan menghasilkan ui beda idak signifikan pada seluruh koleksi yang diui ( Tabel 5). Semua menghasilkan ui non-sig, yang berari belum dapa dikaakan bahwa ada perbedaan kinera clusering karena penambahan pasangan kaa pada feaure kaa. Tabel 4. Perbandingan kinera clusering dengan feaure Kaa dan Kaa+Frasa diukur dari F-Measure unuk koleksi dokumen 00 dokumen 100% erm 0% erm 15 % erm 10% erm 5% erm Meode K+Frs Kaa K+Frs Kaa K+Frs Kaa K+Frs Kaa K+Frs Kaa hcaupgma hcacst hcaist hcasl hcacl spherekm biseckm bucksho Raa-raa B-56

5 Kenyaaan ini dapa diduga disebabkan secara saisik kemunculan frasa (pasangan kaa) dengan analisis frekeunsi yang sama dengan kaa paling inggi adalah 38% dari seluruh feaure (kaa+frasa). Jika dilakukan seleksi maka frasa akan semakin mengecil pada seleksi feaure sampai 5%, maka hanya erdapa paling inggi 9% feaure adalah pasangan kaa. Secara rinci prosenasi frasa(pasangan kaa) akan berubah ika seleksi feaure dilakukan seperi pada Tabel 6. Tabel 5. Saisik Ui rank-wilcoxon beda sample berpasangan pada alpa 5% Kol Raa-raa beda T- value T- abel Hasil Ui beda T Non sig T Non sig T Non sig T Non sig T Non sig Tabel 6. Penurunan prosenase Frasa (pasangan kaa) dalam feaure campuran oleh seleksi feaure Kol 100% 0% 15% 10% 10% T00 38% 17% 15% 13% 9% T300 37% 18% 13% 10% 7% T400 38% 16% 13% 9% 8% T500 36% 16% 11% 9% 9% T800 33% 15% 11% 9% 9% Penggunaan feaure Frasa saa Penggunaan feaure sepenuhnya frasa menunukkan hasil yang relaive lebih rendah, baik pada 100% feaure, maupun 0%,15%,10% aau 5%. Hasil lebih rendah ini konsisen pada semua koleksi yang diuikan. Sebagai conoh unuk koleksi T500 raa-raa F-measure unuk seluruh meode sersai pada gambar 3. Kinera hanya frasa semakin menurun ika digunakan seleksi feaure yang rendah. Pada prosenase 10% dan 5% perbedaan anara frasa dan kaa sera anara frasa dan campuran erliha signifikan. Salah sau penyebab menurunnya nilai F- measure yang berari menurunnya kinera clusering karena pada kenyaaannya feaure kaa dan frasa akan cenderung lebih banyak kaa. Pemilihan frasa dengan hanya mengambil dua kaa yang berdekaan dan dengan frekuensi erenu, anpa meliha makna belum aminan bahwa pasangan kaa ersebu benarbenar sebuah frasa. Tabel 7 menyaikan conoh 0 pasangan kaa erbaik yang dieksraksi dari koleksi T300. Terliha beberapa pasangan kaa seperi per gram, per dolar, uara piala adalah bukan frasa yang benar. Pasangan kaa yang abdullah syafei dengan abdullah syafiie adalah conoh pasangan yang sebenarnya sama eapi diidenifikasi berbeda karena keidak konsisenan warawan dalam menulis beria. Hal ini uga eradi pada pasangan kaa amaah hai yang kadang diulis sebagai emaah hai. Tenu saa ini merupakan noise yang menurunkan kinera clusering. F-measure 0,80 0,60 0,40 0,0 0,00 100% 0% 10% 15% 5% Prosenase Feaure K+Frs Kaa Frasa Gambar 3. Raa-raa F-measure pada koleksi T500 Tabel 6. Conoh pasangan kaa erseksrak dari koleksi per dolar mancheser unied emaah hai arab saudi abdullah syafei menko polkam piala dunia pasar uang erhadap dolar enaga kera maa uang koa ambon banda aceh pasukan ni liga uama uara piala abdullah syafiie amaah hai uara liga per gram 5. KESIMPULAN Beberapa kesimpulan dari peneliian ini dapa diuliskan sebagai beriku: a. Penambahan feaure frasa yang diambil dari pasangan kaa dengan frekuensi erenu meningkakan hasil kinera clusering, meskipun penguian secara saisik peningkaan belum sinifikan. b. Jika digunakan seleksi erm aas feaure campuran dengan hanya mengambil beberapa persen dari oal feaure campuran, maka umlah frasa yang erliba akan menurun sampai dibawah 10%. c. Penggunaan feaure hanya frasa memiliki kinera yang rendah dibandingkan dengan feaure campuran (kaa dan frasa) aaupun feaure kaa saa. Kinera ini semakin ika digunkaan seleksi feaure frasa pada prosenase 10% aau 5%. Hal ini dapa dipahami karena pada kenyaaannya suau dokumen eks bukanlah kumpulan frasa eapi kaa dan frasa dengan frekuensi kaa yang auh lebih besar dari pada frasa. d. Diperlukan peneliian lebih auh unuk melakukan eksraksi frasa dengan eknik yang lebih baik dari sekedar melakukan saisik pada kemunculan pasangan kaa sebagai feaure. B-57

6 PUSTAKA [1] Aggarwal,C. C. and P.S. Yu, Finding Generalized Proeced Cluser in High Dimensional Spaces, Proc.ACM SIGMOD Conf., 000 [] Asian, J., H. E. Williams, and S. M. M. Tahaghoghi, Tesbed for Indonesian Tex Rerieval, 9h Ausralian Documen Compuing Symposiom, Melbourne December, 13, 004 [3] Chisholm, E. and T. G. Kolda, New Term Weighing Formula for he Vecor Space Mehod in Informaion Rerieval, Research Repor, Compuer Science and Mahemaics Division, Oak Ridge Naional Library, Oak Ridge, TN , March [4] Dhillon, S. I., J. Fan, and Y. Guan, Efficien Clusering of Very Large Documen Collecion, [5] Dhillon, I., J. Kogan, and C. Nicholas, Feaure Selecion and Documen Clusering, oghan.pdf, 00 [6] Jain, A.K. and R. C. Dubes, Algorihms for Clusering Daa, Prenice-Hall, 1988 [7] Franzi K.T. and S. Annaniadou, Auomaic Term Recogniion Using Conexual Cues, DELOS 03, DELOS03/franzi.pdf, 003 [8] Gao, J. and J. Zhang, Clusered SVD Sraegies in Laen Semanic Indexing, Technical Repor No , Deparmen of Compuer Science, Universiy of Kenucky, Lexingon, KY,003 [9] Hamzah, A, Pengaruh Semming Kaa Dalam Peningkaan Unuk Kera Documen Clusering Unuk Dokumen Berbahasa Indonesia, Proseding Seminar Nasional Rise Teknologi Informasi, AKAKOM, Juli, 006. [10] Hamzah, A., F. Soesiano, A.Susano, J.E.,Isyano : Seleksi Feaure Kaa Berdasarkan Variansi Kemunculan Kaa Dalam Peningkaan Unuk Kera Documen Clusering Unuk Dokumen Berbahasa Indonesia, Pakar, Jurnal Teknologi Informasi dan Bisnis, Vol.7,No.3., pp , 006 [11] Hinneburg, A. and D.K. Keim, Opimal Grid- Clusering: Towards Breaking he Curse of Dimensionaliy in High-Dimensional Clusering, Proceeding of 5 h VLDB Conference, Edinburg, Scoland, 1999 [1] Luhn, H.P., The Auomaic Creaion of Lieraure Absracs. IBM Journal of Research and Developmen, : , 1958 [13] Maynard, D. and S. Ananiadou, Incorporaing Linguisic Informaion for Muli-Word Term Exracion, Dep.Of Compuing & Mahemaics, Mancheser, MI 5GD, UK.,1999 [14] Nazief, B., Developmen of Compuaional Linguisic Research: a Challenge for Indonesia, Compuer Science Cener, Universiy of Indonesia,000 [15] Risbergen, C. J., Informaion Rerieval, Informaion Rerieval Group, Universiy of Glasgow, UK,1979 [16] Seinbach, M., Karypis, G., Kumar, V., A Comparison of Documen Clusering Techniques, Universiy of Minnesoa, Technical Repor #00-034, a hp:// edu/ech_repors, 000 [17] [18] Zamir, O.E., Clusering Web Documen : A Phrase-Based Mehod for Grouping Search Engine Resul, PhD. Disseraion, Universiy of Washingon,1999 [19] Zhang, Y., E. Milios and N. Z. Heywood, A Comparison of Key-word and Keyerm-based Mehods for Auomaic Web Sie Summarizaion, Tecnical Repor, Faculy of Compuer Science, Universiy Ave. Halivax, Nova Scoia,004. [0] Cuing, D. R., D. R. Karger, J. O. Pederson, and J. W. Tukey,199, Scaer/Gaher:A Cluser-based Approach o Browsing Large Documen Collecion, Procedding 15 h Annual In 7ACM SIGIR Conference on R&D in IR, 199. B-58