TEMU KEMBALI INFORMASI BERBASIS KLUSTER UNTUK SISTEM TEMU KEMBALI INFORMASI TEKS BAHASA INDONESIA

Transkripsi

1 TEMU KEMBALI INFORMASI BERBASIS KLUSTER UNTUK SISTEM TEMU KEMBALI INFORMASI TEKS BAHASA INDONESIA Amir Hamzah Jurusan Teknik Informaika, Fakulas Teknologi Indusri Insiu Sains & Teknologi AKPRIND Yogyakara Jl. Kalisahak No.8 Komp.Balapan, Yogyakara 55 amir@akprind.ac.id ABSTRACT The exponenial growh of exual documens has caused difficulies in he process of informaioan rerieval, mainly in he model of linear rerieval based on word maching ha generally ineffecive. The word synonimy of a ex has riggered o he resuling of non relevan documens in he rerieval, on he oher hand polisemy facor has caused many of relevan documen remain unrerieved. The applicaion of documen clusering can improve he performance of rerieval process according o he hypohesis ha he documens relevan o he same query ends o be in he same cluser. This research sudied he applicaion of documen clusering o improve he effeciveness of documen rerieval by using cluser-based rerieval in he vecor space model. In he firs sep, documen collecion was clusered using any cluser algorihm and he cluser cener was seleced o be cluser represenaive. In he second sep, he search process hen mached he query o he all cluser represenaives and finally he all documens in he cluser ha have he highes similariy o he query was seleced o presen o he user.. The clusering mehods used in his sudy are pariional mehod (Bisecing K-Mean and Bucksho algorihms) and hierarchical agglomeraive mehod using cluser similariy of UPGMA and Complee Link. The performance of rerieval was measured using F-measure parameer derived from Precision and Recall of rerieva process. The es documen collecion used are 1000 news ex documens wih known cluser srucure and 3000 news ex documens wih unknown cluser srucure. The resuls showed ha in he es collecion which is evaluaed in he rerieval process based on clusermaching has imporved he performance of 1.3% and 9.5% compare o he process of linear rerieval based on word maching. Key words : informaion rerieval, clusering, cluser-based rerieval INTISARI Volume informasi eks yang berkembang eksponensial menyebabkan kesulian dalam proses emu kembali informasi, uamanya pada model perolehan informasi linear berbasis word maching yang umumnya idak efekif. Fakor sinonim dari kaa menjadi penyebab munculnya dokumen idak relevan dalam perolehan, sebaliknya fakor polisemy menyebabkan banyak dokumen yang relevan idak erpanggil. Penerapan clusering dokumen dipercaya dapa meningkakan kinerja berdasar sau hypohesis bahwa dokumen yang relevan erhadap suau query cenderung berada dalam kluser yang sama. Peneliian ini melakukan kajian penerapan clusering dokumen unuk meningkakan perolehan informasi dengan cara melakukan rerieval berbasis kluser (cluser-based rerieval) dengan model ruang vekor. Koleksi dokumen mula-mula dikluser dan represenasi kluser digunakan vekor pusa kluser. Dokumen-dokuman dalam kluser yang pusa klusernya memiliki similarias eringgi erhadap query dipilih sebagai perolehan. Meode clusering yang dipilih adalah meode pariional, yaiu algorima Bisecing K-Mean dan Bucksho, dan meode hierarchical agglomeraive dengan algorima perhiungan similarias kluser UPGMA dan Complee Link. Krieria kinerja perolehan informasi diukur dengan parameer F-measure yang diurunkan dari Precision dan Recall dari rerieval. Koleksi dokumen yang digunakan adalah 1000 dokumen beria yang elah dikeahui srukur klusernya dan 3000 dokumen beria dengan srukur kluser belum dikeahui. Hasil peneliian menunjukkan bahwa pada koleksi yang dicobakan erjadi peningkaan kinerja perolehan informasi berbasis kluser sebesar beruru-uru 1.3% dan 9.5% dibandingkan dengan perolehan linear berbasis word maching. Kaa Kunci : Perolehan informasi, clusering, cluser-based rerieval PENDAHULUAN Penerapan eknologi digial dan jaringan kompuer elah menyebabkan erjadinya ledakan informasi yang berkembang eksponensial. Hal ini menyebabkan Sisem emu kembali informasi (informaion rerieval = IR) mengalami kesulian. Google sebagai mesin pencari erkemuka pada ahun 006 mengindeks idak kurang dari 16 milyar dokumen (Google.com, 006). Sebagian besar (80%) informasi adalah berbenuk eks (Tan,1999). Pada sraegi pencarian query berbasis kaa (word-maching) kesulian yang dijumpai muncul dari aspek bahasa, yaiu fakor sinonim pada kaa elah menyebabkan dokumen yang idak relevan akan dipanggil hanya semaamaa karena dokumen ersebu mengandung 1 Jurnal Teknologi, Volume Nomor 1, Juni 009, 1-7

2 kaa yang ada dalam query. Sebaliknya fakor polisemy, yaiu keadaan di mana suau kaa dapa memiliki lebih dari sau makna, menyebabkan ada dokumen relevan dalam koleksi yang idak dipanggil karena idak memua kaa yang ada dalam query. Kesulian ini semakin kompleks manakala pada kenyaaannya koleksi dokumen cenderung berambah besar dan akan menghasilkan hasil (search resul) yang berpresisi rendah (Zamir, 1999; Tombros,00). Menuru Rijbergen (1979), clusering dokumen elah lama dierapkan unuk meningkakan efekifias emu kembali informasi. Penerapan clusering ini bersandar pada suau hipoesis (cluser-hypohesis) bahwa dokumen yang relevan akan cenderung berada pada cluser yang sama jika pada koleksi dokumen dilakukan clusering. Beberapa peneliian unuk dokumen berbahasa inggris menerapkan clusering dokumen unuk memperbaiki kinerja dalam proses searching (Voorhess,1986; Tombros,00). Sedangkan perbaikan dalam penyajian hasil search dilakukan oleh anara lain Cuing e.al.(199), Zamir(1999), Osinki (004) dan Widyanoro (007). Unuk dokumen berbahasa Indonesia peneliian bidang IR adalah oleh Vega (001) dan Tala (004) yang menelii efek semming pada hasil pencarian. Peneliian penerapan clusering unuk perbaikan kinerja perolehan informasi unuk dokumen berbahasa Indonesia belum pernah dilakukan. Hal ini menginga secara umum peneliian enang kompuasi bahasa unuk dokumen Bahasa Indonesia juga masih sanga minim (Nazief, 000), bahkan es-bed yang dapa digunakan secara sandar unuk peneliian IR belum ada (Asian, 004). Dengan laar belakang ersebu peneliian ini mencoba menyelidiki alernaive pencarian berbasis cluser unuk dokumen berbahasa Indonesia. Permasalahan dalam peneliian ini adalah bagaimana merancang sebuah sisem unuk menyimpan dan menemukan informasi eks dengan pendekaan berbasis kluser dan menguji apakah pendekaan ini lebih unggul dibandingkan dengan pencarian berbasis wordmaching. Peneliian ini memiliki baasan model yaiu model ruang vekor dengan uji coba sisem berupa dokumen eks beria berbahasa Indonesia. Dari peneliian ini diharapkan dapa dirancang suau sisem emu kembali informasi yang memiliki kinerja yang lebih baik dibandingkan dengan pendekaan berbasis kaa (word-maching) didalam menangani volume daa eks yang semakin membesar. Model Ruang Vekor Unuk Koleksi Dokumen Model ruang vekor unuk koleksi dokumen mengandaikan dokumen sebagai sebuah vekor dalam ruang kaa (feaure). Klusering dokumen dipandang sebagai pengelompokan vekor berdasarkan suau fungsi similariy anar dua vekor ersebu. Jika koleksi n buah dokumen dapa diindeks oleh buah erm/feaure maka suau dokumen dapa dipandang sebagai vekor berdimensi dalam ruang erm ersebu. Dengan demikian koleksi dokumen dapa diuliskan sebagai marik kaadokumen X, yang dapa diulis : ke j X = {x ij } i= 1,,.. ; j =1,,.. n (1) x ij adalah bobo erm i dalam dokumen Menuru Luhn (1958), kekuaan pembeda erkai dengan frekuensi erm (ermfrequency, f). Term yang memiliki kekuaan diskriminasi adalah erm dengan frekuensi sedang. Pemoongan erm dengan frekuensi inggi dilakukan dengan membuang sop-word, seperi ini, iu, yang, yaiu dan lain-lain yang dapa mengurangi frekuensi feaure 30 sampai 40 persen (Seinbach e.al.,000; Hamzah, 006). Pemboboan dasar dilakukan dengan menghiung frekuensi kemunculan erm dalam dokumen karena dipercaya bahwa frekuensi kemunculan erm merupakan peunjuk sejauh mana erm ersebu mewakili isi dokumen. Menuru Luhn (1958), kekuaan pembeda erkai dengan frekuensi erm (erm-frequency, f), di mana erm yang memiliki kekuaan diskriminasi adalah erm dengan frekuensi sedang. Pemboboan baku yang digunakan adalah ermfrequency invers-documen freqeuency (TF-IDF) (Chisholm and Kolda,1999) sebagai beriku : x ij = f i * log(n/df i ) ; i=1,,, ; j=1,,,n () dengan =oal erm dalam index, n=oal dokumen dalam koleksi, df i =oal dokumen yang mengandung erm ke-i. Dalam proses clusering, kesamaan anara dokumen D i dengan dokumen D j umumnya diukur dengan fungsi similarias erenu. Menuru Chisholm and Kolda (1999) unuk ujuan clusering dokumen fungsi yang baik adalah fungsi similarias Cosine, beriku : Cosine-sim(D i,d j )= D D (3) ik j k k = 1 ( Dik ) ( Djk ) k = 1 k = 1 Jika vekor Di dan Dj masing-masing ernormalisasi sehingga masing-masing panjangnya sau, maka fungsi cosine menjadi : Hamzah, Temu Kembali Informasi Berbasis Kluser unuk Sisem Temu Kembali Informasi Teks Bahasa Indonesia

3 Cosine-sim(D i,d j ) = D D (4) ik jk k = 1 Dalam Pemrosesan query, similarias anara query Q dengan dokumen Di juga dapa digunakan formula pada persamaan (4), yaiu : Cosine-sim(Q,D i ) = Q D (5) k ik Sraegi Pencarian Query k = 1 Ada berbagai sraegi pencarian (search sraegies) dalam IR anara lain : boolean search, invered file search, probabilisic search, exended boolean search (Frakes and Baeza- Yaes,199). Dari model-model search ersebu yang banyak digunakan adalah invered files search () karena alasan efisiensi. Pencarian Linear model Sekema IR model dapa diliha seperi pada Gambar 1. Dalam indexing model erm erindex akan menunjuk pada lis yang memua dafar dokumen yang mengandung erm ersebu (Gambar ), sehingga jika suau query diberikan maka dengan cepa akan diberikan jawaban dafar dokumen yang memua erm ersebu. selanjunya kluser yang pusa klusernya paling deka dengan query diampilkan sebagai jawaban. Gambar 3. Pencarian Query berbasis Kluser Sebagai ilusrasi jika dimiliki koleksi 8 dokumen yang erkluser menjadi 3 kluser (Gambar 4). Srukur daa yang dirancang unuk implemenasi disajikan seperi pada Gambar 5. Srukur ini erdiri dari inveredindex unuk cenroid vecor (IC) dan CBR implemenaion using skips (ICsIIS). Dengan srukur ini pencarian query dengan model kluser akan dapa dilakukan dengan cepa (Can e.al.,004). Gambar 1. Pencarian Query berbasis kaa dengan Gambar 4. Conoh Indexing erm dokumen erkluser Gambar. Srukur Daa Pada Pencarian Query model Pencarian berbasis kluser Pada pencarian berbasis kluser dokumen yang elah dikluser diindeks berdasarkan erm dan indeks kluser (Gambar 3). Jika suau query diberikan maka similarias query dengan pusa kluser dihiung, Gambar 5. Conoh Srukur Daa dokumen erkluser Clusering Dokumen Clusering didefinisikan sebagai upaya pengelompokan daa ke dalam kluser sehingga daa-daa didalam kluser yang sama memiliki lebih kesamaan dibandingkan dengan daa-daa pada kluser yang berbeda (Jain,1988). Dikenal dua pendekaan, yaiu herarchical dan 3 Jurnal Teknologi, Volume Nomor 1, Juni 009, 1-7

4 pariional dengan masing-masing memiliki banyak variasi. Meode Hierarchi Agglomeraive unuk Clusering dokumen Meode klusering secara aglomeraive berawal dari n= cacah dokumen sebagai cluser. Dengan menggunakan fungsi similarias anar kluser kemudian proses penggabungan kluser erdeka dilakukan. Ukuran similarias anar kluser anara lain, misalnya: UPGMA,CST, Single Link, Complee Link (Jain,1988). Beriku ini ringkasan masingmasing eknik ersebu: Unweighed Pair Group Mehod Average similariy (UPGMA): Similarias dua kluser diukur dengan raa-raa hiung similarias anar seluruh pasangan iik anara kedua kluser. Cenorid- Similariy Technique(CST) : Jarak anar kluser dienukan dengan jarak anar pusa kluser. Single Link (SL) : jarak erbaik dua kluser diwakili oleh jarak erdeka (similarias eringgi) dari dua iik dari dua kluser. Complee Link(CL) : jarak erbaik dua kluser diwakili oleh jarak erjauh (similarias erendah) dari dua iik dari dua kluser. Pendekaan hierarchical memiliki kompleksias waku dan ruang O(N ). K-Means Clusering Algorima K-means clusering merupakan algorima ieraif dengan meminimalkan jumlah kuadra error anara vekor objek dengan pusa kluser erdekanya (Jain,1988), yaiu : k j= 1 x π j x m j (6) di mana m j adalah pusa kluser (mean vecor) dalam kluser ke j. Proses dimulai dengan mula-mula memilih secara random k buah dokumen sebagai pusa kluser awal. Bisecing K-Means Clusering Meode Bisecing K-means (Seinbach, e.al.,000) mencoba menggabungkan pendekaan pariional dengan divisive hierarchi, yaiu mula-mula seluruh dokumen dibagi dua dengan cara K-means (bisecing-sep). Selanjunya cara iu dikenakan pada iap-iap kluser sampai diperoleh K buah kluser. Bucksho Clusering Algorima Bucksho menggunakan pendekaan hierarchie agglomeraive unuk mendapakan k buah vekor sebagai pusa kluser awal. Langkah Bucksho mula-mula mengambil sampel acak sebesar kn dokumen, dikluser dengan prosedur hierarchie agglomeraive unuk mendapakan k buah kluser. Selanjunya dari parisi awal Bucksho proses refinemen dilakukan sebagaimana dalam K-means clusering Evaluasi Rerieval Evaluasi suau model rerieval oleh suau sisem IR yang paling umum adalah ukuran Recall dan Precision (Rijsbergen,1979). Recall didefinisikan sebagai rasio cacah dokumen relevan erpanggil dengan cacah oal dokumen erpanggil, sedangkan Recall didefinisikan sebagai rasio anara cacah dokumen relevan erpanggil dengan oal cacah dokumen relevan dalam koleksi. Parameer unggal ukuran keberhasilan rerieval yang menggabungkan Recall dan Precision adalah parameer F-measure (Rijsbergen,1979) : F-measure = ( β + 1) PR (7) β P + R dengan β parameer kepeningan relaive aspek Precision dan Recall. Jika Recall (R) dan Precision (P) memiliki bobo yang sama pening, β =1, maka parameer F-measure menjadi : PR F-measure = (8) P + R METODOLOGI Bahan peneliian ini berupa koleksi dokumen eks berbahasa Indonesia, yang erdiri dari dua buah koleksi beria dn koleksi absrac, yaiu seperi ersaji dalam Tabel 1 beriku : Tabel 1. Koleksi-koleksi dokumen unuk Tes Rerieval Koleksi doc erm erm index clus er Que ry News News Absrac Adapun dafar Query unuk masing-masing koleksi adalah seperi pada Tabel, Tabel 3 dan Tabel 4. Tabel. Dafar Query unuk Koleksi News500 No Query doc Rel 1 Pemberangkaan jamaah haji 38 Perandingan Piala dunia Pasar uang dolar 67 4 Penumpasan Gam aceh 61 5 Kerusuhan ambon maluku 51 Hamzah, Temu Kembali Informasi Berbasis Kluser unuk Sisem Temu Kembali Informasi Teks Bahasa Indonesia 4

5 Tabel 3. Dafar Query unuk Koleksi News1009 No Query doc Rel 1 Pemberangkaan haji 38 Pemberangkaan jamaah haji 38 3 Piala dunia Perandingan Piala dunia Pasar uang dolar 67 6 Perkembangan Pasar uang dolar 67 7 Penumpasan Gam aceh 61 8 Kerusuhan ambon maluku 51 9 Kunjungan megawai ke laur negeri Penyelesaian kasus ommy suharo 67 Tabel 4. Dafar Query unuk Koleksi Absrac No Query doc Rel 1 Aplikasi logika fuzzy 16 Sisem informasi 40 3 Jaringan syaraf iruan 14 4 Pengolahan cira 9 5 Algorima geneika 17 6 Daabase 14 7 Sisem pendukung kepuusan 11 8 GPS GPRS komunikasi daa 5 9 Rekayasa perangka lunak 3 10 Keamanan sysem informasi 10 Proses pre-processing berupa eksrak kaa, penyusunan indeks dan srukur maupun srukur ICsIIS dilakukan dengan kode program JAVA (jdk1.4.). Hasil pengujian kinerja feaure kaa dan frasa diukur melalui nilai F-measure yang membandingkan feaure kaa saja, frasa saja dan feaure campuran. Uji saisik hasil dengan uji wilcoxon sign-rank unuk pengamaan berpasangan. PEMBAHASAN Hasil pengujian unuk koleksi perama News500 keika diberikan query seperi yang ada dalam dafar memberikan hasil bahwa pemanggilan berbasis kluser (CBR) menghasilkan nilai F-measure yang lebih inggi dibandingkan dengan pemanggilan linear (). Hal ini berlaku unuk semua query. Tabel beriku adalah Raa-raa F-measure unuk pemanggilan query berbasis kluser dan pemanggilan linear unuk koleksi News500. Raa-raa diambil unuk rerieval berbasis kluser pada seiap model clusering, baik hierarchical maupun pariional. Hasil uji saisic menunjukkan bahwa perbedaan raa-raa adalah signifikan. Tabel 5. Raa-raa F-measure unuk koleksi News500 Query F-measure F-measure CBR Ke : ceak bold lebih inggi Pengaruh algorima clusering pada hasil pemanggilan berbasis kluser dapa diberi conoh seperi Tabel 6. beriku, unuk suau query : perandingan piala dunia. Tabel 6. Pengaruh algorima Clusering pada Rerieval Meode Clusering Doc Reriev Rel Doc Reriev F- measure CBR Search RelDo F- c measure Rerie v UPGMA , ,9494 ClusCr , ,9753 CompLink , ,8877 K-Mean , ,7857 Bsc-KMean , ,783 Bucksho , ,0000 Ke : ceak ebal nilainya lebih inggi Dari Tabel 6 erliha bahwa pada algorima hierarchical kinerja clusering lebih baik dalam memberikan nilai F-measure daripada algorima pariional K-means dan Bisecing K-mean, eapi kinerja masih dibawah algorima bucksho. Pada koleksi News1009 dan koleksi Absrac pengujian query diambil unuk meode kluser yang relaif cepa dan dengan kompleksias kompuasi lineer, yaiu bucksho. Tabel 7 menyajikan hasil pengujian unuk seluruh Query dari koleksi News1009 unuk jumlah rerieval pada idak dibaasi. Tabel 7. Hasil rerieval unuk koleksi News1009 dengan Rerieval idak dibaasi No Query F-CBR 1 Pemberangkaan haji 0,7037 0,9189 Pemberangkaan jamaah haji 0,6667 0, Piala dunia 0,7154 0, Perandingan Piala dunia 0,7059 0,986 5 Pasar uang dolar 0,5038 0, Perkembangan Pasar uang dolar 0,458 0, Penumpasan Gam aceh 0,8414 0, Kerusuhan ambon maluku 0,7500 0,84 9 Kunjungan megawai ke laur negeri 0,1967 0, Penyelesaian kasus ommy suharo 0,5654 0, Jurnal Teknologi, Volume Nomor 1, Juni 009, 1-7

6 Hamzah, Temu Kembali Informasi Berbasis Kluser unuk Sisem Temu Kembali Informasi Teks Bahasa Indonesia 6

7 Jika rerieval dibaasi sejumlah dokumen sesuai dengan jumlah dokumen yang dikembalikan oleh CBR maka hasil rerieval adalah seperi able 8 beriku. Terliha beberapa query CBR bernilai sama dengan, dan ada sau query yang nya lebih inggi dari CBR. Tabel 8. Hasil rerieval unuk koleksi News1009 dengan Rerieval dibaasi sebanyak CBR No Query F-CBR 1 Pemberangkaan haji 0,7568 0,9189 Pemberangkaan jamaah haji 0,7619 0, Piala dunia 0,8603 0, Perandingan Piala dunia 0,8595 0,986 5 Pasar uang dolar 0,9778 0, Perkembangan Pasar uang dolar 0,9635 0, Penumpasan Gam aceh 0,9677 0, Kerusuhan ambon maluku 0,8411 0,84 9 Kunjungan megawai ke laur negeri 0,4754 0, Penyelesaian kasus ommy suharo 0,6951 0,8049 Unuk koleksi Absrac pemanggilan yang idak dibaasi dan yang dibaasi sebanyak dokumen dari CBR hasilnya beruruuru adalah ersaji Tabel9 dan Tabel 10. Tabel 9. Hasil F-measure unuk dan CBR unuk koleksi Absrac dengan jumlah dokumen idak dibaasi No Query F-CBR 1 Aplikasi logika fuzy 0,388 0,5143 Sisem informasi 0,989 0, Jaringan syaraf iruan 0,486 0,700 4 Pengolahan cira 0,594 0, Algorima geneika 0,4063 0, Daabase 0,09 0,607 7 Sisem pendukung kepuusan 0,1106 0,778 8 GPS GPRS komunikasi daa 0,1795 0,16 9 Rekayasa perangka lunak 0,397 0, Keamanan sysem informasi 0,0858 0,3077 Tabel 10. Hasil F-measure unuk dan CBR unuk koleksi Absrac dengan jumlah dokumen dibaasi dengan jumlah dokumen CBR No Query F-CBR 1 Aplikasi logika fuzy 0,6857 0,5143 Sisem informasi 0,3871 0, Jaringan syaraf iruan 0,700 0,700 4 Pengolahan cira 0,6957 0, Algorima geneika 0,4000 0, Daabase 0,607 0,607 7 Sisem pendukung kepuusan 0,3889 0,778 8 GPS GPRS komunikasi daa 0,16 0,16 9 Rekayasa perangka lunak 0,5405 0, Keamanan sysem informasi 0,3590 0,3077 Dari Tabel 10 erliha bahwa unuk koleksi absrac jika jumlah dokumen yang direrieve oleh dibaasi sama dengan jumlah dokumen yang direreiev oleh CBR, maka kinerja rerieval CBR akan menurun dan beberapa queryu mengahsilkan rerieval yang lebih baik daripada CBR. KESIMPULAN Beberapa kesimpulan yang dapa diambil dari peneliian ini adalah : Pemrosesan query dengan pendekaan berbasis kluser (cluser-based rerieval) erbuki mampu secara signifikan meningkakan kinerja sisem IR jika dibandingkan dengan pemrosesan linear model. Kinerja pemrosesan query berbasis kluser dipengaruhi oleh model koleksi dokumen. Pada koleksi dokumen berbahasa Indonesia unuk jenis dokumen ilmiah seperi kumpulan absrak dari makalah ilmiah yang umumnya banyak mengandung kosa kaa bahasa inggris kinerja rerieval berbasis kluser cenderung menurun. Teapi pada dokumen beria kinerja rerieval berbasis kluser erliha sanga baik. Hasil clusering dengan hierarchical menunjukkan kinerja yang lebih baik dari pariional. Meskipun demikian algorima pariional eap memberikan kinerja rerieval berbasis kluser yag lebih baik daripada rerieval dengan model. Masih diperlukan pengujian dengan berbagai jenis koleksi dokumen berbahasa Indonesia, seperi makalah penuh, aau jenis ulisan yang lain. Pusaka Asian, J., H. E. Williams, and S. M. M. Tahaghoghi, Tesbed for Indonesian Tex Rerieval, 9h Ausralian Documen Compuing Symposiom, Melbourne December, 13, Jurnal Teknologi, Volume Nomor 1, Juni 009, 1-7

8 Can,F., I.S. Alingode, E.Damir,004, Efficiency and Effeciveness of Query Processing in Cluser-Based Rerieval, Informaion Sysem, 9(004), Chisholm, E. and T. G. Kolda, New Term Weighing Formula for he Vecor Space Mehod in Informaion Rerieval, Research Repor, Compuer Science and Mahemaics Division, Oak Ridge Naional Library, Oak Ridge, TN , March Cuing, D. R., D. R. Karger, J. O. Pederson, and J. W. Tukey,199, Scaer/Gaher:A Cluser-based Approach o Browsing Large Documen Collecion, Procedding 15 h Annual In 7ACM SIGIR Conference on R&D in IR, 199. Frakes,W.B. and Baeza-Yaes,R.,199, Informaion Rerieval,Daa Srucure and Algorihm, Prenice Hall, Englewood Clifs, New Jersey. Jain, A.K. and R. C. Dubes, Algorihms for Clusering Daa, Prenice-Hall, 1988 Hamzah, A., F. Soesiano, A.Susano, J.E.,Isyano : Seleksi Feaure Kaa Berdasarkan Variansi Kemunculan Kaa Dalam Peningkaan Unjuk Kerja Documen Clusering Unuk Dokumen Berbahasa Indonesia, Pakar, Jurnal Teknologi Informasi dan Bisnis, Vol.7,No.3., pp , 006. Luhn, H.P., The Auomaic Creaion of Lieraure Absracs. IBM Journal of Research and Developmen, : , 1958 Nazief, B., Developmen of Compuaional Linguisic Research: a Challenge for Indonesia, Compuer Science Cener, Universiy of Indonesia,000 Osinki, S., 004, Dimensionaliy Reducion Techniques for Search Engine Resuls Clusering, Maser Thesis, Universiy of Sheffield, UK. Rijsbergen, C. J., Informaion Rerieval, Informaion Rerieval Group, Universiy of Glasgow, UK,1979 Seinbach, M., Karypis, G., Kumar, V., A Comparison of Documen Clusering Techniques, Universiy of Minnesoa, Technical Repor #00-034, a hp:// edu/ech_repors, 000 Tala, F. Z., 004, A Sudy of Semming Effec on Informaion Rerieval in Bahasa Indonesia, Maser Thesis, Universiei van Amserdam, The Neherlands Tombros, A., 00, The Effeciveness of Query- Based Hierarchic Clusering of Documens for Informaion Rerieval, PhD Thesis, Univeriy of Glasgow Vega, V. B., 001, Informaion Rerieval for he Indonesian Language, Maser's hesis, Naional Universiy of Singapore. Voorhees,E.M., 1986, Implemening Agglomeraive Hierarchic Clusering Algorihms for Use in Documen Rerieval. Informaion Processing & Managemen, : Widyanoro,D.H.,007,Toward he Developmen of The Nex Generaion Search Engine, Proceeding of The Inernaional Conference on Elecrical Engineering and Informaics, ICEEI007, Bandung Juni Zamir, O.E., Clusering Web Documen : A Phrase-Based Mehod for Grouping Search Engine Resul, PhD. Disseraion, Universiy of Washingon,1999 Hamzah, Temu Kembali Informasi Berbasis Kluser unuk Sisem Temu Kembali Informasi Teks Bahasa Indonesia 8