ANALISIS LATENT SEMANTIC INDEXING MENGGUNAKAN QR DECOMPOSITION DENGAN TRANSFORMASI HOUSEHOLDER UNTUK MENCARI INFORMASI

Transkripsi

1 ANALISIS LATENT SEMANTIC INDEXING MENGGUNAKAN QR DECOMPOSITION DENGAN TRANSFORMASI HOUSEHOLDER UNTUK MENCARI INFORMASI ANALYSIS LATENT SEMANTIC INDEXING USING QR DECOMPOSITION WITH HOUSEHOLDER TRANSFORMATION TO SEARCH FOR INFORMATION Muhamad Murtha Hamda, Ibnu Aror, ST., M.T.,3 Prodi S Teknik Informatika, Fakulta Informatika, Univerita Telkom 3 Prodi D3 Manajemen Pemaaran, Fakulta Ilmu Terapan, Univerita Telkom Prodi S Deain Komunikai Viual, Fakulta Indutri Kreatif, Univerita Telkom mhdmurthahamda.tudent@telkomuniverity.ac.id, iaror@telkomuniverity.ac.id Abtrak Perkembangan Information Retrieval telah berkembang dengan banyak metode yang berfungi menghailkan tingkat relevani yang lebih baik. Untuk dapat menghailkan nilai relevani yang tinggi, agar maka diperlukan ebuah metode untuk menghailkan perangkingan yang baik dan teruji. Pada Tuga Akhir ini melakukan analii Latent Semantic Indexing menggunakan QR decompiition dengan tranformai houeholder, kemudian untuk mengukur kemiripan dokumen terhadap query menggunakan coine imilarity dan parameter pengujian akurai item menggunakan recall dan preciion upaya dapat membuktikan kemampuan dalam latent emantic indexing dapat menemukan dokumen yang diinginkan atau relevan walaupun tidak ada term yang ada pada query dan melakukan perbandingan waktu proe perncarian dokumen. Hail pengujian dari tuga akhir ini menunjukan latent emantic indexing menggunakan QR Decompoition dengan tranformai houeholder terbukti bia menemukan dokumen relevan walau tidak mengandung term yang terdapat pada query kemudian memiliki nilai recall dan precion nilai akurai item yang baik dan juga mendapatkan proe waktu pencarian dokumen yang relevan yang cepat. Kata kunci : latent emantic indexing (LSI), qr decompoition, tranformai houeholder, recall, preciion. Abtract The development of Information Retrieval ha evolved with many method that erve to produce a better level of relevance. To be able to produce a high relevance value, o it need a method to produce good and teted ranking. Thi Final Project perform Latent Semantic Indexing analyi uing QR decompiition with houeholder tranformation, then for meauring document reemblance to query uing coine imilarity and parameter of ytem accuracy uing recall and preciion in order to prove the ability in latent emantic indexing to find the deired or relevant document Although there i no term in the query and do the time comparion of the document earch proce.the tet reult from thi final project how the latent emantic indexing uing QR Decompoition with houeholder tranformation proved able to find the relevant document even if it doe not contain the term contained in the query then ha the value of recall and precion good ytem accuracy value and alo get the proce of earching the relevant document. Keyword: latent emantic indexing (LSI), qr decompoition, houeholder tranformation, recall, preciion.. Pendahuluan Kebutuhan manuia akan informai di maa teknologi emakin meningkat, eiring dengan meningkatnya kecerdaan manuia ecara keeluruhan. Semakin meningkatnya kecerdaan manuia, emakin membutuhkan informai ecara cepat dan akurat euai dengan kebutuhannya aat itu. Dalam upaya untuk memenuhi kebutuhan terebut, telah hadir berbagai media untuk mendapatkan informai dan dapat diake dimana aja yaitu dengan internet melalui platform komputer, laptop, tablet, dan martphone. Namun bagaimana jika terdapat ratuan ribu informai yang berbeda, edangkan informai yang dibutuhkan peifik. Untuk itu dikembangkanlah cara untuk mengatai permaalahan ini, yaitu Information Retrieval. Information Retrieval adalah proe pencarian informai dari ekumpulan dokumen yang euai dengan informai yang dibutuhkan. Proe yang terjadi dalam Information Retrieval pada daarnya untuk memenuhi keinginan pengguna akan informai dengan cara menentukan dokumen dalam ekumpulan dokumen yang haru ditemubalikkan dan bentuk query merupakan repreentai dari informai yang diinginkan pengguna[]. Salah atu metode yang dapat mengatai ini adalah LSI (Latent Semantic Indexing). Metode ini mempreentaikan term dari dokumen menjadi vektor yang berbentuk term dokumen matrik ehingga dapat menghubungkan antara term dengan dokumen yang dicari walaupun query yang dimaukan tidak terdapat dalam dokumen yang dicari. Dari hail penelitian ebelumnya menyatakan bahwa LSI menggunakan metode QR Decompoition dengan teknik gram chmid memiliki nilai recall dan preceion yang baik akan tetapi matrik ortogonalnya yang tidak tabil yang mengakibatkan akurainya berkurang[3]. Oleh karena itu, untuk

2 mendekompoii matrik terebut penuli akan menggunakan metode QR decompoition dengan tranformai Houeholder. Dekompoii QR (juga diebut QR faktoriai) dari matrik adalah dekompoii matrik A menjadi produk A = QR. Dekompoii QR adalah alah atu alat daar dalam komputai tatitika dan digunakan untuk mencari matrik orthogonal Q dan matrik egitiga ata R.. Daar Teori. Information Retrival Information Retival adalah tudi tentang item pengindekan, pencarian, dan mengingat data, khuunya tek atau bentuk tidak tertruktur lainnya [4]. Baeza-Yate dan Ribiero-Neto menekankan bahwa tujuan utama dari Information Retrieval ialah untuk mendapatkan emua dokumen yang relevan terhadap kata kunci (query) yang diberikan oleh uer dengan eedikit mungkin dokumen yang tidak relevan []. Information Retrieval merupakan bagian dari computer cience yang berhubungan dengan pengambilan informai dari dokumen-dokumen yang didaarkan pada ii dan kontek dari dokumen-dokumen itu endiri.untuk pencarian informai dalam Information Retrieval didaarkan pada uatu query (inputan uer) yang diharapkan dapat memenuhi keinginan uer dari kumpulan dokumen yang ada. Sedangkan, definii query dalam Information Retrieval menurut refereni merupakan ebuah formula yang digunakan untuk mencari informai yang dibutuhkan oleh uer dalam bentuk yang paling ederhana. Sebuah query merupakan keyword (kata kunci) dan dokumen yang mengandung keyword merupakan dokumen yang dicari dalam information retival.. I n d e x i n g Tahapan dalam indexing [9], yaitu :. Tokenization merupakan tahap memotong uatu dokumen menjadi unit terkecil atau potongan-potongan yang diebut token (gambar -). Input : Friend, Roman, Countrymen, lend me your ear; Output : Friend Roman Countrymen lend me your ear Gambar Error! No text of pecified tyle in document.- : Proe Tokenization. Stop Word merupakan proe menghilangkan kata (term) yang memiliki nilai kecil atau tidak memiliki makna dan frekueni kemunculan angat ering pada etiap dokumen euai dengan linguitik bahaa maing-maing. 3. Cae Folding merupakan proe normaliai eluruh kata menjadi huruf kecil atau huruf bear emua. 4. Inverted Index adalah konep utama dalam pencarian informai. Inverted index merupakan proe pemetaan term berdaarkan kemunculan pada ebuah dokumen (gambar -). Brutu Caear Calpurn Gambar Error! No text of pecified tyle in document.- : Contoh Inverted Index.3 TF-IDF ( Term Frequency Invere Document Frequency ) Term Frequency (Tf) [9] merupakan kema pembobotan berdaarkan jumlah frekueni kemunculan term (t) pada dokumen (d). Lalu document frequency (df) merupakan jumlah dokumen dalam koleki yang berii term (t). Sedangkan invere document frequency (idf) dirumukan ebagai berikut : idf t log N df t ( Error! No text of pecified tyle in document..)

3 Dimana N adalah jumlah dokumen yang ada. Setelah itu baru menggabungkan definii itulah tf dan idf untuk menghailkan pembobotanuntuk etiap term ( t ) pada dokumen ( d ). Sehingga kema pembobotan Tf-idf adalah ebagai berikut : tf. idf t, d tft, d idf t ( Error! No text of pecified tyle in document..).4 Term by Document Matrix Dalam Term by document matrix (tabel -) etiap kolom mendefiniikan dokumen edangkan etiap bari mewakili ebuah term unik atau kata kaunci dalam koleki. Nilai nilai yang diimpan dalam elemen matrik atau el (cell) mendefiniikan frekueni kemunculan ebuah term pada etiap dokumen []. Tabel Error! No text of pecified tyle in document.- : Small Term by Document Matrix.5 Latent Semantic Indexing Term Dokumen Dokumen Dokumen 3 Dokumen 4 Term 0 0 Term 0 0 Term Latent Semantic Indexing merupakan varian dari Vector Space Model (VSM) yang memetakan dimeni yang tinggi ke dimeni yang kecil. Pengurangan dimeni dari data yang berdimeni tinggi bia meningkatkan akurai dan efektifita untuk analii data [3,8]. LSI memiliki kemampuan untuk menangani kau inonim, yaitu kau dimana kata (term) berbeda dapat memiliki makna yang ama. Dalam LSI, konep dalam query maupun dalam emua dokumen yang aling berhubungan akan direpreentaikan oleh nilai yang hampir ama. Berdaarkan refereni [0], diebutkan bahwa LSI memiliki beberapa keuntungan yaitu:. Aumi dalam LSI yaitu dimeni yang baru memiliki repreentai yang lebih baik terhadap dokumen dan query.. LSI mampu menangani kau inonim, yaitu kau dimana kata berbeda dapat memiliki makud yang ama. Dalam LSI, konep dalam query maupun dalam emua dokumen yang aling berhubungan akan direpreebtaikan oleh nilai yang hampir ama. 3. Poliemi merupakan kau dimana uatu kata dapat memiliki lebih dari atu makna, dengan banyaknya kata-kata yang berifat poliemi maka akan menurunkan tingkat ketelitian. Dengan menggunakan repreentai yang terbentuk dalam LSI, maka diharapkan untuk menghilangkan beberapa noie dari data, yang dapat diterjemahkan ebagai term yang jarang digunakan maupun tidak penting. Vector pace model mengaumikan bahwa term berifat independen. Pada kenyataannya, dalam bahaa terdapat relai yang kuat antar term. Oleh karena itu terdapat kemungkinan untuk meningkatkan performani dengan menggunakan hubungan term dalam proe retrieval..6 QR Decompoition Dalam aljabar linear, QR dekompoii (juga diebut QR faktoriai) adalah faktoriai terhadap uatu matrik ehingga matrik ortogonal Q dan matrik egitiga ata R. Teknik faktoriai QR dapat digunakan untuk menemukan nilai karakteritik. Teknik terebut menggunakan iterai dari tranformai Houeholder untuk k k menemukan matrik A yang equivaen dengan matrik A. Elemen diagonal utama matrik A adalah nilai karakteritik matrik A. Faktoriai QR dapat memberikan nilai karakteritik ecara imultan[4]. Langkah-langkah menentukan nilai karekteritik menggunakan QR :. Faktoriai A menjadi matrik ortogonal Q dan matrik egitiga ata R ehingga A Q R. Matrik Q T diperoleh menggunakan tranformai Houeholder : Q I ww. Tentukan matrik imilarita k A ehingga A k R Q

4 k 3. Faktoriai lagi matrik A menjadi matrik Q dan R ehingga A k Q R. 4. Lakukan ecara berulang langkah ampai dengan langkah 3 ampai di peroleh matrik konvergen. k A yang 5. Elemen diagonal utama pada matrik k A adalah pendekatan nilai karakteritik..6. Traformai Houholder A Houeholder merupakan membentuk matrik imilarita di mna elemen di bawah diagonal utamanyabernilai 0 atau mendekati 0[4]. Cara menentukan Matrik Houeholder adalah : k x Tahap. Tentukan vektor :, x,..., x k a a an Tahap. Hitung : k k g ign a k g Tahap 3. Hitung : ak ak... an g ak g xk a gg a g g k k Tahap 4. Tentukan : w k a a igna k k k g a w i i, i k, k,... n w a T k a k... an Tahap 5. Tentukan : H I ww T (,4 ).7 Coine Similarity Cara tandar untuk menghitung nilai keamaan atau kecocokkan antara dua dokumen d dan d adalah dengan menghitung coine imilarity dari repreentai vektor kedua dokumen terebut.[9]. im d, d r V r V d V d d V d r r.7 Recall dan Preceion ( Error! No text of pecified tyle in document..4 ) Sitem temu-kembali informai yang bertujuan mencari dokumen-dokumen yang relevan terhadap query Uer. Dalam pemgukuran relevani dapat dilihat dengan parameter-parameter keeftifan relevani eperti, recall dan preciion. Recall adalah propori jumlah dokumen yang dapat ditemukan-kembali oleh ebuah proe pencarian di item IR. Rumunya: Jumlah dokumen relevan yang ditemukan / Jumlah emua dokumen relevan di dalam koleki. Lalu, preciion adalah propori jumlah dokumen yang ditemukan dan dianggap relevan untuk kebutuhan i pencari informai. Rumunya: Jumlah dokumen relevan yang ditemukan / Jumlah emua dokumen yang ditemukan. Kedua ukuran di ata biaanya diberi nilai dalam bentuk perentae, ampai 00%. Sebuah item informai akan dianggap baik jika tingkat recall maupun preciion-nya tinggi.

5 Rd Rr R All Document Gambar Error! No text of pecified tyle in document.-3 : Recall dan Preciion Pada gambar -3 Rd adalah dokumen yang relevan terhadap query, ketentuan dokumen yang relevan ada pada dataet yang telah ditentukan. R adalah dokumen yang relevan terhadap query yang dihailkan oleh item. Rr adalah irian antara Rd dan R. 3. Perancangan Sitem 3.. Analii Kebutuhan Sitem Beberapa kebutuhan item yang ingin dicapai pada tuga akhir ini yaitu :. Pengujian untuk mengetahui perbandingan recall dan preciion yang dihailkan oleh QR Decompoition dengan tranformai Houeholder dalam menentukan dokumen yang relevan berdaarkan query yang diimput oleh pengguna. Pengujian untuk mengetahui kemampuan LSI dalam pencarian dokumen yang relevan walaupun tidak ada term pada query yang diproe melalui QR Decompoition dengan tranformai Houeholder. 3. Pengujian untuk mengetahui perbandingan waktu proe pencarian dokumen relevan terhadap query yang dihailkan oleh QR Decompoition dengan tranformai Houeholder. Gambar item yang akan di bangun dapat dilihat dari digaram berikut: Mulai Kumpulan Dataet (Cranfield Collection ) Tokenazation (Pemecahan menjadi token ) Item Normalization ( Filtering, Stoplit, Cae folding, Indexing) Query Dekompoii QR (Menggunakan Tranformai Houeholder ) Pembobotan TF-IDF Matrik Term Document Query Tokenization ( Pemecahan menjadi token ) Coine imularity Dokumen Relevan Seleai Query Normalization ( Filtering, Stoplit, Cae folding, Indexing) Gambar Error! No text of pecified tyle in document.-4: Flowchart Sitem 4. Pembahaan 4. Pengujian Indexing dan Pembentukan Matrix dokumen Proe pada indexing dimulai dari uer memaukan dataet.txt ke dalam item. Dataet.txt adalah dokumen yang ada pada dataet. Term dari etiap dokumen akan dibuat menjadi atu kolom dan dilakukan tahap toplit, etalah itu term yang udah diproe akan diimpan menjadi Term.m. Ada 3537 term yang terbuat dari dokumen dalam dataet. Setelah melakukan Indexing etiap term akan dicek kembali pada dokumen, berfungi untuk pembuatan matrix, bila terdapat term yang ada pada dokumen akan diberi nila euai dengan jumlahnya. Pada tuga akhir ini didapat matrik 3537x50, itu diebabkan banyaknya term dan banyaknya dokumen yang dipakai terambil dari dataet. 4. Hail Recall dan Preciion dengan QR Decompiition Tabel Error! No text of pecified tyle in document.- :Hail Recall dan Preciion dari QR decompoition Parameter/query Recall Preciion 0,53 0,53 Query Query 0,6 0,6

6 Query3 Query4 Query5 Query6 Query7 Query8 Query9 Query0 0,8 0, 0,67 0,0 0,8 0, 0,8 0, 0,67 0, 0,6 0,4 0,0 0,6 QR decompoition mampu mendekompoiikan term matrik dokumen menjadi yaitu matrik Q dan matrik R. pada tabel nilai recall dan preciion terkecil adalah query 9 nilai recall 40% dan preciion 0%, pada item memunculkan dokumen yang relevan dari 5 dokumen yang relevan yang ada pada dataet dan yang tertinggi adalah pada query 8 yang bernilai recall 00% dan preciion 6%. 4.3 Pengujian Parameter Setelah melakukan terhadap 0 query maka didapat recall dan preciion dari hail QR. Maka dilakukan perbanding recall dan preciion yang dihailkan QR. Nilai recall tertinggi mengindikaikan banyaknya dokumen yang terambil oleh item yang euai dengan dataet, edangkan nilai preciion yang tinggi mengindikaikan pencarian dokumen yang relevan terhadap query. Coine imilarity pada QR decompoition perhitungan vektor query dikalikan dengan matrik R dengan nilai elemen matriknya tidak terbata pada nilai tertentu. Pada tabel QR decompoition mampu memuculkan rata-rata dokumen yang relevan, ehingga nilai recall dan preciion yang dihailkan QR decompoition lebih baik. 4.4 Pengujian Pencarian dengan Hail Query Pengujian ini dilakukan untuk melihat hail pencarian yang dilakukan oleh item yang dibangun. Pengujian dilakukan membuktikan item pencarian dokumen yang relevan dari query yang dinputkan dan dieuaikan menurut yang ada di dataet: Query 5 : jet interference with uperonic flow - dah experimental paper. Dokumen yang relevan menurut dataet : 87,74,73,76,77 Tabel Error! No text of pecified tyle in document.-3 : Pembuktian LSI dengan QR Metode Dokumen id hail pencarian QR Precion :0,0 Recall :0,66 76,73,3,45,77,74,43,79,88,46,, 6,,8,4,03,4,7,37 Tabel Error! No text of pecified tyle in document.-4 : Pembuktian kemampuan LSI Dokumen 'DASH' 'EXPERIMENTAL' 'FLOW' 3 4 'INTERFERENCE' 'JET' 0 8 7

7 'PAPERS' 'SUPERSONIC' 3 Dari tabel 4.3 daftar term pada query 5. pada dokumen 74 hanya ada term flow, jet, uperonic dan dah experimental interference, dan paper tidak ada tetapi mampu memberikan nilai relevani terhadap query 5. Dari pengujian query 5 dapat diimpulkan bahwa hail pencarian dokumen untuk menerapkan LSI untuk metode QR Decompoition terbukti mampu menemukan dokumen yang relevan walau tidak mengandung term dari query yang diinputkan akan tetap terambil. 4.5 Pengujian Waktu Pencarian Dokmuen Relevan Pada table 4.4 hail waktu pencarian dokumen yang relevan terhadap query menggunakan QR. Tabel Error! No text of pecified tyle in document.-5 :hail waktu pencarian dokumen relevan Mertode/ Query QR Query 5,79068 Query 5,80644 Query3 5,869 Query4 5,807 Query5 5,8368 Query6 5,8066 Query7 5,7937 Query8 5,8076 Query9 5,79404 Query0 5,8435 Pada tabel 4.4 dan terlihat perbandingan waktu proe pencarian dokumen relevan QR decompoition. 5. Keimpulan dan Saran 5. Keimpulan QR Decompoition dengan menggunakan tranformai Houeholder dapat diimplementaikan pada Lantent Semantic Indexing (LSI). Hal ini dibuktikan pada uji coba query yang dipakai, dan kemampuan LSI dalam pencarian dokumen yang relevan terhadap query yang diinputkan walaupun tidak ada term query yang ada dalam query. QR decompoition menggunakan tranformai Houeholder memiliki nilai recall dan preciion lebih baik diebabkan pada perhitungan coine imilarity QR decompoition menggunakan tranformai Houeholder perhitungan vektor query dikalikan dengan matrik R dengan nilai elemen matriknya tidak terbata pada nilai tertentu yang menyebabkan pada QR decompoition menggunakan tranformai Houeholder mampu memunculkan banyak dokumen yang relevan euai dengan item. Dalam waktu pencarian dokumen yang relevan pada query QR Decompoition lebih cepat dibandingkan dengan metode QR lainnya. 5. Saran Berdaarkan hail pengujian dan analii, ada pun aran untuk perbaikan pada Tuga Akhir ini untuk penelitian lebih lanjut, yaitu :. Dalam proe indexing pada uatu dokumen diarankan dilakukan pada dokumen yang dokumen.html. Untuk membuktikan LSI adalah pencarian informai retrival yang baik, ebaiknya dilakukan kombinai atau penggunaan atau lebih algoritma, ehingga didapatkan pencarian yang optimal. 3. Dalam proe Indexing pada dokumen menggunakan tahap Stemming

8 Daftar Putaka:. Baeza-Yate, R. and Ribiero-Neto, B., 999, Modern Information Retrieval, Pearon Education.. Berry, M.W., Browne, Murray Undertanding Search Engine, Mathematical Modeling and Text Retrieval, econd edition. SIAM, Society for Indutrial and Applied Mathematic. 3. CH. Awanikumar, A. Gupta, S. Trehan, M. Batool, Latent Semantic Indexing-baed Intelligent Information Retrieval Sytem for Digital Librarie. Journal of Computing and InformationTechnology,4, 9 96, Ruminta. (04) Matrik Peramaan Linier dan Pemrograan Linier. Penerbit Rekayaa Sain, Bandung. 5. Chu W. Liu Z, Mao W. (00) Textual Document Indexing and Retrieval via Knowledge Source and Data Mining. 6. Cio, Krzyztof J. Etc. (007) Data Mining A Knowledge Dicovery Approach, Springer 7. Deerweter, Scott et al, 990, Indexing by Latent Semantic Indexing, Journal of The American Society for Information Science. 8. Gander Walter Algorithm for the QR-Decompoition. Reearch Report No CH-809 Zuerich 9. Golub, Gene H. and Van Loan, Charle F., 996, Matrix Computation, Baltimore and London, John Hopkin Univerity Pre. 0. L. XIAO, J. SUN, S. BOYD, A Duality View of Spectral Method for Dimenionality Reduction. Proceeding of 3rd International Conference on Machine Learning, , Manning, Chritoper D., Ragnavan Prabhakar., Schutze, Hinrich Introduction to Information Retrieval. Cambridge Univerity Pre.. Roario, Barbara., 000,Latent Semantic Indexing: An overview. Infoy 40 pring 000,Final Paper. 3. Sudaraman, Fatwa N., (04), Analia Latent Semantic Indexing dengan Menggunakan QR Decompoition dan Singular Value Decompoition untuk Temu Kembali Informai,Tuga Akhir. Univerita Telkom.