HARD:Subject-based Search Engine menggunakan TF-IDF dan Jaccard s Coefficient

Transkripsi

1 HARD:Subec-base Search Engne enggunaan TF-IDF an Jaccar s Coeffcen Rolly Inan, Anre Defeng Jurusan Ten Inforaa Unversas Krsen Pera Jl. Salanero -3, Wonocolo Surabaya 6036 Absrac Ths paper proposes a hybrze concep of search engne base on subec paraeer of Hgh Accuracy Rereval fro Docuens (HARD). Tf-If an Jaccar s Coeffcen are ofe an exene o provng he concep. Several llusrave exaples are gven nclung her seps of calculaons n orer o clearly unersan he propose concep an forulas. Absra Paper n eperenalan suau algora search engne berasaran onsep HARD (Hgh Accuracy Rereval fro Docuens) engan enggabungan penggunaan eoa TF-IDF (Ter Frequency Inverse Docuen Frequency) an Jaccar s Coeffcen. Keua eoa, TF-IDF an Jaccar s Coeffcen ofas an ebangan engan eperenalan beberapa ruusan baru. Unu lebh euahan ala enger algora an ruusan baru yang perenalan, beberapa conoh perhungan beran. Keyors HARD, Tf-If, Jaccar s Coeffcen, Search Engne, Fuzzy Ses.. PEDAHULUA HARD[] erupaan suau proye unu enngaan auras ala encar suau nforas (ouen) berasaran pernaan ar user. Unu enngaan auras pencaran suau nforas/ ouen, beberapa paraener gunaan unu lebh eperelas op, sehngga apa ebaas query hanya paa op yang car. Paraeer-paraeer n sebu sebaga eaaa yang anara lan err ar: Genre, Geography, Granulary, Falary, Subec, an Relae Tex. Seap paraeer err ar seelopo nla aau plhan yang bua oleh pebua op paa au op ersebu susun. Tuuan ar eaaa aalah engebangan suau susunan profl, sehngga apa ebeaan seap hasl plhan yang bua oleh user. Beberapa paraeer eaaa yang el relas engan profl ar ouen aalah sebaga beru: Subec la: Ars, Coerce, Curren Evens, Healh & Mecne, Eneranen, Hsory, La, Polcs, Scence, Spors aau Technology. Paraeer subye n aan engaan seap ouen paa sau aau lebh nla subye sesua engan s ar ouen ersebu. Sehngga engan enabahan (enenuan) nla subye yang ngnan ala proses pencaran nforas, users apa lebh ebaas pencarannya unu eperoleh nforas yang lebh aura. Genre la : Arel bera, Opn / Eoral, Lannya, aau Seua Paraeer n englasfas ouen berasaran ens arel yang haslan. Arel bera bers laporan engena faa ar suau eaan anpa sera opn, saran, epuusan an espulan. Opn aau eoral enganung banya faa naun espulan yang haslan apa berbea sesua engan suu panang yang gunaan. Geography la : Asa, Luar Asa, Seua Paraeer ebaas layah ar arel yang haslan. Arel engena asalah yang beraan engan luar asa a aan haslan apabla layah yang plh aalah layah asa espun bera ersebu apaan ar suber yang aa asa. Dss yang lan, arel yang berasal ar luar asa yang ensusan hanya asalah asa aan eenuh nla asa ar paraeer n. Dengan aa lan suber arel a beraan engan paraeer n. Falary la : se aau banya. Paraeer n enesrpsan nga eahlan ar pencar. Ja annoaor elh se, query hanya aan enghaslan arel yang uls unu seseorang yang a el pengeahuan engena opc ersebu. Hasl yang beran a boleh enganung en secara husus aau onsep

2 nga ngg. Begu uga apabla pencar elh banya, harapan hasl ar query enganung referens engena slah, aa, epa an onsep yang elasan secara lengap. Paraeer n erupaan paraeer yang palng subyef ar seua paraeer eaaa, an erupaan hal yang palng sul unu asran. Granulary Paraeer n engena asran level resolus yang berhubungan engan yang sebenarnya queres yang el "passage" yang plh unu paraeer n aan enera asran resolus yang lebh ngg arpaa yang elah unu unu analss ouen-level. Hasl pencaran "passage" aan baca secara eal unu eua alnya, an bagan yang berhubungan ar ap ouen aan cea ebal, hal n a epengaruh hasl ulah nforas yang ngnan, hanya eal yang el hasl yang aan baca. Relae Tex la : Ta apa enuan Paraeer n eungnan annoaors unu elha ua conoh ouen ar pencar, sau ouen yang el hubungan engan eaaa an eal ouen yang ngnan, an yang eua sesua engan op eap a eenuh paraeer eaaa. Mespun paraeer n aan ebanu pencar, hal n uga berasu unu ebanu annoaors. Paraeer n eber annoaors esepaan unu elha lag ahap pebuaan op an enabah pengalaan erea enang panangan aal unu query yang erea praarsa. Meaaa arrave la : Ta apa enuan Paraeer n eber esepaan paa annoaors unu enunuan bagaana erea pr paraeer eaaa yang erea plh aan epengaruh hasl pencaran. Merea sebanya elha afar paraeer eaaa an enunuan paraeer ana yang erea pr aan ena baasan yang palng besar ala hasl pencaran. Seper paraeer Relae Tex, eaaa-narrave berguna unu annoaor an pencar. Paraeer n enyaan pebenaran unu paraeer yang plh. Paper n eperenalan suau hbrsas onsep/ eoe search engne yang asaran paa HARD hususnya paraeer subec. Ter frequency Inverse ocuen frequency (Tf-If), oralsas Tf-If an Jaccars Coeffcen ofas an ebangan ala beberapa forula baru unu enghung bobo hubungan anara ouen erhaap subye, ouen erhaap eyor an eyor erhaap eyor. Kega hubungan ersebu aan paa unu enenuan bobo hubungan ouen engan eyor an subye yang npuan oleh users. Ses enelasan secara snga engena onsep Tf-If an noralsasnya. Selanunya, Jaccars Coeffcen aan elasan paa Ses 3. Ses 4 aalah erupaan onrbus uaa ar paper n, yau eperenalan hbrsas onsep asaran paa HARD hususnya paraeer subec. Beberapa lusras an conoh beran unu apa lebh uah enger sep-sep perhungan ar beberapa ruus baru yang perenalan. Keuan ahr oleh sebuah espulan paa Ses 5.. TF-IDF (TERMS FREQUECY-IVERSE DOCUMET FREQUECY) Meoe Tf-If [3] erupaan suau cara unu eberan bobo hubungan suau aa (er) erhaap ouen. Meoe n enggabungan ua onsep unu perhungan bobo yau, freuens eunculan sebuah aa ala sebuah ouen erenu an nverse freuens ouen yang enganung aa ersebu. Freuens eunculan aa ala ouen yang beran enunuan seberapa penng aa ersebu ala ouen ersebu. Freuens ouen yang enganung aa ersebu enunuan seberapa uu aa ersebu. Sehngga bobo hubungan anara sebuah aa an sebuah ouen aan ngg apabla freuens aa erseb ngg ala ouen an freuens eseluruhan ouen yang enganung aa ersebu yang renah paa upulan ouen (aabase). Ruus uu unu Tf-If : f f f log n Keerangan : bobo aa/er erhaap ouen f ulah eunculan aa/er ala ulah seua ouen yang aa ala aabase n ulah ouen yang enganung aa/er (nal aa sau aa yau er ) Berasaran ruus aas, berapapun besarnya nla f, apabla n aa aan apaan hasl 0 (nol) unu perhungan If. Unu u apa abahan nla paa ss If, sehngga perhungan bobonya ena sbb: ( log ( ) +) f n ()

3 Ruus () apa noralsas engan Ruus () engan uuan unu ensanarsas nla bobo e ala nerval 0 s.., sbb: Ruus Tf-If engan enggunaan noralsas ( log( n) + ) + f Conoh Daa : ( f ) [( log( n) ) ] () Douen Ter f Tabel Ters Frequency ala Douen Perhungan hubungan Ter 3 ala ouen : log Perhungan hubungan Ter ala ouen : 3 log + 3 Berasaran ar hasl perhungan aas, apa lha baha sean se suau er euan ala ocuen an sean banya er ersebu ala ouen ersebu, aa bobo hubungan anara er erhaap ouen aan sean besar. 3. JACCARD S COEFFICIET Jaccar Coefcen aalah salah sau eoa yang paa unu enghung slary anara ua obecs (es). Seper halnya cosne sance an achng coeffcen, secara uu perhungan eoe n asaran paa vecor space slary easure. Jaccar slary aau Jaccar Coeffcen [4] enghung slary anara ua obecs, X an Y yang nyaaan ala ua buah vecor, sebaga beru: X ( x, x, x3, K xp) Y ( y, y, y3, K yp) p xy J ( X, Y ) (3) p p p x + y xy ana x y erupaan hasl ar perhungan o prouc ar X an Y. Hal n apa engan lebh uah esrpsan sebaga Conoh aa :,3,5 ( X Y ) ( X Y ) (4) X ( ) Y ( 3,4,6) J ( X, Y ) ( 3) + ( 3 4) + ( 5 6) ( ) ( ) + ( ) ( ) ( ) ( ) 48 J ( X, Y ) J ( X, Y ) HARD DALAM SEARCH EGIE Dala ses n a eperenalan suau onsep search engne yang asaran paa eoa HARD, hususnya paraeer subye engan enggunaan noralsas Tf-If an Jaccar Coeffcen. Unu erealsas onsep n, seap ouen harus orelasan engan subye engan relas any o any, arnya sau subye bsa el beberapa ouen, sebalnya sau ouen bsa uga el beberapa subye. Unu apa elauan pengelopoan ouen erhaap subye apa lauan engan cara, yau :. Measuan seap ouen secara langsung eala subye. Measuan ouen secara a langsung eala suau subye engan enggunaan banuan er. Unu sebuah search engne yang el ouen ala ulah yang sanga banya, enu a ungn lauan pengelopoan engan cara easuan sau persau ouen eala subye. Hal ersebu erupaan suau peeraan yang a ungn pernah selesa unu lauan. Unu apa enggolongan suau ouen eala suau subye engan banuan aa-aa aau ala-ala (ers) yang euan ala ouen eala subye, hal peraa yang perlu eahu aalah bagaana enghung bobo hubungan anara suau er engan ouen ersebu. Bobo n

4 apa hung engan enggunaan eoa Tf-If, yau engan eperhungan freuens eunculan er ala ouen ersebu an ulah ouen yang enganung er ersebu. Dala hal n, ruus noralsas Tf-If gunaan unu enghung bobo relas anara suau er engan suau ouen erenu. Hasl perhungan bobo beraa ala nerval nla 0 s., an apa asusan sebaga suau nla ebershp er erhaap fuzzy se ouen. Ja T {,, L, } aalah hpunan ar seua ers an µ aalah sebuah ebershp funcon, aa relas anara sebuah fuzzy se ouen engan T apa nyaaan sebaga []: f n aalah ulah ouen yang enganung er sehngga: 3 + log ( log( 3 3) + ) 3 + log log + 3 µ : T [0,]. Sehngga suau ouen represenasan sebaga suau fuzzy se erhaap er an nyaaan sebaga ouen eala subye engan banuan er aalah beru [5, 6, 7]: apabla sebuah ouen golongan eala µ ( ) µ ( ) µ ( ) µ ( ) 3 subye s, aa secara a lansung er yang,,, K, (3.) 3 eranung ala ouen ersebu el Korelas engan Ruus (), relas anara fuzzy se hubungan aau relas engan subye s. la Tf-If ouen engan er apa efnsan sebaga beru: µ (5) ( ) 0.8 Dasar peran unu enggolongan suau yang gunaan unu enyaaan bobo hubungan ouen erhaap er erapan uga unu encar bobo hubungan subye erhaap er sebagaana elasan ala conoh sbb: Conoh aa : Doc Ter T.Freq. Tf-If Tabel Hasl oralsas Tf-If Julah seluruh ouen yang l. (Dar Tabel, 3) Sebaga conoh unu enghung noralsas Tf-If er paa ouen apa lauan sebaga beru: Docuen Ter Wegh Tabel 3 Conoh Bobo Relas ouen an ers Subec Ter Wegh u s 0 0 s 0 0 s s 0 0 s 0 0 s s s s Tabel 4 Tabel aal relas er an subye

5 Apabla ouen asuan eala subye s, aa seluruh er yang el relas engan aan epengaruh bobo hubungan subye erhaap er. Pengaruh bobo hubungan subye erhaap er aan apa ennga aupun berurang sesua engan bobo er ala ouen yang golongan eala subye ersebu. Bobo hubungan subye erhaap er aan selalu auulasan euan bag engan raa-raa berapa al er ersebu golongan e ala subye ersebu. Paa langah aal lauan nsalsas aal, ana seua subye relasan engan er, an beran nla nol unu bobo hubungan anara subye engan er ersebu, ana ω efnsan sebaga bobo hubungan er erhaap subye s. Dsapng u uga eberan nla nol unu fel nu (bernla neger) yang enanaan baha belu aa er yang golongan eala subye ersebu, ana η efnsan sebaga couner unu enyaaan suah berapa al hubungan e subye s. Ja suau ouen asuan eala subye s, aa alur proses perhungan relas subye erhaap er apa lauan engan uruan proses sebaga beru. η +, a µ ( ) > 0 η (6) η, lannya ω ( η ) µ + ( ), a µ ( ) > 0 ω η (7) ω, lannya Berasaran aa paa Tabel 3 an Tabel 4, apabla ouen asuan ala subye s, aa aan haslan aa seper yang apa paa Tabel 5. Subec Ter Wegh u s 0. s 0. s s 0 0 s 0 0 s s s s Tabel 5 Relas er an subye, asu e s Selanunya apabla ouen s golongan eala, aa aan haslan aa seper yang apa paa Tabel 6. egh s, ) ω 0.5, apaan ar 3 ( ulah auulas bobo er yang pernah asuan abah engan bobo ouen erhaap er yang aan asuan, euan bag engan ulah oal er yang pernah asuan eala subye s. (0. ) + 0. ω Subec Ter Wegh u s 0.5 s 0. s s 0 0 s 0 0 s s s s Tabel 6 Relas er an subye, 3 asu e s Berasaran hubungan anara subye erhaap er an hubungan anara ouen erhaap er, aa apa enuan hubungan anara subye engan ouen elalu er. Subye represenasan sebaga suau fuzzy se erhaap er, ana apa nyaaan seper beru ( ) µ ( ) µ ( ) ( ) µ s s s 3 µ s s,,, K, 3 Unu elauan perhungan bobo hubungan subye erhaap ouen erapan Jaccar s Coeffsen. Karena subye an ouen asusan sebaga fuzzy se erhaap er, aa operas paa Jaccar s coeffcen gunaan ax an n operas berasaran T-or an T-Conor sanar yang uunya gunaan ala operas nersecon an unon fuzzy se [6]. J (, s ) s s n ax ( µ ( ), µ ( )) ( µ ( ), µ ( )) s s (8)

6 Docuen Ter Wegh Tabel 7 Relas Ter an Douen Subec Ter Wegh s 0. s 0.4 s s 0. s 0.8 s Tabel 8 Relas Ter an Subye Unu enelasan penggunaan Ruus (8), Tabel 7 an Tabel 8 beran sebaga conoh yang erepresenasan relas anara Ter an Douen an relas anara Ter an Subye. Bobo hubungan ouen engan s subye berasaran Tabel 7 an Tabel 8 aalah sebaga beru: an s nyaaan sebaga fuzzy ses erhaap ers: {, } an s {,, }. 3 s Slary relas anara an hung engan enggunaan Ruus (8): n J (, s) J ( s, ) ax ( 0.,0. ) + n( 0.,0.4) + n( 0,0.7) ( 0.,0. ) + ax( 0.,0.4) + ax( 0,0.7) Keseluruhan hasl perhungan apa lha paa Tabel 9. Docuen Subec Wegh s s s s s s s s Tabel 9 Relas Douen an Subye Slary er erhaap er bsa uga apaan engan enerapan eoe Jaccar s Coeffcen. Pencaran slary n perlu asaran paa sesuau yang el relas engan er. Dala hal n gunaan hubungan er erhaap subye aupun ouen yang elah apaan. Masng asng hubungan anara er erhaap subye an hubungan er erhaap ouen el eleahannya asng-asng. Hal n apa sebaban arena aanya faor esalahan yang lauan oleh anusa ala engelopoan ouen e ala subye an esalahan arena er yang erapa paa ouen serngal a el hubungan engan ouen ersebu secara lansung. Relas er erhaap subye nla erlalu subyef arena peroleh ar hasl peran user. Seangan relas ouen erhaap er nla lebh obyef. Sebagaana yang elah elasan sebelunya baha suau ouen apa nyaaan sebaga suau fuzzy se erhaap er, sehngga sebalnya suau er apa uga nyaaan sebaga suau fuzzy se erhaap ouen elalu suau proses onvers [5] sebaga beru. Msalnya : T,,, aalah se of ers {, 3 K } {,, } D, aalah se of ocuens, 3 K ( ) µ ( ) µ ( ) ( ) µ 3 µ,,, K, 3 µ ( ) µ ( ) µ ( ) µ ( ) µ ( ) µ ( ),, K, Slary anara ua er apa peroleh engan enggunaan Jaccar s Coeffcen sebaga beru: ( µ ( ), µ ( )) n l l δ (, l ) (9) l ax ( µ ( ), µ ( )) Sebaga conoh, ar relas er an ouen paa Tabel 7, an nyaaan sebaga fuzzy ses erhaap ouen: l

7 ,,, {, } ,,, {, } 4 Keuan slary anara an hung engan Ruus (9). n( 0.33,0.66) + n(,0 ) + n( 0,0.53) δ (, ) ax 0.33, ax,0 + ax 0,0.53 ( ) ( ) ( Keseluruhan hasl relas anar ers unuan oleh Tabel 0. Ter Ter Wegh Tabel 0 Slary Ter erhaap Ter Bobo hubungan anara er engan rnya senr aalah. Sehngga, Boolean relaon yang haslan oleh Ruus (8) an (9) aalah bersfa reflexvy an syery. Bobo hubungan anara er an er apa paa sebaga asar unu engebangan fuzzy exene eyors (ers) ala suau search engne. Pencaran ouen paa suau aplas search engne pengaruh oleh ga aspe, yau : eyor, subye, an exene eyor. Exene eyor yang asuan sn aalah er yang el hubungan engan er yang lan sebgaana erlha paa Tabel 0. Unu elauan pencaran ouen, user a aban unu enggunaan seluruh aspe ersebu. Mnal user elauan pencaran ouen engan enggunaan er (eyor). Secara uu unu elauan pencaran ouen engan eperhungan ega aspe aas ) perluan bobo hubungan anara ouen erhaap subye, ouen erhaap eyor an eyor erhaap eyor. Kega hubungan ersebu aan paa unu enenuan bobo hubungan ouen engan eganya, an apa hung Ruus (0). Msalnya ala encar suau ouen, users engnpuan er (eyor) an subye s. Bobo hubungan suau ouen sbb: u u erhaap eua npu users apa hung { (, )} σ ( ) J ( su, ) sup δ u (0) Dana {,,3,...,}. Ja users hanya easuan eyor, engan asus baha proses pencaran aan lauan unu seua subye, aa J ( s u, ), sehngga Ruus (0) apa seerhanaan ena: Ja u { (, )} σ ( ) sup δ u () a el exene eyors aau exene eyors a uan ala proses pencaran, apa buan baha Ruus () aan berubah ena: 5. KESIMPULA σ ( ) () u Dala paper n, a eperenalan suau onsep hbrsas anara noralsas Tf-If engan Jaccar s Coeffcen yang elah ofas unu engebangan suau eoa search engne yang asaran paa HARD, hususnya paraeer Subec. Beberapa lusras conoh aa yang bersfa sbol beran unu euahan ala enger beberapa ruus baru yang perenalan. Konsep n apa ebangan unu eproses paraeer-paraeer HARD yang lannya. REFERECES [] Hgh Accuracy Rereval fro Docuens (HARD) Annoaon Guelnes, verson.3 - <.lc.upenn. eu/proecs/hard/hard004-guelnes.v.3.pf> [] Klr, J. an B. Yuan, 00. Fuzzy Ses an Fuzzy Logc: Theory an Applcaons. e Delh: Prence-Hall. [3] Roberson, S., 004. Unersanng Inverse Docuen Frequency: On heorecal arguens for IDF, Journal of Docuenaon, Vol.60, no.5, pp [4] Tan, P.., M. Senbach an V. Kuar, 005. Inroucon o Daa Mnng, Ason Wesley. [5] Inan, R. an M. Muaono, 004. Toar a Fuzzy Thesaurus Base on Slary n Fuzzy Coverng, Ausralan Journal of Inellgen Inforaon Processng, Vol.8, o. 3.

8 [6] Inan, R. an M. Muaono, 004. Fuzzy Cononal Probably Relaons an s Applcaons n Fuzzy Inforaon Syses, Knolege an Inforaon Syses, an Inernaonal Journal, Vol. 6, o. 3. [7] Inan, R., 004. Rary-base Slary Relaons n a Generalze Fuzzy Inforaon Syse, Proceeng of IEEE Conference on Cybernecs an Inellgen Syses (CIS 004).