Cosine Similarity (Tf-idf) Denny Setyo R ( ) STBI Kelas C

Transkripsi

1 Cosine Similarity (Tf-idf) Denny Setyo R ( ) STBI Kelas C Contoh, Diketahui terdapat 6 dokumen (D1 s.d. D6) sebagai berikut : o D1. Komisi Yudisial dengan Universitas resmi menjalin kerjasama dalam memberantas mafia peradilan. o D2. SAR trunojoyo mengadakan DIKLAT mereka di Bumi perkemahan wisata air Terjun Mojokerto.Acara itu dibuka langsung oleh Pembantu Rektor o D3. Roadshow Speedy yang di trunojoyo diisi dengan berbagai acara yaitu seminar internet sehat, Cangkrukankomunitas,workshop,serta lomba band. o D4. Pemerintah Kabupaten Pamekasan menghentikan sementara program bantuan beasiswa kepada mahasiswa Pamekasan yang kuliah di o D5. Sebanyak 11 orang staf melakukan magang di Fakultas Teknik Industri UII o D6. Perpustakaan Universitas Airlangga pada minggu ini kedatangan tamu dari 2 perguruan tinggi, yaitu staf Perpustakaan Trunojoyo dan staf Perpustakaan Gunadharma Query yang dimasukkan adalah universitas trunojoyo.jadi dokumen yang paling relevan adalah??? Langkah-langkah, Langkah1. Preprocessing terhadap semua (n= 7) dokumen yang terlibat, yaitu Q, D1, D2, D3, D4, D5 dan D6. Langkah 1a: Lakukan tokenisasi, stop words removal dan stemming. Hasilnya diperlihatkan pada tabel berikut: Dokumen Q D1 D2 D3 D4 D5 D6 Term yang mewakili dokumen universitas trunojoyo komisi yudisial universitas jalin kerjasama berantas mafia adil sar trunojoyo diklat bumi kemah wisata air terjun mojokerto bantu rektor roadshow speedy trunojoyo seminar internet sehat cangkruk komunitas workshop lomba band perintah kabupaten pamekasan henti program bantu beasiswa mahasiswa pamekasan universitas trunojoyo 11 staf universitas trunojoyo magang fakultas teknik industri uii perpus universitas airlangga datang tamu 2 guru tinggi staf perpus universitas trunojoyo staf perpus universitas gunadarma

2 Langkah 1b. Tentukan bobot untuk setiap term dari 7 dokumen tersebut. tf idf Term Q D1 D2 D3 D4 D5 D6 df log(n/df) universitas trunojoyo komisi 1 1 yudisial 1 1 jalin 1 1 kerjasama 1 1 berantas 1 1 mafia 1 1 adil 1 1 sar 1 1 diklat 1 1 bumi 1 1 kemah 1 1 wisata 1 1 air 1 1 terjun 1 1 mojokerto 1 1 bantu 1 1 rektor 1 1 roadshow 1 1 speedy 1 1 seminar 1 1 internet 1 1 sehat 1 1 cangkruk 1 1 komunitas 1 1 workshop 1 1 lomba 1 1 band 1 1 perintah 1 1 kabupaten 1 1 pamekasan 2 1 henti 1 1 program 1 1

3 bantu 1 1 mahasiswa staf magang 1 1 fakultas 1 1 teknik 1 1 industri 1 1 uii 1 1 perpus 1 1 tamu guru 1 1 tinggi 1 1 gunadarma 1 1 Wdt=tf.idf Q D1 D2 D3 D4 D5 D

4 Langkah 2: Hitung kemiripan vektor [dokumen] query Q dengan setiap dokumen yang ada. Kemiripan antar dokumen dapat menggunakan cosine similarity. Rumusnya adalah sebagai berikut: Langkah 2a: Hitung hasil perkalian skalar antara Q dan 6 dokumen lain. Hasilnya perkalian dari setiap dokumen dengan Q dijumlahkan (sesuai pembilang pada rumus di atas)

5 Langkah 2b: Hitung panjang setiap dokumen, termasuk Q. Caranya, kuadratkan bobot setiap term dalam setiap dokumen, jumlahkan nilai kuadrat dan terakhir akarkan. Sisi kiri dari tabel di bawah ini mewakili langkah 2a dan sisi kanan memperlihatkan langkah 2b. WD*Wdi D1 D2 D3 D4 D5 D

6 Panjang Vektor Q D1 D2 D3 D4 D5 D

7

8 Langkah 2c: Terapkan rumus cosine similarity. Hitung kemiripan Q dengan D1, D2 dan seterusnya sampai dengan D6. Cos (Q, D1) = /(0.16*2.2403) = / = Cos (Q, D2) = /(0.16*2.6728) = / = Cos (Q, D3) = /(0.16*2.6728) = / = Cos (Q, D4) = /(0.16*2.6768) = / = Cos (Q, D5) = /(0.16*2.203) = / = Cos (Q, D6) = /(0.16*3.3473) = / = Hasil perhitungan dalam tabel D1 D2 D3 D4 D5 D Langkah 3: Urutkan hasil perhitungan kemiripan, diperoleh: D5 D4 D1 D6 D2 D3 Dokumen yang relevan dengan Query universitas trunojoyo yaitu D4 dan D5 Jika keenam dokumen tersebut diserahkan kepada pengguna,maka Recall = 6/6 x 100 % = 100% Jika diberikan kepada pengguna keenam dokumen tersebut, padahal hanya 4 dokumen yang relevan, maka: Presisi = 4/6 x 100 % = %