Text dan Web Mining - Budi Susanto 1 EVALUASI IR. Budi Susanto

Transkripsi

1 Text dan Web Mining - Budi Susanto 1 EVALUASI IR Budi Susanto

2 Text dan Web Mining - Budi Susanto 2 Tujuan mahasiswa memahami tentang bagaimana mengukur dan mengartikan precision dan recall terhadap sistem temu kembali.

3 Text dan Web Mining - Budi Susanto 3 Evaluasi dalam IR Seberapa baik sistem IR Anda bekerja? Ada beberapa level pengukuran: Pemrosesan diukur efisiensi waktu dan ruang penyimpanan yang digunakan. Pencarian efektifitas hasil pencarian terhadap query yang diberikan. Kepuasan pemakai Kita akan fokus pada level pengukuran evaluasi terhadap hasil pencarian.

4 Text dan Web Mining - Budi Susanto 4 Efektifitas Retrieval Terkait dengan response terhadap sebuah query, sebuah sistem IR mencari dari kumpulan dokumennya dan mengembalikan sebuah daftar terurut sesuai dengan query. disebut sebagai himpunan yang terambil (retrieved set) atau daftar rangking. sistem tersebut menerapkan sebuah strategi pencarian Mengukur kualitas dari retrieved set. sebuah sistem IR dikatakan lebih baik tentunya akan memicu sebuah retrieved set yang lebih baik pula. retrieved set yang lebih baik akan membantu pemakai menemukan informasi yang dibutuhkan.

5 Text dan Web Mining - Budi Susanto 5 Contoh Perangkingan Rank DocID Relevansi YA YA YA 8 15 YA 9 11 YA 10 1 seberapa baik hasil pencarian tersebut?

6 Text dan Web Mining - Budi Susanto 6 Relevansi dan Retrieved Set Setiap Dokumen dalam kumpulan yang dicari, dapat dikelompokkan ke dalam 4 himpunan: relevan atau tidak, terambil atau tidak Relevansi sangat tergantung pada penilaian pemakai apakah dokumen yang terambil relevan dengan informasi yang dibutuhkan atau tidak, berdasar query yang diberikan. Terkait dengan retrieved set, asumsi yang dikenakan adalah sistem IR mengatakan semua dokumen dalam retrieved set adalah relevan.

7 Text dan Web Mining - Budi Susanto 7 Precision dan Recall Precision adalah kemampuan untuk mengambil topranked dokumen terambil yang relevan. Recall adalah sebagian dari dokumen relevan yang terambil. Relevant Irrelevant Terambil A B Tidak Terambil C D precision = recall = A (A B) A (A C)

8 Hsin-Hsi Chen Text dan Web Mining - Budi Susanto 8 Precision Recall Relevant Docs in Answer Set Ra Relevant Docs R collection Answer Set A

9 Text dan Web Mining - Budi Susanto 9 Precision dan Recall Precision dan Recall adalah ukuran himpunan. Dalam sebuah himpunan rangked list, kita dapat menghitung precision di setiap recall point. recall meningkat ketika sebuah dokumen relevan terambil. menghitung precision di tiap dokumen relevan terambil, dari seluruh bagian dari retrieved set. terdapat sebuah pertukaran pengaruh antara precision dan recall semakin banyak dokumen terambil, akan meningkatkan recall namun hal tersebut akan mengurangi precision.

10 Text dan Web Mining - Budi Susanto 10 Grafik Precision Recall memperlihatkan kinerja retrieval di tiap titik rangking. Grafik menggambarkan precision pada titik-titik recall standar 10%, 20%,, 100% interpolate antar titik. Precision(Recall=r) = max(precision(recall >= r)) p int erp (r) = max r' r p(r')

11 Grafik Precision Recall Text dan Web Mining - Budi Susanto 11

12 Text dan Web Mining - Budi Susanto 12 Grafik Precision Recall Returns relevant documents but misses many useful ones too Precision 1 The ideal 0 Recall 1 Returns most relevant documents but includes lots of junk

13 Text dan Web Mining - Budi Susanto 13 Precision Recall Rank DocID Relevansi Precision Recall 1 5 0/1 0/5 2 3 YA 1/2 1/ /3 1/ YA 2/4 2/ /5 2/ /6 2/ YA 3/7 3/ YA 4/8 4/ YA 5/9 5/ /10 5/5

14 Text dan Web Mining - Budi Susanto 14 MAP MAP (Mean Average Precision) adalah nilai ukuran kualitas tunggal dari setiap level recall. Nilai ukuran tunggal ini adalah rata-rata nilai precision yang diperoleh untuk himpunan MAP(Q) = 1 Q Q j=1 m 1 j Pr ecision(r jk ) m j k=1

15 Text dan Web Mining - Budi Susanto 15 TERIMA KASIH budi susanto