Sistem Temu Kembali Informasi/ Information Retrieval IRS VS SI LAIN

Transkripsi

1 Sistem Temu Kembali Informasi/ Information Retrieval IRS VS SI LAIN

2 Dokumen

3 Penyimpanan yang Terorganisasi

4 Database Mahasiswa Database Buku ID Nama Buku Pengarang 001 Information Retrieval Ricardo baeza 002 Matematika Diskrit Rinaldi Munir 003 Pengenalan Java Abdul Kadir 004 Pengenalan C++ Abdul Kadir 005 Design Pattern Arnold

5 Siapa pemain dalam novel tersebut? Unstructured

6 Digital Library UPGRIS

7 Google

8 Database retrieval Database Retrieval vs IR Dokumen mana yang mengandung himpunan keyword? Semantik didefinisikan dengan baik Error dari suatu obyek mengakibatkan kegagalan! Information retrieval Informasi mengenai suatu subyek atau topik Semantik dapat bersifat lepas (longgar) Error kecil ditoleransi

9 Pengertian IR Pencarian materi (biasanya dokumen) dari sesuatu yang sifatnya tak-terstruktur (unstructured, biasanya teks) untuk memenuhi kebutuhan informasi dari dalam koleksi besar (biasanya disimpan dalam komputer). Representasi, penyimpanan, organisasi, pencarian dan akses ke item informasi untuk memenuhi kebutuhan informasi pengguna. Penekanan pada proses retrieval informasi (bukan data). Karakterisasi kebutuhan informasi tidaklah mudah. Harus ditranslasi ke dalam suatu query terlebih dahulu.

10 Information Retrieval Secara teknis: indexing (pembuatan index) dan retrieval (pencarian keterangan) dokumen textual. Pencarian halaman pada WWW adalah aplikasi paling ngetop saat ini Fokus pertama: me-retrieve dokumen- dokumen yang relevan dengan query. Fokus kedua: me-retrieve himpunan besar dokumen secara efisien. Tujuan: Me-retrieve semua dokumen yang relevan sekaligus me-retrieve sesedikit mungkin dokumen yang tidak relevan

11 Relevan Relevansi merupakan suatu judgment (keputusan) subyektif dan dapat didasarkan pada: Topik yang tepat. Waktu (informasi terbaru). Otoritatif (dari suatu sumber terpercaya). Kebutuhan informasi dari pengguna. Kriteria relevansi utama: suatu sistem IR sebaiknya (harus) memenuhi kebutuhan informasi pengguna.

12 Pencarian Keyword Ide paling sederhana dari relevansi: apakah string query ada di dalam dokumen (kata demi kata, verbatim)? Ide yang lebih fleksibel: Berapa sering kata-kata di dalam query muncul di dalam dokumen, tanpa melihat urutannya (bag of words)?

13 Masalah dengan Keyword Mungkin tidak me-retrieve dokumen relevan yang menyertakan synonymous terms. restaurant vs. café NDHU vs. National Dong Hwa University Mungkin me-retrieve dokumen tak-relevan yang menyertakan ambiguous terms. bat (baseball vs. mamalia) Apple (perusahaan vs. buah-buahan) bit (unit data vs. perilaku menggigit)

14 Bukan Sekedar Keyword Kita akan mendiskusikan dasar-dasar IR berbasis keyword, tetapi Fokus pada perluasan dan pengembangan terakhir untuk mendapatkan hasil terbaik. Kita akan membahas dasar-dasar pembangunan sistem IR yang efisien, tetapi Fokus pada algoritma dan kemampuan dasar, bukan masalah sistem yang memungkinkan pengembangan ke database ukuran industri.

15 IR Cerdas Memanfaatkan pengertian atau makna dari kata yang digunakan. Melibatkan urutan kata di dalam query. Beradaptasi dengan pengguna berdasarkan pada feedback, langsung atau tidak langsung. Memperluas pencarian dengan term terkait. Mengerjakan pemeriksaan ejaaan/perbaikan tanda pengenal otomatis. Memanfaatkan Otoritas dari sumber

16 Perkembangan IR 1. Klasifikasi Dokumen 2. Clustering Dokumen 3. Peringkasan Teks 4. Question Answering System

17 Portal Jurnal e-jurnal.upgris.ac.id : : Prosiding.upgris.ac.id

18 Salah satu aplikasi umum dari Sistem Temu Kembali Informasi adalah search engine atau mesin pencarian yang terdapat pada jaringan internet. Pengguna dapat mencari halaman-halaman web yang dibutuhkannya melalui search engine. Contoh lain dari Sistem Temu Kembali Informasiadalah sistem informasi perpustakaan

19 Text Mining vs Data Mining Perbedaan di antara keduanya adalah pada data yang digunakan. Pada Data Retrieval System, data yang digunakan adalah structured data, sedangkan pada Information Retrieval System (IRS), data yang digunakan text mining pada umumnya adalah unstructured data, atau minimal semistructured. Hal ini menyebabkan adanya tantangan tambahan pada Information Retrieval System (IRS) yaitu struktur teks yang complex dan tidak lengkap, arti yang tidak jelas dan tidak standard, dan bahasa yang berbeda ditambah translasi yang tidak akurat. Dokumen adalah contoh informasi yang tidak terstruktur. Isi dari suatu dokumen sangat tergantung pada pembuat dokumen tersebut.

20 Search (Goal Oriented) Discover (Oportunistic) Structured Data Data Retrieval Data Mining Unstructured Data Information Retrieval Text MIning Structured Data vs Unstructured Data

21 Text mining pada unstructured data mendukung proses knowledge discovery pada koleksi dokumen yang besar. Text mining mencoba memberikan solusi terhadap permasalahan information overload, pemrosesan, pengorganisasian atau pengelompokan dan menganalisa dengan menggunakan teknik-teknik dari bidang ilmu yang terkait.

22 Object Data Mining Numerical & Categorical Text Mining Textual Data Structured Unstructured Representation Simpel Complex Dimension Billion Billion

23 Dokumen sebagai objek data dalam Sistem Temu Kembali Informasi merupakan sumber informasi. Dokumen biasanya dinyatakan dalam bentuk indeks atau kata kunci. Kata kunci dapat diekstrak secara langsung dari teks dokumen atau ditentukan secara khusus oleh spesialis subjek dalam proses pengindeksan yang pada dasarnya terdiri dari proses analisis dan representasi dokumen.

24 Tantangan yang dihadapi dari Sistem Temu Kembali Informasi

25 1. Informasi dalam bentuk teks yang terstruktur. 2. Jumlah data yang besar. 3. Jumlah kemungkinan yang tinggi, memungkinkan semua kata dan frase. 4. Hubungan antara konsep teks kompleks, contoh: AOL bergabung dengan time-warner & time-warner dibeli oleh AOL. 5. Kata ambigu dan kepekaan konteks, contoh: apple (perusahaan) atau apel (buah). 6. Kesalahan data, contoh: kesalahan ejaan.

26 Tahapan proses Sistem Temu Kembali Informasi & Text Mining

27 Text preprocessing (Features Generation) Features selection Pattern discovery Interpretation / evaluation,

28 Text preprocessing (Features Generation), Pada tahap ini dilakukan proses pembersihan text dengan cara membuang kata-kata yang tidak dipakai. Selain pembersihan teks, dilakukan juga restrukturisasi dengan cara memisah-misahkan tiap kata, menghilangkan imbuhan, dan melakukan proses penghilangan stopwords (kata yang tidak relevan yang banyak muncul pada sebuah teks).

29 Features selection Pada tahap ini dilakukan penghilangan dimensi kata.

30 Pattern discovery, Pada tahap ini dilakukan proses mining untuk mendapat pengetahuan baru pada teks.

31 Interpretation / evaluation, Hasil dari proses mining akan diinterpretasikan kedalam bentuk tertentu untuk kemudian dilakukan proses evaluasi.

32

33 Bagian-bagian dari Sistem Temu Kembali Informasi menurut gambar diatas meliputi: Text Operations (operasi terhadap teks) yang meliputi pemilihan kata-kata dalam query maupun dokumen (term selection) dalam pentransformasian dokumen atau query menjadi terms index (indeks dari kata-kata). Query formulation (formulasi terhadap query) yaitu memberi bobot pada indeks kata-kata query. Ranking (perangkingan), mencari dokumen-dokumen yang relevan terhadap query dan mengurutkan dokumen tersebut berdasarkan kesesuaiannya dengan query. Indexing (pengindeksan), membangun basis data indeks dari koleksi dokumen. Dilakukan terlebih dahulu sebelum pencarian dokumen dilakukan.

34 NEXT > IVERTED INDEX Tokenisasi, Stopwords, Stemming, Pembobotan,