ANALISA KINERJA SEARCH ENGINE DENGAN MENILAI PRECISION AND RECALL UNTUK INFORMASI MARKETING DAN ADVERTISING

Transkripsi

1 White Paper TUGAS AKHIR ANALISA KINERJA SEARCH ENGINE DENGAN MENILAI PRECISION AND RECALL UNTUK INFORMASI MARKETING DAN ADVERTISING (Study Kasus : Google, Yahoo, MSN, Ask, ) Oleh: SYAMSUL ANAM JURUSAN SISTEM INFORMASI FAKULTAS ILMU KOMPUTER UNIVERSITAS NAROTAMA SURABAYA 2008

2 Abstraksi Internet adalah samudra informasi yang telah menjadi dunia pararel manusia. Mengarungi internet layaknya mengarungi samudra informasi tanpa batas yang membutuhkan sarana penuntun untuk mencapai tujuan. Adalah wesite search engine-lah yang menjadi malaikat yang akan membawa kita dalam menemukan informasi yang kita inginkan (retrieval information). Sayangnya, website search engine terkadang menghasilkan informasi yang kurang (tergantung sistem dan konsep masing masing search engine ). Maka dari itu, penelitian ini mencoba mengukur kinerja search engine terhadap relevansi informasi yang ditampilkan dengan menilai precision dan recall-nya. Dari hasil ini dapat diketahui bahwa masing masing search engine memiliki kelebihan dan kelemahan terhadap macam keywords yang diberikan. Ada yang unggul dalam keyword tunggal, namun lemah di keyword gabungan dan laian lain. Akhirnya hasil dari penelitan ini diharapkan dapat mampu membantu user dalam mengarungi samudra informasi bersama malaikat search engine. Sehingga mendapat informasi yang cepat, tepat dan efisien. Keywords : search engine, precision, recall, relevan, keyword BAB I PENDAHULUAN 1.1 LATAR BELAKANG Harriet Shalat, seorang pustakawan rujukan di New York Public Library, Amerika Serikat, mengungkapkan, saat ini sudah terbentuk pandangan di publik yang mengasumsikan bahwa sesuatu yang tidak dapat ditemukan di internet berarti memang tidak eksis. Diperlukannya suatu perantara yang akan menghubungkan kedua pihak tersebut, karena tidak mungkin pengunjung melakukan pencarian dengan WWW. secara langsung. Adalah website search engine ( situs pencari ) yang merupakan perantara yang dimaksud. Menurut 81 % pemakai internet mengandalkan search engine sebagai alat pencari informasi. Ketergantungan yang sangat tinggi terhadap search engine sering tidak diimbangi dengan pemahaman bahwa sebenarnya search engine tidak dilengkapi filter dalam pengumpulan informasi yang diinginkan oleh pengguna. Kenyataan itu semakin ironis, ketika Google melakukan penelitian pada tahun 2002 dan mendapatkan hasil bahwa hampir 85% pengguna hanya melihat hasil perolehan search engine pada halaman pertama saja. Atas dasar ilustrasi diatas, maka penulis tertarik untuk melakukan penelitian terhadap kinerja search engine dengan judul ANALISA KINERJA SEARCH ENGINE DENGAN MENILAI PRECISION AND RECALL UNTUK INFORMASI MARKETING DAN ADVERTISING BAB II TINJAUAN PUSTAKA 2.1 Pengertian Sistem Informasi System informasi didefinisikan oleh James O Brien sebagai berikut : Suatu kombinasi yang terorganisir tentang orang-orang, perangkat keras, perangkat lunak jaringan komunikasi dan sumber daya data yang mengumpulkan, mengubah bentuk, dan menghamburkan informasi di dalam suatu organisasi 2.2 Pengertian Information retrieval Temu kembali informasi (information retrieval) adalah ilmu pencarian informasi pada dokumen, pencarian untuk dokumen itu sendiri, pencarian untuk metadata yang menjelaskan dokumen, atau mencari di dalam database, baik relasi database yang stand-alone atau hipertext database yang terdapat pada network seperti internet atau World Wide Web atau intranet, untuk teks, suara, gambar, atau data. Information retrieval (IR) adalah ilmu yang lahir dari berbagai disiplin ilmu, baik ilmu komputer, matematika, ilmu kepustakaan, ilmu informasi, psikologi kognitif, linguistik, statistik, maupun fisika. 2.3 Pengertian Internet Internet adalah sebuah jaringan yang sangat besar yang mengkoneksikan

3 computer dan server diseluruh dunia dalam satu jaringan yang terpusat. Dengan Internet kita dapat mengakses data dan informasi kapan saja dan dimana saja. 2.4 Pengertian Search Engine The American Heritage Dictionary mendefinisikan search engine sebagai sebuah program perangkat lunak (software) yang menelusur, menjaring, dan menampilkan informasi dari pangkalan data. Informasi yang ditampilkan mengandung atau berhubungan dengan suatu istilah spesifik. 2.5 Komponen dasar Search Engine 1. Spider 2. Web Crawler 3. Indexer 4. Database 5. Result Engine 6. Web Server 2.6 Beberapa Faktor yang Mempengaruhi Peringkat dalam Search Engine 1. Pagerank 2. Directory 3. Lay-uot, keyword, meta-tgas dan isi halaman 4. Click dan link popularity 5. Search engine Optimisation (SEO) BAB III METODOLOGI PENELITIAN 3.1 DESAIN PENELITIAN Penelitian ini merupakan jenis penelitian Komparatif-Literatif. Dikatakan Komparatif ( perbandingan ) dikarenakan pada penelitian ini bertujuan untuk menilai precision and recall dari hasil pencarian masing masing search engine yang bervariasi. Setelah dilakukan studi Komparatif dan penilaian, maka selanjutnya dilakukan studi Literatif sebagai bahan untuk analisa dan pembahasan terhadap faktor faktor yang menyebabkan perbedaan hasil pencarian sesuai dengan konsep masing maisng search engine. 3.2 OBYEK PENELITIAN Kategori search engine yang menjadi pilihan dalam penelitian ini adalah U.S. Core Search Engines by Search Share, adapun search engine yang terpilih adalah sebagai berikut : 1. Google 2. Yahoo 3. MSN-Microsoft 4. Ask 3.3 JENIS DAN SUMBER DATA 1. Data Kualitatif, merupakan data yang diperoleh melalui studi literatur dan sumber sumber yang bersifat kepustakaan. 2. Data sekunder, merupakan data yang diterbitkan atau digunakan oleh organisasi yang bukan pengolahnya. 3. Data cross section, merupakan data yang di kumpulkan pada satu waktu tertentu pada beberapa obyek dengan tujuan untuk menggambarkan keadaan 3.4 TEKNIK PENGUMPULAN DATA Sesuai dengan jenis penelitian yang digunakan ( Komparatif Literatif ), maka teknik pengumpulan data yang digunakan adalah metode dokumentasi data, yaitu pengumpulan data yang bersumber dari pustaka pustaka maupun obyek obyek yang akan di teliti ( dalam hal ini halaman situs ) baik yang di dunia nyata maupun dunia maya (Internet) yang berkaitan langsung maupun tidak langsung dengan masalah yang dibahas dalam penelitian ini. 3.5 PROSES PENGOLAHAN DATA Data yang telah dikumpulkan kemnudian dikelompokkan sesuai dengan jenis datanya, selanjutnya akan dianalisis dengan menggunakan teknik analisa data deskriptif kualitatif, yakni dengan memberikan interpretasi terhadap data yang diperoleh secara rasional, obyektif, yang diatur, diurutkan dan dikelompokkan dengan memberikan kode dan mengkategorikannya, kemudian menggambarkan hubungan antara kaetgori yang satu dengan yang lain yang diteliti agar dapat menggambarkan fenomena tertentu secara lebih konkret dan terperinci. 3.6 TAHAPAN PENELITIAN Proses penelitian ini dilakukan dalam tiga tahap. Tahap pertama, mengumpulkan materi materi dan literatur yang berhubungan dengan pokok permasalahan yang akan di bahas, tahap kedua, melakukan seleksi dan pemilihan terhadap search engine berdasarkan kebutuhan dan data statistik dari lembaga yang membuat ranking search engine, setelah menentukan search engine,

4 berikutnya adalah menentukan query ( pertanyaan ) yang akan diapakai untukproses penelusuran. Tahap ketiga adalah melakukan penelusuran terhadap search engine sesuai dengan query dan ketentuan yang telah ditetapkan. Setelah semua data diperoleh, langkah selanjutnya adalah melakukan pengolahan data ( analisis ) untuk mendapatkan hasil. 3.8 ISTILAH PENCARIAN ( SAMPLE SEARCH QUERIES ) Dalam menentukan istilah pencarian untuk bidang Marketing dan Advertising, penulis mengacu pada daftar Subject Headings for Marketing and Advertising yang dirilis oleh Setelah memilih dari daftar tersebut, langkah selanjutnya adalah mengkategorikan istilah istilah tersebut ke dalam tiga kelompok : 1. Konsep tunggal Dengan istilah pencarian : marketing; advertising; promotion; dan publicity 2. Kosep gabungan Dengan istilah pencarian : internet marketing ; internet advertising ; sales promotion ; television advertising 3. Konsep kompleks Dengan istilah pencarian : advertising AND public relations ; advertising OR promotion ; marketing AND advertising ; marketing OR market segmentation 3.9 TEKNIK PENCARIAN ( TEST ENVIRONMENT ) Masing masing search engine mempunyai fasilitas pencarian simple dan advance mode, pencarian dokumen untuk istilah pencarian dengan konsep tunggal memakai fasilitas simple ( seperti yang dilakukan orang awam untuk semua search engine ). Sedangkan pencarian dokumen untuk kategori konsep gabungan dan kompleks, digunakan fasilitas advance mode, yakni dengan exact phrase. Hal ini dilakukan agar penelusuran memiliki tingkat precision yang lebih tinggi. Hasil temuan untuk Google, Yahoo, dan MSN secara otomatis dibatasi pada periode ( dalam kurun waktu satu tahun dari sekarang ) sedangkan Ask, dibatasi pada periode ( dalam kurun waktu dua tahun dari sekarang ). Proses pencarian ini dilakukan pada hari yang sama, yakni pada hari kamis, tanggal 21 Februari 2008 mulai pukul WIB. Dilaksanakan hanya dalam kurun waktu satu hari karena untuk menghindari variasi yang mungkin disebabkan update system (Clarke & Willet,1997), termasuk updating algoritma pengindekan dari masing masing search engine. Dari masing masing search engine tersebut diperoleh hasil pencarian yang berjumlah sangat besar. Penelitian ini membatasi hanya pada 10 hasil temuan yang muncul pada halaman pertama saja RUMUSAN DAN SKALA PENILAIAN Rumus penilaian precision yang digunakan dalam penelitian ini adalah: Precision = Jumlah skor dokumen ilmiah ditemukan oleh search engine Total hasil temuan yang dievaluasi Relevansi hasil temuan search engine diukur dengan menggunakan metode penilaian relevansi bertingkat (Graded Relevant Assessment) 0-3 yang kemudian dijadikan dasar kalkulasi tingkat precision. Skala penilaian yang dimaksud adalah sebagai berikut: a. Skor 3, adalah untuk dokumen dengan kriteria sebagai berikut : Halaman yang memuat informasi tentang makalah penelitian, jurnal, prosiding seminar white paper, artikel lengkap,ensiklopedi dengan tanpa menawarkan barang dan jasa. b. Skor 2, adalah untuk dokumen dengan kriteria sebagai berikut : Halaman yang memberikan informasi sesuai query akan tetapi dengan menawarkan barang dan jasa, seperti majalah, surat kabar, buku, dan lain lain, Halaman yang menampilkan kutipan informasi (pop-up) ke internal situs, blog, forum, newsletter atau artikel,dan laian lain, Halaman yang menampilkan dictionary atau glossary sesuai dengan query, Halaman yang menawarkan produk atau jasa tetapi dengan memberikan product knowledge. c. Skor 1, adalah untuk dokumen dengan kriteria sebagai berikut : Halaman yang menawarkan barang dan jasa saja tanpa memberikan product knowledge Halaman yang menampilkan pop-up ke situs lain atau search engine lain. d. Skor 0, adalah untuk dokumen dengan kriteria sebagai berikut : Halaman yang tidak bisa diakses dikarenakan server tidak merespons baik tidak merespons sama sekali atau butuh

5 waktu lebih dari lima menit untuk menampilkan halaman yang dituju, atau karena terjadi perubahan URL, Halaman yang tidak relevan (tidak di dapat informasi yang berhubungan dengan keyword bahkan dalam tag description) sama sekali terhadap keywords. Sedangkan nilai relative recall dihitung dengan rumus: Relative Recall= Total dokumen ilmiah yang ditemukan search engine Jumlah dokumen yang ditemukan oleh empat search engine Atau dapat ditulis dengan rumus : a1/(a1+b1+c1+d1) Nilai yang telah dihasilkan dari penilaian Precision selanjutnya digunakan untuk melakukan penilaian Recall. Dimana skor yang dipakai adalah yang bernilai tiga, karena penilaian Recall bertujuan untuk menilai hasil dokumen ilmiah yang ditemukan oleh search engine. Setelah dilakukan penilaian Precisison and Recall, selanjutnya dimasukkan ke dalam sebuah bentuk grafik. Sehingga dapat dikeyahui lebih jelas perbandingan nilai masing masing search engine setelah dicari nilai rata- rata masing masing. BAB IV PEMBAHASAN 4.1 DESKRIPSI HASIL PNELITIAN 1. GOOGLE Dua mahasiswa Ph.D. dari Stanford, Larry Page dan Sergey Brin, mendirikan Google tahun Perusahaan pribadi itu mengumumkan pada bulan Juni 1999 bahwa perusahaan itu telah memiliki sumber pendanaan sebesar $25 juta. Google mempunyai misi untuk memberikan pengalaman pencarian di Internet yang terbaik dengan mewujudkan informasi dunia yang mudah diakses dan bermanfaat. Google, pembuat mesin pencarian terbesar di dunia, menawarkan kecepatan, kemudahan pencarian informasi di internet. Dengan mengakses lebih dari 1.3 milyar halaman web, Google mengantarkan hasil yang relevan dengan semua pemakai di seluruh dunia kurang dari setengah detik. Sampai hari ini, Google telah merespon lebih dari 100 juta permintaan pencarian dalam sehari. Google memakai teknologi terbaru PageRank yang sedang dipatenkan, teknologi ini menjamin informasi-informasi yang terpenting akan ditampilkan dahulu. Google adalah plesetan dari kata 'googol', yang dipakai oleh Milton Sirotta, keponakan dari ahli matematika Amerika Edward Kasner, untuk menyebutkan angka 1 dan mempunyai 100 angka nol dibelakangnya. Google memakai kata ini dalam menjelaskan misi perusahaan untuk mengorganisasi sedemikian banyaknya informasi yang tersedia di Internet dan didunia ini. 2. YAHOO Dua pendiri Yahoo!, David Filo dan Jerry Yang, merupakan kandidat doktor bidang Teknik Elektro di Universitas Stanford. Mereka memulainya di trailer kampus pada bulan Februari 1994 sebagai jalan agar tetap berada dalam ketertarikan pribadi pada internet.website dimulai dengan berdirinya "Jerry's Guide to the World Wide Web" yang menerima pula moniker baru dengan bantuan kamus. Jerry dan David segera sadar bahwa mereka tidak sendiri dalam menemukan website yang sangat berguna, jauh sebelum ratusan orang mengakses panduan mereka dari trailer di Stangford. Saat ini, Yahoo! Inc. telah menjadi pemimpin komunikasi global lewat internet, komersil, dan perusahaan media yang telah menjadi brand jasa jaringan lebih dari 232 juta individu setiap bulannya di dunia maya. Sebagai navigasi pertama secara online yang memandu dalam web, adalah pemimpin pemandu konteks lalu lintas, periklanan, keperluan rumah tangga, dan jangkauan pengguna bisnis. Meskipun sebenarnya Yahoo lebih mengarah kepada Directory, namun pengguna dari sisi search engine mereka juga termasuk yang banyak digunakan di dunia. Sebuah situs yang peringkatnya rendah, maka bisa saja akan sulit untuk

6 muncul pada posisi puncak. Akibatnya tingkat traffic yang mereka dapatkan melalui search engine pun peluangnya rendah Nama Yahoo! merupakan akronim untuk "Yet Another Hierarchical Officious Oracle," tetapi Jerry dan David memilih nama yahoo karena mereka suka dengan definisi umumnya, yaitu : "rude, unsophisticated, uncouth". 3. MSN MSN Search mempunyai banyak penjelmaan (incarnations), pernah seperti halnya Inktomi dan Looksmart selama beberapa tahun. Setelah yahoo! Membeli Inktomi dan hal ini memperjelas ke Microsoft bahwa yang mereka perlukan adalah mengembangkan produk mesin pencari mereka sendiri. Mereka meluncurkan preview dari teknologi mesin pencari mereka di sekitar 1 Juli Mereka secara formal memindahkan yahoo! Organic search results ke teknologi kepunyaan mereka sendiri pada 31 Januari 2005, MSN mengumumkan bahwa mereka membuang yahoo! s search ad-program ( program iklan pada Yahoo!) pada 4 Mei Web yang dirancang untuk menghubungkan informasi layaknya jalan yang dibangun untuk menghubungkan manusia dengan barang. Mata rantai (link) menyediakan persimpangan yang menghubungkan informasi pada Web, yang mengijinkan web crawler, seperti MSNBOT, untuk menemukan suatu website setelah yang lain hanya mencari link pada masing-masing site secara sederhana. 4. ASK Ask yang aslinya dibuat dengan nama Ask Jeeves, dan didirikan oleh Garrett Gruener dan David Warthen di tahun 1996 dan diluncurkan pada April Berupa mesin pemroses query alami yang menggunakan para editor untuk mecocokkan query pencarian yang umum, dan melakukan penyusunan kembali sebagai hasil pencarian melalui suatu meta search engine yang telah dicari oleh search engine populer lain. Sebagai web scaled dan memanfaatkan teknologi pencarian lain yang mampu meningkatkan performance Ask Jeeves, akan tetapi mereka masih mencoba menggunakan teknologi lain, seperti DirectHit ( yang bekerja secara khusus berdasarkan popularitas suatu halaman yang tampil, dan kemudian di tahun 2001 mereka memperoleh Teoma, yang mana inti dari teknologi pencariannya masih mereka gunakan hingga hari ini. Pada Maret 2005, InteractiveCorp mengumumkan bahwa mereka sedang membeli Ask Jeeves, dan pada Maret 2006 mereka membuang Jeeves, mengubah merek hanya dengan Ask.. Expertrank algoritma Ask menyediakan hasil pepncarian yang relevan dengan mengidentifikasi situs yang paling authoritative dalam web. Dengan pencarian Teknologi Ask,hal ini tidak hanya siapa yang paling besar, akan tetapi tentang siapa yang paling baik. Expertrank algoritma menjangkau banyak link populer ( dimana ranking halaman berdasarkan pada volume dari pointing links untuk halaman tertentu belaka ) 4.2 HASIL DAN PEMBAHASAN Jumlah Halaman Situs yang dikunjungi / dievaluasi Dalam penelusuran yang dilakukan terhadap empat search engine dan 12 query yang terbagi dalam 3 kelompok dan berdasarkan ketentuan ketentuan yang telah ditetapkan, di dapatkan hasil sebagai berikut : Dimisalkan : Jumlah search engine = a, Jumlah query = b, Jumlah halaman yang dievaluasi = c Jumlah halaman total = d Sesuai dengan ketentuan (dalam metodologi penelitian) bahwa jumlah search engine (a) = 4; jumlah query (b) = 12; dan jumlah halaman yang dievaluasi (c) = 10, maka jumlah halaman total yang ditelusuri

7 d = a x b x c = 4 x 12 x 10 = 480 halaman* *semua halaman / link yang ditampilkan oleh search engine pada halaman pertama dalam hasil penelusuran dikunjungi / dievaluasi meskipun ada halaman yang tidak dapat di akses atau terjadi overlap. Tabel dan Grafik Nilai Precision (HALAMAN TERAKHIR) Tabel dan Grafik Nilai Recall (HALAMAN TERAKHIR) Tabel dan Grafik Nilai Rata - Rata (HALAMAN TERAKHIR) 4.3 PEMBAHASAN Dari tabel dan grafik diatas dapat dilihat bahwa search engine yang unggul dalam nilai rata rata precision ( Yahoo : 1,97 ) tidak otomatis unggul dalam nilai rata rata recall. Dan sebaliknya, Yang patut diperhatikan disini adalah Google, yang ternyata se-superior nama besarnya dalam dunia internet, meskipun demikian, nilai precision and recall google juga tidak berselisih jauh dengan kompetitornya, sehingga masih layak dipertimbangkan sebagai search engine unggulan, Bila dilihat secara spesifik ke dalam masing masing keywords, sebenarnya masing masing search engine memiliki keunggulan untuk nilai precision terhadap query tertentu. Misal, Google yang unggul dalam keywords majemuk dengan nilai rata-rata 2,1, diatas Yahoo yang mendapat nilai 2,0 kemudian MSN dengan nilai 1,9 dan Ask dengan nilai 1,5. Sedangkan Yahoo unggul dalam keywords tunggal dengan nilai 1,9, yang disusul Ask dengan nilai 1,7, kemudian MSN dengan nilai 1,6 dan selanjutnya Google dengan nilai 1,4. MSN unggul untuk keywords gabungan yang menggunakan metode pencarian exact phrase dengan mengumpulkan nilai 2,2, yang kemudian disusul Yahoo dan Google dengan nilai masing masing 2,0 dan 1,8, dan terakhir Ask dengan nilai 1,5, Google yang dikenal sebagai pelopor dan rajanya Page Rank, hal ini mungkin bisa dijadikan salah satu dugaan mengapa Google lemah dalam keywords tunggal akan tetapi unggul dalam keywords majemuk. Hal ini dikarenakan dari halaman yang telah dievaluasi dari hasil pencarian adalah halaman yang mempunyai nilai pagerank tinggi, misal..???? Yahoo unggul dalam keywords tunggal, hal ini semakin memperkuat anggapan bahwa Yahoo adalah rajanya direktory, karena situs yang terdaftar adalah berdasarkan direktori yang telah mereka sediakan, sehingga hal ini mempermudah mesin mereka dalam menemukan informasi yang relevan dengan keywords. Untuk penilaian Recall, MSn unggul karena mereka melakukan indeks halaman yang lebih terstruktur, sehingga memudahkan dalam pemanggilan kembali informasi yang relevan dan dapat meminimalisir gangguan informasi. Hampir semua search engine melakukan penilaian terhadap title, keywords, description tag yang berhubungan dengan query, hal ini terlihat dari source code masing masing halaman yang telah dievaluasi. BAB V KESIMPULAN 5.1 KESIMPULAN o Dari penelitian ini didapatkan beberapa kesimpulan yang antara lain : Oleh karena masing masing search engine memiliki konsep dan sistem yang berbeda beda, maka hasil yang ditampilkan juga berbeda untuk setiap keywords yang diberikan, Masing masing search engine memiliki keunggulan dan kelemahan untuk beberapa keywords yang telah diberikan, sehingga user dapat memilih search engine yang tepat sesuai dengan kebutuhan keywordsnya, Sampai saat ini (selain orang dalam search engine ) masih belum ada yang tahu pasti patokan atau pakem yang dipakai oleh search engine, entah itu directory, pagerank, link popularity atau metode metode yang lain, Akan tetapi dapat disimpulkan bahwa title, keyword dan description tag mempunyai pengaruh besar terhadap penilaian search engine, Semua search engine sukses dalam mengatasi spamming, baik untuk keyword ataupun description tag masing situs yang telah dievaluasi, hal ini

8 terbukti dengan relevannya halaman yang ditampilkan sesuai dengan keyword, Nama besar search engine tidak berbanding lurus dengan nilai Precision and Recall. Situs yang mendaftar ke search engine dengang cara membayar benar benar mendapat prioritas dalam hasil pencarian, akan tetapi hal ini tidak berlaku bagi Google yang lebih mengedepankan informasi dari pada finansial. 5.2 SARAN Dari penelitian ini penulis menyarankan : User hendaknya lebih selektif terhadap search engine, hal ini dikarenakan hasil penelitian yang telah dilakukan ini menghasilkan penilaian yang berbeda beda untuk setiap search engine. User hendaknya pandai pandai dalam memberikan keywords baik dalam bentuk tunggal, gabungan atau majemuk, hal ini karena setiap search engine mampu dan di siapkan untuk menerima keywords yang beraneka ragam. Search Engine Optimisation (SEO) dirasa sangat dianjurkan bagi pemilik situs guna mendongkrak posisi situs ke tempat yang ideal dari hasil pencarian.