Distributed Indexing dengan MapReduce. Arif N

Ukuran: px

Mulai penontonan dengan halaman:

Download "Distributed Indexing dengan MapReduce. Arif N"

Siska Kusumo
6 tahun lalu
Tontonan:

1 Distributed Indexing dengan MapReduce Arif N

2 Overview Motivation MapReduce Distributed indexing Inverted Index

3 Motivation Seberapa besar sih data yang kita hasilkan?

4 Big Data New York Stock Exchange : ± 1TB/hari

5 Big Data Facebook: 2,5 PetaBytes

6 Big Data Large Hadron Collider: 15 PB/tahun

7 Big Data Problem Bagaimana cara menganalisis big data tersebut? Cepat dan efisien Solusi Meningkatkan kapasitas pemroses data Skalabilitas

8 Skalabilitas Analisis Data Scale up Penambahan resource pada satu node Virtualization Mudah diatur Scale out Penambahan jumlah node Parallelization Pengaturan kompleks

9 Virtualization Membuat versi virtual dari sesuatu Hardware platform Sistem operasi Storage device Network resource Pros Tersentralisasi Pengujian sistem Cons Hardware limitation Fault prone

10 Parallelization Membagi permasalahan untuk diselesaikan secara paralel Pros Skalabilitas tinggi Cons Kompleksitas tinggi Race condition Sinkronisasi

11 Parallelization High Performance Computing (HPC) dan Grid Computing Pemrosesan : MPI (Message Passing Interface) Distribusi data: Storage Area Network Kompleksitas meningkat seiring dengan bertambahnya jumlah node Low level : koordinasi antar node High level : analisis data

12 Parallelization Problems Cara paralelisasi Distribusi data Fault handling

13 MapReduce Abstraksi sehingga pemrosesan menjadi lebih sederhana Detail paralelisasi, fault tolerance, distribusi data, load balancing diatur dalam library Menggunakan dua fungsi sederhana Fungsi Map Fungsi Reduce Oleh Google

14 MapReduce Input & output Key/value pairs Fungsi Map Menerima pasangan input Menghasilkan set key/value intermediate Fungsi Reduce Menerima key/value intermediate Menggabungkan value berdasarkan key

15 Key Intermediate Value Key Value map map Untuk key yang sama reduce output map reduce input map

16 WordCount Menghitung jumlah kata dalam dokumen Input : dokumen teks Taman Anggrek Indonesia Permai. Letaknya berdekatan dengan Taman Mini Indonesia Indah di Jakarta Timur. Penggemar anggrek akan senang berada di taman ini. Beragam jenis anggrek dapat Anda lihat.

17 WordCount Output Anda 1 Anggrek 1 Beragam 1 Indah 1 Indonesia 2 Jakarta 1 Letaknya 1...

18 WordCount Fungsi Map Input : setiap baris dalam dokumen Output : kata 1 Fungsi Reduce Input : kata 1 Output : kata jumlah kata dalam dokumen

19 WordCount Pseudocode map(string key, String value): // key: document name // value: document contents for each word w in value: EmitIntermediate(w, "1"); reduce(string key, Iterator values): // key: a word // values: a list of counts int result = 0; for each v in values: result += ParseInt(v); Emit(AsString(result));

20 Fungsi Map 0 Taman Anggrek... map Taman 1 Anggrek 1 map 1 Letaknya... map Indonesia 1 input map Indonesia 1

21 Fungsi Reduce Taman 1 output Anggrek 1 reduce Taman 1 Anggrek 1 Indonesia 1 reduce Indonesia 2 Indonesia 1

22 MapReduce Tipe data/domain map (k1,v1) list(k2,v2) reduce (k2,list(v2)) list(v2)

23 Contoh lain Frekuensi akses URL Map : [URL, 1] Reduce : [URL, total count] Reverse Web-link Graph Map : [target, source] Reduce : [target, list(source)] dll..

24 Inverted Index Memetakan isi dokumen dengan lokasinya dalam sekumpulan dokumen Kata DocID

25 Inverted Index Dokumen I Akhir pekan ini, ajak si kecil ke tempat-tempat wisata yang menyediakan acara berkebun. Selain anak Anda dapat menikmati asyiknya menanam, ia pun dapat belajar lebih mencintai lingkungan. Dokumen II Tak hanya si kecil, Anda pun bisa ikut belajar menanam aneka tanaman, bisa itu buah, bunga, sampai sayuran. Berikut beberapa tempat wisata untuk aktivitas berkebun.

26 Inverted Index Output Akhir (Doc1) ini (Doc1) kecil (Doc1, Doc2) pekan (Doc1) si (Doc1, Doc2)...

27 MapReduce? Inverted Index

28 Inverted Index MapReduce? Map [word, DocID] Reduce [word, list(docid)]

29 MapReduce Library Hadoop Apache Hadoop Cloudera Yahoo! Cloud support Amazon Elastic MapReduce Google AppEngine-MapReduce support

30 Hadoop-related Data Warehouse Apache Hive Machine Learning Apache Mahout Search engine Apache Nutch Solr

31 Resources

32 Contact Arif

33 Referensi Dean, J. dan Ghemawat, S., 2004, MapReduce: Simplified Data Processing in Large Clusters, OSDI 2004 White, T., 2009, Hadoop: The Definitive Guide, O'Reilly

dokumen-dokumen yang mirip

DIAGRAM SITASI PAPER. Disusun oleh: Anggy Tias Kurniawan SK2A

DIAGRAM SITASI PAPER. Disusun oleh: Anggy Tias Kurniawan SK2A DIAGRAM SITASI PAPER Disusun oleh: Anggy Tias Kurniawan 09011181520024 SK2A PROGRAM STUDI SISTEM KOMPUTER FAKULTAS ILMU KOMPUTER UNIVERSITAS SRIWIJAYA 2016 The Eucalyptus Open-source Cloud-computing System