Big Data dengan Hadoop Oleh : Agus Priyanto, M.Kom

Transkripsi

1 Big Data dengan Hadoop Oleh : Agus Priyanto, M.Kom SEKOLAH TINGGI TEKNOLOGI TELEMATIKA TELKOM Smart, Trustworthy, And Teamwork

2 Tujuan Pembelajaran Setelah mengikuti pertemuan ini, mahasiswa dapat memahami arsitektur Hadoop Setelah mengikuti pertemuan ini, mahasiswa dapat memahami Ekosistem Hadoop dan Cara Kerja Hadoop

3 Definisi Hadoop Apache Hadoop adalah suatu framework yang memungkinkan pemrosesan data set besar pada kluster-kluster komputer secara terdistribusi dengan memanfaatkan model-model pemrograman sederhana

4 Hadoop dirancang untuk dapat dikembangkan (scale up) dari sebuah server hingga ribuan mesin, dimana tiap-tiap mesin tersebut menawarkan fitur komputasi dan penyimpanan secara lokal

5 Hadoop tidak bergantung pada hardware untuk memberikan tingkat ketersediaan yang tinggi (high availability) karena library Hadoop sendiri dirancang untuk mendeteksi dan menangani kegagalan (failure) pada layer aplikasi.

6 Hadoop bukanlah sebuah software, melainkan sebuah framework open source Apache yang dikembangkan menggunakan bahasa pemrograman Java, dan dapat digunakan untuk memproses data set yang besar menjadi komputasi terdistribusi yang lebih kecil

7 Pengguna Hadoop

8 Sejarah Doug Cutting Mike Cafarella Hadoop diciptakan oleh Doug Cutting dan Mike Cafarella pada tahun 2005 yang pada saat itu bekerja di Yahoo!

9 Timeline 2002 Nutch project started 2003 Google publish GFS architecture paper 2004 Develop Nutch Distributed File System Google publish MapReduce Paper

10 2006 Hadoop project started 2008 Hadoop became top level project in Apache Hadoop broke the record the fastest system to sort terabytes of data

11 Hadoop dan Cloud Support Hadoop flavor Apache Hadoop ( Cloudera CDH ( Yahoo! Hadoop ( Cloud Support Amazon Elastic MapReduce ( Google Cloud Platform (

12 Arsitektur Hadoop 1.0 dan Hadoop 2.0

13 Komponen dalam Hadoop Hadoop Common : Java libraries yang dibutuhkan oleh modul-modul Hadoop lainnya Menyediakan file sistem yang digunakan untuk memulai Hadoop

14 Hadoop YARN : Platform untuk manajemen sumber daya (resource) Mengatur sumber daya komputasi dalam kluster, dan menggunakannya untuk penjadwalan aplikasi pengguna

15 Hadoop Distributed File System (HDFS) : Sistem file terdistribusi yang menyimpan data pada commodity machine Storage Engine Membagi/mendistribusi file pada node dalam cluster Komponen : Name node dan data node

16 Map/Reduce : Suatu model pemrograman yang digunakan untuk memproses data berskala besar secara paralel. Processing Engine Mendistribusikan proses pada node lain Komponen : Job tracker dan task tracker

17 Hadoop : Ciri Utama Affordable bisa berjalan pada hardware pasaran Reliable tahan terhadap kegagalan hardware/software Scalability hadoop bisa bertambah secara linear dengan menambahkan node baru dalam sistem

18 Cost-effective Hadoop membawa komputasi paralel yang masif (berjumlah sangat besar) ke dalam suatu commodity server penghematan biaya penyimpanan per terabyte yang akan membuat pemodelan seluruh data menjadi lebih terjangkau (affordable)

19 Flexible Hadoop bersifat schema-less, dan dapat mendukung berbagai tipe data, baik yang terstruktur atau tidak terstruktur, dari berbagai sumber. Fault-tolerant ketika terjadi masalah dalam suatu node, maka sistem akan mengalihkan pekerjaan (work) ke lokasi lain dari data tersebut, kemudian melanjutkan pemrosesan.

20 Hadoop Ekosistem Hadoop dilengkapi dengan sebuah ekosistem yang berisikan proyek-proyek dari Apache, yang meningkatkan nilai serta kebergunaan dari Hadoop. Common sekumpulan komponen dan interface untuk sistem file terdistribusi dan general I/O (serialization, Java RPC, persistent data structures).

21 Avro sistem serialization untuk penyimpanan data yang efisien, crosslanguage RPC dan persistent. MapReduce model pemrosesan data dan lingkungan eksekusi (execution environment) terdistribusi yang dapat berjalan dalam kluster-kluster besar dari suatu commodity machine.

22 HDFS sistem file terdistribusi yang berjalan pada kluster-kluster besar dari suatu commodity machine. Pig data flow language dan lingkungan eksekusi untuk menjelajahi (explore) data set yang sangat besar. Pig berjalan pada HDFS dan kluster-kluster MapReduce.

23 Hive merupakan suatu data warehouse terdistribusi. o Hive mengatur data yang disimpan di HDFS serta menyediakan suatu bahasa query yang berbasis SQL (yang kemudian akan diterjemahkan ke dalam job-job MapReduce oleh runtime engine) untuk melakukan query data

24 HBase suatu basis data yang terdistribusi dan column-oriented. o Hbase menggunakan HDFS untuk media penyimpanannya, serta mendukung baik komputasi berjenis batch menggunakan MapReduce, maupun point queries (random reads).

25 ZooKeeper : sebuah coordination service yang terdistribusi dan highly available. o ZooKeeper menyediakan fitur seperti kunci-kunci terdistribusi (distributed locks) yang dapat digunakan untuk membangun aplikasi-aplikasi terdistribusi

26 Sqoop tool untuk transfer bulk data secara efisien antara data store yang terstruktur (seperti database relasional) dan HDFS. Oozie service untuk menjalankan dan menjadwalkan workflow dari job-job Hadoop (termasuk job MapReduce, Pig, dan Hive).

27

28 Cara Kerja Hadoop Tahap 1 : Pengguna atau aplikasi dapat menyerahkan suatu job ke Hadoop (klien job Hadoop) dengan menspesifikasikan beberapa item, yaitu: Lokasi dari input dan output file yang ada dalam sistem file terdistribusi, Kelas-kelas java dalam bentuk jar yang berisikan implementasi dari fungsi-fungsi map dan reduce, Dan konfigurasi job, dengan mengatur parameter-parameter berbeda secara spesifik untuk suatu job.

29 Tahap 2 : Klien job Hadoop akan menyerahkan job (jar/executable) dan konfigurasinya ke JobTracker, kemudian mengasumsikan kewajiban untuk mendistribusikan software/ konfigurasi ke slave, menjadwalkan task dan memantaunya, serta menyediakan status dan informasi ke job-client

30 Tahap 3 : TaskTracker pada node yang berbeda akan mengeksekusi task per implementasi MapReduce, kemudian keluaran dari fungsi map reduce akan disimpan pada file output yang ada di sistem file.

31 Client job Job Tracker Name Node Map Reduce HDFS Task tracker Task Task Task tracker Task Task Task tracker Task Task Task Task Task Data node Data node Data node Server Server Server

32 Name Node dan Data Node Name Node Master dari HDFS (Hadoop Distributed File System) Mengatur Data Node Mengatur bgmana file dibagi dalam blok dan penyimpanannya Membagi job ke Data Node Data Node Tempat blok disimpan Menerima instruksi dari Name Node

33 Job dan Task Tracker Job Tracker Membagi task ke HDFS Cluster Melacak Map/Reduce tasks Restarts task yang gagal ke node lain Melakukan speculative execution Task Tracker Melacak individual map/reduce Report kemajuan task ke Job Tracker

34 The Hadoop Way

35 Cloudera: CDH + Tableau Cloudera adalah salah satu kontributor aktif dari Hadoop Project yang menyediakan sebuah distribusi Hadoop open-source bernama CDH (Cloudera s Distribution Hadoop). Sedangkan, Tableau sendiri merupakan salah satu perangkat lunak Business Intelligence (BI) yang sudah mendukung Cloudera Distribution (CDH) termasuk Apache Hadoop

36 Komponen CDH4 Relasi CDH4 dan Tableau

37

38 Hortonworks dan Ambari Hortonworks Data Platform (HDP) merupakan sebuah distribusi Hadoop dalam bentuk packaged software Dengan memanfaatkan konsep dari arsitektur YARN, HDP menyediakan suatu platform data untuk pemrosesan data multiworkload, dan didukung oleh kemampuan yang dibutuhkan platform data untuk enterprise spanning Governance, Security and Operations.

39

40 What Hadoop is Not! Hadoop tidak cocok sebagai pengganti database Map Reduce tidak selalu menjadi algoritma terbaik Bukan tempat yang pas untuk belajar Java Hadoop cluster bukan tempat belajar Linux network administration Bukan tempat belajar memahami pesan error jaringan

41