NIM. M PROGRAM STUDI DIPLOMA III TEKNIK INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2014

Transkripsi

1 NIM. M PROGRAM STUDI DIPLOMA III TEKNIK INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2014

2

3

4 ABSTRACT DONI BAWONO. M HADOOP DISTRIBUTED FILE SYSTEM IMPLEMENTATION IN CLUSTER SERVER. Diploma of Information Engineering, Faculty of Natural Sciences and Metematika, Univertas of March, June Nowdays, the growth of data so quickly, within a few years the amount of data that must be managed by a leading IT firms in the world can reach the size of Peta Byte. If the management of large data is not matched by the management of the storage media (server) that will adequately reduce productivity. One technology that offered to handle the data growth rate with the storage media is HDFS (Hadoop Distributed File System) which adopts the GFS (Google File System) with the level of effectiveness in terms of storage media and economic factors. HDFS uses the concept of data blocks of a file are stored in multiple machines connected together in a cluster. Implementation of HDFS as an effective alternative storage media with a simple infrastructure which uses commodity hardware that is relatively affordable compared to a server with the same capabilities. Keywords: Hadoop, HDFS, GFS, MapReduce,DFSIO iv

5 ABSTRAK DONI BAWONO. M IMPLEMENTASI HADOOP DISTRIBUTED FILE SYSTEM DALAM CLUSTER SERVER. Diploma III Teknik Informatika, Fakultas Metematika dan Ilmu Pengetahuan Alam, Univertas Sebelas Maret, Juni Saat ini pertumbuhan data begitu cepat, dalam beberapa tahun saja jumlah data yang harus dikelola oleh perusahan-perusahaan IT terkemuka didunia bisa mencapai ukuran Peta Byte. Jika pengelolaan data yang besar ini tidak diimbangi dengan pengelolaan media penyimpanan (server) yang memadai maka akan mengurangi produktifitas. Salah satu teknologi yang ditawarkan untuk menangani laju pertumbuhan data dengan media penyimpanan adalah HDFS (Hadoop Distributed File System) yang mengadopsi GFS (Google File System) dengan tingkat efektifitas dari segi media penyimpanan dan faktor ekonomi. HDFS menggunakan konsep blok-blok data dari sebuah file yang disimpan dalam beberapa mesin yang saling terhubung dalam sebuah cluster. Penerapan dari HDFS sebagai alternative media penyimpanan yang efektif dengan infrastruktur yang sederhana dimana menggunakan hardware komoditas yang relative terjangkau dibandingkan sebuah server kebanyakan dengan kemampuan yang sama. Katakunci: Hadoop, HDFS, GFS, MapReduce, DFSIO v

6 MOTTO harta. Ilmu itu penghukum (hakim) dan harta terhukum. Harta itu kurang apabila :: Khalifah Ali bin Abi Talib :: -besarnya, tapi bersegeralah untuk mengerjakan sekecil-kecilnya ke :: Mario Teguh :: -orang sukses yang saya kenal adalah mereka yang lebih banyak :: Bernard M Baruch :: vi

7 HALAMAN PERSEMBAHAN Yang Pertama dan Utama Alhamdulillah, Segala puji hanya milik Allah S.W.T yang telah menganugerahkan kelapangan, kesempatan, dan kemampuan untuk menyelesaikan Tugas Akhir ini. Tidak ada kata yang lebih pantas, melainkan rasa syukur dari lubuk hati hamba yang terdalam Kedua OrangtuKu Terimaksih untuk bapak dan ibu yang tak kenal lelah selalu menasehati dan memberikan dukungan terhadap pengerjaan Tugas Akhir ini Kedua AdiKu Untuk kedua adikku dukungan dan semangat dalam menimba ilmu, semoga bisa menjadi pelajaran berharga sebagai bekal hidup di dunia ini. Dosen Pembimbing Terimakasih, Bapak Rudi Hartono, S.Si atas segala bantuan dan bimbingannya selama pengerjaan laporan Tugas Akhir ini sehingga selesai pada waktunya Sahabat Sahabatku Terimaksih atas ceita yang telah kalian torehkan dalam catatan hidupku yang sangat berarti dan berharga selama ini. Doni Bawono vii

8 KATA PENGANTAR Puji syukur penulis panjatkan kehadirat Allah S.W.T atas limpahan rahmatnya, sehingga penyusunan Laporan Tugas Akhir dengan judul Implementasi Hadoop Distributed File System dalam Cluster Server ini dapat terselesaikan pada waktunya tanpa halangan berarti. Penyusunan laporan ini bertujuan untuk memenuhi sebagian persyaratan mencapai derajat Diploma III Teknik Informatika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sebelas Maret Surakarta. Dalam penyusunan Laporan Tugas Akhir ini penulis mendapatkan bantuan dan dukungan dari berbagai pihak. Oleh sebab itu pada kesempatan ini, penulis mengucapkan terima kasih kepada semua pihak yang telah memberikan bantuan dan dukungannya, terutama kepada: 1. Ir. Ari Handono Ramelan, M.Sc. (Hons), Ph.D selaku Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sebelas Maret Surakarta yang telah memberikan kesempatan belajar di lingkungan FMIPA UNS. 2. Bapak Drs. Y. S. Palgunadi, M.Sc. selaku Ketua Program Studi Diploma III Teknik Informatika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sebelas Maret Surakarta yang telah memberikan kesempatan belajar di program studi D3 Teknik Informatika. 3. Bapak Rudi Hartono, S.Si selaku Dosen Pembimbing Tugas Akhir yang telah memberikan bimbingan, pengarahan, kritik, dan saran serta dukungan selama penyusunan Laporan Tugas Akhir ini. 4. Ayah dan Ibu tercinta yang telah banyak memberikan dukungan dan masukan yang membangun. 5. Semua pihak terkait yang tidak bisa saya sebutkan satu persatu, atas bantuan dan dukungannya selama penulis belajar di D3 Teknik Informatika. viii

9 Semoga Allah S.W.T memberikan balasan yang lebih baik kepada pihakpihak yang telah memberikan bantuan dan dukungan dari awal penulis belajar di D3 Teknik Informatika sampai berakhirnya penyusunan Laporan Tugas Akhir ini selesai. Semoga dengan selesainya penyusunan Laporan Tugas Akhir ini dapat memberikan manfaat dan kebaikan pada penulis dan pembaca sekalian. Surakarta, 15 Juni 2014 Penulis ix

10 DAFTAR ISI HALAMAN JUDUL... i HALAMAN PERSETUJUAN... ii HALAMAN PENGESAHAN... iii ABSTRACT... ii ABSTRAK... v MOTTO... vi HALAMAN PERSEMBAHAN... vii KATA PENGANTAR... viii DAFTAR ISI... x DAFTAR GAMBAR... xiii DAFTAR TABEL... xv BAB I PENDAHULUAN Latar Belakang Perumusan Masalah Batasan Masalah Penelitian Tujuan Penelitian Manfaat Penelitian Metodologi Penelitian Sistematika Penulisan... 5 BAB II LANDASAN TEORI Hadoop HDFS (Hadoop Distributed File System) Pengertian Hadoop Distributed File System Model data dan Struktur HDFS... 9 x

11 2.2.1 Prosedur Menyimpan dan membaca data dalam HDFS BAB III ANALISA KEBUTUHAN DAN PERANCANGAN SISTEM Analisa Kebutuhan Sistem Alur Penelitian Perancangan Sistem Cara Analisis BAB IV IMPLEMENTASI DAN ANALISIS Instalasi Komponen dasar Install JDK Install Openssh-Server Menambahkan dedicated user Konfigurasi Jaringan Setting IP Address Akses SSH Cluster Overview Konfigurasi Hadoop Install Hadoop Konfigurasi hadoop-env.sh (semua mesin) Konfigurasi conf/core-site.xml (semua mesin) Konfigurasi conf/mapred-site.xml (semua mesin) Konfigurasi conf/hdfs-site.xml (semua mesin) Analisis Menjalankan Multi Node Cluster Menghentikan Multi Node Cluster HDFS Formating Testing HDFS Write Testing HDFS Read Files and Block HDFS Benchmark (DFSIO) Write Read BAB V PENUTUP xi

12 5.1 Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN xii

13 DAFTAR GAMBAR Gambar 1.1 Metodologi Penelitian... 4 Gambar 2.1 Arsitektur Hadoop... 7 Gambar 2.2 Mengakses data pada HDFS Gambar 2.3 Menyimpan data ke dalam HDFS Gambar 2.4 Membaca data yang tersimpan dalam HDFS Gambar 3.1 Skema jalannya penelitian Gambar 3.2 Perancangan Sistem Gambar 3.3 Skema pembagian blok data Gambar 3.4 Skema HDFS File Write Gambar 3.5 Skema HDFS Files Read Gambar 4.1 Melihat versi JDK pada sistem Gambar 4.2 Topologi Jaringan Gambar 4.3 Konfigurasi IP Address NodeMaster dan DataNode Gambar 4.4 Konfigurasi IP Address DataNode Gambar 4.5 Konfigurasi IP Address DataNode Gambar 4.6 Akses SSH NodeMaster ke DataNode Gambar 4.7 Akses SSH NodeMaster ke DataNode Gambar 4.8 HDFS Cluster Overview Gambar 4.9 Menjalankan HDFS Gambar 4.10 File logs/ hadoop-hduser-datanode-slave.log Gambar 4.11 JPS pada master Gambar 4.12 JPS pada slave xiii

14 Gambar 4.13 Menghentikan HDFS service Gambar 4.14 Hasil JPS setelah HDFS service dimatikan Gambar 4.15 Format HDFS berhasil Gambar 4.16 skema HDFS Write Gambar 4.17 Proses HDFS Write pada DataNode pertama Gambar 4.18 Proses HDFS Write pada DataNode kedua Gambar 4.19 Proses HDFS Write pada DataNode ketiga Gambar 4.20 DFS manajemen Gambar 4.21 Blok ID disetiap node Gambar 4.22 Skema HDFS File Write Gambar 4.23 HDFS File Blok Read node pertama Gambar 4.24 HDFS File Blok Read node kedua Gambar 4.25 HDFS File Blok Read node ketiga Gambar 4.26 HDFS Files and Data Block Gambar 4.27 Grafik DFSIO Write (throughput) percobaan I Gambar 4.28 Grafik DFSIO Write (throughput) percobaan II Gambar 4.29Grafik DFSIO Write (time) percobaan I Gambar 4.30 Grafik DFSIO Write (time) percobaan II Gambar 4.31 Grafik DFSIO Read (throughput) percobaan I Gambar 4.32 Grafik DFSIO Read (throughput) percobaan II Gambar 4.33Grafik DFSIO Read (time) percobaan I Gambar 4.34Grafik DFSIO Read (time) percobaan II xiv

15 DAFTAR TABEL Tabel 4.1 DFSIO Write (throughput) percobaan I Tabel 4.2 DFSIO Write (throughput) percobaan II Tabel 4.3 DFSIO Write (time) percobaan I Tabel 4.4 DFSIO Write (time) percobaan II Tabel 4.5 DFSIO Read (throughput) percobaan I Tabel 4.6 DFSIO Read (throughput) percobaan II Tabel 4.7 DFSIO Read (time) percobaan I Tabel 4.8 DFSIO Read (time) percobaan II xv