Analisa Hadoop Cluster Dengan Raspberry pi Model B+ dan Raspberry pi 2 Model B Studi Kaskus Wordcount

Transkripsi

1 1 Analisa Hadoop Cluster Dengan Raspberry pi Model B+ dan Raspberry pi 2 Model B Studi Kaskus Wordcount Muhammad Rusyadi Sistem Komputer, Rio Marrowsi Sistem Komputer, dan Hermawan Heri Wijaya Sistem Komputer Abstract Hadoop merupakan sebuah framework yang digunakan untuk penyimpanan dan pemrosesan data dengan jumlah yang banyak atau yang sekarang dikenal dengan istilah Big Data. Untuk mempelajari cara kerja hadoop dibutuhkan beberapa komputer untuk membuat cluster, selain itu dapat juga diimplementasikan dengan hadoop cloud service namun harus memahami interaksi antara hardware dan software sehingga akan semakin kompleks. Pada paper ini akan memaparkan analisa performa Raspberry pi menggunakan Raspberry pi 2 Model B untuk menjalakan Wordcount dimana analisa performa ini dilakukan dengan 4 jenis skenario percobaan dimana setiap percobaan dikondisikan berbeda. Analisa yang dilakukan meliputi lama eksekusi proses wordcount dan kondisi rata-rata CPU pada saat menjalankan wordcount. Keyword: Hadoop, Raspberry pi, CPU S I. PENDAHULUAN AAT ini merupakan era teknologi informasi dan komunikasi, dimana data merupakan aset penting menggantikan peran produk pada zaman industrial. Menurut laporan IDC pada tahun 215 diperkirakan sebanyak 8 Zettabytes (8 trilyun gigabytes) jumlah keseluruhan data digital dan jumlah itu didapatkan dari kumpulan data sosial media, sensor, biomedical imaging dan perangkat simulasi yang ada pada saat ini [1]. Data yang ada saat ini dapat diolah menjadi sesuatu yang lebih bermanfaat namun permasalahannya adalah untuk memproses data dengan jumlah yang sangat besar dibutuhkan media penyimpanan yang besar juga. Tingkat kecepatan akses data dari hard drive tidak dapat mengimbangi pesatnya pertumbuhan kapasitas hard drive sehingga terjadi ketidak seimbangan. Untuk mengatasi hal tersebut dapat dilakukan dengan menggunakan beberapa hard drive yang melakukan proses pembacaan data secara bersamaan. Tetapi hal ini memunculkan masalah lain yaitu hardware failure yang disebabkan cukup tingginya kemungkinan hardware mengalami kerusakan. II. STUDI LITERATUR Hadoop merupakan sebuah framework yang digunakan untuk penyimpanan dan pemrosesan data dengan jumlah yang banyak. Hadoop memiliki dua buah komponen framework utama dalam melakukan tugasnya yaitu HDFS (Hadoop Distributed File System) dan MapReduce. HDFS merupakan media penyimpanan data dalam jumlah yang besar dalam suatu cluster secara terdistribusi. MapReduce memiliki dua fase dalam melakukan pemrosesan data atau mengolah data yang tersimpan secara terdistribusi yaitu dibagi menjadi dalam fase map dan fase reduce. [2] Pada paper ini akan dilakukan percobaan untuk menganalisa performa hadoop dalam melakukan proses wordcount pada Raspberry pi 2 Model B. yang akan dilakukan akan dilakukan dengan 4 jenis percobaan dimana setiap percobaan dikondisikan berbeda seperti jumlah node yang digunakan, jenis memory yang digunakan, peran raspberry pi sebagai node, dan kondisi meningkatkan clock CPU raspberry pi. Analisa yang akan dilakukan meliputi lama eksekusi proses wordcount dan kondisi rata-rata CPU pada saat menjalankan wordcount. Paper ini dibuat untuk memenuhi tugas projek akhir mata kuliah Sistem Terdistribusi jurusan Sistem Komputer Fakultas Ilmu Komputer Universitas Brawijaya. Muhammad Rusyadi merupakan mahasiswa jurusan Sistem Komputer Universitas Brawijaya, Malang, Indonesia ( muhammadrusyadi@gmail.com) Rio Marrowsi merupakan mahasiswa jurusan Sistem Komputer Fakultas Ilmu Komputer Universitas Brawijaya, Malang, Indonesia ( riomarrowsi@gmail.com) Hermawan Heri Wijaya merupakan mahasiswa jurusan Sistem Komputer Fakultas Ilmu Komputer Universitas Brawijaya, Malang, Indonesia ( jyuubi.revenged@gmail.com). III. PERANCANGAN SISTEM Untuk melakukan analisa pada paper ini menggunakan Raspberry pi Model B dan Raspberry pi 2 Model B.

2 2 dalam overclock sama seperti percobaan sebelumnya, namun ada sedikit perbedaan scenario dimana node 1 juga difungsikan sebagai datanode. Hal ini dilakukan untuk menganalisa apakah terjadi perubahan dalam pemprosesan wordcount. Gambar 1. Raspberry pi 2 Model B Spesifikasi Raspberry pi 2 Model B menggunakan CPU ARM Cortex- A7 9 Mhz Quad-core. Memory 1GB, Broadcom Videocore IV untuk GPU dengan daya 4. W. Menggunakan HDMI dan composite untuk output dan 1/1 Mbits-1 ethernet adaptors. Memory yang digunakan dalam melakukan percobaan ini ada 2 jenis yaitu menggunakan class 1 dan class 6 dengan kapasitas 16 GB. Untuk software yang digunakan dalam melakukan analisa menggunakan nmon. Nmon merupakan sebuah software untuk memonitoring kondisi CPU dan memory Raspberry pi. Selain itu data yang akan diproses merupakan data file berekstensi.txt berukuran sebesar 9 MB. A. Skenario Pertama Pada percobaan pertama digunakan tiga buah node dimana masing-masing node memiliki peran yang berbeda. Node 1 berperan sebagai namenode (master) sekaligus sebagai datanode (slave), selanjutnya untuk node 2 dan node berperan sebagai datanode. Memory yang digunakam pada node 1 dan node 2 adalah 16 GB class 1, sedangkan pada node 3 menggunakan 16 memory 16 GB class 6. Hal ini dilakukan untuk menguji performa Raspberry pi dalam memproses wordcount dengan file berukuran sebesar 9 MB. B. Skenario Kedua Pada percobaan kedua ini skenario jumlah node dan memory yang digunakan sama seperti percobaan sebelumnya namun konfigurasi slaves pada node berbeda dimana pada node 1 yang sebelumnya berperan sebagai namenode dan data node, pada percobaan kedua dikonfigurasikan hanya berperan sebagai namenode (master) saja. Hal ini dilakukan untuk menganalisa apakah terjadi perubahan performa karena pengaruh jumlah datanode yang digunakan dalam melakukan proses wordcount. E. Skenario Kelima Pada percobaan kelima ini akan digunakan hardware yang berbeda pada node2 yaitu dengan menggunakan Raspberry pi Model B dengan spesifikasi dibawah hardware yang dipakai oleh node 1 dan node 3 yaitu Raspberry pi 2 Model B. CPU pada node 1 dan node 2 di overclock menjadi 1 GHz sedangkan untuk node 2 tidak dilakukan overclock. Peran node 1 adalah sebagai namenode saja, node 2 dan node 3 sebagai datanode. F. Skenario Keenam Pada percobaan keenam ini digunakan satu buah node saja yang berperan sebagai namenode sekaligus datanode. Hal ini dilakukan untuk mengetahui performa Raspberry pi dalam melakukan proses wordcount. G. Skenario Ketujuh Pada percobaan ketujuh ini digunakan dua buah node dengan hardware yang sama. Node 1 masih berepran sama seperti percobaan sebelumnya dan node 2 sebagai datanode saja. Hal ini dilakukan untuk menganalisa apakah ada peningkatan performa dengan ditambahkan jumlah node dalam cluster. H. Skenario Kedelapan Pada percobaan kedelapan ini masih menggunakan scenario yang sama dengan percobaan sebelumnya, namun yang membedakannya adalah peran node1 hanya sebagai namenode saja. IV. IMPLEMENTASI SISTEM A. Konfigurasi Awal Dalam implementasinya, ada beberapa konfigurasi yang dilakukan pada Raspberry pi sebelum melakukan percobaan yaitu: 1) Konfigurasi Network Untuk mengkonfigurasi network, pada terminal lakukan perintah /etc/network/interfaces. C. Skenario Ketiga Pada percobaan ketiga ini dilakukan overclock ke semua node sehingga clock CPU menjadi 1GHz. Skenario yang digunakan masih sama dengan percobaan sebelumnya dengan node1 sebagai namenode (master) sedangkan node 2 dan node 3 sebagai datanode (slave). Selain itu ukuran dari blok dikonfigurasi ulang menjadi 1 MB. Hal ini dilakukan untuk menganalisa apakah dengan melakukan overclock pada Raspberry pi dan merubah ukuran blok dapat mempengaruhi performa dalam menjalankan proses wordcount. D. Skenario Keempat Pada percobaan keempat ini kondisi Raspberry pi masih Gambar 2. Konfigurasi Network 2) Konfigurasi Java Environment Dengan menggunakan image raspbian wheezy-raspbian.img Java sudah terinstall, untuk melakukan verifikasi lakukan:

3 3 Gambar 3. Konfigurasi Java Environment 3) Membuat User Account dan Group Hadoop Untuk mebuat sebuah user dan group hadoop lakukan: Gambar 4. User Account dan Group Hadoop 4) Konfigurasi SSH SSH RSA tanpa password dibuat agar antar node dapat saling terintegrasi tanpa perlu menginputkan password. Gambar 5. Konfigurasi SSH 5) Konfigurasi Hadoop Ada beberapa konfigurasi yang dilakukan sebelum menjalankan hadoop yaitu melakukan konfigurasi pada core-site.xml, mapred-site.xml, hdfs-site.xml, serta membuat HDFS file system. Gambar 1. Raspberry pi 2 Model B 7) Konfigurasi Master Untuk melakukan konfigurasi master, gunakan editor dan arahkan ke /opt/hadoop/conf/masters dan ketikkan node1 untuk menjadikan master kepada node1. 8) Clone Node1 Proses clone dilakukan untuk mempersingkat waktu, dikarenakan konfigurasi default sudah ada pada node1, sehingga konfigurasi tersebut tinggal diclone pada memory node2 dan node3 9) Konfigurasi Node2 dan Node3 Pada node2 dan node3 lakukan konfigurasi di bagian host dan konfigurasi interfaces. A. Konfigurasi Pertama Pada percobaan pertama ini, dilakukan konfigurasi ulang slaves agar node 1 dapat berperan sebagai datanode. Letak konfigurasi berada pada /opt/hadoop/conf/slaves dengan menambahkan node1 didalamnya. Gambar 11. Konfigurasi /opt/hadoop/conf/slaves Gambar 6. Raspberry pi 2 Model B B. Konfigurasi Kedua Pada percobaan kedua ini, dilakukan konfigurasi ulang pada slaves untuk menghapus node 1 agar node 1 hanya berperan sebagai namenode saja. Gambar 7. Raspberry pi 2 Model B C. Konfigurasi Ketiga Pada percobaan ketiga ini, dilakukan overclock ke semua node menjadi 1GHz. Selain itu scenario konfigurasi slave masih sama seperti percobaan sebelumnya. Pada percobaan ini dilakukan konfigurasi ulang ukuran dari blok menjadi 1 MB yang awalnya 64 MB. Konfigurasi untuk merubah ukuran blok terdapat di dalam conf/hdfs-site.xml Gambar 8. Raspberry pi 2 Model B Gambar 9. Raspberry pi 2 Model B 6) Konfigurasi Host Untuk melakukan konfigurasi host, gunakan editor dan arahkan ke /etc/hosts Gambar 12. Konfigurasi Overclock CPU Raspberry Pi D. Konfigurasi Keempat Pada percobaan keempat ini masih menggunakan konfigurasi clock dan ukuran blok yang sama seperti percobaan sebelumnya, namun ditambahkan node1 pada konfigurasi slave yang berada pada /opt/hadoop/slaves.

4 4 Gambar 13. Konfigurasi Ukuran Blok E. Konfigurasi Kelima Pada percobaan kelima konfigurasi yang digunakan sama seperti percobaan keempat yang membedakan hanya penggunaan hardware saja. F. Konfigurasi Keenam Pada percobaan keenam ini konfigurasi yang dilakukan ada mengubah jumlah host dan slaves karena hanya menggunakan 1 node. G. Konfigurasi Ketujuh Pada percobaan ketujuh ini dilakukan konfigurasi penambahan host dan slaves dikarenakan jumlah node pada percobaan ketujuh adalah dua buah node. H. Konfigurasi Kedelapan Pada percobaan kedelepan ini dilakukan konfigurasi pada slaves dengan menghapus node1 sehingga hanya berperan sebagai namenode saja. A. Pertama V. UJI COBA DAN EVALUASI Pada percobaan pertama didapatkan lama pemprosesan wordcount selama 13 menit dengan kondisi rata-rata penggunaan CPU tiap node adalah 6% pada node 1, 55% pada node 2 dan 5% pada node 3. Untuk kondisi RAM pada node 1 tersisa 2%, node 2 tersisa 41% dan node 3 tersisa 23%. Dan yang terakhir adalah kondisi Disk I/O dimana tingkat kesibukannya adalah mencapai 1% pada node 1 sedangkan pada node 2 dan node 3 hanya 1-2%. 13 Menit Rata-rata CPU Node 1= 6% Node 2= 55% Node 3= 5% Free RAM Node 1= 2% Node 2= 41% Node 3= 23% Disk I/O Busy Node 1= 1% Node 2= 1-2% Node 3= 1-2% Tabel 1. 1 B. Kedua Pada percobaan kedua didapatkan lama pemprosesan wordcount selama 18 menit 13 detik dengan kondisi ratarata-rata penggunaan CPU tiap node adalah % pada node 1, 86% pada node2 dan 94% pada node3. RAM pada node 1 tersisa 1,6%, node 2 tersisa 4,4% dan node 3 tersisa 1,7%. Untuk kondisi Disk I/O dimana tingkat kesibukannya adalah 1-2% pada node 1 sedangkan pada node 2 adalah 55 % dan node 3 sebesar 55%. 18 Menit 13 detik Rata-rata CPU Node 1= % Node 2= 86% Node 3= 94% Free RAM Node 1= 1,6% Node 2= 4,4% Node 3= 1,7% Disk I/O Busy Node 1= 1-2% Node 2= 55% Tabel 2. 2 C. Ketiga Pada percobaan ketiga didapatkan lama pemprosesan wordcount selama 2 menit 5 detik dengan kondisi ratarata-rata penggunaan CPU tiap node adalah % pada node 1, 6% pada node 2 dan 55% pada node 3. RAM pada node 1 tersisa 1,6%, node 2 tersisa 1,4% dan node 3 tersisa 1,2%. Untuk kondisi Disk I/O dimana tingkat kesibukannya adalah 1-2% pada node 1 sedangkan pada node 2 adalah 5 % dan node 3 sebesar 5%. 2 Menit 5 detik Rata-rata CPU Node 1= % Node 2= 6% Free RAM Node 1= 1,6% Node 2= 1,4% Node 3= 1,2% Disk I/O Busy Node 1= 1-2% Node 2= 5% Node 3= 5% Tabel 3. 3 D. Keempat Pada percobaan keempat didapatkan lama pemprosesan wordcount selama 14 menit 38 detik dengan kondisi ratarata penggunaan CPU tiap node adalah 6% pada node 1, 55% pada node 2 dan 55% pada node 3. Untuk kondisi RAM pada node 1 tersisa 1,5%, node 2 tersisa 47,2% dan node 3 tersisa 33,5%. Dan yang terakhir adalah kondisi Disk I/O dimana tingkat kesibukannya adalah mencapai 1% pada node 1 sedangkan pada node 2 dan node 3 hanya 1-2%. 14 Menit 38 detik Rata-rata CPU Node 1= 6% Node 2= 55% Free RAM Node 1= 1,5% Node 2= 47,2% Node 3= 33,5% Disk I/O Busy Node 1= 1% Node 2= 1-2% Node 3= 1-2% Tabel 4. 4 E. Kelima Pada percobaan kelima ini didapatkan kondisi CPU ratarata pada node 1 sebesar 6%, pada node % dan pada node 3 sebesar 55%. Untuk lama pemprosesan wordcount didapatkan 2 menit 13 detik. 2 Menit 13 detik

5 5 Rata-rata CPU Node 1= 6% Node 2= 95%-1% Tabel 5. 5 F. Keenam Pada percobaan keenam ini didapatkan kondisi CPU ratarata pada Raspberry sebesar 52.5% dengan lama waktu 24 Menit 1 detik. 24 Menit 1 detik Rata-rata CPU Node 1= 52,5% Tabel 6. 6 G. Ketujuh Pada percobaan keenam ini didapatkan kondisi CPU ratarata pada node 1 sebesar 63% dan node 2 sebesar 64%dengan lama waktu 19 Menit 24 detik. 19 Menit 24 detik Rata-rata CPU Node 1= 63% Node 2= 64% Tabel 7. 7 H. Kedelapan Pada percobaan keenam ini didapatkan kondisi CPU ratarata pada node 1 sebesar 67% dan node 2 sebesar 9% dengan lama waktu 1 Jam 48 Menit 6 detik. 1 Jam 48 menit 6 detik Rata-rata CPU Node 1= 67% Node 2= 9% Tabel 8. 8 I. Evaluasi Dapat dilihat dari hasil percobaan yang sudah dilakukan bahwa dengan menjadikan node1 sebagai datanode sekaligus sebagai namenode dapat mengoptimalkan lama waktu pemprosesan data seperti yang dilakukan pada percobaan pertama dan keempat. Sedangkan pada kondisi node 1 yang hanya dijadikan sebagai namenode saja maka lama pemprosesan akan meningkat seperti grafik yang ada pada grafik Lama Pemprosesan De7k Gambar 14. Grafik Lama Pemprosesan tiap percobaan (detik) 4146 Namun dalam menjadikan node 1 sebagai datanode dan namenode sekaligus membuat RAM yang bebas menjadi tidak seimbang dengan node lain yang ada di cluster. Hal ini terjadi dikarenakan pekerjaan node 1 yang lebih banyak karena selain menjadi datanode juga berperan sebagai namenode. terbalik terjadi pada scenario yang menjadikan node 1 hanya sebatas namenode saja dimana kondisi RAM yang bebas menjadi seimbang dikarenakan node yang lain juga ikut memproses data seperti yang terlihat pada grafik Gambar 15. Grafik Free RAM Untuk kondisi penggunaan rata-rata CPU didapatkan hasil % apabila mengkondisikan node 1 hanya sebagai namenode atau master saja, hal ini dapat dilihat dari percobaan pertama dan keempat. lainnya didapat ketika node satu berperan juga sebagai datanode yang menyebabkan pemakaian CPU menjadi hamper sama di setiap node. Evaluasi selanjutnya adalah mengenai pengaruh penggunaan hardware seperti memory dengan class yang berbeda. Dapat dilihat dari hasil percobaan setiap node 2 pasti memiliki nilai free RAM yang lebih tinggi daripada node 3, hal ini dikarenakan node 2 menggunakan memory class 1 dan node 3 menggunakan class Node1 Node2 Node3 Disk I/O Busy 2 3 Gambar 16. Grafik Disk I/O Busy 4 Node 1 Node 2 Node 3 5 Hasil pengujian dengan meningkatkan clock juga berpengaruh dalam performa pemprosesan data. Dapat dilihat pada percobaan 4 dan 5 dimana kondisi semua clock CPU pada node ditingkatkan menjadi 1GHz. Dengan mengubah ukuran blok menjadi lebih kecil yaitu 1 MB seharusnya menjadikan jumlah blok menjadi semakin

6 6 banyak dan itu membuat pemprosesan wordcount menjadi semakin lama, tetapi dengan dilakukan overclock maka lama pemprosesan dapat dioptimalkan. Hal ini dapat dilihat dari percobaan 4 dan percobaan 1 dengan scenario yang sama, lama pemprosesan hampir mendekati percobaan 1 dengan jumlah blok yang lebih sedikit karena menggunakan ukuran 64 MB. Selain itu juga berdampak pada free RAM dimana pada hardware yang dioverclock mempunyai free RAM yang lebih besar. Pada percobaan kelima terjadi failure hardware yang dialami oleh node 2 dan melakukan reboot ketika CPU mencapai 1% dalam jangka waktu yang panjang. Ini disebabkan karena node 2 tidak dapat mengimbangi performa dari node 1 dan node 3 yang sudah dioverclock dan memiliki hardware yang lebih tinggi dibandingkan node 2 yang tidak di overclock dan spesifikasi hardware yang digunakan lebih rendah Node 2 Node 3 Node Gambar 17. Grafik Lama Pemprosesan per node (detik) VI. KESIMPULAN Dari hasil beberapa kali percobaan yang dilakukan dengan kondisi yang berbeda dapat dapat diambil beberapa kesimpulan, yaitu: Raspberry pi mampu menjalankan proses wordcount Hadoop dengan baik dan dapat dijadikan sebagai media untuk mempelajari Hadoop Cluster. Dengan melakukan overclock maka dapat meningkatkan performa Raspberry pi dalam melakukan pemprosesan data. Penggunaan jenis memory yang lebih baik memilki peran untuk meningkatkan Free RAM pada Raspberry pi. Perbedaan spesifikasi hardware yang berbeda dalam satu cluster dapat menyebabkan failure hardware karena akan ada hardware yang tidak dapat mengimbangi performa hardware lainnya yang memiliki spesifikasi lebih tinggi. Untuk meningkatkan performa cluster dalam memproses data dapat menjadikan peran node master tidak hanya sebagai namenode namun juga dijadikan sebagai datanode. REFERENSI [1] Nurtam, Mohammad Riza Data Clustering Pada Penjualan Komoditas Pertanian Taiwan Dengan Hadoop Platform, digilib- its, Surabaya. [2] Anonymous The International Workshop on Big Data and Smart Sustainable Society, Internet: www2.docm.mmu.ac.uk/staff/l.han /BigData-215/index.htm, [June. 2, 215] Muhammad Rusyadi merupakan mahasiswa sistem komputer fakultas ilmu komputer Universitas Brawijaya Malang. Berasal dari kota Banjarbaru Kalimantan Selatan dia masuk pada tahun 212 dan pada saat ini duduk di semester 6. Keminatannya adalah pada bidang kecerdasan buatan dan embedded system. Rio Marrowsi merupakan mahasiswa sistem komputer fakultas ilmu komputer Universitas Brawijaya Malang. Berasal dari kota yang sama dengan Rusyadi Banjarbaru Kalimantan Selatan dia masuk pada tahun 212 dan pada saat ini duduk di semester 6. Keminatannya adalah pada bidang Unmaned Aerial Vehicle. Hermawan Heri Wijaya merupakan mahasiswa sistem komputer fakultas ilmu komputer Universitas Brawijaya Malang. Berasal dari kota yang sama dengan penulisan yang lainnya yaitu Banjarbaru. Keminatannya adalah pada bidang Wireless Sensor Network dan embedded system.