Implementasi Portal Komputasi Grid untuk Multi Kluster

Transkripsi

1 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2013) Implementasi Portal Komputasi Grid untuk Multi Kluster Benediktus Anindito dan F. X. Arunanto Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember (ITS) Jl. Arief Rahman Hakim, Surabaya anto@if.its.ac.id Abstrak Komputasi grid adalah salah satu jenis sistem terdistribusi yang terpisah secara geografis di mana sumber daya yang ada bisa dimanfaatkan untuk memecahkan persoalan komputasi dalam skala besar. Dalam penelitian ini, penulis mengembangkan infrastruktur komputasi grid yang telah diriset sebelumnya, terutama pada pengembangan portal. Infrastruktur komputasi grid ini terdiri atas dua kluster yang terhubung ke sebuah portal. Dalam mengembangkan portal, penulis menggunakan perangkat lunak Globus Toolkit, Gridsphere, dan Vine Toolkit. Setelah dibangun, infrastruktur grid ini diuji dengan mengirimkan parallel job ke kedua kluster. Hasilnya, parallel job berjalan dengan baik pada kedua kluster, dan komputasi paralel yang disediakan oleh kedua kluster dapat mempercepat pemrosesan suatu masalah komputasi dengan data yang cukup besar. Kata Kunci globus toolkit, gridsphere, komputasi grid, vine toolkit S I. PENDAHULUAN AAT ini, dunia industri sudah terlibat sebagai salah satu pengguna sistem terdistribusi. Terminologi grid sudah menjadi suatu slogan marketing. Bermacam-macam filesystem terdistribusi disebut sebagai storage grid. Sistem penjadwal yang dipasang pada sebuah kluster disebut sebagai cluster grid [1]. Umumnya, pengguna penguna infrastruktur grid adalah orang-orang yang berada di luar bidang teknologi informasi, misalnya dari bidang keilmuan astrologi, fisika, bahkan ekonomi. Orang-orang ini tentunya mementingkan kemudahan dalam penggunaan infrastruktur grid. Oleh karena itu diperlukan suatu antar muka pengguna. Di sinilah portal web mengambil peran. Portal web adalah sebuah laman web yang berfungsi untuk menyediakan berbagai macam layanan web. Setiap pengguna yang terdaftar dalam portal tersebut dapat melakukan personalisasi akan fitur-fitur yang disediakan oleh portal tersebut. Unit penyedia layanan terkecil disebut dengan istilah portlet. Pengembangan portlet sendiri mulai populer setelah standar antarmuka pemrogramannya diresmikan dalam Java Specification Request 168. Standar ini memungkinkan pengguna dapat membuat layanan web baru dan menambahkannya ke portal. A. Gridsphere II. DASAR TEORI Portal Gridsphere dikembangkan berdasarkan best practice dari alat dan pustaka pengembangan Grid Portal Development Kit (GPDK) yang saat ini sudah berhenti proses pengembangannya. GPDK menyediakan antarmuka pemrograman yang dapat digunakan kembali, sehingga pengguna baru dapat dengan mudah mengadaptasi dan mengembangkan layanan komputasi grid milik mereka sendiri. Gridsphere juga mengadopsi teknologi portal web Astrophysics Scientific Collaboratory (ASC). Portal ASC pada awalnya dikhususkan untuk riset astrofisika, memungkinkan periset menjalankan aplikasi simulasi pada sumber daya komputasional skala besar. Portal ini juga menyediakan dokumentasi untuk pengguna lain di luar bidang riset astrofisika yang ingin mempermudah eksekusi program pada lingkungan komputasi berkinerja tinggi [2]. B. Vine Toolkit Vine Toolkit adalah aplikasi portlet sekaligus antarmuka pemrograman yang dikembangkan oleh Piotr Dziubecki, dkk. di Poznan Supercomputing and Networking Center. Vine Toolkit ini adalah proyek yang modular, artinya perangkat lunak ini memiliki komponen-komponen yang dapat terintegrasi dengan aplikasi-aplikasi portal web [3]. Portlet ini ditujukan untuk berbagai lingkungan komputasi, baik sebagai aplikasi desktop, command line interface, Java Web Start, dan aplikasi portlet atau servlet lainnya. Tujuan utama dikembangkannya Vine Toolkit adalah untuk mendukung berbagai macam standar web dan layanan komputasi grid. Dalam pengembangannya, Vine Toolkit menggunakan beberapa teknologi, antara lain adalah BlazeDs dan Adobe Flex. BlazeDs adalah teknologi web yang menyediakan antarmuka komunikasi klien (dalam hal ini adalah web browser) ke server berbasis Java, berupa pustaka remote procedure call dan messaging service [4]. Untuk riset ini, penulis menggunakan beberapa komponen Vine Toolkit seperti Resource Management, Account Management, File Management, dan Job Management. C. Globus Toolkit Globus Toolkit adalah suatu middleware komputasi grid

2 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2013) yang dibuat oleh The Globus Alliance. Middleware ini terdiri atas beberapa komponen yang saling lepas satu sama lain, namun saling terkait. Komponen-komponen tersebut berupa perangkat lunak pendukung layanan komputasi grid, pustaka dan utilitas pemrograman yang dapat digunakan untuk membuat layanan dan aplikasi komputasi grid. Ada 5 domain dalam pengelompokan komponen Globus Toolkit, yaitu security, data management, execution management, information services, dan common runtime [5]. Kelompok komponen security dalam Globus Toolkit yang juga disebut Grid Security Infrastructure (GSI). Komponen ini memfasilitasi setiap layanan untuk berkomunikasi secara aman. Sesuai dengan namanya, komponen data management mengatur lalu lintas data yang dipakai di dalam suatu infrastruktur grid. Komponen execution management menghubungkan layanan-layanan yang disediakan Globus Toolkit dengan scheduler. Komponen utama dari execution management adalah GRAM (Grid Resource Allocation Management). Kelompok komponen information services berfungsi mengumpulkan berbagai macam informasi penting terkait ketersediaan sumber daya pada infrastruktur grid. Kelompok komponen ini menyediakan antar muka pemrograman untuk membuat layanan khusus pada infrastruktur grid menggunakan Globus Toolkit. D. OpenGrid Scheduler/GridEngine OpenGrid Scheduler/Grid Engine dahulu dikenal sebagai Sun Grid Engine adalah perangkat lunak scheduler yang awalnya dikembangkan oleh Sun Microsystem (merupakan afiliasi dari Oracle sejak tahun 2011) kemudian sekarang dirawat oleh suatu kontributor independen. Grid Engine dibangun dengan arsitektur klien-server yang mencocokkan sumber daya sesuai dengan yang diminta oleh pengguna [1]. Entitas dasar yang diatur oleh Grid Engine adalah job dan queue atau antrian. Setiap worker node memiliki satu buah antrian. Sistem multi antrian Grid Engine memungkinkan eksekusi beberapa parallel job sekaligus. Grid Engine terbagi atas dua bagian, yaitu queue master dan execution daemon. Queue master menerima parallel job yang dikirimkan oleh pengguna, kemudian mengalokasikan sumber daya yang cocok dengan yang dibutuhkan. Execution daemon mengirimkan status worker node di mana dia dipasang, antara lain jumlah prosesor yang sedang terpakai, load rata-rata, dan status queue. E. Message Passing Interface Komputasi paralel adalah suatu model komputasi yang melibatkan beberapa komputer sekaligus dalam menjalankan sebuah program. Dalam model komputasi ini, suatu masalah yang kompleks dibagi-bagi menjadi beberapa bagian yang kecil dan dijalankan secara paralel. Komputasi paralel ada beberapa bentuk, yaitu paralelisme tingkat bit, paralelisme tingkat instruksi, paralelisme tingkat data, dan paralelisme tingkat task [6]. Model komputasi seperti ini biasanya dipakai ketika kompleksitas program sangat tinggi dengan data yang sangat besar. Untuk dapat membuat aplikasi komputasi paralel, diperlukan suatu kerangka kerja pemrograman. Kerangka kerja ini disebut sebagai Message Passing Interface. Kerangka kerja ini terdiri dari pustaka dan aplikasi bantu yang digunakan untuk menjalankan program secara paralel. Menurut Message Passing Interface Forum [7], MPI memiliki karakteristik-karakteristik sebagai berikut: MPI menyediakan komunikasi yang efisien dan antarmuka pemrograman yang menghindari penyalinan memori ke memori. MPI dapat diterapkan pada lingkungan komputasi yang heterogen. MPI menyediakan antarmuka komunikasi yang handal. Pengguna tidak perlu memikirkan apa yang harus dilakukan ketika ada kegagalan komunikasi saat program dikembangkan. Kegagalan komunikasi harus ditangani oleh subsistem komunikasi yang ada. MPI adalah antarmuka yang portabel, dan dapat dikembangkan oleh berbagai macam platform yang berbeda, tanpa perubahan yang signifikan. Antarmuka MPI tidak bergantung terhadap bahasa pemrograman tertentu dan dirancang agar aman dalam lingkungan multi thread. MPI menyediakan banyak fitur yang dapat meningkatkan kinerja pada lingkungan komputasi paralel dengan perangkat keras komunikasi antar-prosesor khusus. F. Komputasi Grid Gambar. 1. Ilustrasi virtual organization [5]. Jika komputasi paralel hanya terbatas pada lingkup organisasi yang kecil (contoh: laboratorium), maka komputasi grid adalah komputasi paralel yang memiliki lingkup yang lebih besar. Foster [1] menggagas suatu konsep yang disebut virtual organization atau disingkat VO. Pada Gambar 1, ada 3 organisasi, yaitu A, B dan C yang masing-masing memiliki sumber daya-sumber daya yang digambarkan sebagai lingkaran. Dari organisasi-organisasi tersebut bisa membentuk virtual organization dengan menggabungkan beberapa sumber daya dari organisasi yang berbeda. Foster juga merumuskan suatu arsitektur umum infrastruktur grid seperti pada Gambar 2. Arsitektur ini terdiri atas beberapa layer, yaitu fabric layer, connectivity layer,

3 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2013) Gambar. 2. Arsitektur Grid [5]. resource layer, collective layer. Lapisan fabric menyediakan sumber daya fisik yang akan dibagipakaikan kepada pengguna infrastruktur grid. Lapisan connectivity adalah lapisan yang menyediakan protokol dan sarana komunikasi untuk transaksi berbasis jaringan. Lapisan resource berisi layanan-layanan dan protokol yang mengatur sumber daya yang terpisah. Lapisan collective sama dengan lapisan resource, hanya saja yang diatur adalah sumber daya sekelompok sumber daya. Gambar. 4a. Arsitektur Jaringan Infrastruktur Grid. diilustrasikan pada Gambar 3. Penulis merumuskan arsitektur jaringan infrastruktur grid pada Gambar 4a dan 4b. Gambar 4a adalah arsitektur jaringan untuk kluster laboratorium GCL yang dijadikan kluster utama, sedangkan Gambar 4a adalah kluster laboratorium AJK yang dijadikan kluster percobaan. Kedua kluster terhubung ke portal melalui jaringan intranet jurusan Teknik Informatika ITS. A. Infrastruktur Grid III. PERANCANGAN SISTEM Ada beberapa komponen dalam suatu infrastruktur grid, yaitu head node, storage node, worker node, dan portal. Komputer yang berperan sebagai head node memilih dan menjadwalkan setiap parallel job yang dikirimkan oleh portal. Komputer storage node menyimpan data yang dibutuhkan untuk menjalankan parallel job. Storage node membagipakaikan data tersebut menggunakan Network File System. Worker node berkomunikasi dengan head node menggunakan penjadwal agar dapat menjalankan program paralel. Sedangkan portal berkomunikasi dengan head node untuk mengirimkan parallel job yang diminta oleh pengguna. Skema komunikasi komponen-komponen tersebut Gambar. 4b. Arsitektur Jaringan Infrastruktur Grid. Gambar. 3. Skema Komunikasi Antar Komponen dalam Infrastruktur Grid B. Pengiriman Parallel Job Gambar 5a dan 5b adalah flowchart pengiriman parallel job secara umum. Sebelum dapat menggunakan layanan dalam portal infrastruktur grid, pengguna harus memiliki login portal dan login MyProxy. Setelah login, pengguna dapat mengunggah program paralel miliknya ke portal, tepatnya pada lokasi yang telah disediakan administrator. Setelah itu, pengguna mengisi formulir pada portal mengenai spesifikasi parallel job yang akan dijalankannya. Pengguna bisa memilih untuk tidak menyimpan keluaran standard output dan standard error dari program paralel yang dijalankannya.

4 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2013) Gambar. 5a. Flowchart Pengiriman Parallel Job. Gambar. 6a. Flowchart Tahapan Instalasi. OpenLDAP untuk single sign-on. Untuk tahap awal, penulis membangun kluster utama yang berada di laboratorium GCL, kemudian membangun portal dan menghubungkan kluster utama ke portal. Penulis melanjutkan implementasi dengan membangun kluster percobaan pada laboratorium AJK dengan bantuan administrator laboratorium tersebut. Gambar. 5b. Flowchart Pengiriman Parallel Job. Setelah job parallel dikirim, sistem akan menjalankannya sesuai dengan urut-urutan yang digambarkan pada flowchart. IV. IMPLEMENTASI Gambar 6a dan 6b adalah flowchart tahapan instalasi perangkat lunak dalam pengembangan infrastruktur grid. Perangkat lunak pendukung adalah perangkat lunak yang dibutuhkan untuk diinstall sebelum perangkat lunak kluster. Perangkat lunak tersebut antara lain adalah: Server DNS dan server DHCP untuk membantu memberi identitas setiap host. Network File System untuk membagi pakai file yang dibutuhkan pada saat menjalankan parallel job. Gambar. 6b. Flowchart Tahapan Instalasi. V. UJI COBA Pada tahap uji coba, penulis menginstal pustaka mpi4py pada setiap worker node. Pustaka ini berfungsi untuk membungkus pustaka MPI yang hanya tersedia dalam bahasa C dan Fortran agar dapat digunakan pada program berbahasa Python. Ada dua program paralel yang diujicobakan, yaitu program hello world dan program perkalian matriks. Kedua program

5 JURNAL TEKNIK POMITS Vol. 1, No. 1, (2013) tersebut ditulis dalam dua versi, yaitu versi serial yang akan dijalankan dalam 1 komputer, dan versi paralel yang dijalankan oleh 10 komputer. Di dalam versi parallel program tersebut juga dihitung waktu kalkulasi dan waktu komunikasi yang diperlukan untuk menjalankan program paralel tersebut. Berdasarkan keluaran pada program perkalian matriks, waktu eksekusi versi paralelnya jauh lebih cepat daripada versi serialnya. VI. KESIMPULAN Dengan menggunakan Gridsphere dan Vine Toolkit, kita dapat mengimplementasikan portal yang dapat terhubung ke beberapa kluster sekaligus. Pemrograman paralel yang disediakan infrastruktur grid ini dapat mempercepat waktu eksekusi suatu program dengan data masukan yang cukup besar. process 4 of 8 [kancil] overall running time e-05 process 3 of 8 [landak] process 5 of 8 [kelinci] process 7 of 8 [duyung] process 0 of 8 [elang] process 6 of 8 [garuda] process 2 of 8 [badak] process 1 of 8 [capung] Gambar. 7. Keluaran Program Hello World pada Kluster Utama. LAMPIRAN Gambar 7 dan 8 adalah keluaran dari job parallel program hello world pada kluster utama dan kluster process 0 of 2 [Agni] process 1 of 2 [Anubis] overall running time e-05 Gambar. 8. Keluaran Program Hello World pada Kluster Percobaan. percobaan. Gambar 9 adalah keluaran job parallel program perkalian matriks pada kluster utama. Gambar 10 adalah keluaran array a ukuran 2000 x 500 array b ukuran 500 x 100 waktu kalkulasi = array c ukuran 2000 x 100 Gambar. 10. Keluaran Program Perkalian Matriks Versi Serial. program perkalian matriks versi serial. UCAPAN TERIMA KASIH Penulis B.A. mengucapkan terima kasih kepada Tuhan atas segala kasih karunianya kepada penulis dalam penulisan makalah ini. Tak lupa juga penulis ucapkan kepada seluruh administrator dan pengguna laboratorium GCL yang sudah menemani penulis dalam pengerjaan Tugas Akhir ini. DAFTAR PUSTAKA [1] V. Silva, Grid Computing for Developers (Programming Series). Massachusets: Charles River Media Incorporated (2006) [2] J. Novotny, M. Russel, O. Wehrens, GridSphere: an advanced portal framework, Proceedings of the 30th Euromicro Conference. (2004) Tersedia: [3] Application Department Poznan Supercomputing and Networking Center The Vine Toolkit: A Java Framework for Grid-enabling Applications. <URL: (diakses tanggal 3 Januari 2013) [4] Adobe Systems Incorporated BlazeDS Developer Guide. <URL: e.pdf> (diakses tanggal 3 Januari 2013) [5] B. Sotomayor, L. Childers, Globus Toolkit 4 Programming Java Services. San Francisco: Morgan Kauffman Publishers (2006) [6] Z. Fauzi, Pemanfaatan Infrastruktur Grid ITS untuk Aplikasi Paralel Berbasis MPI. Surabaya: Jurusan Teknik Informatik ITS (2009) [7] Message Passing Interface Forum. MPI: A Message-Passing Interface Standard. <URL: (diakses tanggal 27 September 2012) array a = array b ukuran 500 x 100 calc time at elang = calc time at kanguru = calc time at kelinci = calc time at capung = calc time at kancil = calc time at cicak = calc time at landak = calc time at domba = scatter time = calc time at duyung = calc time at garuda = gather time = array result2 ukuran 2000 x 100 Gambar. 9. Keluaran Program Perkalian Matriks pada Kluster Utama.