Pemrograman MPI (1) Kuliah#11 TSK617 Pengolahan Paralel - TA 2011/2012. Eko Didik Widianto. Teknik Sistem Komputer - Universitas Diponegoro

Transkripsi

1 Kuliah#11 TSK617 Pengolahan Paralel - TA 2011/2012 Eko Didik Teknik Sistem Komputer - Universitas Diponegoro

2 Tentang Kuliah #11 Pemrograman MPI: Pemrograman Akan dibahas tentang pemrograman paralel dengan MPI menggunakan rutin-rutin pustaka Arsitektur memori: distributed atau hybrid Model programming: message passing Paralelisme: SIMD dan MIMD

3 Kompetensi Dasar Setelah mempelajari bab ini, mahasiswa akan mampu: Link 1. [C2] Mahasiswa akan mampu menjelaskan karakteristik dan konfigurasi arsitektur memori terdistribusi 2. [C2] Mahasiswa akan mampu menjelaskan model pemrograman message passing 3. [C3] Mahasiswa akan mampu membuat dan mengaplikasikan rutin pustaka MPI (OpenMPI dan/atau MPICH) untuk membuat program paralel di atas sistem terdistribusi 4. [C5] Mahasiswa akan mampu memprogram suatu aplikasi komputasi matrik menggunakan MPI sesuai dengan spesifikasi desain serta menghitung faktor speedupnya 5. [C5] Mahasiswa akan mampu melakukan profiling dari suatu program paralel MPI Website: kuliah-tsk-617-pengolahan-paralel-2011/ Standar: Tutorial: gov/research/projects/mpi/tutorial/index.html Buku: Using MPI-2: Portable Parallel Programming with the Message-Passing, Gropp, Lusk, and Thakur, MIT Press,

4 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message

5 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Arsitektur, Model Pemrograman Topologi Jaringan di

6 Arsitektur Memori Paralel Shared, Distributed dan Hybrid Arsitektur, Model Pemrograman Topologi Jaringan di Sebelumnya dibahas arsitektur shared, berikutnya adalah distributed dan/atau hybrid (MPP, Massively Parallel Processors)

7 Arsitektur (Top500) Implementasi Arsitektur Arsitektur, Model Pemrograman Topologi Jaringan di Sumber:

8 Model Pemrograman Paralel Arsitektur, Model Pemrograman Topologi Jaringan di Model memberikan abstraksi di atas suatu hardware dan arsitektur memori Namun, tidak spesifik untuk arsitektur tertentu Sebelumnya dengan Thread di OpenMP dan PThread, berikutnya

9 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Arsitektur, Model Pemrograman Topologi Jaringan di

10 Arsitektur Tiap prosesor mempunyai memori lokal sendiri Arsitektur, Model Pemrograman Sehingga prosesor dapat beroperasi secara independen Perubahan ke lokal memori tidak membawa efek ke memori lain Konsep cache coherence tidak berlaku Distributed Topologi Jaringan di Jika memerlukan interprosesor, tugas programmer secara eksplisit mendefinisikan bagaimana dan kapan data akan dikomunikasikan

11 Kelebihan: scalable jumlah prosesor dan ukuran memori dapat ditingkatkan Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead, seperti di koherensi cache Cost effective: dapat menggunakan PC komoditas, off-the-self processor Kekurangan: tugas programmer semakin kompleks terkait detail komunikasi data Mapping data struktur berbasis memori globlal bisa susah Arsitektur, Model Pemrograman Topologi Jaringan di

12 Arsitektur Memori Hybrid Terdiri dari arsitektur memori shared dan distributed Komponen memori shared biasanya mesin SMP koheren Prosesor di mesin SMP mempunyai akses global ke memori mesin tersebut Komponen distributed adalah jaringan SMP multiple SMP hanya tahu memorinya saja Komunikasi jaringan diperlukan untuk memindahkan data dari satu SMP ke lainnya Hybrid Arsitektur, Model Pemrograman Topologi Jaringan di Trend ke depan menggunakan tipe arsitektur memori ini

13 Cache Coherence Komponen memori shared biasanya mesin SMP koheren Prosesor di mesin SMP mempunyai akses global ke memori mesin tersebut Komponen distributed adalah jaringan SMP multiple SMP hanya tahu memorinya saja Komunikasi jaringan diperlukan untuk memindahkan data dari satu SMP ke lainnya Generic Cache Coherence

14 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Arsitektur, Model Pemrograman Topologi Jaringan di

15 Fluid Turbulance Modelling Arsitektur, Model Pemrograman Topologi Jaringan di

16 The Open Source Computed Tomography Simulator Arsitektur, Model Pemrograman Topologi Jaringan di

17 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Arsitektur, Model Pemrograman Topologi Jaringan di

18 Distributed Memory Multiprosesor Menggunakan beragam topologi jaringan (koneksi) Crossbar, ring, mesh dan torus 2-D dan 3-D, hypercube, tree, butterfly Menciptakan ilusi bahwa semua node saling terhubung satu dengan yang lainnya Parameter performansi utama: Latency (α): delay antara waktu pengiriman dan penerimaan Bandwidth (1/β): Bandwidth efektif Bandwidth link = #jalur/waktu-per-bit Arsitektur, Model Pemrograman Topologi Jaringan di

19 Bisection Bandwidth Arsitektur, Model Pemrograman Adalah bandwitdh di titik perpotongan yang membagi jaringan menjadi dua yang sama persis Diperlukan oleh algoritma dimana semua prosesor ingin berkomunikasi dengan yang lainnya Topologi Jaringan di

20 Topologi Jaringan Arsitektur, Model Pemrograman Topologi Jaringan di

21 Topologi Jaringan Arsitektur, Model Pemrograman Topologi Jaringan di

22 Distributed Memory Di distributed, prosesor tidak mempunyai mapping ke memori yang terhubung ke prosesor lain Transfer data ke memori lain dilakukan dengan protokol jaringan Di message passing, task menggunakan memori lokalnya sendiri saat komputasi Beberapa task dapat ditempatkan di mesin fisik yang sama Transfer data antar task lewat pesan komunikasi

23 Tiap prosesor dalam suatu program message passing menjalankan sebuah sub-program Umumnya sama di tiap prosesor (SPMD) Semua komunikasi, sinkronisasi memerlukan pemanggilan sub-rutin dari pustaka Distribusi kerja dan data berdasarkan nilai myrank Berkomunikasi berpasangan (point-to-point) dengan rutin khusus send & receive Tidak ada variabel shared tidak perlu lock Sinkronisasi: barrier

24 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Transfer Message

25 (MPI) Standar library yang dikembangkan oleh kelompok akademik dan patner industri (mulai tahun 1990) Untuk mempercepat penggunaan dan portabilitas model pemrograman Mendefinisikan rutin/fungsi, bukan implementasi Implementasi MPI (free) OpenMPI MPICH2, etc Referensi MPI: Standar: Transfer Message

26 Referensi Buku Transfer Message

27 Konsep Semua operasi dilakukan dengan panggilan rutin pustaka Definisi rutin: mpi.h (C), mpif.h (Fortran) Transfer Message

28 Routing Message di MPI Routing message antar komputer dilakukan oleh proses daemon yang dijalankan di komputer, membentuk virtual machine Transfer Message

29 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Transfer Message

30 Model Pembuatan Proses MPMD dan SPMD Multiple Program Multiple Data Single Program Multiple Data Transfer Message Program berbeda dieksekusi oleh tiap prosesor Program yang sama dieksekusi oleh tiap prosesor Statemen kontrol memilih bagian berbeda untuk eksekusi di tiap prosesor

31 Kontrol Proses Di MPI, proses-proses yang terdefinisi dalam grup komunikasi diberi rank rank dimulai dari 0 dan seterusnya Program menggunakan statemen kontrol (misalnya if) untuk melakukan eksekusi spesifik Contoh: if (rank == 0)... /* do this */; if (rank == 1)... /* do this */; Model master-slave Satu proses (master), melakukan satu set action dan semua proses lainnya (slaves) melakukan action identik, namun dengan data berbeda if (rank == 0)... /* master do this */; else... /* all slaves do this */; Transfer Message

32 Pembuatan Proses Statik dan Dinamik Pembuatan proses secara statik Proses yang dibuat oleh MPI (normal) Semua executable dijalankan bersamaan Dilakukan saat satu mesin menjalankan program terkompile Pembuatan Proses secara Dinamik di MPMD Tersedia di MPI-2 Satu prosesor mengeksekusi proses master prosesor lain menjalankan proses dari proses master Overhead: process creation Transfer Message

33 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Transfer Message

34 Mencari Environment MPI Berapa proses yang berpartisipasi dalam komputasi? MPI_Comm_size() memberikan jumlah proses Proses manakah aku? MPI_Comm_rank() memberikan rank sbg identitas proses #include <mpi.h> #include <stdio.h> int main( int argc, char *argv[] ) { } int rank, size; MPI_Init( &argc, &argv ); /*Begin MPI*/ /*Below statements execute independently in each process*/ MPI_Comm_rank( MPI_COMM_WORLD, &rank ); MPI_Comm_size( MPI_COMM_WORLD, &size ); printf( "I am %d of %d\n", rank, size ); MPI_Finalize(); /*End MPI*/ return 0; Transfer Message Kompiler/Linker: mpicc.openmpi Run: mpiexec.openmpi -np 4 mpi_hello

35 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Transfer Message

36 Metode Pengiriman dan Penerimaan Message Komunikasi Point-to-Point Mengirimkan sebuah message antar proses menggunakan rutin send() dan receive() Transfer Message MPI menggunakan MPI_send() dan MPI_receive()

37 Tag Message Digunakan oleh proses penerima untuk mengidentifikasi message Didefinisikan oleh user bertipe integer Jika type matching tidak diperlukan, tag message wildcard dapat digunakan (MPI_ANY_TAG) MPI_recv() akan cocok dengan sebarang MPI_send() Contoh: mengirim message x dengan tag 5 dari proses 1 ke proses 2 dan menyimpannya sebagai y Transfer Message

38 Unsafe Transfer Message

39 Solusi Transfer MPI Communicator Proses dapat dikelompokkan ke dalam grup Tiap message dikirimkan dalam suatu konteks dan harus diterima dalam konteks yang sama Grup dan konteks membentuk communicator Communicator mendefinisikan domain komunikasi Set proses yang diijinkan untuk berkomunikasi antar mereka Sebuah proses diidentifikasikan dengan rank dalam grup yang berasosiasi dengan suatu communicator Default communicator: MPI_COMM_WORLD Communicator yang grupnya berisi semua proses inisial Transfer Message

40 Tipe Data Tipe Data MPI MPI_CHAR MPI_INT MPI_LONG MPI_FLOAT MPI_DOUBLE MPI_UNSIGNED_CHAR MPI_UNSIGNED_SHORT MPI_UNSIGNED MPI_UNSIGNED_LONG Tipe Data C char int long float double unsigned char unsigned short unsigned int unsigned long Transfer Message

41 Parameter MPI_Send() Di MPI dasar, transfer disebut blocking Rutin menunggu sampai semua action lokal telah dilakukan (fungsi return) Buffer message dideskripsikan dengan (buf, count, datatype) Proses targe dispesifikasikan dengan dest, yaitu rank dari proses target dalam communicator comm Saat fungsi ini return, data telah dikirimkan ke seistem dan buffer buf dapat digunakan kembali Message ini mungkin belum diterima oleh proses target Transfer Message

42 Parameter MPI_receive() Menunggu sampai message yang cocok (source dan tag) diterima dari sistem dan buffer dapat digunakan source adalah rank dalam communicator comm atau MPI_ANY_SOURCE tag adalah tag yang harus cocok dengan yang dikirim sumber atau MPI_ANY_TAG Menerima lebih sedikit datatype daripada count berarti OK, kalau lebih berarti terjadi error status berisi informasi lebih lanjut (misalnya ukuran message) Transfer Message

43 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Transfer Message

44 Status merupakan struktur data yang dialokasikan di program user int recvd_tag, recvd_from, recvd_count; MPI_Status status; MPI_Recv(..., MPI_ANY_SOURCE, MPI_ANY_TAG,..., &status ) recvd_tag = status.mpi_tag; recvd_from = status.mpi_source; MPI_Get_count( &status, datatype, &recvd_count ); Transfer Message Kode!

45 Tag dan Context Pemisahan message yang digunakan dapat dilakukan dengan tag Tapi ini memerlukan librari yang patuh terhadap tag yang digunakan oleh pustaka lain Ini dapat diatasi dengan penggunaan tag wildcard Context berbeda dari tag Wildcard tidak diijinkan Dialokasikan secara dinamik oleh sistem saat suatu pustaka mensetup sebuah communicator Tag yang didefinisikan oleh user masih disediakan oleh MPI untuk kemudahan user dalam mengorganisasikan aplikasi Transfer Message

46 Bahasan Arsitektur Memori dan Model Pemrograman Topologi Jaringan di Metode Transfer Message Transfer Message

47 Send dan Receive (Blocking) #include <mpi.h> #include <stdio.h> int main( int argc, char **argv ) { int rank, buf; MPI_Status status; MPI_Init(&argc, &argv); MPI_Comm_rank( MPI_COMM_WORLD, &rank ); /* Process 0 sends and Process 1 receives */ if (rank == 0) { buf = ; MPI_Send(&buf,1,MPI_INT,1,0,MPI_COMM_WORLD); } else if (rank == 1) { MPI_Recv(&buf,1,MPI_INT,0,0,MPI_COMM_WORLD,&status ); printf("received %d\n", buf ); } MPI_Finalize(); return 0; Transfer Message }

48 Send dan Receive (Blocking) #include <mpi.h> #include <stdio.h> #include <stdlib.h> int main( int argc, char **argv ) { char message[20]; int rank, i, size, mtag = 99; MPI_Status status; MPI_Init(&argc, &argv); MPI_Comm_size( MPI_COMM_WORLD, &size); MPI_Comm_rank( MPI_COMM_WORLD, &rank); /* Process 0 sends and Process 1 receives */ if (rank == 0) { strcpy(message, "Hello, world"); for (i=1; i<size; i++) MPI_Send(message,13,MPI_CHAR,i,mtag,MPI_COMM_WORLD); } else { MPI_Recv(message,20,MPI_CHAR,0,mtag,MPI_COMM_WORLD,&status ); printf( "Message from process =%d : %.13s\n", rank,message); } MPI_Finalize(); return 0; Transfer Message }

49 Mensetup Environment Seringkali komputer yang digunakan untuk komputasi ditentukan dalam sebuah file Dengan nama file: hostfile atau machines File berisi nama-nama komputer dan jumlah proses yang harus berjalan di komputer tersebut Algoritma implementasi memilih komputer dari daftar yang harus menjalankan program pengguna Pengguna dapat membuat file mesinnya sendiri. Misalnya grid01.siskom.undip.ac.id 2 grid02.siskom.undip.ac.id grid03.siskom.undip.ac.id Jika file mesin tidak ditentukan, maka digunakan file mesin default atau program hanya berjalan di komputer tunggal

50 Kompilasi Program MPI Perintah tergantung implementasi MPI yang digunakan (di ubuntu kedua-duanya ada) OpenMPI (digunakan di kuliah ini), MPICH2 Perintah di ubuntu Kompilasi: mpicc.openmpi Eksekusi: mpirun.openmpi atau mpiexec.openmpi (perintah standar MPI-2) Mengkompilasi program MPI mpicc -o prog prog.c Mengeksekusi program MPI di SPMD mpiexec -n no_procs prog Mengeksekusi di multi komputer mpiexec -machinefile machines -n 4 prog

51 Creative Common Attribution-ShareAlike 3.0 Unported (CC BY-SA 3.0) Anda bebas: untuk Membagikan untuk menyalin, mendistribusikan, dan menyebarkan karya, dan untuk Remix untuk mengadaptasikan karya Di bawah persyaratan berikut: Atribusi Anda harus memberikan atribusi karya sesuai dengan cara-cara yang diminta oleh pembuat karya tersebut atau pihak yang mengeluarkan lisensi. Pembagian Serupa Jika Anda mengubah, menambah, atau membuat karya lain menggunakan karya ini, Anda hanya boleh menyebarkan karya tersebut hanya dengan lisensi yang sama, serupa, atau kompatibel. Lihat: Creative Commons Attribution-ShareAlike 3.0 Unported License