Kuliah#7 TSK617 Pengolahan Paralel - TA 2011/2012. Eko Didik Widianto

Transkripsi

1 Kuliah#7 TSK617 Pengolahan Paralel - TA 2011/2012 Eko Didik Teknik Sistem Komputer - Universitas Diponegoro

2 Review Kuliah Sebelumnya dibahas tentang: pustaka Posix Thread dan aplikasinya Pustaka Pthread API Pthread Mengkompile program multithread Mengelola Thread Variabel Mutex Variabel Kondisional

3 Review Kuliah paralel di mesin shared memory menggunakan model thread Implementasi: 1. menggunakan Pustaka dari subrutin yang dipanggil dari dalam source code paralel Posix (pthread), paralelisme eksplisit. Di awal direncanakan programnya paralel 2. menggunakan set compiler directive yang di-embed-kan di source code (serial atau paralel), dapat menggunakan kode serial

4 Kuliah tentang Akan dibahas tentang pemrograman paralel dengan menggunakan kompiler directive Arsitektur memori: shared (SMP, symmetric multi-processor) Model programming: thread Pokok Bahasan: (kuliah #7 akan membahas item yang ditebalkan) 1. Pengantar dengan critical, atomic 4. Loop dan Worksharing 5. dengan barrier, single, master, ordered 6. Environment Data 7. Menjadwalkan for dan section 8. Model memori

5 Kompetensi Dasar Setelah mempelajari bab ini, mahasiswa akan mampu: Link 1. [C2] Mahasiswa memahami konsep pemrograman paralel menggunakan 2. [C3] Mahasiswa akan mampu membuat program paralel dari program serial menggunakan compiler-directive dan pustaka-pustaka 3. [C5] Mahasiswa akan mampu memprogram suatu aplikasi komputasi matrik menggunakan serta menghitung faktor speedupnya Website: kuliah-tsk-617-pengolahan-paralel-2011/

6 Acknowledment Materi dan gambar didapat dari: Tim Mattson, Larry Meadows (2008): A Hands-on Introduction to Website:

7 Bahasan Aplikasi Numerik Critical Atomic False Sharing

8 : API untuk Aplikasi Multithread Menyediakan set kompiler directive dan rutin pustaka untuk aplikasi pemrograman paralel Menyederhanakan penulisan program multi-thread (MT) di bahasa C, C++ dan Fortran Telah digunakan sebagai standar dalam aplikasi pemrograman di prosesor SMP

9 Stack

10 Elemen Sumber:

11 Sintaks Utama Sebagian besar construct di adalah compiler directive #pragma omp construct [clause [clause]... ] Contoh: #pragma omp parallel num_threads(4) Prototip fungsi dan tipe data didefinisikan di file header omp.h #include <omp.h> Sebagian besar construct merupakan block terstruktur Blok terstruktur: sebuah blok yang berisi satu atau beberapa statemen dengan satu titik masuk di bagian atas dan satu titik keluar di bagian terbawah Titik masuk dengan { dan titik keluar dengan } Dalam blok terstruktur tersebut bisa memanggil exit()

12 Kompiler

13 Latihan 1: Hello World (Serial) Pastikan environment telah siap (IDE, kompiler, linker, dan lainnya)

14 Latihan 1: Hello World (Paralel)

15 Bagaimana Thread Berinteraksi? adalah pustaka untuk pemrograman multi-threading menggunakan model alamat shared Thread saling berkomunikasi menggunakan variabel shared Sharing data yang tidak diinginkan menyebabkan kondisi race: race condition: when the program s outcome changes as the threads are scheduled differently Untuk mengontrol kondisi race: Digunakan sinkronisasi untuk memproteksi konflik data akan mahal, sehingga: Alternatif: memodifikasi program terutama akses data shared untuk meminimalkan kebutuhan sinkronisasi

16 Data Race Dua thread berbeda mengakses lokasi memori yang sama (shared) Secara asinkron Tanpa memegang lock eksklusif Setidaknya terdapat satu akses penulisan (write/store)

17 Kondisi Race Diinginkan jumlah dari nilai fungsi s = N f (x i ) i=0 Misalnya x=[3,5], f (x) = x 2, dan s=0 (init) Di akhir eksekusi, nilai s seharusnya = 34 Tapi nilainya bisa 34, 9 atau 25 Operasi atomik adalah pembacaan dan penulisan Tidak ada 1/2 dari satu bilangan, operasi += adalah atomik Semua komputasi terjadi di register private

18 Model Fork-Join Parallelisme Thread master membangkitkan beberapa thread (child) yang dibutuhkan Aplikasi Numerik

19 Bahasan Aplikasi Numerik Aplikasi Numerik Critical Atomic False Sharing

20 Thread Creation: Parallel Regions Membuat thread dengan construct parallel Menggunakan fungsi runtime untuk setting jumlah thread, mendapatkan thread ID Contoh: menggunakan fungsi omp_set_num_threads Aplikasi Numerik Tiap thread memanggil pooh(id,a) untuk ID=0-3

21 Thread Creation: Parallel Regions Menggunakan clause untuk setting jumlah thread Contoh: #pragma omp parallel num_threads(4) Aplikasi Numerik Tiap thread memanggil pooh(id,a) untuk ID=0-3

22 Thread Creation: Parallel Regions Aplikasi Numerik

23 Thread Creation: Parallel Regions Aplikasi Numerik

24 Bahasan Aplikasi Numerik Aplikasi Numerik Critical Atomic False Sharing

25 Integrasi Numerik Aplikasi Numerik

26 Serial Program PI File: serial/pi.c Aplikasi Numerik

27 Paralel Program PI Aplikasi Numerik Buat program paralel untuk problem di atas! Perhatikan data shared dengan data private Akan dibutuhkan rutin pustaka runtime: int omp_get_num_threads(); // mendapatkan jumlah thread int omp_get_thread_num(); // mendapatkan thread ID atau rank double omp_get_wtime(); // mendapatkan time stamp dalam detik sejak titik tertentu

28 Paralel Program PI File: paralel/pi_spmd_simple.c Menggunakan construct parallel dan array data untuk menyimpan jumlah parsial Algoritma SPMD (Single Process/Program Multiple Data) Aplikasi Numerik

29 digunakan untuk menghindarkan kondisi race Tipe: Memproteksi akses ke shared data high-level critical atomic barrier ordered low-level flush locks (simple, nested) Critical Atomic False Sharing

30 Bahasan Aplikasi Numerik Critical Atomic False Sharing Critical Atomic False Sharing

31 : Critical Mutual exclusion: Only one thread at a time can enter a critical region oat res; #pragma omp parallel { float B; int i, id, nthrds; id = omp_get_thread_num(); nthrds = omp_get_num_threads(); for(i=id;i<niters;i+nthrds){ B = big_job(i); #pragma omp critical // theads will wait their turns Critical Atomic False Sharing consume (B, res); } // Only one thread calls consume() at a time } Threads akan menunggu gilirannya Hanya satu thread yang dapat memanggil consume()

32 Bahasan Aplikasi Numerik Critical Atomic False Sharing Critical Atomic False Sharing

33 : Atomic Atomic provides mutual exclusion but only applies to the update of a memory location #pragma omp parallel { Critical Atomic False Sharing double tmp, B; B = DOIT(); tmp = big_ugly(b); #pragma omp atomic } X += tmp; // Atomic only protects the read/update of X

34 Bahasan Aplikasi Numerik Critical Atomic False Sharing Critical Atomic False Sharing

35 Paralel Program PI: Program paralel/pi_spmd_simple.c menggunakan array performansi rendah karena false sharing sum[id] unik untuk tiap thread, tapi tiap nilai array bisa saja menggunakan jalur cache yang sama sehingga menyebabkan cache trashing Setiap update di cache akan membuat invalid jalur shared ini Modifikasi program tersebut untuk menghindari false sharing! Gunakan sinkronisasi Critical Atomic False Sharing

36 Paralel Program PI: File: paralel/pi_spmd_final.c Menghindari flase sharing karena pengunaan array penjumlahan Critical Atomic False Sharing

37 Creative Common Attribution-ShareAlike 3.0 Unported (CC BY-SA 3.0) Anda bebas: untuk Membagikan untuk menyalin, mendistribusikan, dan menyebarkan karya, dan untuk Remix untuk mengadaptasikan karya Di bawah persyaratan berikut: Atribusi Anda harus memberikan atribusi karya sesuai dengan cara-cara yang diminta oleh pembuat karya tersebut atau pihak yang mengeluarkan lisensi. Pembagian Serupa Jika Anda mengubah, menambah, atau membuat karya lain menggunakan karya ini, Anda hanya boleh menyebarkan karya tersebut hanya dengan lisensi yang sama, serupa, atau kompatibel. Lihat: Creative Commons Attribution-ShareAlike 3.0 Unported License