Pengolahan Paralel. Kuliah#2 TSK205 Sistem Digital - TA 2011/2012. Eko Didik Widianto. Teknik Sistem Komputer - Universitas Diponegoro

Kuliah#2 TSK205 Sistem Digital - TA 2011/2012 Eko Didik Teknik Sistem Komputer - Universitas Diponegoro

Tentang Kuliah Sebelumnya dibahas tentang: Deskripsi, tujuan, sasaran dan materi kuliah TSK-617 Latar belakang perlunya riset dan teknik pengolahan paralel: kapasitas prosesor (Moore), manufacturability dan densitas power : apa yang melatarbelakangi kenapa pengolahan paralel diperlukan? Dalam kuliah ini, akan dibahas konsep pengolahan paralel: Definisi dan terminologi pengolahan paralel Pemrosesan serial vs paralel Sumber-sumber daya komputer paralel beserta karakteristiknya Kebutuhan pengolahan paralel untuk computional science Contoh aplikasi yang menggunakan sistem pengolahan paralel yang ada saat ini Arsitektur Memori

Kompetensi Dasar Setelah mempelajari bab ini, mahasiswa akan mampu: 1. [C2] Menjelaskan karakteristik sistem paralel dan pengolahan paralel 2. [C2] Menjelaskan sumber-sumber daya komputer paralel dan karakteristiknya 3. [C2] Menjelaskan contoh sistem yang menggunakan pengolahan paralel dan menjabarkan faktor apa saja yang melatarbelakanginya Acknowledment Materi dan gambar didapat dari: Introduction to Parallel Computing di https://computing.llnl.gov/tutorials/parallel_comp/ Link Website: http://didik.blog.undip.ac.id/2012/02/25/ kuliah-tsk-617-pengolahan-paralel-2011/ Email: didik@undip.ac.id

Bahasan Benefit Aplikasi Konsep Arsitektur Memori

Bahasan Benefit Aplikasi Benefit Aplikasi Konsep Arsitektur Memori

Definisi Webopedia.com 1 The simultaneous use of more than one CPU to execute a program Wikipedia.com 2 The simultaneous use of more than one CPU or processor core to execute a program or multiple computational threads Oxford Dictionary of Science A technique that allows more than one process stream of activity to be running at any given moment in a computer system, hence processes can be executed in parallel. This means that two or more processors are active among a group of processes at any instant Parallel computing: a form of computation in which many calculations are carried out simultaneously, operating on the principle that large problems can often be divided into smaller ones, which are then solved concurrently ("in parallel") 3 1 http://www.webopedia.com/term/p/parallel_processing.html 2 http://en.wikipedia.org/wiki/parallel_processing 3 Almasi, G.S. and A. Gottlieb (1989). Highly Parallel Computing. Benjamin-Cummings publishers, Redwood City, CA Benefit Aplikasi

Process, Thread, Multi-CPU Benefit Aplikasi (source: http://www.javamex.com/tutorials/threads/how_threads_work.shtml)

Pemrosesan Tunggal (Serial) Dijalankan di komputer tunggal dengan 1 CPU Problem dipecah dalam instruksi dengan eksekusi berurutan, hanya satu eksekusi dalam satu waktu Benefit Aplikasi

Pemrosesan Dijalankan menggunakan banyak CPU Problem dipecah menjadi bagian yang dapat dikerjakan secara bersamaan Tiap bagian dipecah menjadi instruksi terurut Instruksi tiap bagian dieksekusi secara simultan di CPU berbeda Benefit Aplikasi

Karakteristik Benefit Mempunyai kemampuan untuk: Memecah problem ke dalam beberapa task yang dapat dikerjakan secara simultan Menjalankan multi instruksi program dalam satu waktu Aplikasi Menyelesaikan problem lebih cepat di multi sumber daya komputasi daripada sumber daya tunggal

Sumber Daya Komputing Benefit Aplikasi 4 5 4 http://www.nersc.gov/nusers/resources/franklin/about.php 5 http://en.wikipedia.org/wiki/beowulf_%28computing%29

Semesta adalah Semesta bersifat paralel, sehingga model paralel memberikan hasil terbaik -> pengolahan paralel proses fisik terjadi paralel: aliran fluida, pergerakan planet, pola cuaca, galaksi proses sosial terjadi paralel: koloni semut, assembly lines, trafik Benefit Aplikasi

Kebutuhan Pemrosesan: Computational Science Pemrosesan paralel merupakan the high end of computing An important development in sciences is occurring at the intersection of computer science and the sciences that has the potential to have a profound impact on science. It is a leap from the application of computing... to the integration of computer science concepts, tools, and theorems into the very fabric of science. -Science 2020 Report, March 2006 Benefit Aplikasi

Faktor Perubahan Benefit Terus meningkatnya daya komputasi secara eksponensial -> simulasi menjadi pilar ketiga dari science, melengkapi teori dan eksperimen Terus meningkatnya jumlah data eksperimen secare eksponensial -> teknik dan teknologi analisis data, visualisasi, jaringan dan kolaraborasi menjadi esensial dalam semua data aplikasi science Aplikasi

Simulasi: Pilar Ketiga dalam Science Metode scientific dan rekayasa tradisional (1) Mengerjakan teori atau desain di atas kertas (2) Melakukan eksperimen atau membangun sistem Benefit Aplikasi Kelemahan Terlalu susah, terlalu mahal, terlalu lambat (menunggu evolusi galaksi), terlalu berbahaya (senjata, cuaca) Paradigma komputasi: (3) menggunakan komputer untuk mensimulasi dan menganalisis fenomena Menggunakan hukum fisik dan metode numerik yang efisien Menganalisis hasil simulasi dengan perangkat dan metode komputasional

Data Intensive Benefit Aplikasi

Peta CMB Benefit Aplikasi Merekam jejak unik primordial melalui suhu dan polarisasi Mengekstrak fluktuasi suhu ukelvin merupakan tantangan komputasi serius

Content-based Image Retrieval (Kurt Keutzer) Benefit Aplikasi Aplikasi teknik computer vision untuk problem image retrieval: mencari gambar digital dalam database yang besar

Alasan Menggunakan Menghemat waktu dan biaya Penggunaan lebih banyak resource untuk satu task akan mempercepat waktu pengerjaan, dengan potensi penghematan biaya Cluster dapat dibangun dengan komponen komoditas dan murah Mengerjakan problem yang lebih besar Banyak problem tidak bisa dipecahkan dengan komputer tunggal, memori terbatas: Grand Challenge, web search engine yang memproses jutaan transaksi perdetik Menyediakan concurrency Sumber daya pararel dapat melakukan banyak hal secara simultan. Contoh: access grid yang menyediakan jaringan kolaborasi global 6 Benefit Aplikasi 6 http://www.accessgrid.org

Alasan Menggunakan (Cont.) Menggunakan sumber daya non-lokal Menggunakan sumber daya lewat jaringan/internet: BOINC, SETI@home, Folding@home Keterbatasan pengolahan serial Kecepatan transmisi. Limit: kecepatan cahaya (30cm/ns), kabel tembaga (9cm/ns) Batas miniaturisasi: teknologi pemrosesan IC Batas ekonomis: biaya semakin mahal untuk membuat prosesor tunggal semakin cepat Arsitektur komputer menggunakan paralelisme di level hardware untuk meningkatkan performansi: Unit eksekusi multiple Pipeline instruksi Multi-core Benefit Aplikasi

Daya Listrik Terkontrol Benefit Aplikasi Pergeseran paradigma Old:Mempercepat frekuensi merupakan metode utama untuk meningkatkan performansi prosesor New: Menambah paralellisme yang menjadi metode utama

BOINC: Voluntary Computing Berkeley Open Infrastructure for Network Computing (BOINC) 7 Benefit Aplikasi Active: 323,676 volunteers, 524,265 computers 24-hour average: 5,744.07 TeraFLOPS 7 http://boinc.berkeley.edu

Folding@Home Menganalisa data dari protein folding, misfolding, dan related diseases 8 Benefit Aplikasi Active: Lebih dari 400rb CPU 8,045 TeraFLOPS 8 http://folding.stanford.edu/

SETI@Home Search for Extraterrestrial Intelligence (SETI) 9 Download dan menganalisa data teleskop radion 730 TFlops Benefit Aplikasi http://setiathome.berkeley.edu/ss_graphics.php 9 http://setiathome.berkeley.edu/

Distributed Computing Cluster computer: Beowulf Benefit Aplikasi http://en.wikipedia.org/wiki/file:beowulf.jpg Grid Computing: Globus Cloud Computing: Nimbus, Eucalyptus, Openstack

Bahasan Benefit Aplikasi Arsitektur Memori Konsep Arsitektur Memori

Arsitektur von Neumann Paper tentang requirement dasar dari komputer elektronik (1936) Terdiri atas 4 komponen utama: 1) memori, 2) unit kontrol, 3) aritmetic logic unit dan 4) input/output RAM (R/W) untuk menyimpan instruksi dan data Instruksi: data terkode yang memberitahu komputer apa yang harus dikerjakan data: informasi yang digunakan oleh program Unit kontrol mengambil instruksi/data dari memori, decode instruksi dan mengkoordinasikan operasi ALU melakukan operasi aritmetika I/O interface ke operator John von Neumann (1903-1957) Arsitektur Memori

Klasifikasi arsitektur komputer (1966) Membedakan arsitektur komputer multiprocesor berdasarkan dimensi instruksi dan data. Kemudian tiap dimensi dibagi menjadi single atau multiple Arsitektur Memori Single Instruction Multiple Instruction Single Data SISD MISD Multiple Data SIMD MIMD Michael J. Flynn (1903-1957)

Single Instruction, Single Data (SISD) Komputer serial (non-paralel) Hanya satu instruksi yang dijalankan oleh CPU dalam satu siklus waktu Hnaya satu data yang digunakan sebagain input dalam satu siklus waktu Eksekusi deterministik Contoh: PC single-core, mainframe generasi lama SISD Arsitektur Memori

Single Instruction, Multiple Data (SIMD) Tipe komputer paralel Semua processing unit (PU) mengeksekusi instruksi yang sama dalam satu waktu Tiap PU memproses dapat beroperasi dengan data yang berbeda SIMD Arsitektur Memori Untuk problem spesial: pemrosesan grafik Sinkronous dan eksekusi deterministik Tipe: prosesor array, vector pipeline Contoh: Komputer dengan GPU

Multiple Instruction, Single Data (MISD) Data tunggal diolah oleh beberapa PU Tiap PU mengolah data secara independen Contoh: komputer experimen Carnigie Mellon (1971) MISD Arsitektur Memori Beberapa penggunaan: Operasi pemfilteran frekuensi secara multiple dari sinyal tunggal Penerapan algoritma kriptografi multipe untuk memecah satu pesan terkode (ciphertext)

Multiple Instruction, Multiple Data (MIMD) Hampir semua komputer modern masuk kategori MIMD Tiap prosesor mungkin mengeksekusi instruksi yang berbeda Tiap prosesor mungkin mengolah data yang berbeda MIMD Arsitektur Memori Eksekusi bisa sinkronous atau asinkron, deterministik atau non-deterministik Eksekusi deterministik di sistem paralel menjadi objek riset Contoh: multicore PC, cluster computer, grid computer

Task adalah bagian-bagian kerja komputasional, bisa berupa program atau set instruksi Parallel task adalah suatu task yang dapat dieksekusi oleh multi prosesor Pengolahan paralel: penggunaan multi prosesor secara simultan Cluster komputer: kombinasi prosesor/komputer komoditas sejenis untuk membangun sistem paralel Symmetric Multi Processor (SMP): arsitektur multi prosesor yang sharing satu space alamat tunggal (shared memory computing) Dikontrol oleh OS tunggal Di multicore, arsitektur SMP diaplikasikan ke core Supercomputing: menggunakan mesin tercepat untuk menyelesaikan suatu problem besar Arsitektur Memori

Arsitektur Memori Komputer Arsitektur memori paralel: 1. Shared memory: prosesor dapat mengakses semua memori sebagai space alamat global 1.1 Uniform Memory Access (UMA) 1.2 Non-Uniform Memory Access (NUMA) 2. Distributed memory: prosesor mempunyai memori lokal sendiri. Inter-prosesor memori perlu networking 3. Hybrid distributed-shared memory: menggunakan shared dan distributed Arsitektur Memori

Process, Thread, Multi-CPU Arsitektur Memori (source: http://www.javamex.com/tutorials/threads/how_threads_work.shtml) Baca juga: Understanding Memory (http://www.ualberta.ca/cns/research/linuxclusters/mem.html) Alokasi memori: text, data (initialized), BSS (uninitialized), heap (dinamically) dan stack

Shared Memory (UMA) Karakteristik: semua prosesor dapat mengakses semua memori sebagai ruang alamat global Multi prosesor dapat beroperasi secara independen namun sharing memori Perubahan di lokasi memori oleh satu prosesor dapat dilihat oleh prosesor lain Arsitektur Memori Prosesor identik, misalnya mesin SMP Upto 8 prosesor Mempunyai akses dan waktu akses yang sama ke memori Kadang disebut CC-UMA (cache coherent) cache coherent: jika satu prosesor update suatu lokasi di memori, semua prosesor mengetahui update tsb Koherensi dilakukan di level hardware Shared Memory (UMA)

Shared Memory (NUMA) Karakteristik: prosesor mempunyai bank alamat memori sendiri Prosesor dapat mengakses memori lokal dengan cepat, memori remote lebih lambat Meningkatkan throughput memori selama mengakses data lokal Arsitektur Memori Seringkali dibuat dengan menghubungkan secara fisik 2 atau lebih SMP Satu SMP dapat mengakses memori secara langsung ke SMP lain NUMA Tidak semua prosesor mempunyai waktu akses yang sama ke memori Akses memori lewat bus interconnect lebih lambat Jika cache coherence dilakukan, disebut CC-NUMA

Shared Memory: Kelebihan, Kekurangan Kelebihan: Space alamat memori global menyediakan perspektif pemrograman user-friendly ke memori Sharing data antar task cepat dan uniform karena dekatnya memori ke CPU Kekurangan: Tidak scalable. Menambah CPU dapat meningkatkan trafik di jalur shared memory-cpu. Di cc-(n)uma, pertambahan trafik berkaitan dengan manajemen cache/memori Programmer bertanggung jawab untuk sinkronisasi yang memastikan akses yang tepat ke memori global Akan bertambah semakin kompleks dan mahal seiring bertambahnya jumlah prosesor Arsitektur Memori

Distributed Memory Tiap prosesor mempunyai memori lokal sendiri Sehingga prosesor dapat beroperasi secara independen Perubahan ke lokal memori tidak membawa efek ke memori lain Konsep cache coherence tidak berlaku Jika memerlukan interprosesor, tugas programmer secara eksplisit mendefinisikan bagaimana dan kapan data akan dikomunikasikan Distributed Arsitektur Memori

Distributed Memory Kelebihan: scalable jumlah prosesor dan ukuran memori dapat ditingkatkan Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead, seperti di koherensi cache Cost effective: dapat menggunakan PC komoditas, off-the-self processor Kekurangan: tugas programmer semakin kompleks terkait detail komunikasi data Mapping data struktur berbasis memori globlal bisa susah Arsitektur Memori

Hybrid Memory Terdiri dari arsitektur memori shared dan distributed Komponen memori shared biasanya mesin SMP koheren Prosesor di mesin SMP mempunyai akses global ke memori mesin tersebut Komponen distributed adalah jaringan SMP multiple SMP hanya tahu memorinya saja Komunikasi jaringan diperlukan untuk memindahkan data dari satu SMP ke lainnya Hybrid Arsitektur Memori Trend ke depan menggunakan tipe arsitektur memori ini

Yang telah kita pelajari hari ini: Definisi pengolahan paralel, karakteristik dan sumber daya komputing paralel Perbandingan antara pengolahan serial dan paralel Pemrosesan diperlukan untuk simulasi yang computational-intensive Benefit dan aplikasi pengolahan paralel : SISD, SIMD, MISD, dan MIMD Arsitektur memori paralel: shared, distributed, hybrid Yang akan kita pelajari di pertemuan berikutnya adalah model pemrograman paralel: shared memory (thread) dan distributed (message-passing) Pelajari: http://didik.blog.undip.ac.id/files/2012/ 02/TSK617-Kuliah3-ModelPemrograman.pdf

Creative Common Attribution-ShareAlike 3.0 Unported (CC BY-SA 3.0) Anda bebas: untuk Membagikan untuk menyalin, mendistribusikan, dan menyebarkan karya, dan untuk Remix untuk mengadaptasikan karya Di bawah persyaratan berikut: Atribusi Anda harus memberikan atribusi karya sesuai dengan cara-cara yang diminta oleh pembuat karya tersebut atau pihak yang mengeluarkan lisensi. Pembagian Serupa Jika Anda mengubah, menambah, atau membuat karya lain menggunakan karya ini, Anda hanya boleh menyebarkan karya tersebut hanya dengan lisensi yang sama, serupa, atau kompatibel. Lihat: Creative Commons Attribution-ShareAlike 3.0 Unported License