Pemrosesan Paralel. Haddad Sammir, M.Kom. Arsitektur Memori Komputer Paralel. March 4, 2015

Transkripsi

1 Pemrosesan Arsitektur Memori Komputer March 4, 2015

2 Proses dan Memori Program dan proses

3 Proses dan Memori Program dan proses Program: File executable atau source code pada bahasa pemrograman tertentu.

4 Proses dan Memori Program dan proses Program: File executable atau source code pada bahasa pemrograman tertentu. Proses/task: Konsep sistem operasi tentang program yang sedang berjalan.

5 Proses dan Memori Program dan proses Program: File executable atau source code pada bahasa pemrograman tertentu. Proses/task: Konsep sistem operasi tentang program yang sedang berjalan. Program yang dijalankan (pada shell / command prompt) akan membuat proses baru (spawn/fork).

6 Proses dan Memori Program dan proses Program: File executable atau source code pada bahasa pemrograman tertentu. Proses/task: Konsep sistem operasi tentang program yang sedang berjalan. Program yang dijalankan (pada shell / command prompt) akan membuat proses baru (spawn/fork). Proses yang sedang dieksekusi diletakkan pada memori.

7 Tinjauan Pembuatan Program Kompiler menterjemahkan kode program ke instruksi yang dimengerti oleh komputer sesuai dengan spesifikasi komputer.

8 Tinjauan Pembuatan Program Kompiler menterjemahkan kode program ke instruksi yang dimengerti oleh komputer sesuai dengan spesifikasi komputer. Linker membuat file executable dan menghimpun instruksi dan data di segmen yang berbeda.

9 Tinjauan Pembuatan Program Kompiler menterjemahkan kode program ke instruksi yang dimengerti oleh komputer sesuai dengan spesifikasi komputer. Linker membuat file executable dan menghimpun instruksi dan data di segmen yang berbeda. Instrusi dimasukkan ke segmen text.

10 Tinjauan Pembuatan Program Kompiler menterjemahkan kode program ke instruksi yang dimengerti oleh komputer sesuai dengan spesifikasi komputer. Linker membuat file executable dan menghimpun instruksi dan data di segmen yang berbeda. Instrusi dimasukkan ke segmen text. Data terinisialiasi, data static dan konstanta masuk ke segmen data.

11 Tinjauan Pembuatan Program Kompiler menterjemahkan kode program ke instruksi yang dimengerti oleh komputer sesuai dengan spesifikasi komputer. Linker membuat file executable dan menghimpun instruksi dan data di segmen yang berbeda. Instrusi dimasukkan ke segmen text. Data terinisialiasi, data static dan konstanta masuk ke segmen data. Data tidak terinisialisasi dimasukkan ke BSS (block started from symbol).

12 Peta Memory Saat sebuah program dijalankan, text dan dua segmen lainnya dimuat ke memori.

13 Peta Memory Saat sebuah program dijalankan, text dan dua segmen lainnya dimuat ke memori. Segmen text menempati lokasi pada bagian terbawah dengan segment data dan BSS diatasnya.

14 Peta Memory Saat sebuah program dijalankan, text dan dua segmen lainnya dimuat ke memori. Segmen text menempati lokasi pada bagian terbawah dengan segment data dan BSS diatasnya.

15 Hirarki Memori Kode yang berjalan seringkali hanya membutuhkan 10-20% kapasistas prosesor.

16 Hirarki Memori Kode yang berjalan seringkali hanya membutuhkan 10-20% kapasistas prosesor. Sebagian besar waktu dihabiskan pada sistem memori.

17 Hirarki Memori Kode yang berjalan seringkali hanya membutuhkan 10-20% kapasistas prosesor. Sebagian besar waktu dihabiskan pada sistem memori. Memindahkan data membutuhkan waktu lebih lama dari pada proses aritmatika maupun logika.

18 Hirarki Memori Kode yang berjalan seringkali hanya membutuhkan 10-20% kapasistas prosesor. Sebagian besar waktu dihabiskan pada sistem memori. Memindahkan data membutuhkan waktu lebih lama dari pada proses aritmatika maupun logika.

19 Latensi Memori Latensi memori adalah delay saat pengiriman data dari memori ke prosesor.

20 Latensi Memori Latensi memori adalah delay saat pengiriman data dari memori ke prosesor. Kecepatan akses data pada memori lebih rendah dari prosesor.

21 Latensi Memori Latensi memori adalah delay saat pengiriman data dari memori ke prosesor. Kecepatan akses data pada memori lebih rendah dari prosesor. Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori.

22 Latensi Memori Latensi memori adalah delay saat pengiriman data dari memori ke prosesor. Kecepatan akses data pada memori lebih rendah dari prosesor. Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. Untuk mengatasi latensi memori:

23 Latensi Memori Latensi memori adalah delay saat pengiriman data dari memori ke prosesor. Kecepatan akses data pada memori lebih rendah dari prosesor. Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. Untuk mengatasi latensi memori: Membatasi operasi memori dengan menyimpan data pada memori yang cepat (cache).

24 Latensi Memori Latensi memori adalah delay saat pengiriman data dari memori ke prosesor. Kecepatan akses data pada memori lebih rendah dari prosesor. Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. Untuk mengatasi latensi memori: Membatasi operasi memori dengan menyimpan data pada memori yang cepat (cache). Memanfaatkan locality.

25 Latensi Memori Latensi memori adalah delay saat pengiriman data dari memori ke prosesor. Kecepatan akses data pada memori lebih rendah dari prosesor. Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. Untuk mengatasi latensi memori: Membatasi operasi memori dengan menyimpan data pada memori yang cepat (cache). Memanfaatkan locality. Temporal locality: Memanfaatkan kembali data sepesifik untuk lokasi memori yang sebelumnya pernah digunakan jika data pada lokasi tersebut diminta kembali.

26 Latensi Memori Latensi memori adalah delay saat pengiriman data dari memori ke prosesor. Kecepatan akses data pada memori lebih rendah dari prosesor. Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. Untuk mengatasi latensi memori: Membatasi operasi memori dengan menyimpan data pada memori yang cepat (cache). Memanfaatkan locality. Temporal locality: Memanfaatkan kembali data sepesifik untuk lokasi memori yang sebelumnya pernah digunakan jika data pada lokasi tersebut diminta kembali. Spatial locality: Menggunakan data spesifik dari lokasi memori yang pernah digunakan sebelumnya untuk menentukan lokasi memori jika ada permintaan data pada lokasi momori yang berdekatan dengan lokasi memori tersebut.

27 Arsitektur Memori Shared memory: Beberapa prosesor dapat mengakses memori global bersama.

28 Arsitektur Memori Shared memory: Beberapa prosesor dapat mengakses memori global bersama. Uniform Memory Access (UMA)

29 Arsitektur Memori Shared memory: Beberapa prosesor dapat mengakses memori global bersama. Uniform Memory Access (UMA) Non Uniform Memory Access (NUMA)

30 Arsitektur Memori Shared memory: Beberapa prosesor dapat mengakses memori global bersama. Uniform Memory Access (UMA) Non Uniform Memory Access (NUMA) Distributed memory: Setiap prosesor memiliki memori lokal sendiri.

31 Arsitektur Memori Shared memory: Beberapa prosesor dapat mengakses memori global bersama. Uniform Memory Access (UMA) Non Uniform Memory Access (NUMA) Distributed memory: Setiap prosesor memiliki memori lokal sendiri. Hybrid distributed-shared memory: menggunakan arsitektur memori shared dan distributed.

32 Karakteristik: Shared Memory UMA

33 Shared Memory UMA Karakteristik: Semua prosesor dapat mengakses memori sebagai ruang alamat bersama.

34 Shared Memory UMA Karakteristik: Semua prosesor dapat mengakses memori sebagai ruang alamat bersama. Setiap prosesor dapat bekerja secara independent namun saling berbagi memori.

35 Shared Memory UMA Karakteristik: Semua prosesor dapat mengakses memori sebagai ruang alamat bersama. Setiap prosesor dapat bekerja secara independent namun saling berbagi memori. Perubahan pada suatu lokasi memori oleh sebuah prosesor dapat diketahui oleh prosesor lain.

36 Shared Memory UMA Karakteristik: Semua prosesor dapat mengakses memori sebagai ruang alamat bersama. Setiap prosesor dapat bekerja secara independent namun saling berbagi memori. Perubahan pada suatu lokasi memori oleh sebuah prosesor dapat diketahui oleh prosesor lain.

37 Karakteristik: Shared Memory NUMA

38 Shared Memory NUMA Karakteristik: Sejumlah prosesor memiliki bank alamat memory sendiri.

39 Shared Memory NUMA Karakteristik: Sejumlah prosesor memiliki bank alamat memory sendiri. Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat.

40 Shared Memory NUMA Karakteristik: Sejumlah prosesor memiliki bank alamat memory sendiri. Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat. Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP.

41 Shared Memory NUMA Karakteristik: Sejumlah prosesor memiliki bank alamat memory sendiri. Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat. Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP. Satu prosesor SMP dapat mengakses memori prosesor SMP lainnya secara langsung.

42 Shared Memory NUMA Karakteristik: Sejumlah prosesor memiliki bank alamat memory sendiri. Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat. Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP. Satu prosesor SMP dapat mengakses memori prosesor SMP lainnya secara langsung. SMP: Symmetric Multiprocessing, yaitu arsitektur yang menggabungkan dua atau lebih prosesor identik yang terhubung ke satu memori bersama.

43 Shared Memory NUMA Karakteristik: Sejumlah prosesor memiliki bank alamat memory sendiri. Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat. Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP. Satu prosesor SMP dapat mengakses memori prosesor SMP lainnya secara langsung. SMP: Symmetric Multiprocessing, yaitu arsitektur yang menggabungkan dua atau lebih prosesor identik yang terhubung ke satu memori bersama.

44 Kelebihan dan Kekurangan Shared Memory Kelebihan:

45 Kelebihan dan Kekurangan Shared Memory Kelebihan: Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman.

46 Kelebihan dan Kekurangan Shared Memory Kelebihan: Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu.

47 Kelebihan dan Kekurangan Shared Memory Kelebihan: Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu. Kelemahan:

48 Kelebihan dan Kekurangan Shared Memory Kelebihan: Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu. Kelemahan: Tidak scalable. Penambahan CPU dapat menambah trafik pada jalur shared memory.

49 Kelebihan dan Kekurangan Shared Memory Kelebihan: Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu. Kelemahan: Tidak scalable. Penambahan CPU dapat menambah trafik pada jalur shared memory. Programmer bertanggung jawab untuk sinkronisasi yang memastikan akses yang tepat ke memori global.

50 Kelebihan dan Kekurangan Shared Memory Kelebihan: Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu. Kelemahan: Tidak scalable. Penambahan CPU dapat menambah trafik pada jalur shared memory. Programmer bertanggung jawab untuk sinkronisasi yang memastikan akses yang tepat ke memori global. Bertambah kompleks dan bertambah mahal seiring degan bertambahnya prosesor.

51 Distributed Memory Karakteristik:

52 Distributed Memory Karakteristik: Setiap prosesor memiliki memori lokal sendiri.

53 Distributed Memory Karakteristik: Setiap prosesor memiliki memori lokal sendiri. Perubahan pada memori lokal tidak mempengaruhi memori lain.

54 Distributed Memory Karakteristik: Setiap prosesor memiliki memori lokal sendiri. Perubahan pada memori lokal tidak mempengaruhi memori lain. Jika memerlukan pemrosesan interprosesor, tugas programmer menentukan bagaimana dan kapan data akan dikomunikasikan.

55 Kelebihan dan Kekurangan Distributed Memory Kelebihan:

56 Kelebihan dan Kekurangan Distributed Memory Kelebihan: Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan.

57 Kelebihan dan Kekurangan Distributed Memory Kelebihan: Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan. Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead.

58 Kelebihan dan Kekurangan Distributed Memory Kelebihan: Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan. Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead. Cost effective. Dapat menggunakan komputer komoditas.

59 Kelebihan dan Kekurangan Distributed Memory Kelebihan: Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan. Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead. Cost effective. Dapat menggunakan komputer komoditas. Kekurangan:

60 Kelebihan dan Kekurangan Distributed Memory Kelebihan: Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan. Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead. Cost effective. Dapat menggunakan komputer komoditas. Kekurangan: Tugas programmer semakin sulit terkait detail komunikasi data.

61 Hybrid Memory Terdiri dari arsitektur memory shared dan distributed.

62 Hybrid Memory Terdiri dari arsitektur memory shared dan distributed. Komponen shared memory adalah komputer SMP koheren.

63 Hybrid Memory Terdiri dari arsitektur memory shared dan distributed. Komponen shared memory adalah komputer SMP koheren. Prosesor pada mesin SMP memiliki akses global ke memori pada mesin tersebut.

64 Hybrid Memory Terdiri dari arsitektur memory shared dan distributed. Komponen shared memory adalah komputer SMP koheren. Prosesor pada mesin SMP memiliki akses global ke memori pada mesin tersebut. Komponen distributed memory adalah jaringan komputer SMP.

65 Hybrid Memory Terdiri dari arsitektur memory shared dan distributed. Komponen shared memory adalah komputer SMP koheren. Prosesor pada mesin SMP memiliki akses global ke memori pada mesin tersebut. Komponen distributed memory adalah jaringan komputer SMP. Setiap komputer SMP hanya mengenal memory miliknya saja.

66 Hybrid Memory Terdiri dari arsitektur memory shared dan distributed. Komponen shared memory adalah komputer SMP koheren. Prosesor pada mesin SMP memiliki akses global ke memori pada mesin tersebut. Komponen distributed memory adalah jaringan komputer SMP. Setiap komputer SMP hanya mengenal memory miliknya saja. Komunikasi jaringan dibutuhkan untuk memindahkan data dari satu komputer SMP ke komputer SMP lainnya.

67 Hybrid Memory Terdiri dari arsitektur memory shared dan distributed. Komponen shared memory adalah komputer SMP koheren. Prosesor pada mesin SMP memiliki akses global ke memori pada mesin tersebut. Komponen distributed memory adalah jaringan komputer SMP. Setiap komputer SMP hanya mengenal memory miliknya saja. Komunikasi jaringan dibutuhkan untuk memindahkan data dari satu komputer SMP ke komputer SMP lainnya. Tren masa depan menggunakan arsitektur memori ini.

68 Sekian Terima Kasih