MTI Fasilkom UI 1. Overview. Review Memory Systems & Technology Trends. Memory Technology: Terminology (1/2) Memory Technology: Terminology (2/2)

Transkripsi

1 Overview Fakultas Ilmu Komputer Universitas Indonesia Review Systems & Technology Trends Review: Technology Apa yang seharusnya anda ketahui Kuliah sebelumnya: prinsip dasar kerja cell & jenis memory, organisasi chips memory etc. Teknologi Trends: benchmark (memory access) S, DDR S, RD. Review: Hierarchy Prinsip dasar rancang bangun semua sistim memori komputer Johny Moningka Fasilkom UI 2005 Versi: 2.2 OSK/JM-2005/V2.2/2 Technology: Terminology (1/2) Ditinjau dari cara akses, memori dibagi: Random Access: Random is good: waktu akses sama untuk semua address memory Pengertian akses dapat dilakukan pada semua lokasi data (data availabile, dgn waktu akses sama). Tipikal: semikonduktor memori (tanpa ada latency mekanis). Non-so-random Access Technology: Waktu akses tergantung lokasi dan kapan di akses. Terdapat lokasi dimana diperlukan search data (mis. head pada disk) Sequential Access Technology: access time linear in location (e.g., tape) Technology: Terminology (2/2) Ukuran kinerja memory Access time Waktu interval antara request data dibaca (ditulis) dan data tersebut deliver (stored) Cycle time Waktu antara memori tersebut diakses, sampai waktu memori tersebut dapat diakses lagi. Waktu antara request Examples: Disk, CDROM Bandwidht (throughput) Rate dimana data dapat ditransfer dari/ke memory Latency = cycle time + access time OSK/JM-2005/V2.2/3 OSK/JM-2005/V2.2/4 Semiconductor RAM Key features Dalam bentuk package chips (semikonduktor memory) Basic storage unit: cell (satu bit per cell) Multipe RAM chips membangun sistim memory SRAM: Static Random Access Low density, high power, expensive, fast Static: content will last (until lose power) : Dynamic Random Access High density, low power, cheap, slow Dynamic: need to be refreshed regularly Non-volatile Memories & SRAM adalah volatile memory Informasi hilang jika powered off Non-volatile memory tetap menyimpan informasi walaupun powered off Generik: ROM (Read Only ), walaupun terdapat jenis ROM yang dapat diubah (write). Jenis ROM: Programmable ROMs (PROM) Eraseable Programmable ROM (EPROM) Flash OSK/JM-2005/V2.2/5 OSK/JM-2005/V2.2/6 MTI Fasilkom UI 1

2 Why we need speed up... Processor- Gap (latency) Performance Time CPU µproc 55%/yr. Processor- Performance Gap: (grows 50% / year) 7%/yr. OSK/JM-2005/V2.2/7 ns The CPU- Gap The gap widens between, disk, and CPU speeds. 100,000,000 10,000,000 1,000, ,000 10,000 1, year Disk seek time access time SRAM access time CPU cycle time OSK/JM-2005/V2.2/8 Storage Trends CPU Clock Rates SRAM $/MB 19,200 2, access (ns) $/MB 8, ,000 access (ns) typical size(mb) , :1980 processor Pent P-III clock rate(mhz) cycle time(ns) 1, Disk $/MB ,000 access (ms) typical size(mb) ,000 9,000 9,000 (Source: Computer Systems, RE Bryant, D. O Hallaron, Back issues of Byte and PC Magazine) OSK/JM-2005/V2.2/9 OSK/JM-2005/V2.2/10 Technology: (1/2) Sinkronus (S) Kecepatan memori bus meningkat dari 66 MHz, menjadi 100 MHz, 133 MHz Interface baru chipset (controller): transfer/latch data secara sinkronus (burst) dari/ke CPU (dikenal: 100 Mhz setara dgn 10 ns). Double Data Rate (DDR S) Interface sama seperti S, hanya memanfaatkan edge/trigger clock naik dan turun => 2 sinyal pada 1 clock Secara efektif clock 100 MHz => 2 x 100 MHz => 200 MHz Technology: (2/2) Saat ini trend teknologi main memory dikuasai oleh DDR S (open standar JEDEC) Chip specification DDR-333: DDR-S MHz DDR-400: DDR-S MHz Stick/module specification PC-2700: DDR-S using DDR-333 chips, GByte/s bandwidth per channel PC-3200: DDR-S using DDR-400 chips, GByte/s bandwidth per channel OSK/JM-2005/V2.2/11 OSK/JM-2005/V2.2/12 MTI Fasilkom UI 2

3 Technology: (3/3) Dual Channel DDR Platform => dua kanal memory module dapat diakses oleh CPU sekaligus. Terintegrasi dgn sistim chipset (motherboard). Rambus (R) Protocol based => asinkronus (proprietary Intel dan Rambus Inc.) Interface baru dalam bentuk chips controller dengan clock rate yang lebih tinggi dari S. Proprietary: mahal dan tidak mendapat dukungan dari industri Tidak banyak dukungan lagi, setelah Intel terpaksa mendukung DDR pada Pentium 4. OSK/JM-2005/V2.2/13 Recap. Memroy Property: fast, cheap & big Fakta teknologi memory (tipikal PC): Static RAM: access time: 1-2 ns; size: 256K S: access time: 20 ns 100 ns: size 1024 MB Hard-disk (Disk): access time: 5 ms 10 ms; size: GB Tape/Network: access time: > 10 ms; size > 1000 GB Fakta & cost: Memori dengan akses cepat => kapasitas kecil Memori dengan kapasitas kecil => high cost dengan kapasitas besar dan low cost, pasti lambat, Bagaimana membuat sistim memori yang besar, murah dan cepat ( most of the time)? OSK/JM-2005/V2.2/14 Locality of Programs Principle of Locality: Program cenderung menggunakan kembali (reuse) data dan instruksi yang sebelumnya digunakan (recently) Temporal locality: Recently referenced items are likely to be referenced in the near future. Spatial locality: Items with nearby addresses tend to be referenced close together in time. Umumnya instruksi (code program) mempunyai karakteristik kedua locality tsb Structured programming: flow program Procedure call Locality Example Data Reference array elements in succession (stride- Spatial locality 1 reference pattern): Reference sum each iteration: Temporal locality Instructions Reference instructions in sequence: Spatial locality Cycle through loop repeatedly: Temporal locality sum = 0; for (i = 0; i < n; i++) sum += v[i]; return sum; OSK/JM-2005/V2.2/15 OSK/JM-2005/V2.2/16 Hierarchies An Example Hierarchy Properti dasar dari hardware dan software: Teknologi storage yang cepat lebih mahal per-byte, dengan kapasitas yang lebih kecil. Umumnya program cenderung mengikuti prinsip lokalitas. Terdapat kesenjangan (gap) antara kecepatan CPU dan memory => perlu memory yang cepat Properti ini yang saling melengkapi untuk membangun sistim memory/storages komputer dalam bentuk memory hierarchy. Smaller, faster, and costlier (per byte) storage devices Larger, slower, and cheaper (per byte) storage devices L5: L4: L3: L2: L0: registers L1: on-chip L1 cache (SRAM) off-chip L2 cache (SRAM) main memory () local secondary storage (local disks) remote secondary storage (tapes, distributed file systems, Web servers) CPU registers hold words retrieved from L1 cache. L1 cache holds cache lines retrieved from the L2 cache memory. L2 cache holds cache lines retrieved from main memory. Main memory holds disk blocks retrieved from local disks. Local disks hold files retrieved from disks on remote network servers. OSK/JM-2005/V2.2/17 OSK/JM-2005/V2.2/18 MTI Fasilkom UI 3

4 Caches Cache: A smaller, faster storage device that acts as a staging area for a subset of the data in a larger, slower device. Ide dasar dari memory hirakis: Untuk setiap k, faster, smaller device pada tingkat k melayani sebagai cache untuk larger, slower device pada tingkat (k+1). Fungsi cache? Program cenderung mengakses data pada tingkat k lebih sering dibanding mengakses data pada tingkat (k+1). Jadi, storage pada tingkat (k+1) dapat lebih lambat, tapi lebih besar dan murah per-mb. Net effect: A large pool of memory that costs as much as the cheap storage near the bottom, but that serves data to programs at the rate of the fast storage near the top. Hierarchy: How Does it Work? Temporal Locality (Locality in Time): => Keep most recently accessed data items closer to the processor Spatial Locality (Locality in Space): => Move blocks consists of contiguous words to the upper levels To Processor From Processor Upper Level Block copy Lower Level Block OSK/JM-2005/V2.2/19 OSK/JM-2005/V2.2/20 Caching in a Hierarchy General Caching Concepts Level k: Level k+1: Data is copied between levels in block-sized transfer units Smaller, faster, more expensive device at level k caches a subset of the blocks from level k+1 Larger, slower, cheaper storage device at level k+1 is partitioned into blocks. Level k: Level k+1: Request * * Request 12 4* Program perlu objek d, yang tersimpan pada blok b. Cache hit Program finds b in the cache at level k. E.g., block 14. Cache miss b is not at level k, so level k cache must fetch it from level k+1. E.g., block 12. If level k cache is full, then some current block must be replaced (evicted). Which one is the victim? Placement policy: where can the new block go? E.g., b mod 4 Replacement policy: which block should be evicted? E.g., LRU OSK/JM-2005/V2.2/21 OSK/JM-2005/V2.2/22 Examples of Caching in the Hierarchy Cache Type Registers TLB L1 cache L2 cache Virtual Buffer cache Network buffer cache Browser cache Web cache What is Cached? 4-byte words Address translations 64-bytes block 64-bytes block 4-KB page Parts of files Parts of files Web pages Web pages Where is it Cached? CPU core On-Chip TLB On-Chip L1 Off-Chip L2 Main memory Main memory Local disk Local disk Remote server disks Latency (cycles) Managed By 0 Compiler 0 Hardware 1 Hardware 10 Hardware 100 Hardware+ OS 100 OS 10,000,000 AFS/NFS client 10,000,000 Web browser 1,000,000,000 Web proxy server How is the hierarchy managed? Apa yang telah dipelajari? Managed & transfer data? Siapa yang bertanggung jawab. Apa yang dapat dilakukan oleh programmer? Designer? User? Registers <-> Main-memory by compiler (programmer?) Cache <-> Main-memory by the hardware Main-memory <-> Disks by the hardware and operating system (virtual memory) OSK/JM-2005/V2.2/23 OSK/JM-2005/V2.2/24 MTI Fasilkom UI 4

5 Summary.. Perkembangan teknologi dan organisasi CPU jauh lebih cepat dari memori => terdapat gap antara CPU dan memory. Solusi teknologi memori mencoba mempersempit gap ini tapi tidak tetap tidak mampu mengejar ketinggalan tsb Terknologi memori utama teranyar: DDR S, mampu memompa data ke CPU dalam orde clock 200 MHz, tapi CPU mempunyak clock rate 3 GHz. Summary Pengamatan eksekusi program: Tidak semua kode program mempunyai kemungkinan yang sama diakses oleh CPU Program menganut prinsip lokalitas: temporal dan spatial Memori hirarkis adalah pilihan terbaik dalam menyediakan sistim memori yang cepat dengan kapasitas dan cost yang termurah Big IDEA: gap antara kecepatan dan kapasitas dalam penyimpanan data (komponen komputer) harus diorganisasikan secara hirarkis dengan memperpendek gap tsb, dengan struktur/organisasi baru => caching OSK/JM-2005/V2.2/25 OSK/JM-2005/V2.2/26 Review Questions 1. Berikan contoh program (pseudo code) yang tidak menganut prinsip lokalitas (temporal dan spatial) terhada data akses. Berikan karakteristik umum jenis program tsb. 2. Apakah ada program yang menunjukkan lokalitas temporal yang sangat tinggi, tapi spatial yang rendah terhadap data akses, atau sebaliknya. 3. Berikan contoh program (pseudo code) yang menunjukkan lokalitas temporal yang tinggi terhadap instruction (fetch). 4. Misalkan suatu komputer, waktu akses rata-rata cache = 20 ns, waktu akses rata-rata ke main-memory =100 ns. Asumsikan cache hit ratio dapat mencapai 95%. Hitung waktu rata-rata akses efektif sistim memori tersebut? OSK/JM-2005/V2.2/27 MTI Fasilkom UI 5