DATAWAREHOUSE. Sukarsa:Pasca Elektro Unud. I Made Sukarsa

Ukuran: px

Mulai penontonan dengan halaman:

Download "DATAWAREHOUSE. Sukarsa:Pasca Elektro Unud. I Made Sukarsa"

Harjanti Iskandar
7 tahun lalu
Tontonan:

1 DATAWAREHOUSE I Made Sukarsa

2 Evolusi Sistem Informasi Decision Support System database Database (I,U,D,R) ETL DW (Read) Masalah : integrasi /konsistensi OLTP Normalisasi/Den ormalisasi OLAP Denormalisasi

3 Evolusi Pemrosesan operasional menangani transaksi bisnis insert, update, delete (manipulasi data) pelaporan dalam bentuk mentah Outputnya hanya untuk kepentingan operasi harian Pemrosesan informasi Analisa data untuk pengambilan keputusan Sering bahan dasarnya adalah dari berbagai sistem mandiri / aplikasi

4 Definisi Datawarehouse : Merupakan kumpulan data dari berbagai resource, yang disimpan dalam suatu gudang data (repository) dalam kapasitas besar untuk pengambilan keputusan Sifatnya read only database (bedakan dengan OLTP). Isu Baru Realtime DW Berisi kumpulan data terperinci dan sdh teriktisar Pengumpulan data dari berbagai sumber validasi restrukturisasi DW

5 Karakteristik Data Warehouse Subject Oriented : Data warehouse berfokus pada entitas entitas bisnis level tinggi seperti pelanggan, mahasiswa, pegawai,dll Integrated : Data disimpan dalam format yang konsisten (dalam konvensi penamaan, constraint domain, dll) Time variant : Data diasosiasikan dengan suatu titik waktu dan dapat berfungsi sebagai rekaman aktivitas pada rentang waktu tertentu. Non-volatile : Data yang berasal dari banyak resource tersebut (sedang berjalan) tidak dapat diubah karena bersifat read only.

6 Arsitektur Data Warehouse Extract,Transform, Load Translasi/ Konversi Kumpulan Data Mart

7 Masalah Kesulitan dalam penyatuan makna data dari berbagai sistem eksisting - data tidak konsisten - data hilang - data komposit catatan : baca teori integrasi sistem

8 Desain Data Warehouse (1) Mendefinisikan arsitektur, perencanaan kapasitas, memilih server storage, server OLAP dan database, dan toolsnya. Mengintegrasikan server, storage dan client tools. Mendesain skema warehouse dan views Menentukan pengaturan physical database, data placement, pemartisian, metode pengaksesan

9 Desain Data Warehouse (2) Mengkoneksikan source menggunakan gateway, ODBC driver, atau yg lainnya (pilih middleware langsung) Mendesain dan mengimplementasikan script untuk extraksi data, cleaning, transformasi, load dan refresh Menggabungkan repository dengan definisi skema dan view, script dan metadata lainnya Mendisain dan mengimplementasikan aplikasi end user Membuat data warehouse dan aplikasinya

10 Transformasi Data Menjadi Informasi Transformation Tool Metadata Data Operational Data Data warehouse Business View Business Information

11 Perbedaan Data Warehouse dan View Data warehouse merupakan penyimpanan yang stabil Data warehouse tidak selalu relational, tetapi bisa juga multidimensional. Sedangkan view merupakan relational database Datawarehouse sering melupakan konsep normalisasi Data warehouse dapat diindex untuk mengoptimalkan performance, sedangkan view tidak dapat diindex secara independent Data warehouse menyediakan integrasi dan temporal data dalam jumlah yang besar umumya lebih dari satu database dimana view merupakan extraksi dari sebuah database

12 Pemodelan Data Skema tabel yang sering digunakan adalah skema bintang (star schema), yang digunakan pada OLAP Skema tabel ini membentuk struktur informasi multidimensi yang kompatibel dengan kebutuhan bisnis.

13 Star Schema Fact : historical data Dimensional : bersumber dari berbagai tabel di SI lain (via ETL)

14 Karakteristik Star Schema Pusat skema bintang adalah fact table. Fact table berisi indikator indikator kinerja pokok. Tabel di sekeliling fact table adalah dimension table Tiap dimension table di-relasikan fact table berdasarkan primary key-nya Skema bintang diimplementasikan menggunakan teknologi relational database.

15 Definisi OLAP : Sistem yang bertugas mengubah data yang disimpan dalam data warehouse dan mentransformasikan data menjadi struktur multidimensi (cube).

16 OLTP vs OLAP Item OLTP OLAP User IT Professional Knowledge Worker Fungsi Operasi harian Pengambilan keputusan Perancangan Basis Data Berorientasi aplikasi Berorientasi subjek Data Up to date, rinci, relasional Historis, multidimensi, terintegrasi Akses Read/write Read only Unit Kerja Transaksi jangka pendek Complex Query Ukuran DB 100 MB-GB 100 GB-TB

17 OLAP Server Relational OLAP : RDBMS perluasan yang melakukan pemetaan operasi data multidimensi menjadi operasi relasional standar. Multidimensional OLAP : Server yang secara langsung mengimplementasikan data dan operasi multidimensi. Hybrid OLAP : Memberi kebebasan pada user / administrator untuk memilih partisi yang berbeda.

18 Multidimensional Data Model (1) Terdiri atas sekumpulan dimensi (independent variable) dan ukuran / nilai numerik (dependent variable) Untuk semua record pada tiap dimensi, mempunyai nilai atribut yang sesuai dengan nilai cell pada dimensi tersebut. Contoh : dimensi Product (pid), Location (locid), Time (timeid) nilai Sales

19 Multidimensional Data Model (2)

20 Tipe Penelusuran Data (OLAP Query) Roll-up : Menampilkan data yang semakin meningkat ke level agregasinya, misalnya untuk mengetahui total penjualan melalui informasi total penjualan di tiap negara. Drill-down : Menampilkan rincian rincian melalui query. Kita melakukan drill-down terhadap hirarki suatu tabel dimensi atau lebih, misalnya melihat ringkasan bulanan, mingguan, dst. Pivot : pembentukan cross tabulation Slice and dice : Persamaan dan pembuatan range selection pada satu atau banyak dimensi.

21 Pertumbuhan Data Data Master Data Transaksi Orde bulanan dan tahunan Tipe Data DBMS Mengukur Kecepatan Query DBMS ramping(lihat benchmark) Kemampuan mesin Solusi Backup Cadangan(dmp semua) Data aktif (mesin beda)

22 Date Time Tipe Data Keterangan DATETIME Ukuran 8 byte. Kombinasi tanggal dan jam, dengan jangkauan dari :00:00 sampai dengan :59:59. DATE Ukuran 3 byte. Tanggal dengan jangkauan dari sampai dengan TIMESTAMP Ukuran 4 byte. Kombinasi tanggal dan jam, dengan jangkauan dari :00:00 sampai dengan tahun TIME Ukuran 3 byte. Waktu dengan jangkauan dari -838:59:59 sampai dengan 838:59:59. YEAR Ukuran 1 byte. Data tahun antara 1901 sampai dengan 2155.

23 Tipe Bilangan (MySQL) Tipe Data Keterangan TINYINT Ukuran 1 byte. Jangkauan bertanda : -128 sd 127 dan : 0 sampai dengan 255 SMALLINT Ukuran 2 byte. Bilangan bulat dengan jangkauan untuk bilangan bertanda : sampai dengan dan untuk yang tidak bertanda : 0 sampai dengan MEDIUMINT Ukuran 3 byte. Bilangan bulatdnengan jangkauan untuk bilangan bertanda : sampai dengan dan untuk yang tidak bertanda : 0 sampai dengan INT Ukuran 4 byte. jangkauan untuk bilangan bertanda : sampai dengan dan untuk yang tidak bertanda : 0 sampai dengan BIGINT Ukuran 8 byte. Range : sd dan untuk yang tidak bertanda : 0 sampai dengan FLOAT DOUBLE REAL DECIMAL(M,D) NUMERIC(M,D) Ukuran 4 byte. Bilangan pecahan Ukuran 8 byte. Bilangan pecahan Ukuran 8 byte. Sinonim dari DOUBLE Ukuran M byte (D+2, jika M<D). Bilangan pecahan. Ukuran M byte (D+2, jika M<D). Sinonim dari DECIMAL.

24 Karakter ( MySQL) Tipe Data Keterangan CHAR(M) Ukuran M byte, 1 <= M <= 255. panjang tetap. VARCHAR(M) Ukuran L+1 byte dengan L <= M dan 1 <= M <= 255. TINYBLOB,TINYTEXT BLOB, TEXT L+1 byte, dengan L < 2 8. panjang maksimum 255 karakter. L+2 byte, dengan L < panjang maksimum karakter. MEDIUMBLOB, L+3 byte, dengan L < Tipe TEXT atau BLOB dengan panjang MEDIUMTEXT maksimum karakter. LONGBLOB,LONGTEXT L+4 byte, dengan L < Tpanjang maksimum karakter. ENUM( nilai1, nilai2,...) SET( nilai1, nilai2 ) Ukuran 1 atau 2 byte tergantung jumlah nilai enumerasinya. Maksimum nilai. Ukuran 1, 2, 3, 4 atau 8 byte, tergantung jumlah anggota himpunan. Maksimum 64 anggota

25 Desain DW perusahaan (All) : pertemuan 2 Desain DW (source dan star schema : pemetaan metadata/repository) Analisa pertumbuhan data

26 Tool ETL (buat perbandingan kemampuan) : Pertemuan 3 Database Centric ETL Ganjil - Oracle - SQL Server Engine (Code generator vs engine Based Tool) Genap Arktos 2

27 Materi berikutnya ETL framework Active Database

dokumen-dokumen yang mirip

DATA WAREHOUSING AND ONLINE ANALYTICAL PROCESSING (OLAP)

DATA WAREHOUSING AND ONLINE ANALYTICAL PROCESSING (OLAP) Overview Data Warehouse dan OLAP merupakan elemen penting yang mendukung decision support. Terutama bagi perusahaan perusahaan besar dengan database