Data warehouse dan OLAP (Overview) Diambil dari presentasi Jiawei Han / Chirayu Versi dok: 0.8/ Sept 14

Ukuran: px

Mulai penontonan dengan halaman:

Download "Data warehouse dan OLAP (Overview) Diambil dari presentasi Jiawei Han / Chirayu Versi dok: 0.8/ Sept 14"

Susanto Kusuma
7 tahun lalu
Tontonan:

1 Data warehouse dan OLAP (Overview) Diambil dari presentasi Jiawei Han / Chirayu Versi dok: 0.8/ Sept 14

2 Jutaan data per hari Kasus: Indomaret Dimensi (jumlah field) data besar Produk, jenis produk, waktu expire, pemasok, tranksaksi harian, kepegawaian, keuangan, gudang Sumber data beragam Software beragam (beda vendor, beda versi). Ada data dalam file teks, Excel, database. belum tentu konsisten! Bayangkan anda sebagai pimpinan perusahaan 2

3 Kasus (lanj) Kebutuhan pengambil keputusan: Mengetahui penjualan per produk per wilayah per waktu Berapa sikat gigi yang terjual dalam bulan feb 2012 untuk wilayah jawa barat? Berapa yang terjual 4 tahun terakhir? 3

4 Kasus (lanj) Kebutuhan pengambil keputusan: Searching, filtering, query kompleks padahal... Laporan harus cepat dan realtime! Apakah database reguler cukup? Seperti yang dipelajari di kuliah basdat+sisbasdat? 4

5 Apa Data warehouse? Database pendukung keputusan yang terpisah dengan database operasional Apa database operasional? Platform untuk integrasi data historis untuk analisis Berdasarkan subyek, terintegrasi, berdasarkan waktu, non volatile (permanen) dibahas di halaman selanjutnya 5

6 Kegunaan Datawarehouse Pemrosesan Informasi querying, analisis statistik, pelaporan,grafik Analisis Analisis Multidimensi Operasi OLAP: slice-dice, drilling, pivot Data mining Pengetahuan dari pola tersembunyi. Asosasi, klasifikasi, prediksi 6

7 Berdasarkan Subyek Dikelola berdasarkan subyek-subyek penting. Misalnya: pelanggan, produk, penjualan, keuangan. Fokus pada model dan analisis data untuk pengambil keputusan, bukan operasi harian. Memberikan view yang lebih sederhana untuk subyek tertentu membuang data yang tidak diperlukan 7

8 Terintegrasi Dibuat dengan menggabungkan beberapa sumber data: Database relational, flat file Teknik pembersihan dan integrasi diterapkan Konsistensi nama, atribut Konversi saat data pindah ke warehouse 8

9 Berdasarkan Waktu Time horizon lebih panjang dari sistem yang operasional Database operasional: data kini (current) Datawarehouse: perspektif historis (5-10 tahun) Setiap struktur pada data warehouse: Mengandung elemen waktu (implisit/eksplisit) Tidak demikian dengan database operasional 9

10 Non volatile (permanen) Penyimpanan data terpisah dengan data operasional Tidak memerlukan update Tidak memerlukan transaksi, recovery dan concurrency Hanya memiliki dua operasi: Loading awal Akses data 10

11 Kegunaan Datawarehouse Pemrosesan Informasi querying, analisis statistik, pelaporan,grafik Analisis Analisis Multidimensi Operasi OLAP: slice-dice, drilling, pivot Data mining Pengetahuan dari pola tersembunyi. Asosasi, klasifikasi, prediksi 11

12 OLAP dan OLTP Data warehouse: OLAP Operasional DB: OLTP OLTP (online transaction processing) Fungsi utama relational database Operasi harian: pembelian, inventory, registrasi dll OLAP (online analytical processing) Fungsi utama data warehouse Analisis data dan pengambilan keputusan 12

13 OLTP vs OLAP Orientasi user Operator vs knowledge worker Isi sistem current, detail vs historical, konsolidasi Rancangan: ER+Aplikasi vs Star + subject View current, local vs, integrated Model akses update vs read only tapi kompleks 13

14 OLTP vs OLAP OLTP OLAP users clerk, IT professional knowledge worker fungsi harian pengambilan keputusan DB design ER+applikasi subject-oriented data current, up-to-date detailed, flat relational isolated historical, summarized, multidimensional integrated, consolidated penggunaan repetitive (sama berulang2) ad-hoc (tergantung situasi) Model akses read/write banyak scans (ambil seluruh data) index/hash berdasarkan prim. key satuan pekerjaan pendek, transaksi sederhana complex query # records accessed Ratus sd ribuan Jutaan sd Milyar #users ribuan ratusan Ukuran DB 100MB-GB Tera - Petabyte Ukuran kinerja transaction throughput query throughput, response 14

15 Mengapa memisahkan data warehouse dengan database operasional? 15

16 Mengapa Memisahkan Data Warehouse dengan DB OLTP Kinerja harus yang tinggi untuk kedua sistem DBMS dirancang untuk OLTP: indexing, concurrency, recovery Warehouse dirancang untuk OLAP query kompleks, view multi dimensi, konsolidasi 16

17 Mengapa memisahkan Dw dan DB OLTP (lanj) Perbedaan fungsi dan data Decision support system membutuhkan data historis yang tidak ada di DBMS Konsolidasi data (agregasi dan rangkuman) Kualitas data (masalah konsistensi, format) Saat ini banyak sistem yang melakukan OLAP pada DB biasa. 17

18 Implementasi Heterogen DBMS: query driven Buat pembungkus/mediator di atas database Query diterjemahkan menjadi query yang mengakses DBMS yang terkait Filter informasi yang kompleks Lambat Data warehouse: update-driven Informasi dari database yang heterogen telah digabung. Kinerja lebih bagus 18

19 Pemodelan: Data warehouse vs DB OLTP DB OLTP Model Entitas Relationship (ER) Data warehouse Multidimensional Data Model 19

20 Multi-Dimensi Model Dimensi menjadi faktor yang paling penting. Data dilihat dalam bentuk data cube 20

21 Contoh Datacube TV PC VCR sum Produk Waktu 1Qtr 2Qtr 3Qtr 4Qtr Tot penjualan tahunan TV Di U.S.A. sum U.S.A Canada Mexico Neagara sum 21

22 Data Multidimensi Wilayah Dimensi: Produk, Lokasi, Waktu Jalur rangkuman: Industri Wilayah Tahun Kategori Negara Quarter Produk Produk Kota Bulan Minggu Kantor Hari Bulan 22

23 Data Cube Satu data cube, misalnya penjualan dapat dilihat dari berbagai dimensi: Tabel dimensi: misalnya, barang (nama_barang, merk, tipe), waktu (hari, minggu, bulan, tahun) Tabel measures: uang yang terjual, jumlah barang yang terjual 23

24 Operator OLAP Rollup rangkum Drilldown kebalikan rollup Slice and Dice ambil dimensi yang diinginkan Pivot transpose 24

25 Operator OLAP: SLICE 25

26 Operator OLAP: Drilldown 26

27 Rollup 27

28 Operator OLAP: Dice 28

29 Model Konseptual Data Warehouse Star schema: tabel fakta dihubungkan dengan tabel dimensi Snowflake: perbaikan star schema, hirarki dimensi di normalisasi Fact constellations: multiple tabel fakta berbagi tabel dimensi 29

30 Contoh Star Schema time time_key day day_of_the_week month quarter year branch branch_key branch_name branch_type Measures Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales item item_key item_name brand type supplier_type location location_key street city state_or_province country 30

31 Contoh Snowflake Schema time time_key day day_of_the_week month quarter year Sales Fact Table time_key item_key item item_key item_name brand type supplier_key supplier supplier_key supplier_type branch branch_key branch_name branch_type Measures branch_key location_key units_sold dollars_sold avg_sales location location_key street city_key city city_key city state_or_province country 31

32 time time_key day day_of_the_week month quarter year Fact constellations Sales Fact Table time_key item_key branch_key item item_key item_name brand type supplier_type Shipping Fact Table time_key item_key shipper_key from_location branch branch_key branch_name branch_type Measures location_key units_sold dollars_sold avg_sales location location_key street city province_or_state country to_location dollars_cost units_shipped shipper shipper_key shipper_name location_key 32 shipper_type

33 Hirarki Konsep: Dimension (lokasi) all all propinsi Jabar... Sumatera Selatan Kab/kota Kota Bandung... Kab Subang Palembang... Musi Kecamatan Sukawarna... x... yy Desa zz... mm 33

34 Operator OLAP: Pivot 34

35 Star-Net Query Shipping Method AIR-EXPRESS Customer Orders CONTRACTS Customer Time TRUCK ANNUALY QTRLY DAILY CITY COUNTRY ORDER PRODUCT LINE Product PRODUCT ITEM PRODUCT GROUP SALES PERSON DISTRICT REGION Location Each circle is called a footprint Promotion DIVISION Organization 35

36 Arsitektur Datawarehouse 4 sudut pandang dalam perancangan datawarehouse Data source view Informasi yang dikelola sistem operasional (db biasa, OLTP) Top-down view Informasi yang relevan untuk datawarehouse Data warehouse view Tabel fakta dan dimensi Business query view Data pada datawarehouse dari sudut pandang user 36

37 Proses Perancangan DW Pilih proses bisnis yang akan dimodelkan, contoh: pesanan, tagihan dsb. Pilih data terkecil pada proses bisnis tersebut. Misal: record transaksi Pilih dimensi untuk tabel fakta Pilih measure yang akan mengisi tabel fakta. 37

38 DW: Multi Tiered Sumber lain Operational DB Metadata Extract Transform Load Refresh Monitor & Integrator Data Warehouse OLAP Server Serve Analisis Query Reports Data mining Data Marts Data Sources Data Storage OLAP Engine Front-End Tools 38

39 Model DW Enterprise warehouse Mengumpulkan semua informasi tentang subyek yang ada di organisasi Data Mart Subset untuk grup yang spesifik (misalnya marketing, keuangan) Virtual warehouse View dari operasional DB Hanya sebagain summary yang dapat dimunculkan 39

40 Arsitektur OLAP server Relational OLAP (ROLAP) Menggunakan relational atau extended-relational DBMS untuk menyimpan dan memanage warehouse dan OLAP Optimization DBMS, implementasi navigasi agregasi dan tools tambahan Scalable. Multidimensional OLAP (MOLAP) Storage engine: sparse array-based Fast indexing, pre-computed summarized data Hybrid OLAP (HOLAP) (Microsoft SQLServer) Fleksibel. low level: relational, high-level: array Specialized SQL servers (Redbricks) support SQL queries pada star/snowflake schemas 40

41 41

dokumen-dokumen yang mirip

Datawarehouse dan OLAP (Overview) Diambil dari presentasi Jiawei Han

Datawarehouse dan OLAP (Overview) yudi@upi.edu Diambil dari presentasi Jiawei Han Apa Data warehouse? Database pendukung keputusan yang terpisah dengan database operasional Platform untuk konsolidasi