Pentingnya Data Warehouse dalam Dunia Bisnis By : Feris Thia PT. Putera Handal Indotama
Agenda Apa itu Data Warehouse? Pemanfaatan Data Warehouse oleh Stakeholder Perusahaan / Business Entity. Apa saja proses di dalam Data Warehouse? Aplikasi ETL (Extract, Transform and Load). Kaitan Data Warehouse dengan Multi Dimensional Modelling dan Business Intelligence. Titik-titik krusial dalam Implementasi Data Warehouse.
INTRODUCTION DATA WAREHOUSE
Apa itu Data Warehouse? Data warehouse adalah replikasi data yang berisi : data mentah (= sumber). konsolidasi data dari berbagai sumber. summary / aggregate data. data yang sudah ditransformasikan. metadata. Tujuan : data bersih dan berkualitas tinggi. Reporting Sumber data subsistem (Data Mart ) Notes :
Kenapa Data Warehouse? ADAPTASI PERKEMBANGAN BISNIS! Proses bisnis yang selalu berubah CEPAT. Kecepatan proses bisnis tidak diikuti oleh kemampuan adaptasi sistem IT. Untuk itu dibutuhkan satu sistem ad hoc / temporary untuk adaptasi bisnis. Perlu data hasil konsolidasi output dari sistem ad hoc dan sistem berjalan. Data Warehouse adalah solusinya. Notes :
Kenapa Data Warehouse? INTEGRASI DATA! Data / aset informasi bisnis tersebar dimana-mana : Data customer ada di dua sistem Data target penjualan ada di spreadsheet masing-masing komputer staff Transaksi PO kepada supplier ada di sistem aplikasi desktop Access masing-masing staff dll Diperlukan sentralisasi & sinkronisasi terhadap data-data tersebut. Data Warehouse adalah solusinya. Notes :
Kenapa Data Warehouse? PERFORMA SISTEM REPORTING! Kecepatan pembacaan analisis seringkali dari data historis yang sudah sangat besar Diperlukan agregasi dan summary data Data Warehouse adalah solusinya. Notes :
DATA WAREHOUSE = INFORMATION ASSET LIBERATION!
DATA WAREHOUSE PEMANFAATAN DALAM BISNIS
Data Warehouse sebagai Aset Data yang lebih reliable dengan kualitas tinggi Akses informasi yang lebih cepat Memiliki view terhadap bisnis secara keseluruhan Notes :
Manfaat dalam Bisnis Dapat mengerti pelanggan dengan lebih baik Memperbaiki kampanye iklan / marketing Meningkatkan pelayanan pelanggan Memperkecil Resiko Membuat perencanaan bisnis yang lebih baik Membuat keputusan dengan lebih cepat dll Notes :
Stakeholder Data Warehouse Manajemen dan Direksi Memiliki pandangan terhadap keseluruhan bisnis. Divisi / Unit Bisnis Memiliki data yang lebih lengkap dan cepat dalam menganalisa perilaku operasional subjek dari masing-masing unit Contoh subjek : pelanggan (marketing), karyawan (hrd), produk (riset), dll. Divisi IT / IS Memiliki produktivitas yang lebih baik dalam mengejar perkembangan bisnis dengan sistem terkomputerisasi. Meningkatkan pemanfaatan teknologi secara lebih baik terutama database. Memecah proses yang kompleks dari suatu view database relasional.
ETL ETL (EXTRACT, TRANSFORMATION & LOAD)
Proses di Data Warehouse Data Integration & Extraction Optimization and Staging (I/O Balance) Cleansing Data Normal Distribution Pyramid View Rules Aggregating Data Validation / Test Case Audit Trail Retain Historical References (Slowly Changing Dimension) etc Notes :
ETL (Extract, Transform & Load) Tools Aplikasi yang dirancang khusus untuk mengintegrasikan, mengolah dan menyimpan data dengan berbagai keperluan dan media. Ciri-ciri : Batch Processing I/O Optimization Capabilities Kaya akan modul pengolahan data Error handling dll Notes :
ETL (Extract, Transform & Load) Tools Contoh Produk : Pentaho Data Integration (Kettle) Microsoft SQL Server Integration Service (SSIS) Informatica IBM Data Stage Talend dll Notes :
Microsoft SQL Server Integration Services http://daxguy.blogspot.com/2010/03/dynamics-ax-2009-bulk-data-insert-using.html
Pentaho Data Integration
Pentaho Data Integration : Sources
Kenapa ETL? Produktivitas yang tinggi! Meningkatkan efektivitas dan efisiensi divisi IT : Fokus akan integrasi dan pengolahan data! Dibandingkan ke kompleksitas algoritma menggunakan scripting / programming language umum. Dirancang untuk mampu menangani I/O balancing sehingga meningkatkan kinerja pengolahan data. Notes :
Extract What information do you need? What data sources to extract? What is the extraction strategy? How do we detect CHANGE? How to link everything? etc Notes :
Transform Change the portion of data structure and value Do we need to discretize data? Do we need to split them? Join them? Union them? Data Cleansing? etc Notes :
Load What portions of data need to be loaded? Do we need a staging? What destinations are supported? How is the performance? etc Notes :
Simple Demo Scenario Email Registration List Extracting information Further treatment need Notes :
DATA WAREHOUSE DATA WAREHOUSE AND BUSINESS INTELLIGENCE (BI)
Data Warehouse & BI! Data hasil dari proses : pengambilan (extract) pembersihan (clean) penyesuaian data (conform) dari struktur OLTP -> OLAP Multi Dimensional Modelling! Ralph Kimball Notes :
Apa itu OLTP? OLTP = OnLine Transaction Processing Aplikasi yang dirancang khusus untuk menangani operasional sehari-hari Bersifat mission critical Biasanya meliputi aplikasi seperti : ERP : Enterprise Resource Planning CRM : Customer Relationship Management SCM : Supply Chain Management dll Contoh : SAP Microsoft Axapta / Dynamics G.O.L.D. dll Notes :
Apa itu OLAP? OnLine Analytical Processing Aplikasi yang dirancang khusus untuk laporan analisis dan merupakan komponen penting Business Intelligence (BI) Skema database berbeda dengan skema database OLTP Objek dari OLAP adalah Cube dimana kita bisa memandang data dari berbagai dimension cube! Notes :
Apa itu OLAP? Database OLAP biasanya adalah suatu data warehouse Tipe : ROLAP, MOLAP dan HOLAP Contoh Produk OLAP : Microsoft SQL Server Analysis Service (MSAS) Pentaho Analysis (Mondrian) PALO Dan lain-lain Notes :
Kenapa OLAP dan Bukan SQL? Aplikasi analisa yang baik membutuhkan kemampuan query data ke sistem koordinat posisi row / column secara dinamis. Contoh : Excel SQL hanya mengenal pengembalian row set dari data dan tidak mengenal sistem koordinat axis. Oleh sebab itu SQL sangat bergantung pada subquery atau temporary table.. Notes :
Kenapa OLAP dan Bukan SQL? OLAP menjawab kebutuhan tersebut dengan query khusus : MDX (Multi Dimensional Expression)! Contoh perhitungan kompleks yang akan sulit dilakukan SQL : Perhitungan year to date penjualan bulan ini dengan perhitungan pada bulan yang sama tahun sebelumnya Menghitung rasio kontribusi dari penjualan bulan ini terhadap kuartal terkait dan rasio terhadap keseluruhan tahun dll Notes :
Contoh OLAP : Mondrian + JPivot
DATA WAREHOUSE MULTI DIMENSIONAL MODELLING
Multi Dimensional Modelling Fact Table and Dimension Table Star Schema Snowflake Schema
OLTP / Database Transaksional
Star Schema
Snowflake Schema
Related Terms Fact and Dimension Table Star and Snowflake Schema Aggregates Slowly Changing Dimension (SCD) Change Data Capture (CDC) Late Arrival Data Junk Dimensions etc Notes :
DATA WAREHOUSE TANTANGAN DI DATA WAREHOUSE
Titik-titik Krusial Data Warehouse Change Data Capture What and when source had changed? Near Real Time Extraction Scalability of the data Change extraction Data Validation How to validate? What scenario? Comparing to what system? Which is correct?
Titik-titik Krusial Data Warehouse Technologies Scalability Integrity Performance High Productivity Human Resources Knowledge Competency on Business Process and nature of data Operational Skill
KOMUNITAS / USER GROUP
Komunitas User Group Pentaho User Group Indonesia http://groups.google.com/group/pentaho-id Indo-BI User Group http://groups.google.com/group/indo-bi SQL Server BI http://groups.google.com/group/sqlserver-bi Project http://www.sampledata.org http://contoh-database.googlecode.com http://sampledata.googlecode.com
TERIMA KASIH