[Data Warehouse] [6/C2 & 6/D2] [ Chapter 1] Pangantar Data Warehouse Dedy Alamsyah, S.Kom, M.Kom [NIDN : 0410047807]
Definisi Data dan Informasi Data Merupakan fakta, gambar atau suara yang mungkin atau tidak berhubungan atau berguna bagi tugas tertentu. (Steven Alter) Terdiri dari fakta-fakta dan angka yang secara relatif tidak berarti bagi pemakai. (McLeod) Informasi adalah data yang sudah diproses atau data yang memiliki arti. (McLeod)
Definisi Database Database Suatu koleksi data terintegrasi dimana secara logika saling berhubungan. (James A. O Brien) Kumpulan data yang saling berhubungan yang disimpan secara bersama sedemikian rupa dan tanpa pengulangan (redudansi) yang tidak perlu, untuk memenuhi berbagai kebutuhan. (Fatansyah)
Latar Belakang Data Warehouse Seiring perkembangan teknologi komunikasi dan penyimpanan data, hampir seluruh data operasional sebuah perusahaan disimpan dalam media elektronik. Data tersebut umumnya didapatkan dari sistem informasi transaksional/operasional, seperti system penjualan, pembelian, inventory, ticketing, dan sistem spesifik lainnya (seperti sistem analisa cuaca). Karena masing-masing sistem bekerja secara independen, data yang dihasilkan akan disimpan secara individual dengan bantuan system database. Kumpulan data yang individual tersebut akan menyulitkan pihak manajerial dan level eksekutif atas(dari entitas bisnis) untuk melihat, menganalisa, dan menyimpulkan arti dari kumpulan data yang dimiliki. Kesulitan ini terjadi karena laporan yang dihasilkan dari sistem tersebut memanfaatkan sumber data yang dikembangkan untuk operasional.
Latar Belakang Data Warehouse (2) Agar pihak eksekutif atas dapat membuat keputusan strategis, maka diperlukan jenis laporan khusus yang menyatukan berbagai komponen bisnis. Sumber data dari laporan tersebut dapat menggunakan kumpulan database yang ada, namun hal ini memiliki dampak terhadap pengembangan system eksekutif (untuk membuat laporan tersebut), kinerja, dan reliabilitas informasi yang dihasilkan. Oleh karena itu, diperlukan sebuah sumber data baru, sumber data yang telah terintegrasi, reliabel, dan spesifik untuk jenis laporan yang dibutuhkan tingkat eksekutif atas. Sumber data yang dimaksud ialah DATA WAREHOUSE.
Sejarah dari Sistem Pengambilan Keputusan Ad hoc Reports. Fase pertama, User minta dibuatkan report kepada team IT Special Extract Programs Fase kedua dimana team IT membuat sebuah program kecil untuk mengekstrak data dari berbagai macam sumber untuk spesifik report khusus yang dibutuhkan oleh user pada fase pertama, apabila ada permintaan yang berbeda maka dibuatkan program ektrak yang lain. Small Applications Fase pembuatan aplikasi reporting sederhana hasil ekstraksi dengan tambahan fitur memberikan akses kepada user untuk menampilkan report sesuai parameter yang diinginkan. Information Centers Fase pembuatan sebuah aplikasi online center berisi report-report khusus yang memang dibutuhkan oleh user, Tim IT bias melakukan custom report sesuai yang diinginkan pengguna. Decision-Support Systems Sama seperti fase sebelumnya namun lebih canggih dan sudah ditambahkan fitur analisa untuk pengambilan keputusan (pemasaran). Executive Information Systems Sama seperti fase sebelumnya namun sudah bisa lebih sederhana, secara online harian, tampilan yang menarik dan user-friendly untuk tingkatan manajemen strategis namun belum bisa lebih detil analisanya dan multi dimensional seperti, per wilayah, produk yang rusak
Definisi Data Warehouse Data = Fakta, Kejadian + Warehouse = Gudang Koleksi data yang mempunyai sifat berorientasi subjek, terintegrasi, time-variant, dan bersifat tetap dari koleksi data dalam mendukung proses pengambilan keputusan management. (W.H. Inmon dan Richard D.H) Database yang bersifat analisis dan read only yang digunakan sebagai fondasi dari sistem penunjang keputusan. (Vidette Poe) Database relasional yang didesain lebih kepada query dan analisa dari pada proses transaksi, biasanya mengandung history data dari proses transaksi dan bisa juga data dari sumber lainnya. (Paul Lane) Kesimpulan Data Warehouse adalah database yang saling bereaksi yang dapat digunakan untuk query dan analisis, bersifat orientasi subjek, terintegrasi, time-variant, tidak berubah yang digunakan untuk membantu para pengambil keputusan
Sejarah Data Warehouse Awal mula data warehouse berangkat dari tahun 80 an, dimana peneliti IBM Barry Devlin and Paul Murphy mengembangkan "business data warehouse". Pada dasarnya bertujuan untuk menyediakan model arsitektur untuk perubahan data dari system operasional menuju sistem DSS. Beberapa hal penting berkisar sejarah data warehouse adalah: 1960s - General Mills dan Dartmouth College, mengembangkan istilah dimensions and facts. 1970s - AC Nielsen dan IRI menyediakan dimensiona ldata marts untuk penjualan retail 1983 - Teradata memperkenalkan system database yang khusus untuk DSS 1988 - Barry Devlin dan Paul Murphy mempublikasik anartikel An architecture for a business and information system yang memperkenalkan istilah"business data warehouse.
Sejarah Data Warehouse (2) 1990 - Red Brick Systems memperkenalkan Red Brick Warehouse, sistem manajemen database khusus untuk data warehousing. 1991 - Bill Inmon mempublikasikan buku Building the Data Warehouse. 1995 - The Data Warehousing Institute, organisasi profit yang mempromosikan data warehouse didirikan 1996 - Ralph Kimball mempublikasikan buku The Data Warehouse Toolkit. 2000 - Daniel Linstedt mempublikasikan the Data Vault, yang memungkinkan audit data warehose.
Istilah Dalam Data Warehouse Data Mart Adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan. On-Line Analytical Processing(OLAP) Online Analytical Processing, atau disingkat OLAP adalah sebuah pendekatan secara cepat menyediakan jawaban-jawaban terhadap Query analitik yang multidimensi di dalam suatu sistem informasi. On-Line Transaction Processing(OLTP) Sistem yang memproses suatu transaksi secara langsung melalui komputer yang terhubung dalam jaringan Dimension Table Tabel yang berisikan kategori dengan ringkasan data detail yang dapat dilaporkan. Seperti laporan laba pada tabel fakta dapat dilaporkan sebagai dimensi waktu ( yang berupa perbulan, perkwartal dan pertahun). Fact Table Merupakan tabel yang umumnya mengandung angka dan data history dimana key (kunci) yang dihasilkan sangat unik, karena key tersebut terdiri dari foreign key(kunci asing) yang merupakan primary key (kunci utama) dari beberapa dimension table yang berhubungan. DSS Merupkan sistem yang menyediakan informasi kepada pengguna yang menjelaskan bagaimana sistem ini dapat menganalisa situasi dan mendukung suatu keputusan yang baik.
Tujuan Data Warehouse Meningkatkan kualitas dan akurasi informasi bisnis dan mengirimkan informasi kepemakai dalam bentuk yang dimengerti dan dapat diakses dengan mudah. Mengintegrasikan data organisasi dengan jumlah yang besar menjadi satu wadah dimana pengguna dapat dengan mudah menjalankan query, membuat laporan serta melakukan analisis. Singkatnya, data warehouse adalah teknologi manajemen dan analisis data. (Connolly dan Begg (2005))
Mengapa Membangun Data Warehouse DW yang dikombinasikan dengan BI (Business Intelligence) dapatdigunakanuntukmendapatkaninformasi: 1. Lebihmemahamiapayang terjadipadabisnis 2. Menentukantrend historis 3. Prediksikesempatandimasadatang 4. Mengukurperformance
Siapa Yang Membutuhkan Data Warehouse Data Warehouse OLTP (Online Transaction Processing) Piramida system informasi
Pemanfaatan Data Warehouse Retail Menjaga Kesetiaan Pelanggan Perencanaan Pemasaran Pabrik Pengurangan Biaya Manajemen Persediaan Keuangan Manajemen Resiko Pendeteksian Penipuan Perusahaan penerbangan Menentukan Route yang Menguntungkan Pengaturan Manajemen Pemerintah Perencanaan Tenaga Kerja Pengendalian Harga Fungsi Umum Manajemen Aset Manajemen Sumber Daya
Sumber Data Data Warehouse 1. Data operasional dalam organisasi, misalnya basis data pelanggan dan produk, dan 2. Sumber eksternal yang diperoleh misalnya melalui Internet, basis data komersial, basis data pemasok atau pelanggan Berbagai data yang berasal dari sumber digabungkan dan diproses lebih lanjut oleh manajer data warehouse dan disimpan dalam basis data tersendiri. Selanjutnya, perangkat lunak seperti OLAP dan data mining dapat digunakan oleh pemakai untuk mengakses data warehouse
Komponen Data Warehouse Secara garis besar data warehouse dibangun dari 3 komponen berikut: 1. Teknologi Data warehouse, karena memiliki pendekatan yang berbeda dengan OLTP DBMS memiliki perkembangan yang lebih mengarah keoptimasi proses ETL, dan dukungan untuk data mining dalam volume besar 2. Business Requirement Pengembangan data warehouse sangat bergantung pada kebutuhan, ruang lingkup dari bisnis perusahaan. 3. Data Data yang digunakan pada DW tidak bias menggunakan data transaksional yang dihasilkan OLTP. Data yang digunakan harus melalui proses ETL (Extract- Transform-Loading). Dimana data transaksional yang ada harus diproses(extract), lalu diubah formatnya (transform) sesuai spesifikasi DW, hingga akhirnya dimasukkan kedalam system dw (load)
Sifat Data Warehouse Multidimensional yang berarti bahwa terdapat banyak lapisan kolom dan baris (Ini berbeda dengan tabel pada model relasional yang hanya berdimensi dua) Berdasarkan susunan data seperti itu, amatlah mudah untuk memperoleh jawaban atas pertanyaan seperti: Berapakah jumlah produk 1 terjual di Jawa Tengah pada tahun n-3?
Data Warehouse vs Online Transaction Process (OLTP)
Sumber Data Warehouse Sumber data DW berasal dari Source systems, ditunjukkan pada sisi kiri gambar diatas Umumnya berupa aplikasi besar yang telah ada pada organisasi tersebut, seperti: 1. Order processing 2. Production scheduling 3. Financial trading systems 4. Policy administration 5. Claims handling 6. Accounts payable/receivable 7. Employee payroll 8. Student Information 9. ERP System 10. Sistem Informasi KRS
Sumber Data Warehouse (gambar)
Arsitektur Data Warehouse
Flow Data Warehouse
Software Data Warehouse Brand/company: IBM OLTP: IBM DB2 datawarehouse: InfoSphere Warehouse,IBM Netezza Data Warehouse Appliances ETL: InfoSphere Information Server (DataStage) BI environment: Cognos, SPSS Brand/company: Oracle OLTP: Oracle Database, TimesTen In-Memory Database datawarehouse: Oracle Database, Oracle Exadata Database ETL: Oracle Warehouse Builder, Oracle Data Integrator BI environment: Oracle Business Intelligence Brand/company: Microsoft OLTP: SQL Server datawarehouse: SQL Server Parallel Data Warehouse ETL: SQL Server Integration Services BI environment: Microsoft Business Intelligence (SQL Server Analysis Services, SharePoint, Office) Brand/company: SAP OLTP: Sybase datawarehouse: Sybase ETL: SAP Business Objects Data Integrator BI environment: SAP Business Objects BI Brand/company: MySQL/Oracle OLTP: MySQL Brand/company: Abinitio ETL: Abinitio Brand/company: Informatica ETL: Informatica PowerCenter Brand/company: MicroStrategy BI environment: MicroStrategy Brand/company: SAS ETL: SAS Enterprise Data Integration Server BI environment: SAS Business Intelligence Brand/company: Pentaho ETL: Pentaho Data Integration (Open Source) BI environment: Pentaho Reporting, Data Mining, DashBoard
Selesai Ada pertanyaan???
Latihan 1. Sebutkan definisi Data Warehouse yang anda ketahui dan pahami? 2. Sebutkan perbedaan antara Data Warehouse dan Data Transaksi Harian (OLTP). 3. Mengapa dibutuhkan Data Warehouse? 4. Sebutkan tujuan dari Data Warehouse? 5. Sebutkan perbedaan Database dengan Data Warehouse?