DATA WAREHOUSE. Pertemuan ke-3

Transkripsi

1 DATA WAREHOUSE Pertemuan ke-3

2 Intelligence Enterprise

3 Pengertian Data Warehouse Sebuah tempat penyimpanan data yang lengkap dan konsisten yang berasal dari sumber-sumber yang berbeda dibuat untuk penggunanya agar mereka dapat mengerti dan menggunakannya dalam konteks bisnis. [Barry Davlin]

4 Pengertian Data Warehouse (cont d) Sebuah proses transformasi data ke dalam sebuah informasi dan membuat informasi ini dapat diakses oleh penggunanya tepat waktu untuk membuat perubahan-perubahan (strategi bisnis). [Forrester Research, 1996]

5 Pengertian Data Warehouse (cont d) 1. Berorientasi subjek, 2. Diintegrasikan, 3. Time-variant, 4. Nonvolatile, Koleksi data untuk medukung proses pembuatan manajemen pengambilan keputusan. [Bill Inmon]

6 Pengertian Data Warehouse (cont d) Sean Kelly : The data in the data warehouse is: Separate Available Integrated Time stamped Subject oriented Nonvolatile Accessible

7 Pengertian Data Warehouse (cont d) Data warehouse adalah basis data yang menyimpan data sekarang dan data masa lalu yang berasal dari berbagai sistem operasional dan sumber yang lain (sumber eksternal) yang menjadi perhatian penting bagi manajemen dalam organisasi dan ditujukan untuk keperluan analisis dan pelaporan manajemen dalam rangka pengambilan keputusan Data warehouse digunakan untuk mendukung pengambilan keputusan, bukan untuk melaksanakan pemrosesan transaksi Data warehouse hanya berisi informasi-informasi yang relevan bagi kebutuhan pemakai yang dipakai untuk pengambilan keputusan

8 Pengertian Data Warehouse (cont d) Data Warehouse adalah Pusat repositori informasi yang mampu memberikan database berorientasi subyek untuk informasi yang bersifat historis yang mendukung DSS (Decision Suport System) dan EIS (Executive Information System).

9 Pengertian Data Warehouse (cont d) Salinan dari transaksi data yang terstruktur secara spesifik pada query dan analisa.

10 Tujuan : Meningkatkan kualitas dan akurasi informasi bisnis danmengirimkan informasi ke pemakai dalam bentuk yang dimengerti dan dapat diakses dengan mudah.

11 Perbedaan DW dan OLTP OLTP Data Warehouse Menangani data saat ini Data bisa saja disimpan pada beberapa platform Data diorganisasikan berdasarkan fungsi atau operasi seperti penjualan, produksi, dan pemrosesan pesanan Pemrosesan bersifat berulang Untuk mendukung keputusan harian (operasional) Melayani banyak pemakai operasional Berorientasi pada transaksi Lebih cenderung menangani data masa lalu Data disimpan dalam satu platform Data diorganisasikan menutut subjek seperti pelkanggan atau produk Pemrosesan sewaktu-waktu, tak terstruktur, dan bersifat heuristik Untuk mendukung keputusan yang strategis Untuk mendukung pemakai manajerial yang berjumlah relatif sedikit Berorientasi pada analisis

12 Sumber Data untuk DW 1. Data operasional dalam organisasi, misalnya basis data pelanggan dan produk, dan 2. Sumber eksternal yang diperoleh misalnya melalui Internet, basis data komersial, basis data pemasok atau pelanggan Berbagai data yang berasal dari sumber digabungkan dan diproses lebih lanjut oleh manajer data warehouse dan disimpan dalam basis data tersendiri. Selanjutnya, perangkat lunak seperti OLAP dan data mining dapat digunakan oleh pemakai untuk mengakses data warehouse

13 4 Karakteristik Data Warehouse Subject oriented Integrated Time variant Non-volatile

14 Subject Oriented 1. Data warehouse diorganisasikan dalam lingkup subjek, sebagai contoh: Penjualan, Produk, dan Pelanggan. 2. Berfokus ke dalam pemodelan dan analisis data untuk pihakpihak pembuat keputusan. 3. Memisahkan data yang tidak berguna di dalam proses pendukung keputusan.

15 Subject Oriented (cont d ) Subjek Aplikasi

16 Integrated 1. Data warehouse dikonstruksikan dengan cara mengintegrasikan sejumlah sumber data yang berbeda. 2. Data preprocessing diaplikasikan untuk meyakinkan kekonsistensian data.

17 Integrated (cont d) Savings Loans Trust Credit card Same data different name Different data Same name Data found here nowhere else Different keys same data

18 Integrated (cont d) Encoding Structures Measurement of attributes Multiple Sources Data Type Formats

19 Integrated (cont d) Data Warehouse appl appl appl appl appl appl appl appl appl appl appl appl A - m,f B - 1,0 C - x,y D - male, female A - pipeline - cm B - pipeline - in C - pipeline - feet D - pipeline - yds A - balance B - bal C - currbal D - balcurr

20 Integrated (cont d)

21 Integrated (cont d) Data perlu distandarkan : Format Description Unit Encoding Sales Inventori Transaksi Penjualan Key Text Nama pelanggan U.N.I.J.O.Y.O Tinggi centimeter Sex Yes = Laki-laki No = Perempuan Key Integer Nama pelanggan UNIPAHIT Tinggi meter Sex L = laki-laki P = Perempuan Key Yes/No Nama pelanggan Universitas majapahit Tinggi inch Sex 1 = Laki-laki 0 = Perempuan

22 Time-Variant 1. Menghasilkan informasi dari sudut pandang historical (misal: 5-10 tahun yang lalu). 2. Setiap struktur kunci mengandung elemen waktu.

23 Time-Variant (cont d)

24 Time-Variant (cont d)

25 Time-Variant (cont d) Operasional : Data pada saat ini (current value) Datawarehouse : Analisa data pada masa lampau Informasi pada saat ini Forecast untuk masa yang akan datang

26 Nonvolatile 1. Sekali data direkam maka data tidak bisa diupdate. 2. Data warehouse membutuhkan dua operasi pengaksesan data, yaitu: a. Initial loading of data b. Akses data

27 Nonvolatile (cont d)

28 Nonvolatile (cont d) Operasional : Add, change, delete data pada sistem operasional secara real time setiap transaksi terjadi Datawarehouse Update ketika kita perlukan saja, bisa secara periodik Data pada DW dikhususkan untuk query dan analisa data

29 Nonvolatile (cont d)

30 Prinsip Data Warehouse Sumber Data Internal Sumber Data Operasional 1 Sumber Data Operasional 2 Manajer Data Warehouse Perangkat EIS Perangkat pelaporan Perangkat pengembangan aplikasi OLAP Sumber Data Eksternal Data Warehouse Data Mining

31 Sifat Data Warehouse Multidimensional yang berarti bahwa terdapat banyak lapisan kolom dan baris (Ini berbeda dengan tabel pada model relasional yang hanya berdimensi dua) Berdasarkan susunan data seperti itu, amatlah mudah untuk memperoleh jawaban atas pertanyaan seperti: Berapakah jumlah produk 1 terjual di Jawa Tengah pada tahun n-3? Tahun n-4 Tahun n-3 Tahun n-2 Tahun n-1 Jawa Tengah Jawa Barat Produk 2 Produk 3 Produk 1

32 Petunjuk Membangun DW Menentukan misi dan sasaran bisnis bagi pembentukan data warehouse Mengidentifikasi data dari basis data operasional dan sumber lain yang diperlukan bagi data warehouse Menentukan item-item data dalam perusahaan dengan melakukan standarisasi penamaan data dan maknanya Merancang basis data untuk data warehouse Membangun kebijakan dalam mengarsipkan data lama sehingga ruang penyimpanan tak menjadi terlalu besar dan agar pengambilan keputusan tidak menjadi terlalu lamban. Menarik data produksi (operasional) dan meletakkan ke basis data milik data warehouse

33 Data Mart Bagian dari data warehouse yang mendukung kebutuhan pada tingkat departemen atau fungsi bisnis tertentu dalam perusahaan. Karakteristik yang membedakan data mart dan data warehouse adalah sebagai berikut (Connolly, Begg, Strachan 1999). Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis. Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse. Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami dan dinavigasi.

34 Data mart = subset of DW for community users, e.g. accounting department Sometimes exist as Multidimensional Database Info mart = summarized data + report for community users

35 DATAWAREHOUSE vs DATAMART DATAWAREHOUSE Perusahaan, melingkupi semua proses Gabungan datamart Data didapat dari proses Staging Merepresentasikan data dari perusahaan atau organisasi Diorganisasi dlm E-R Model DATAMART Departemen Satu bisnis proses Start-Join (fakta dan dimensi) Teknologinya optimal untuk pengaksesan dan analisis data Cocok untuk merepresentasikan data departemen

36 DATAWAREHOUSE vs DATAMART Datawarehouse = gabungan dari beberapa datamart yang levelnya berada pada perusahaan atau organisasi. Datamart = bagian dari datawarehouse yang berada level departemen pada perusahaan atau organisasi tersebut. Data mart menangani sebuah business proses, misalkan penjualan.

37 Data Warehousing Architecture Monitoring & Administration External Sources Operational dbs Metadata Repository Extract Transform Load Refresh OLAP servers Serv e Analysis Query/ Reporting Data Mining Data Marts

38 Three-Tier Architecture Warehouse database server Almost always a relational DBMS; rarely flat files OLAP servers Relational OLAP (ROLAP): extended relational DBMS that maps operations on multidimensional data to standard relational operations. Multidimensional OLAP (MOLAP): special purpose server that directly implements multidimensional data and operations. Clients Query and reporting tools. Analysis tools Data mining tools (e.g., trend analysis, prediction)

39 Two Worlds -> Two Systems

40 Data warehouse Component

41 6 Functional Components Extract, Transform, Load (ETL) tools DW databases & DBMS tools Data marts Meta data DW administration & management tools Information delivery system

42 Data about data Field description, business rules (e.g. profit=? formula), log of file updates Help users understand content & locate data

43 Source data : Production Data data operasional persh. Internal Data spreadsheets, dokumen, Profil pelanggan, dan database departemen persh. Archived Data data operasional yang telah disimpan External Data data statistik, penelitian dari agenci luar, market share competitor, indikator financial standar, dll

44 Data staging component dari berbagai SO + eksternal data disimpan pd DW yg hrs dirubah/disamakan formatnya shg dpt disimpan u/ query & analisa ada 3 komponen : 1. Ekstraksi data 2. Transformasi data, 3. Loading data (ETL)

45 Data Storage Component Repository data warehouse terpisah dengan repositori sistem operasional Sistem Operasional mendukung day-to-day operation (OLTP) Data warehouse data histori yang besar untuk kebutuhan analisa data.

46 KOMPONEN METADATA Metadata dalam Data WareHouse = Kamus Data/ Data Katalog dalam DBMS (Database Management System)

47 Metadata Informasi tentang logical struktur data Informasi file dan alamatnya Informasi index Dll Intinya Meta data = data mengenai data pada data warehouse

48 Pengenalan Metadata TIPE-TIPE METADATA OPERASI METADATA EKSTRAKSI DAN TRANSFORMASI METADATA END USER METADATA

49 Pengenalan Metadata OPERASI METADATA Terdiri dari semua informasi tentang data sumber Proses: Pilih data dari sistem sumber untuk data warehouse, pisah recordnya, gabungkan bagian record dengan file sumber lainnya, dan berhasil dengan skema multiple coding dan panjang field

50 Pengenalan Metadata EXTRAKSI DAN INFORMASI METADATA Terdiri dari data dari data extraksi data dari sistem sumber, yaitu: Extraction frequencies Extraction method Business rules untuk data extraction

51 Pengenalan Metadata END-USER METADATA Adalah Peta Navigasi pada data warehouse

52 Pengenalan Metadata FUNGSI METADATA Menggabungkan semua bagian pada data warehouse Menyediakan informasi tentang isi dan struktur pada pengembang Membuka pintu bagi end - user dan membuat isi yang dapat dikenal oleh mereka.

53 Contoh Software Data Mart SmartMart (IBM) Visual Warehouse (IBM) PowerMart (Informatica)