ABSTRAK. Kata kunci: Change Data Capture, Real-Time, Data Warehouse, Database Management System, Binary Log. vii

Transkripsi

1 ABSTRAK Perusahaan yang mengelola data dalam jumlah besar diharuskan memiliki sistem yang kuat yaitu sistem yang bersifat real time agar mampu mengelola data dalam jumlah besar yang bergerak dalam kurun waktu yang sangat cepat. Sistem yang kuat juga harus mampu mengubah data menjadi informasi yang berguna. Sebuah sistem tentunya harus memiliki media repository yang mampu menyimpan berbagai macam informasi dan data. Data Warehouse digunakan sebagai media repository data yang mempunyai sifat berorientasi subjek, terintegrasi, timevariant, dan bersifat tetap untuk mendukung proses pengambilan keputusan. Data Warehouse dapat dibangun pengelolaannya menjadi bersifat real time. Change Data Capture (CDC) merupakan suatu teknik yang bisa dijadikan sebagai solusi permasalahan untuk membangun real time data warehousing (RTDW). Model pengembangan Change Data Capture dengan Pendekatan Binary Log dibuat untuk merekam segala aktivitas manipulasi data yang terjadi pada tingkat OLTP dan dikelola kembali sebelum disimpan ke dalam Data Warehouse (loading process). Hal ini dapat meningkatkan kualitas pengelolaan data dalam jumlah besar, sehingga terciptanya informasi yang tepat, karena informasi yang tersedia senantiasa diperbarui. Pengujian menunjukkan bahwa pendekatan Binary Log dalam Change Data Capture (BinlogCDC) mampu menghasilkan pengelolaan data secara real time, komunikasi antar sistem yang dinamis, hasil informasi yang valid, dan pengelolaan data tanpa harus kehilangan satupun informasi dari manipulasi data. Kata kunci: Change Data Capture, Real-Time, Data Warehouse, Database Management System, Binary Log vii

2 ABSTRACT Companies that manage large amounts of data must be have a strong system that is a real time system in order to be able to manage large amounts of data moving in a very fast time. Strong systems must also be able to turn data into useful information. A system must have a media repository capable of storing various kinds of information and data. Data Warehouse is used as a media repository of data that has the nature of subject-oriented, integrated, time-variant, and is fixed to decision support system. Data Warehouse can be built into real time business management. Change Data Capture (CDC) can be used as problem solution to build real time data warehousing (RTDW). Change Data Capture development model with the Binary Log Approach is created to record any data manipulation activity that occurs at the OLTP level and is managed back before being stored into the Data Warehouse (loading process). This can improve the quality of data management in large numbers, so that the creation of the right information, because the information available is always updated. Testing shows that the Binary Log approach in Change Data Capture (BinlogCDC) is capable of delivering real time data management, dynamic system communications, valid information results, and data management without losing any information from data manipulation. Keyword: Change Data Capture, Real-Time, Data Warehouse, Database Management System, Binary Log viii

3 DAFTAR ISI COVER... i PERNYATAAN... ii LEMBAR PENGESAHAN TUGAS AKHIR... iii BERITA ACARA TUGAS AKHIR... iv KATA PENGANTAR... v ABSTRAK... vii ABSTRACT... viii DAFTAR ISI... ix DAFTAR GAMBAR... xiii DAFTAR KODE PROGRAM... xvi DAFTAR TABEL... xvii BAB I... 1 PENDAHULUAN Latar Belakang Rumusan Masalah Tujuan Manfaat Batasan Masalah Sistematika Penulisan... 5 BAB II... 7 TINJAUAN PUSTAKA State Of The Art On-Line Transaction Proccessing (OLTP) Data Warehouse Karakteristik Data Warehouse Perbedaan OLTP dan Lingkungan Data Warehouse Real Time Data Warehouse (RTDW) Change Data Capture (CDC) ix

4 2.5 Extraction, Transformation, Loading Database Management System (DBMS) MySQL Berbagai MySQL Client untuk Administrasi Server MySQL Fitur MySQL Kelompok Pernyataan SQL PL/SQL Perbedaan Antara Sistem Batch Dengan Real Time Query Log dan Binary Log BAB III METODELOGI DAN PERANCANGAN SISTEM Tempat dan Waktu Penelitian Alur Penelitian Data Sumber Data Jenis Data Metode Pengumpulan Data Analisis Sistem Definisi Tujuan (Statement of Purpose) Gambaran Umum Sistem Spesifikasi Perangkat Keras Spesifikasi Perangkat Lunak Konfigurasi Binary Log Analisis Pengguna Perancangan Sistem Perancangan Proses Entity Relational Diagram (ERD) Perancangan Basis Data Perancangan Wireframe BAB IV PENGUJIAN DAN ANALISA HASIL x

5 4.1 Rancangan Arsitektur Sistem Alur Aplikasi BinlogCDC Hasil Perancangan User Interface Halaman Login Halaman Register Halaman Dashboard Halaman Mapping Result Hasil Implementasi Fitur Aplikasi Fitur Login dan Register Fitur Koneksi ke Data Warehouse Fitur Metadata Mapping Fitur Add Metadata Schema Fitur Menghapus Metadata Fitur Disconnect Fitur Show All Master Binlog Fitur Show Master Active Penjabaran Hasil Capture Data melalui Binary Log Pengujian Sistem Studi Kasus Pengujian Sistem Alur Pengujian Sistem Pengujian Change Data Capture melalui Binary Log Analisa Hasil Pengujian Sistem Analisa Keberhasilan Sistem Analisa Kegagalan Sistem Perbandingan BinlogCDC dengan sistem CDC yang telah ada sebelumnya Analisa Kelebihan dan Kekurangan Sistem BAB V SIMPULAN DAN SARAN Simpulan Saran xi

6 DAFTAR PUSTAKA CURICULUM VITAE xii

7 DAFTAR GAMBAR Gambar 2.1 Arsitektur Data Warehouse Standar Gambar 2.2 Jenis Data pada Data Warehouse Gambar 2.3 Infrastruktur CDC secara umum Gambar 2.4 Struktur Query Log Event pada Binary Log Gambar 2.5 Struktur Header dan Binary Log Event Gambar 2.6 Ilustrasi Binary Log Dalam Proses Replikasi Gambar 3.1 Bagan Urutan Langkah Penelitian Gambar 3.2 Gambaran Umum Sistem Gambar 3.3 Alur Kerja Aplikasi BinlogCDC Gambar 3.4 File my.ini Gambar 3.5 mysqld pada my.ini Gambar 3.6 Instalasi binary log Gambar 3.7 Ukuran maksimal master Gambar 3.8 Konfigurasi Ignore Database Gambar 3.9 File Master pada Binary Log Gambar 3.10 Status Terbaru File Master Gambar 3.11 Isi File Master Gambar 3.12 Rancangan Sistem Keseluruhan Gambar 3.13 Flowchart Change Data Capture Gambar 3.14 Flowchart Koneksi ke Data Warehouse Gambar 3.15 Flowchart Menjalankan Engine Gambar 3.16 Change Data Capture dengan Pendekatan Binary Log Gambar 3.17 Flowchart Pembacaan Binary Log Gambar 3.18 Flowchart Pengolahan Isi Binary Log Gambar 3.19 Flowchart Pengolahan Query Gambar 3.20 Flowchart Loading Data Gambar 3.21 Flowchart Loading Insert Gambar 3.22 Flowchart Loading Update xiii

8 Gambar 3.23 Flowchart Loading Delete Gambar 3.24 Entity Relationship Diagram BinlogCDC Gambar 3.25 Wireframe Halaman Login Gambar 3.26 Wireframe Halaman Register Gambar 3.27 Wireframe Halaman Dashboard Gambar 4.1 Rancangan Arsitektur BinlogCDC Gambar 4.2 Alur Sistem BinlogCDC Gambar 4.3 Antarmuka Login Aplikasi Gambar 4.4 Antarmuka Register Aplikasi Gambar 4.5 Antarmuka Dashboard Aplikasi Gambar 4.6 Antarmuka Mapping Result Aplikasi Gambar 4.7 Fitur Login pada Aplikasi Gambar 4.8 Fitur Register Pada Aplikasi Gambar 4.9 Fitur Koneksi ke Data Warehouse (Input Koneksi) Gambar 4.10 Fitur Koneksi ke Data Warehouse (Sebelum Terkoneksi) Gambar 4.11 Fitur Koneksi ke Data Warehouse (Tombol Connect) Gambar 4.12 Fitur Metadata Mapping (Memilih Metadata Sumber) Gambar 4.13 Fitur Metadata Mapping (Memilih Metadata Destinasi) Gambar 4.14 Fitur Metadata Mapping (Metadata Mapping Selesai) Gambar 4.15 Fitur Add Metadata Schema Gambar 4.16 Fitur Menghapus Metadata Gambar 4.17 Fitur Disconnect Gambar 4.18 Fitur All Master Binlog Gambar 4.19 Fitur Detail Master Gambar 4.20 Fitur Show Master Active Gambar 4.21 Data Sebelum dimanipulasi Gambar 4.22 Manipulasi Data Gambar 4.23 Hasil Capture Data Gambar 4.24 Hasil Pengolahan Data Gambar 4.25 Struktur Tabel program_studi Gambar 4.26 Struktur Tabel dim_prodi xiv

9 Gambar 4.27 Struktur Tabel biller_tagihan Gambar 4.28 Struktur Tabel fact_biller_tagihan Gambar 4.29 Login Aplikasi Gambar 4.30 Mengoneksikan ke Destinasi Data Gambar 4.31 Memilih Metadata Sumber Gambar 4.32 Memilih Metadata Destinasi Gambar 4.33 Penamaan Studi Kasus Mapping Gambar 4.34 Hasil Sementara dari Pemetaan Data Gambar 4.35 Hasil dari Pemetaan Data Gambar 4.36 Data pada sumber sebelum terjadi manipulasi Gambar 4.37 Data pada destinasi sebelum terjadi manipulasi Gambar 4.38 Melakukan Insert data Program Studi Gambar 4.39 Hasil Capture Insert Data pada Destinasi Program Studi Gambar 4.40 (a) Data Awal (b) Melakukan Update data Program Studi Gambar 4.41 Hasil Capture Update Data pada Destinasi Program Studi Gambar 4.42 Melakukan Delete data Program Studi Gambar 4.43 Hasil Capture Delete Data pada Destinasi Program Studi Gambar 4.44 Data tabel biller_tagihan sebelum manipulasi Gambar 4.45 Data pada destinasi sebelum dilakukan manipulasi Gambar 4.46 Melakukan insert data tagihan Gambar 4.47 Hasil capture proses insert data tagihan Gambar 4.48 Melakukan update pada data tagihan Gambar 4.49 Hasil capture proses update pada tagihan Gambar 4.50 Melakukan delete pada data tagihan Gambar 4.51 Hasil capture proses delete pada tagihan xv

10 DAFTAR KODE PROGRAM Kode Program 2.1 Sintaks Dasar Membuat Stored Procedure Kode Program 2.2 Perintah Memanggil Stored Procedure Kode Program 2.3 Sintaks Dasar Membuat Function Kode Program 2.4 Sintaks Dasar Trigger Kode Program 3.1 Sintaks konfigurasi Ignore Database Kode Program 3.2 Sintaks SHOW MASTER LOG Kode Program 3.3 Sintaks SHOW MASTER STATUS Kode Program 3.4 Sintaks untuk Menghapus File Master Kode Program 3.5 Sintaks untuk Melihat Isi File Master xvi

11 DAFTAR TABEL Tabel 3.1 Rancangan Tabel det_bin Tabel 3.2 Rancangan Tabel process_record Tabel 3.3 Rancangan Tabel staging_table Tabel 3.4 Rancangan Tabel save_dwh_connection Tabel 3.5 Rancangan Tabel metadata_mapping Tabel 3.6 Rancangan Tabel save_mapping Tabel 3.7 Rancangan Tabel user Tabel 4.1 Perbandingan Jenis-Jenis CDC xvii

12 BAB I PENDAHULUAN Bab I Pendahuluan menjelaskan proses dalam mengidentifikasi masalah penelitian. Pembahasan dalam bab ini diantaranya adalah latar belakang masalah, perumusan masalah, tujuan penelitian, dan relevansi atau manfaat kegiatan penelitian terhadap solusi dari permasalahan yang diangkat, ruang lingkup, batasan masalah serta sistematika penulisan dalam penyusunan laporan Tugas Akhir. 1.1 Latar Belakang Perkembangan data dengan jumlah besar mengharuskan organisasi ataupun perusahaan memanfaatkan sistem yang kuat dalam pengelolaan data secara efisien dan mengubahnya menjadi informasi yang berguna. Data dan informasi merupakan salah satu aset terpenting untuk menentukan strategi bisnis dan pengambilan keputusan. Data Warehouse digunakan sebagai media repository data yang memiliki jumlah besar. Data Warehouse merupakan sekumpulan teknologi yang mendukung proses pengambilan keputusan karena data riwayat organisasi yang disimpan. Data Warehouse dibangun dengan mengambil data yang berasal dari sistem operasional. Data Warehouse berbeda dengan sistem operasional yang mana setiap datanya tidak bisa diubah maupun dihapus karena Data Warehouse memang harus menggambarkan riwayat perubahan data. Data Warehouse sudah cukup banyak digunakan di berbagai organisasi yang memiliki koleksi data dalam jumlah besar. Berkembangnya siklus bisnis yang ada pada organisasi besar menyebabkan setiap perubahan data harus tercatat perubahannya. Hal ini bertujuan untuk memudahkan segala proses yang akan dilakukan sesuai dengan kebutuhan perusahaan. Mengelola data dalam Data Warehouse secara real time menjadi salah satu potensi kuat untuk dijadikan solusi pengelolaan data yang terus berubah dalam jumlah besar, serta meningkatkan kualitas manajemen pengelolaan data dalam waktu yang tepat dan nyata. Permasalahan sangat sering terjadi saat 1

13 2 sebuah organisasi besar yang mengelola data dalam jumlah besar tidak menerapkan sistem secara real time. Permasalahan yang sering di alami adalah sistem operasional yang memiliki perubahan data yang relatif cepat namun proses loading data ke dalam Data Warehouse membutuhkan periode tertentu, sehingga data yang ada tidak optimal untuk digunakan sebagai objek analisis dan pengambilan keputusan. Sistem real time akan mengurangi atau bahkan menghilangkan hambatan-hambatan seperti keterlambatan informasi yang berubah pada sistem. Era bisnis yang serba online menyebabkan segala bentuk transaksi terjadi sangat cepat tanpa mengenal waktu. Sering terjadi perubahan yang sangat cepat pada data transaksi tersebut, dikarenakan setiap orang dapat bertransaksi secara bersamaan melalui media internet kapanpun dan dimana saja. Suatu saat ketika proses tersebut berlangsung, data source atau data transaksi telah mengalami perubahan namun belum tercatat ke dalam Data Warehouse. Hal ini jelas menyebabkan informasi yang terbentuk dan tersimpan dalam Data Warehouse sudah tidak valid. Pemrosesan secara real time juga memberikan keuntungan dalam persaingan bisnis antar perusahaan. Menyimpan informasi transaksi penjualan secara real time pada sebuah swalayan, dapat membantu perusahaan tersebut dalam menganalisis produk apa yang menguntungkan ataupun sebaliknya sesuai dengan informasi terkini. Informasi yang disediakan melalui proses real time akan meningkatkan kemampuan perusahaan untuk memaksimalkan pengelolaan data dalam bentuk apapun. Proses sinkronisasi dibutuhkan untuk menyamakan persepsi data saat perubahan data terjadi. Hal ini berkaitan erat dengan extraction, transformation, loading (ETL) dalam membangun Data Warehouse. Terdapat beberapa metode dalam melakukan sinkronisasi pada operational data source (ODS) dan Data Warehouse. Change data capture (CDC) merupakan suatu teknik yang bisa dijadikan sebagai solusi permasalahan pada real time data warehousing (RTDW). CDC bekerja dengan merekam segala aktivitas yang terjadi pada tabeltabel di level on-line transaction processing (OLTP). Setiap perubahan yang terjadi pada OLTP sebagai ODS, akan direkam dan tercatat oleh CDC dalam waktu yang nyata, sehingga data yang mengalami perubahan pada ODS akan tiba

14 3 di Data Warehouse pada waktu yang mendekati waktu sebenarnya (near-real time). Real time Data Warehouse dapat menjadi solusi dari permasalahan yang banyak terjadi pada organisasi yang memanfaatkan Data Warehouse dalam mengelola data dan informasi yang mengalir di dalamnya. Saat suatu perusahaan atau organisasi besar tidak menerapkan RTDW, ada kemungkinan pengambilan keputusan yang dilakukan tidak menemukan solusi atau inovasi dalam membuat strategi baru yang akan diterapkan. Banyak organisasi besar yang telah memanfaatkan CDC untuk membangun RTDW untuk kelancaran proses bisnis yang memang membutuhkan operasi secara real time. Misalnya perusahaan saham yang memerlukan pemantauan secara real time karena informasi selalu berubah dalam hitungan menit atau bahkan detik sekalipun. Badan Meteorologi, Klimatologi, dan Geofisika (BMKG) juga merupakan perusahaan yang telah lama menggunakan CDC dalam memantau data yang berisikan segala informasi aktivitas cuaca, iklim, potensi gempa maupun tsunami yang selalu berubah dalam hitungan detik. Pendekatan binary log merupakan salah satu objek yang dapat digunakan dalam mengembangkan CDC pada real time Data Warehouse. Binary log pada DBMS (Database Management System) berisi semua catatan informasi perubahan yang terjadi pada database baik pada level data maupun struktur, serta durasi waktu yang digunakan setiap kali melakukan eksekusi pada DBMS. Segala aktivitas dari setiap informasi tersebut akan menjadi acuan dalam memperbarui data sehingga data di semua lokasi sistem akan seragam dan terintegrasi secara real time. Binary log juga dapat digunakan untuk melakukan pemantauan sistem dari suatu perusahaan atau organisasi melalui log yang selalu tercatat secara real time di dalamnya. Informasi yang terekam oleh Binary log berisikan segala aktivitas manipulasi data yang terjadi pada database, hal ini tentunya sangat membantu pemantauan sistem dalam memperoleh informasi aktivitas yang dilakukan tanpa hak misalnya informasi yang diubah secara langsung dari database tanpa melalui level aplikasi. Hal seperti ini bisa saja terjadi saat seorang database administrator yang ingin memainkan informasi yang ada dalam database. CDC yang mengacu

15 4 pada binary log dipastikan dapat selalu memperoleh semua informasi yang berkaitan dengan manipulasi data dalam database sehingga tak ada satupun aktivitas manipulasi data yang tak terlihat. Berdasarkan latar belakang diatas dibuatlah suatu Model Pengembangan Change Data Capture pada Real Time Data Warehouse dengan pendekatan Binary Log. Model pengembangan ini dapat membantu dalam merekam segala perubahan yang terjadi pada data source dan kemudian proses load ke dalam Data Warehouse dilakukan secara real time. Proses secara real time dapat memudahkan pengelolaan data demi terciptanya informasi yang tepat, karena informasi yang tersedia senantiasa diperbarui. 1.2 Rumusan Masalah Berdasarkan latar belakang diatas, maka dapat dirumuskan beberapa permasalahan yang akan dibahas dalam penelitian ini, antara lain: 1. Bagaimana mekanisme change data capture pada sistem OLTP yang mengacu pada binary log. 2. Bagaimana membangun aplikasi change data capture untuk merekam aktivitas manipulasi data yang terjadi pada OLTP dengan menggunakan pendekatan binary log. 1.3 Tujuan Kegiatan diciptakan pastilah mempunyai suatu tujuan. Tujuan akan memberikan arah dan tumpuan dalam melaksanakan kegiatan selanjutnya. Tujuan dari model pengembangan adalah: 1. Mengetahui bagaimana mekanisme change data capture pada sistem OLTP yang mengacu pada binary log. 2. Mengetahui bagaimana membangun aplikasi change data capture untuk merekam aktivitas manipulasi data yang terjadi pada OLTP dengan menggunakan pendekatan binary log.

16 5 1.4 Manfaat Membangun suatu model pengembangan melalui penelitian, tentunya terdapat manfaat yang akan didapat dari penelitian, antara lain: 1. Memberikan sumbangan pengetahuan mengenai change data capture pada sistem OLTP dan integrasi dengan sistem RTDW. 2. Menyediakan inovasi baru yang dapat dijadikan alternatif lain dalam membangun CDC pada DBMS melalui Binary Log. 3. Meningkatkan kualitas dan integritas data sehingga baik digunakan dalam pengambilan keputusan oleh organisasi. 4. Tersedianya keseragaman data dan informasi yang up-to-date dalam organisasi atau perusahaan. 1.5 Batasan Masalah Mencapai tujuan dari penelitian ini tentunya terdapat ruang lingkup dan batasan masalah yang diterapkan, maka dilakukan pembatasan asumsi sebagai berikut: 1. DBMS yang digunakan dalam penelitian ini adalah MySQL. 2. Change data capture menangkap manipulasi data yang terjadi pada DBMS melalui binary log. 4. Aplikasi dirancang untuk menangkap manipulasi data yang terjadi pada sistem OLTP dan kemudian melakukan proses load data ke RTDW. 5. Aplikasi harus dipasang pada host yang sama dengan sistem OLTP dan Data Warehouse dapat berada pada host yang berbeda. 6. Proses real time dijalankan dengan bantuan time delay. 1.6 Sistematika Penulisan Sistematika penulisan dari penulisan Tugas Akhir ini dapat dijelaskan sebagai berikut: BAB I : Pendahuluan Bab I berisikan mengenai gambaran umum dari tulisan yang membahas mengenai latar belakang masalah, rumusan masalah, tujuan penelitian,

17 6 manfaat penelitian, batasan masalah, hingga mengenai sistematika penulisan yang digunakan dalam penulisan laporan. BAB II : Tinjauan Pustaka Bab II berisikan mengenai berbagai macam teori penunjang dalam memecahkan permasalahan, yakni mulai dari pembahasan mengenai berbagai binary log serta mengenai teori dalam merancang model pengembangan change data capture yang digunakan dalam penelitian. BAB III : Metodologi dan Perancangan Sistem Bab III membahas mengenai gambaran umum sistem terkait pemodelan skema ke dalam sebuah prototipe yang dibuat, serta sumber data dan metode pengumpulan data. BAB IV : Pengujian dan Analisa Hasil Bab IV berisikan mengenai pembahasan terkait tentang uji coba prototipe sistem beserta analisis sistem secara keseluruhan. Analisa hasil ujicoba aplikasi dengan studi kasus yang digunakan dijabarkan dalam Bab IV pengujian dan analisa hasil. BAB V : Penutup Bab V berisi tentang simpulan tulisan secara keseluruhan yang menjawab permasalahan yang telah dirumuskan sebelumnya. Bab V Penutup juga menampung saran-saran terkait pengembangan sistem selanjutnya. Simpulan merupakan jawaban dari rumusan masalah yang dirumuskan pada awal penelitian.