RANCANG BANGUN APLIKASI EXTRACT, TRANSFORM, DAN LOAD UNTUK DATA WAREHOUSE BERBASIS WEB

Transkripsi

1 i TUGAS AKHIR RANCANG BANGUN APLIKASI EXTRACT, TRANSFORM, DAN LOAD UNTUK DATA WAREHOUSE BERBASIS WEB I KADEK SASTRAWAN JURUSAN TEKNIK ELEKTRO FAKULTAS TEKNIK UNIVERSITAS UDAYANA JIMBARAN BALI 2015

2 ii TUGAS AKHIR RANCANG BANGUN APLIKASI EXTRACT, TRANSFORM, DAN LOAD UNTUK DATA WAREHOUSE BERBASIS WEB I KADEK SASTRAWAN NIM JURUSAN TEKNIK ELEKTRO FAKULTAS TEKNIK UNIVERSITAS UDAYANA JIMBARAN BALI 2015

3 iii

4 iv RANCANG BANGUN APLIKASI EXTRACT, TRANSFORM DAN LOAD UNTUK DATA WAREHOUSE BERBASIS WEB Tugas Akhir Diajukan Sebagai Prasyarat untuk Memperoleh Gelar Sarjana S1 (Strata 1) pada Jurusan Teknik Elektro Fakultas Teknik Universitas Udayana I KADEK SASTRAWAN NIM JURUSAN TEKNIK ELEKTRO FAKULTAS TEKNIK UNIVERSITAS UDAYANA DENPASAR 2015

5 - v

6 vi UCAPAN TERIMA KASIH Pertama-tama perkenankanlah penulis memanjatkan puji syukur ke hadapan Ida Sang Hyang Widhi Wasa/ Tuhan Yang Maha Esa, karena hanya atas asung wara nugraha-nya/kurnia-nya, tugas akhir ini dapat diselesaikan. Pada kesempatan ini perkenankanlah penulis mengucapkan terima kasih yang sebesar-besarnya kepada bapak I Made Arsa Suyadnya, ST., M.Eng sebagai pembimbing I yang dengan penuh perhatian telah memberikan dorongan, semangat, bimbingan, dan saran selama penulis mengikuti program sarjana. Terima kasih sebesar-besarnya pula penulis sampaikan kepada bapak Dr. Ir. Made Sudarama, M.A.Sc. sebagai pembimbing II yang dengan penuh perhatian dan kesabaran telah memberikan bimbingan dan saran kepada penulis. Ucapan terima kasih ini ditujukan kepada Dekan Fakultas Teknik Universitas Udayana yang dijabat oleh bapak Prof. Ir. I Wayan Redana, MA.Sc., Ph.D. atas kesempatan yang diberikan kepada penulis untuk menjadi mahasiswa pada Fakultas Teknik Universitas Udayana. Tidak lupa pula penulis ucapkan terima kasih kepada bapak Ir. I Nyoman Setiawan, MT. Ketua Jurusan Teknik Elektro atas fasilitas dan kesempatan yang diberikan kepada penulis untuk mengikuti serta menyelesaikan pendidikan di PS Teknik Elektro. Ungkapan terima kasih penulis sampaikan pula kepada para penguji tugas akhir, yaitu bapak Ir. Putu Arya Mertasana, M.Si.,MT, bapak Duman Care Krishne, ST., MT, dan bapak Dr. Ir. Ida Bagus Alit Swamardika, M.Erg, yang telah memberikan masukan, saran, sanggahan, dan koreksi sehingga tugas akhir ini dapat terwujud seperti ini. Pada kesempatan ini penulis menyampaikan ucapan terima kasih yang tulus disertai penghargaan kepada Ibu dan Ayah yang telah mengasuh dan membesarkan penulis, memberikan dasar-dasar berpikir logik dan suasana demokratis sehingga tercipta lahan yang baik untuk berkembangnya kreativitas. Akhirnya penulis sampaikan terima kasih kepada kakak, adik, dan teman-teman yang dengan penuh pengorbanan telah memberikan kepada penulis kesempatan untuk lebih berkonsentrasi menyelesaikan tugas akhir ini. Semoga Ida Sang Hyang Widhi Wasa/ Tuhan Yang Maha Esa selalu melimpahkan rahmat-nya kepada semua pihak yang telah membantu pelaksanaan dan penyelesaian tugas akhir ini, serta kepada penulis sekeluarga.

7 vii ABSTRAK Pesatnya perkembangan teknologi informasi mengakibatkan kebutuhan user akan informasi dari sistem operasional menjadi hal yang pokok. Besarnya transaksi operasional mengakibatkan proses query untuk menghasilkan data summary menjadi lama dan membebani server. Data warehouse merupakan solusi dari masalah dalam menampung semua data summary dari sistem informasi operasional. Data warehouse sangat didukung oleh aplikasi back room yang berfungsi dalam proses extract, transform, dan load data yang sering disingkat menjadi ETL. Oleh karena itu dalam penelitian ini diteliti mengenai perancangan dan penerapan aplikasi ETL. Pada penelitian ini akan dirancang aplikasi ETL berbasis web. ETL mampu melakukan proses cleaning data yang berfungsi untuk menjamin kualitas data yang ditransfer ke dalam data warehouse. Aplikasi ini dirancang agar dapat mencatat log mulai dari proses extract, transform, sampai pada proses log sehingga dapat mempermudah operator untuk mengetahui data mana yang gagal diproses. Implementasi dari aplikasi ini dibuat menggunakan PHP. Sistem sumber yang digunakan antara lain MySQL, SQLServer dan ORACLE. Kata kunci: Data Warehouse, ETL, Extract, Transform, Load, Aplikasi

8 viii ABSTRACT The rapid development of information technology will lead to user needs information from operational systems into a main thing. The larger the operational transactions resulting query process to produce a summary of data becomes long and weighed on the server. Data Warehouse is a solution of the problem in accommodating all the data summary of a system supporting operational activities. Data warehouse is strongly supported by the back room application that functions in the process of extract, transform, and load data that often shortened to ETL. Therefore in this research study about the design and implementation of ETL applications. In this research will be designed web-based ETL application. ETL is able to perform data cleaning process serves to ensure the quality of data transferred to the data warehouse. This application is designed to be able to record process ranging from the extract, transform, until the log process so as to allow the operator to determine which data failed to be processed. The implementation of the application is created using php. The system resource used include mysql, sqlserver and oracle. Keywords: Data Warehouse, ETL, Extract, Transform, Load, Application

9 ix DAFTAR ISI SAMPUL HALAMAN... i SAMPUL HALAMAN DALAM... ii LEMBAR PERNYATAAN ORISINALITAS... iii LEMBAR PERSYARATAN GELAR... iv LEMBAR PERSETUJUAN PEMBIMBING... v UCAPAN TERIMA KASIH... vi ABSTRAK... vii ABSTRACT... viii DAFTAR ISI... ix DAFTAR TABEL... xiii DAFTAR GAMBAR... xiv BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Tujuan Manfaat Ruang Lingkup dan Batasan Masalah Sistematika Penulisan... 4 BAB II KAJIAN PUSTAKA Tinjauan Mutakhir Tinjauan Pustaka Konsep Data Warehouse Karakteristik Data Warehouse Arsitektur Data Warehouse ETL dalam Data Warehouse Oracle MySQL SQL Server PHP (Hypertext Preprocessor) Pengujian Perangkat Lunak... 22

10 x BAB III METODE DAN PERANCANGAN Tempat dan Waktu Penelitian Data Sumber Data Metode Pengumpulan Data Analisa Data Analisa Sistem Kebutuhan Perangkat Sistem Perangkat Keras Perangkat Lunak Pemodelan Sistem Daftar Kejadian Gambaran Umum Sistem Hubungan Antar Tabel Entity Relationship Diagram (ERD) Himpunan Entitas Struktur Data Rancangan Antarmuka Pengguna Metode Pengujian BAB IV HASIL DAN PEMBAHASAN Hasil Tahapan Pengujian untuk Mendapatkan Hasil Pembahasan Sistem Tampilan Awal Aplikasi ETL Pembuatan Profil Koneksi Proses ETL dari MySQL ke MySQL Proses ETL dari SQLServer ke MySQL Proses ETL dari Oracle ke MySQL Pengelolaan Profil Pengelolaan User Pengujian Aplikasi Kelebihan dan Kekurangan Sistem... 64

11 xi Kelebihan Sistem Kekurangan Sistem BAB IV SIMPULAN DAN SARAN Simpulan Saran DAFTAR PUSTAKA... xvi

12 xii

13 xiii DAFTAR TABEL Tabel 2.1 Perbandingan Aplikasi... 6 Tabel 2.2 Perbedaan Data Operasional dan Data Warehouse... 8 Tabel 2.3 Tipe Data Oracle Tabel 2.4 Tipe Data Numerik MySQL Tabel 2.5 Tipe Data String MySQL Tabel 2.6 Tipe Data Waktu MySQL Tabel 2.7 Tabel Perbandingan Metode Pengujian Tabel 3.1 Tabel tb_user Tabel 3.2 Tabel tb_log Tabel 3.3 Tabel tb_session_restore Tabel 3.4 Tabel tb_profile Tabel 3.5 Tabel tb_tabel_mapping Tabel 3.6 Tabel tb_field_mapping Tabel 3.7 Tabel tb_log_extract Tabel 3.8 Tabel tb_log_transform Tabel 3.9 Tabel tb_log_load Tabel 3.10 Jadwal Kegiatan Penelitian Tabel 4.1 Tabel Hasil Uji Aplikasi... 60

14 xiv DAFTAR GAMBAR Gambar 2.1 Top-down Approach... 7 Gambar 2.2 Bottom-up Approach... 7 Gambar 2.3 Arsitektur data warehouse Gambar 2.4 Arsitektur ETL Gambar 2.5 Skema HTML Gambar 2.6 Skema PHP Gambar 3.1 Diagram Alur Penelitian Gambar 3.2 Gambaran Umum Sistem Gambar 3.3 Entity Relationship Diagram Gambar 3.4 Rancangan Antarmuka Form Login Gambar 3.5 Rancangan Antarmuka Form Profil Koneksi Gambar 3.6 Rancangan Antarmuka Form Pemetaan Tabel Gambar 4.1 Tampilan Awal Aplikasi ETL Data Warehouse Berbasis Web Gambar 4.2 Halaman Profil Koneksi Gambar 4.3 Pembuatan Profil Koneksi MySQL ke MySQL Gambar 4.4 Form Pemetaan Tabel Gambar 4.5 Hasil Pemetaan Tabel Gambar 4.6 Form Pemetaan Field Gambar 4.7 Hasil Pemetaan Field Gambar 4.8 Hasil Extract Gambar 4.9 Hasil Transform Gambar 4.10 Hasil Load Gambar 4.11 Pembuatan Profil Koneksi SQLServer ke MySQL Gambar 4.12 Form Pemetaan Tabel Gambar 4.13 Hasil Pemetaan Tabel Gambar 4.14 Form Pemetaan Field Gambar 4.15 Hasil Pemetaan Field Gambar 4.16 Hasil Extract Gambar 4.17 Hasil Transform Gambar 4.18 Hasil Load... 51

15 xv Gambar 4.19 Pembuatan Profil Koneksi Oracle ke MySQL Gambar 4.20 Form Pemetaan Tabel Gambar 4.21 Hasil Pemetaan Tabel Gambar 4.22 Form Pemetaan Field Gambar 4.23 Hasil Pemetaan Field Gambar 4.24 Hasil Extract Gambar 4.25 Hasil Transform Gambar 4.26 Hasil Load Gambar 4.27 Pengelolaan Profil Gambar 4.28 Daftar Pemetaan Tabel Gambar 4.29 Daftar Pemetaan Field Gambar 4.30 Daftar Log Gambar 4.31 Daftar User Gambar 4.32 Add User Gambar 4.33 Edit User... 60

16 1