PERANCANGAN DAN IMPLEMENTASI APLIKASI ETL UNTUK DATA WAREHOUSE KOMPETENSI REKAYASA PERANGKAT LUNAK SKRIPSI HALAMAN JUDUL

Transkripsi

1 PERANCANGAN DAN IMPLEMENTASI APLIKASI ETL UNTUK DATA WAREHOUSE KOMPETENSI REKAYASA PERANGKAT LUNAK SKRIPSI HALAMAN JUDUL MADE MAHADIPTA NIM PROGRAM STUDI TEKNIK INFORMATIKA JURUSAN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS UDAYANA BUKIT JIMBARAN 2016

2 SURAT PERNYATAAN KEASLIAN KARYA ILMIAH Yang bertanda tangan di bawah ini menyatakan bahwa naskah Skripsi dengan judul: Nama Perancangan dan Implementasi Aplikasi ETL : Made Mahadipta NIM : Program Studi : Teknik Informatika Untuk Data Warehouse made.mahadipta@gmail.com Nomor telp/hp : Alamat : Banjar Jelantik Mamoran, Desa Tojan, Klungkung, Bali Belum pernah dipublikasikan dalam dokumen skripsi, jurnal nasional maupun internasional atau dalam prosiding manapun, dan tidak sedang atau akan diajukan untuk publikasi di jurnal atau prosiding manapun. Apabila di kemudian hari terbukti terdapat pelanggaran kaidah-kaidah akademik pada karya ilmiah saya, maka saya bersedia menanggung sanksi-sanksi yang dijatuhkan karena kesalahan tersebut, sebagaimana diatur oleh Peraturan Menteri Pendidikan Nasional Nomor 17 Tahun 2010 tentang Pencegahan dan Penanggulangan Plagiat di Perguruan Tinggi. Demikian Surat Pernyataan ini saya buat dengan sesungguhnya untuk dapat dipergunakan bilamana diperlukan. Jimbaran, Juli 2016 Yang membuat pernyataan, (Made Mahadipta) NIM ii

3 LEMBAR PENGESAHAN TUGAS AKHIR Judul : Perancangan Dan Implementasi Aplikasi ETL Untuk Data Warehouse Kompetensi : Rekasaya Prangkat Lunak Nama : Made Mahadipta NIM : Tanggal Seminar : 25 Juli 2016 Pembimbing I Disetujui Oleh : Penguji I Agus Muliantara, S.Kom., M.Kom. NIP Pembimbing II I Gede Santi Astawa, S.T.,M.Cs. NIP Penguji II Made Agung Raharja, S.Si, M.Cs. NIP Ida Bagus Made Mahendra, S.Kom, M.Kom. NIP Penguji III Luh Arida Ayu Rahning Putri, S.Kom., M.Cs. NIP Mengetahui, Jurusan Ilmu Komputer FMIPA UNUD Ketua, Agus Muliantara, S.Kom., M.Kom. NIP iii

4 Judul : Perancangan Dan Implementasi Aplikasi ETL Untuk Data Warehouse Nama : Made Mahadipta NIM : Pembimbing I : Agus Muliantara, S.Kom, M.Kom Pembimbing II : Made Agung Raharja, S.Si., M.Cs ABSTRAK Perkembangan teknologi informasi pada era globalisasi ini sedang melaju dan tumbuh dengan pesatnya. Tuntutan akan tersedianya informasi bagi pengguna informasi tersebut harus relevan, tepat waktu dan akurat. Bertolak dari hal tersebut manusia mempunyai inovasi-inovasi untuk membuat suatu sistem informasi yang menunjang kegiatan operasional mereka. Dikarenakan banyak kegiatan operasional yang dilakukan maka data transaksi operasional akan semakin banyak pula. Besarnya transaksi yang dilakukan oleh sistem informasi operasional menyebabkan data yang disimpan dalam database menjadi besar sehingga menimbulkan suatu masalah yaitu proses query untuk mendapatkan informasi berupa summary menjadi lambat dan membebani server karena beban proses transaksi dan proses analisis masih dalam satu server. Data warehouse merupakan sebuah solusi sistem informasi yang digunakan untuk menampung semua data summary dari sistem informasi operasional sehingga mampu menghasilkan report berupa summary dengan proses query yang cepat. Untuk memudahkan pembuatan data warehouse, dibutuhkan aplikasi dinamis sebagai penghubung atau middleware yang bertugas membantu pengolahan data sebelum data tersebut digunakan oleh data warehouse. Aplikasi ini disebut ETL (extraction, transformation, loading). Keberadaan ETL ini akan menjadi pondasi dari data warehouse. Keberhasilan mengembangkan aplikasi ETL menggunakan metode SDLC (System Development Life Cycle) serta database Oracle dengan fungsi PL/SQL ini mampu menghasilkan aplikasi ETL yang dinamis. Dinamis mempunyai arti proses dalam ETL dalam data warehouse tersebut bisa disesuaikan oleh pengguna yang menggunakan aplikasi ini. Hasil evaluasi pengujian terhadap sistem dengan menggunakan black box sebesar 95%, dimana dengan menggunaan PL/SQL membuat proses transformasi bisa dilakukan sesuai kebutuhan pengguna tanpa harus melakukan perubahan terhadap kode program aplikasi dan Konfigurasi yang dilakukan pada proses ETL sangat menentukan proses ETL yang akan terjadi dalam sistem. Kata Kunci : Sistem Informasi, Data Warehouse, ETL, PL/SQL iv

5 Title : Perancangan Dan Implementasi Aplikasi ETL Untuk Data Warehouse Name : Made Mahadipta Registration : First Supervisor : Agus Muliantara, S.Kom, M.Kom Second Supervisor : Made Agung Raharja, S.Si., M.Cs ABSTRACT The development of information technology in this era of globalization is speeding and growing rapidly. The demand for the availability of information for users must be relevant, timely and accurate. As a result, humans have innovations to create an information system to support their operations. Due to many operations performed, the data of the transactions will increase. The amount of transactions performed by the operational information system resulted in the data stored in the database becomes large, causing a problem namely the query process to obtain summary information to become slow and burdensome to server because load transaction processing and analysis processes are still in one server. Data warehouse is an information system solution utilized to hold all data summary of operational information system in order to produce a summary report form with the faster query process. To facilitate the production of data warehouse, it takes an ETL application as an interface or middleware assisting the process of data before being applied by the data warehouse. However, ETL application in the market is not dynamic enough to address all the needs of dynamic data processing for the data warehouse in terms of making viewing data and dimensional modeling. Thus, this study was designed to implement a dynamic ETL application as well as to combine ETL application with PL / SQL. By PL / SQL, it would be easier to determine how the data processing is accomplished to support the needs of data warehouse. In addition, the ETL application also features the dynamic data viewing. The success of developing ETL application using SDLC (System Development Life Cycle) as well as Oracle databases with the functions of PL / SQL was capable of producing a dynamic ETL application. Dynamic means that the processes in the ETL of data warehouse ETL can be customized by users who use this application. The results of evaluation testing of the system by using the black box at 95%, which by the use PL / SQL made the transformation process can be carried out according to the user needs without having to make changes to the code of the application program and configuration performed on the ETL process will determine the ETL process that will take place in the system. Keywords: Information Systems, Data Warehouse, ETL, PL / SQL v

6 KATA PENGANTAR Puji syukur penulis panjatkan kehadapan Tuhan Yang Maha Esa/Ida Sang Hyang Widhi Wasa atas karunia-nya sehingga penulis dapat menyelesaikan proposal tugas akhir ini. Proposal tugas akhir yang berjudul Perancangan Dan Implementasi Aplikasi Etl untuk Data Warehouse ini disusun sebagai syarat untuk memenuhi sebagian persyaratan menyelesaikan Program Sarjana S-1 pada Jurusan Ilmu Komputer Universitas Udayana. Dalam penyusunan Proposal Tugas Akhir ini, penulis mendapatkan petunjuk dan bimbingan dari berbagai pihak sehingga dapat diselesaikan dengan baik. Pada kesempatan ini penulis mengucapkan terima kasih yang sebesar-besarnya kepada segenap pihak yang telah membantu, antara lain : 1. Seluruh keluarga besar yang telah memberikan dukungan khususnya bapak dan ibu Drs. I Made Suwista dan ibu Dra.Ni Made Suasrani selaku orang tua yang telah memberikan semangat, doa restu, dan fasilitas sehingga penulis dapat berkonsentrasi dalam menyelesaikan tugas akhir ini. 2. Bapak Agus Muliantara, S.Kom., M.Kom. Selaku Ketua Jurusan Ilmu Komputer Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Udayana sekaligus sebagai Pembimbing I yang telah meluangkan waktu untuk memberikan bimbingan, saran dan masukan dalam penyempurnaan Tugas Akhir ini. 3. Bapak Made Agung Raharja, S.Si, M.Cs. Selaku Pembimbing II yang telah banyak membantu dan meluangkan waktu untuk penyempurnaan Tugas Akhir ini. 4. Bapak-bapak dan Ibu-ibu dosen di Jurusan Ilmu Komputer yang telah memberikan masukan, saran, dan nasehat guna kelengkapan Tugas Akhir ini. 5. Seluruh rekan-rekan mahasiswa di Jurusan Ilmu Komputer yang sudah banyak membantu dalam memberikan saran, kritik, dan pemecahan masalah selama proses pelaksanaan penelitian. 6. Terima kasih yang sebesar-besarnya kepada Ni Nengah Muriani, S.Pd.yang telah memberikan semangat, dukungan, menemani penulis dalam menyusun laporan tugas akhir ini serta menjadi kekasih yang baik untuk penulis selama ini. Penulis menyadari sepenuhnya bahwa Proposal Tugas Akhir ini masih jauh dari sempurna. Oleh karena itu, segala bentuk kritik dan saran yang konstruktif dari berbagai pihak sangat penulis hargai dan harapkan. Akhir kata, semoga Proposal Tugas Akhir ini dapat bermanfaat dalam pengembangan ilmu pengetahuan dan teknologi khususnya dan masyarakat pada umumnya. Bukit Jimbaran, Juli 2015 Penulis vi

7 DAFTAR ISI HALAMAN JUDUL... i SURAT PERNYATAAN KEASLIAN KARYA ILMIAH... ii LEMBAR PENGESAHAN TUGAS AKHIR... iii ABSTRAK... iv ABSTRACT... v KATA PENGANTAR... v DAFTAR ISI... vii DAFTAR TABEL... x DAFTAR GAMBAR... xi DAFTAR LAMPIRAN... xv DAFTAR KODE... xvi BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Tujuan Batasan Masalah Manfaat Metodologi Penelitian Desain Penelitian Experimen dan Pengujian Evaluasi dan Validasi Hasil... 5 BAB II TINJAUAN PUSTAKA Konsep Data Warehouse Karakteristik Data Warehouse Arsitektur Data Warehouse ETL Dalam Data Warehouse Oracle MySQL PostgreSQL vii

8 2.8. SQL Server Visual Studio SDLC (Systems Development Life Cycle) Strategi Pengujian Prangkat Lunak BAB III ANALISIS DAN PERANCANGAN Analisis Kebutuhan Kebutuhan Fungsional Kebutuhan Non-Fungsional Perancangan DFD (Data Flow Diagram) Context Diagram DFD Level DFD Level Perancangan Entity Relationship Diagram (ERD) Drajat Relasi Perancangan Form Aplikasi Tampilan Form Awal Aplikasi Tampilan Form Connection Tampilan Form Extraction Tampilan Form Helper Tampilan Form Transformation and Loading Tampilan Form Data Mart Perancangan Skenario Pengujian BAB IV HASIL DAN PEMBAHASAN Lingkungan Perancangan dan Implementasi Aplikasi Implementasi Database Implementasi Antarmuka Implementasi Form Awal Aplikasi Implementasi Form Connection Implementasi Form Extraction Implementasi Form Helper Implementasi Form Transformation and Loading Implementasi Form Data Mart viii

9 4.4. Implementasi Program Pengujian Perangkat Lunak Pengujian Fungsionalitas Sistem (Black Box) Pengujian Koneksi ke Sistem Sumber Pengujian Proses Ekstraksi Pengujian Proses Cleaning Pengujian Proses Transformasi Pengujian Proses Viewing Data BAB V KESIMPULAN DAN SARAN Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN ix

10 DAFTAR TABEL Tabel 2.1. Perbedaan data operasional dan data warehouse... 7 Tabel 2.2. Tipe data oracle Tabel 2.3. Tipe data numerik Tabel 2.4. Tipe data string Tabel 2.5. Tipe data waktu Tabel 2.6. Tipe data numeric Tabel 2.7. Tipe data karakter Tabel 2.8. Tipe data date/time Tabel 2.9. Tipe data network address type Tabel 3.1. Kebutuhan Fungsional Tabel 3.2. Ceklist Skenario Black Box Testing Tabel 4.1. Contoh inputan dari admin langkah ke-1, 4, 7 dan ke Tabel 4.2. Contoh inputan dari admin langkah ke-2, 5, 8 dan ke Tabel 4.3. Contoh inputan dari admin langkah ke-3, 6, 9 dan ke Tabel 4.4. Inputan dari Admin Create Dimension Table Tabel 4.5. Inputan dari Admin Create Fact Table Tabel 4.6. Inputan ke-1 dari Admin Create Dimension Table langkah ke Tabel 4.7. Inputan ke-2 dari Admin Create Dimension Table langkah ke Tabel 4.8. Inputan ke-3 dari Admin Create Dimension Table langkah ke Tabel 4.9. Inputan chart reoisitory langkah ke 1 dari admin Tabel Inputan chart Order By langkah ke 2 dari admin Tabel Inputan chart Order By Data Limit langkah ke 2 dari admin Tabel Inputan chart parameter langkah ke 3 dari admin Tabel Inputan tabular reoisitory langkah ke 1 dari admin Tabel Inputan tabular Order By langkah ke 2 dari admin Tabel Inputan tabular Order By Data Limit langkah ke 2 dari admin Tabel Inputan tabular parameter langkah ke 3 dari admin Tabel Ceklist Pengujian Kebutuhan Black Box Tabel Hasil Evaluasi Pengujian Black Box x

11 DAFTAR GAMBAR Gambar 2.1. Arsitektur data warehouse (Sumber: Kimball, 2004)... 9 Gambar 2.2. Arsitektur ETL (Sumber : Kimball, 2004) Gambar 2.3. Metode SDLC (Systems Development Life Cycle) Gambar 3.1. Context Diagram Sistem Gambar 3.2. DFD level 0 Aplikasi ETL Gambar 3.3. DFD Level 1 Proses Koneksi Gambar 3.4. DFD Level 1 Proses Ekstraksi Gambar 3.5. DFD Level 1 Proses Transformasi Gambar 3.6. DFD Level 1 Proses Loading Gambar 3.7. DFD Level 1 Proses Data Mart Viewing Gambar 3.8 Entity Relationship Diagram (ERD) bagian Gambar 3.9 Entity Relationship Diagram (ERD) bagian Gambar 3.10 Entity Relationship Diagram (ERD) bagian Gambar Tampilan Form Awal Aplikasi Gambar Tampilan Form Connection Profile Gambar Tampilan Form Create Extraction Profile Gambar Tampilan Form Database Structure Gambar Tampilan Form Extraction Proses Gambar Tampilan Form Extraction Summary Gambar Tampilan Form Extraction, Dimension And Fact Table Gambar Tampilan Form Checking Data Gambar Tampilan Form Create Data Warehouse Table Gambar Tampilan Form Create Dimension Table Gambar Tampilan Form Create Transformation Library Gambar Tampilan Form Execute Transformation Library Gambar Tampilan Form Create Data Mart (Profile Step 1 Step 2) Gambar Tampilan Form Create Data Mart (Step 3 Tabular dan Chart) Gambar Tampilan Form Viewing Data Mart xi

12 Gambar 4.1. Sekema Database Aplikasi ETL Gambar 4.2. Tabel ETL_CONNECTION_DB_TYPE Gambar 4.3. Tabel ETL_CONNECTION_POOL Gambar 4.4. Tabel ETL_EXTRACTION_PROFILE Gambar 4.5. Tabel ETL_EXTRACTION_PROFILE_DETAIL Gambar 4.6. Tabel ETL_CLEANING_CUSTOM_PROFILE Gambar 4.7. Tabel ETL_TRANSFORMATION_PROFILE Gambar 4.8. Tabel ETL_VIEWING_TABLE_PROFILE Gambar 4.9. Tabel ETL_VIEWING_CHART_PROFILE Gambar Tabel ETL_VIEWING_TYPE Gambar Tabel ETL_VIEWING_QUERY_REPOSITORY Gambar Tabel ETL_VIEWING_QUERY_JOIN Gambar Tabel ETL_VIEWING_QUERY_ORDER Gambar Tabel ETL_VIEWING_QUERY_GROUP Gambar Tabel ETL_VIEWING_QUERY_WHERE Gambar Implementasi Form Awal Aplikasi Gambar Implementasi Form Connection Profile Gambar Implementasi Form Create Extraction Profile Gambar Implementasi Form Database Structure Gambar Implementasi Form Extraction Proses Gambar Implementasi Form Extraction Summary Gambar Implementasi Form Extraction, Dimension And Fact Table Gambar Implementasi Form Checking Data Gambar Implementasi Form Create Data Warehouse Table Gambar Implementasi Form Create Dimension Table Gambar Implementasi Form Create Transformation Library Gambar Implementasi Form Execute Transformation Library Gambar Implementasi Create Data Mart Tabular (View Profile) Gambar Implementasi Create Data Mart Tabular (Step 1) Gambar Implementasi Create Data Mart Tabular (Step 2) Gambar Implementasi Create Data Mart Tabular (Step 3) xii

13 Gambar Implementasi Create Data Mart Chart (View Profile) Gambar Implementasi Create Data Mart Chart (Step 1) Gambar Implementasi Create Data Mart Chart (Step 2) Gambar Implementasi Create Data Mart Chart (Step 3) Gambar Implementasi Viewing Data Mart Tabular Gambar Implementasi Viewing Data Mart Chart Gambar Proses Create Connection Profile Gambar Proses Create Extraction Profile Gambar Proses Extraction hingga Extraction Summary Gambar Proses Cleaning Extraction Data Replace Value Gambar Proses Create Data Warehouse Table Dimension dan Fact Gambar Proses Create Dimension Table Reslt Dimension Gambar Proses Create Transformation Library Gambar Proses Execute Transformation Library Gambar Proses Create Data Mart Chart (langkah 1) Gambar Proses Create Data Mart Chart (langkah 2) Gambar Proses Create Data Mart Chart (langkah 3) Gambar Hasil Proses Viewing Data Mart Chart Gambar Proses Viewing Data Mart Tabular (Step 1) Gambar Proses Viewing Data Mart Tabular (langkah 2) Gambar Proses Viewing Data Mart Tabular (langkah 3) Gambar Hasil Proses Viewing Data Mart Tabular Gambar Menu konfigurasi koneksi sistem sumber Gambar Pembuatan konfigurasi pada server MySQL Gambar Pemanggilan profil koneksi Gambar Pemilihan database dan tabel pada sistem sumber Gambar Pembuatan profil ekstraksi Gambar Pemanggilan profil ekstraksi Gambar Proses ekstraksi telah selesai Gambar Form informasi pada proses ekstraksi Gambar Form informasi untuk menghapus tabel lama sebelum diekstrak 107 xiii

14 Gambar Hasil ringkasan ekstraksi Gambar Hasil dari table destination yang berbeda Gambar Kondisi awal pada tabel target Gambar Hasil ekstraksi akhir pada tabel target Gambar Hasil dari tabel sumber dan target sama Gambar Pesan error saat koneksi ke sistem sumber terputus Gambar Menu cleaning data Gambar Konfigurasi pada cleaning date Gambar Hasil dari proses cleaning date Gambar Konfigurasi pada cleaning null value Gambar Hasil proses clening null value Gambar Konfigurasi pada cleaning replace value Gambar Hasil proses clening replace value Gambar Pembuatan library PL/SQL Gambar Contoh tabel pada data warehouse Gambar Contoh tabel hasil ekstraksi dari sistem sumber Gambar Konfigurasi pembuatan tabel dimensi Gambar Isi data yang akan ditransfer ke tabel dimensi Gambar Konfigurasi pada proses transforrmasi Gambar Hasil dari proses transformasi Gambar Konfigurasi viewing data dalam bentuk tabel (langkah ke-1) Gambar Konfigurasi viewing data dalam bentuk tabel (langkah ke-2) Gambar Konfigurasi viewing data dalam bentuk tabel (langkah ke-3) Gambar Hasil dari proses konfigurasi query string Gambar Pemanggilan profil viewing data dalam bentuk grid Gambar Konfigurasi awal pada viewing data dalam bentuk grafik Gambar Konfigurasi menentukan order by Gambar Konfigurasi untuk parameter grafik yang ditampilkan Gambar Hasil viewing data dalam bentuk grafik batang xiv

15 DAFTAR LAMPIRAN LAMPIRAN I Detail Pengujian Fungsional Black Box xv

16 DAFTAR KODE Listing Code 4.1. Kode query save data connection Listing Code 4.2. Kode query menampilkan nama column dari tabel Listing Code 4.3. Kode query insert into ke tabel etl_extraction_profile Listing Code 4.4. Kode query insert into ke tabel etl_extraction_profile_detail.. 81 Listing Code 4.5. Kode query extraction process Listing Code 4.6. Kode query Create Table In Oracle Listing Code 4.7. Kode Generate Insert Sql query string untuk insert data Listing Code 4.8. Kode Insert To Oracle Listing Code 4.9. Kode Query PL/SQL xvi