RANCANG BANGUN DATA CLEANSING DAN KONVERSI OLTP KE DATA MART DENGAN METODE LINGUISTIC MATCHING

Transkripsi

1 RANCANG BANGUN DATA CLEANSING DAN KONVERSI OLTP KE DATA MART DENGAN METODE LINGUISTIC MATCHING TUGAS AKHIR Diajukan guna memenuhi sebagian persyaratan dalam rangka menyelesaikan Pendidikan Sarjana Strata Satu (S1) Program Studi Teknologi Informasi PANDE WAYAN ARTHA PRADANA NIM: JURUSAN TEKNOLOGI INFORMASI FAKULTAS TEKNIK UNIVERSITAS UDAYANA 2016 vi

2 RANCANG BANGUN DATA CLEANSING DAN KONVERSI OLTP KE DATA MART DENGAN METODE LINGUISTIC MATCHING TUGAS AKHIR Diajukan guna memenuhi sebagian persyaratan dalam rangka menyelesaikan Pendidikan Sarjana Strata Satu (S1) Program Studi Teknologi Informasi PANDE WAYAN ARTHA PRADANA NIM: JURUSAN TEKNOLOGI INFORMASI FAKULTAS TEKNIK UNIVERSITAS UDAYANA 2016 ii

3 PERNYATAAN Dengan ini saya menyatakan bahwa dalam Laporan Tugas Akhir ini tidak terdapat karya yang pernah diajukan untuk memperoleh gelar kesarjanaan di suatu perguruan tinggi dan sepanjang pengetahuan saya juga tidak terdapat karya atau pendapat yang pernah ditulis atau diterbitkan oleh orang lain, kecuali yang secara tertulis diacu dalam naskah ini dan disebutkan dalam daftar pustaka. Badung, 27 September 2016 Pande Wayan Artha Pradana iii

4 KEMENTERIAN RISET, TEKNOLOGI DAN PENDIDIKAN TINGGI UNIVERSITAS UDAYANA FAKULTAS TEKNIK JURUSAN TEKNOLOGI INFORMASI Gedung Teknologi Informasi, Kampus Bukit Jimbaran Bali Telepon: : it@it.unud.ac.id laman: LEMBAR PENGESAHAN JUDUL : RANCANG BANGUN SKEMA DATA CLEANSING DAN KONVERSI OLTP KE DATA MART DENGAN METODE LINGUISTIC MATCHING NAMA : PANDE WAYAN ARTHA PRADANA NIM : JURUSAN : TEKNOLOGI INFORMASI FAKULTAS : TEKNIK TANGGAL DIUJI : 27 SEPTEMBER 2016 Dosen Pembimbing I, Menyetujui, Dosen Pembimbing II, I Made Sukarsa, S.T., M.T. Putu Wira Buana, S.Kom., M.T NIDN NIDN Mengetahui Ketua Jurusan Teknologi Informasi Fakultas Teknik Universitas Udayana Dr. Eng. I Putu Agung Bayupati, S.T., M.T. NIDN iv

5 LEMBAR BERITA ACARA v

6 KATA PENGANTAR Puji dan syukur dipanjatkan kehadapan Ida Sang Hyang Widhi Wasa/Tuhan Yang Maha Esa, karena atas Asung Kerta Wara Nugraha-Nya, tugas akhir dengan judul Rancang Bangun Skema Data Cleansing dan Konversi OLTP ke Data Mart dengan Metode Linguistic Matching dapat diselesaikan. Masukan dan bimbingan dari berbagai pihak sangat membantu selama pelaksanaan tugas akhir ini, untuk itu diucapkan terima kasih kepada: 1. Bapak Prof. Ir. Ngakan Putu Gede Suardana, M.T., Ph.D., selaku Dekan Fakultas Teknik Universitas Udayana. 2. Bapak Dr. Eng. I Putu Bayupati, S.T., M.T., selaku Ketua Jurusan Teknologi Informasi Universitas Udayana. 3. Bapak I Made Sukarsa, S.T., M.T., selaku dosen pembimbing I dan Bapak Putu Wira Buana, S.Kom., M.T., selaku dosen pembimbing II yang telah banyak memberikan masukan dan bimbingan selama penyusunan tugas akhir ini. 4. Bapak A. A. K. Agung Cahyawan W., S.T., M.T., selaku dosen pembimbing akademik, yang telah memberikan bimbingan selama menempuh pendidikan di Jurusan Teknologi Informasi Fakultas Teknik Universitas Udayana. 5. Kedua orang tua dan keluarga yang telah memberikan dukungan dan motivasi dalam pembuatan tugas akhir ini. 6. Teman-teman seperjuangan dan segenap civitas di Jurusan Teknologi Informasi Universitas Udayana yang telah memberikan sumbangan ide, pemikiran, dan dukungan dalam penyusunan tugas akhir ini. Tugas akhir ini tentunya masih jauh dari sempurna. Akhir kata penulis memohon maaf jika ada kesalahan dalam penulisan tugas akhir ini. Badung, 27 September 2016 Pande Wayan Artha Pradana vi

7 ABSTRAK Data mart adalah data warehouse tingkat retail dimana data dapat diakses secara langsung oleh end-user. Data cleaning, atau disebut juga data cleansing atau scrubbing merupakan usaha meningkatkan kualitas data dengan mendeteksi serta menghapus error dan inkonsistensi data. Data cleansing sangat diperlukan ketika integrasi dilakukan pada beberapa sumber data seperti pada data warehouse, federated database system, sistem informasi global berbasis web, dan sebagainya. Penelitian menggunakan Metode Linguistic Matching untuk melakukan data cleansing dalam membangun data mart. Linguistic Matching merupakan teknik yang didasarkan pada nama atau deskripsi sebuah elemen dengan menggunakan stemming, tokenization, string, dan substring matching, dan teknik information retrieval. Sistem menerima konfigurasi dari Database Administrator berupa skema OLTP yang terdiri dari informasi tabel dan field yang diproses oleh modul preprocessing sistem. Sistem membandingkan skema utama dan skema pembanding yang sudah melewati modul preprocessing untuk menemukan kecocokan pada data. Keluaran sistem adalah data bersih yang dapat digunakan untuk membangun data mart dari skema utama. Software yang digunakan pada penelitian ini adalah Sublime Text, MySQL Workbench dan XAMPP Server. Sistem dibangun menggunakan Bahasa Pemrograman PL/SQL dan PHP. Hasil pengujian pada sistem sudah sesuai dengan harapan dimana akurasi perbandingan maksimal mencapai 96,00% pada threshold 90%. Kata kunci : Data Mart, Linguistic Matching, OLTP, Data Cleansing, PL/SQL. vii

8 ABSTRACT Data mart is retail version of data warehouse where end user can access it directly. Data cleaning or data cleansing or data scrubbing is an attemp to increase data quality by detecting and removing inconsistency or error in data. Data cleansing is required when integration performed from many data source, like data warehouse, federated database system, web based information system, etc. Linguistic Matching is used in this research to perform data cleansing with intention to build data mart. Linguistic Matching is a technique that based on name or description of an element, using stemming, tokenization, string, substring matching, and information retrieval. System is designed to accept configuration from Database Administrator in the form of OLTP schema information that consists of table and field information to process in preprocessing module. System will compare two schema wich is primary schema and secondary schema that already preprocessed before to find match between data. System output will be used to build data mart from source OLTP. Software used in this research is Sublime Text, MySQL Workbench, and XAMPP server. System build with PL/SQL and PHP. The test result is quite satisfactory. System accuracy is up to 96.00% when threshold is set to 90%. Keywords: Data Mart, Linguistic Matching, OLTP, Data Cleansing, PL/SQL. viii

9 DAFTAR ISI HALAMAN SAMPUL... i HALAMAN JUDUL... ii LEMBAR PERNYATAAN... iii LEMBAR PENGESAHAN... iv LEMBAR BERITA ACARA... v KATA PENGANTAR... vi ABSTRAK... vii ABSTRACT... viii DAFTAR ISI... ix DAFTAR GAMBAR... xii DAFTAR KODE PROGRAM... xiv DAFTAR TABEL... xv BAB I PENDAHULUAN... Error! Bookmark not defined. 1.2 Rumusan Masalah... Error! Bookmark not defined. 1.3 Batasan Masalah... Error! Bookmark not defined. 1.4 Tujuan Penelitian... Error! Bookmark not defined. 1.5 Manfaat Penelitian... Error! Bookmark not defined. 1.6 Sistematika Penulisan... Error! Bookmark not defined. BAB II TINJAUAN PUSTAKA... Error! Bookmark not defined. 2.1 State of the Art... Error! Bookmark not defined. 2.2 Data Warehouse... Error! Bookmark not defined Karakteristik Data Warehouse... Error! Bookmark not defined Perbedaan OLTP dan Lingkungan Data Warehouse. Error! Bookmark not defined Arsitektur Data Warehouse... Error! Bookmark not defined Data Mart... Error! Bookmark not defined. 2.3 Schema Matching... Error! Bookmark not defined Teknik Schema Matching... Error! Bookmark not defined. 2.4 Metode Linguistic Matching... Error! Bookmark not defined Normalisasi (Normalization)... Error! Bookmark not defined Kategorisasi (Categorization)... Error! Bookmark not defined Komparasi (Comparison)... Error! Bookmark not defined. 2.5 Stemming... Error! Bookmark not defined. 2.6 MySQL... Error! Bookmark not defined Fitur MySQL... Error! Bookmark not defined PL/SQL... Error! Bookmark not defined. 2.7 Struktur Data Skema OLTP Studi Kasus... Error! Bookmark not defined Skema OLTP Sistem Informasi Manajemen Akademik (SIMAK) Universitas Udayana... Error! Bookmark not defined Skema OLTP Sistem Informasi Manajemen Kepegawaian (SIMPEG) Universitas Udayana... Error! Bookmark not defined. ix

10 BAB III METODE DAN PERANCANGAN SISTEM... Error! Bookmark not defined. 3.1 Tempat dan Waktu Penelitian... Error! Bookmark not defined. 3.3 Data... Error! Bookmark not defined Sumber Data... Error! Bookmark not defined Jenis Data... Error! Bookmark not defined Metode Pengumpulan Data... Error! Bookmark not defined. 3.4 Analisis Sistem... Error! Bookmark not defined Definisi Tujuan (Statement of Purpose) Error! Bookmark not defined Gambaran Umum Sistem... Error! Bookmark not defined Spesifikasi Perangkat Keras... Error! Bookmark not defined Spesifikasi Perangkat Lunak... Error! Bookmark not defined Analisis Pengguna... Error! Bookmark not defined. 3.5 Perancangan Sistem... Error! Bookmark not defined Perancangan Proses... Error! Bookmark not defined Entity Relationship Diagram (ERD)... Error! Bookmark not defined Normalisasi... Error! Bookmark not defined Perancangan Basis Data... Error! Bookmark not defined Perancangan Wireframe Aplikasi... Error! Bookmark not defined. BAB IV HASIL DAN PEMBAHASAN... Error! Bookmark not defined. 4.1 Rancangan Arsitektur Sistem... Error! Bookmark not defined. 4.2 Alur Aplikasi Linguistic Cleaner... Error! Bookmark not defined. 4.3 Hasil Perancangan User Interface.... Error! Bookmark not defined Halaman Login... Error! Bookmark not defined Halaman Register... Error! Bookmark not defined Halaman Dashboard... Error! Bookmark not defined Halaman Redirect... Error! Bookmark not defined. 4.4 Hasil Perancangan Fitur Aplikasi... Error! Bookmark not defined. 4.5 Pengenalan Proses Tokenisasi... Error! Bookmark not defined. 4.6 Pengujian Sistem... Error! Bookmark not defined Studi Kasus Pengujian Sistem... Error! Bookmark not defined Alur Pengujian Sistem... Error! Bookmark not defined Analisa Proses Komparasi... Error! Bookmark not defined Pengujian Komparasi Data... Error! Bookmark not defined Analisa Kecepatan Proses Data... Error! Bookmark not defined. BAB V PENUTUP... Error! Bookmark not defined. 5.1 Simpulan... Error! Bookmark not defined. 5.2 Saran... Error! Bookmark not defined. DAFTAR PUSTAKA x

11 xi

12 DAFTAR GAMBAR Gambar 2.1 Perbedaan Mendasar Sistem OLTP dan Data warehouse Gambar 2.2 Arsitektur Data warehouse Standar Gambar 2.3 Arsitektur Data warehouse dengan Staging Area Gambar 2.4 Arsitektur Data warehouse dengan Staging Area dan Data Mart Gambar 2.5 Ilustrasi Schema Matching Gambar 2.6 Rangkuman Proses Matching, Mapping, dan Pertukaran Data Gambar 2.7 Gambaran sederhana demonstrasi Schema matching Gambar 2.8 Klasifikasi Metode Stemming Gambar 2.9 Klasifikasi Masalah Kualitas Data Gambar 2.10 Struktur Tabel tb_dosen pada SIMAK Gambar 2.11 Struktur Tabel m_dosen pada SIMPEG Gambar 3.1 Bagan Urutan Langkah Penelitian Gambar 3.2` Gambaran Umum Sistem Gambar 3.3 Alur Kerja Data Cleansing dengan Metode Linguistic Matching Gambar 3.4 Rancangan Sistem Keseluruhan Gambar 3.5 Flowchart Rancang Bangun Data Cleansing dengan Metode Linguistic Matching Gambar 3.6 Flowchart Linguistic Matching Gambar 3.7 Flowchart Proses Tokenisasi Gambar 3.8 Flowchart Ekspansi Token Gambar 3.9 Flowchart Proses Komparasi Gambar 3.10 Flowchart Proses Banding Berurutan Gambar 3.11 Ilustrasi Komparasi Berurutan Gambar 3.12 Flowchart Proses Banding Acak Gambar 3.13 Ilustrasi Komparasi Acak Gambar 3.14 Entity Relationship Diagram Linguistic Cleaner Gambar 3.15 Proses Normalisasi tb_olah Gambar 3.16 Proses Normalisasi tb_detolah Gambar 3.17 Bentuk Normal tb_dict Gambar 3.18 Bentuk Normal tb_user Gambar 3.19 Proses Normalisasi tb_match Gambar 3.20 Wireframe Halaman Login Gambar 3.21 Wireframe Halaman Registrasi Gambar 3.22 Wireframe Halaman Dashboard Gambar 3.23 Wireframe Halaman Redirect Gambar 4.1 Rancangan Arsitektur Linguistic Cleaner Gambar 4.2 Alur Sistem Linguistic Cleaner Gambar 4.3 Antarmuka Login Aplikasi Gambar 4.4 Antarmuka Register Gambar 4.5 Antarmuka Dashboard aplikasi Gambar 4.6 Antarmuka Halaman Redirect xii

13 Gambar 4.7 Fitur Login Pada Aplikasi Gambar 4.8 Fitur Register Pada Aplikasi Gambar 4.9 Fitur Input Skema (Input Database) Gambar 4.10 Fitur Input Skema (Input Field) Gambar 4.11 Fitur Input Skema (Input Field Utama) Gambar 4.12 Fitur Input Skema (Input Field Primary Key) Gambar 4.13 Fitur Olah Data OLTP Gambar 4.14 Fitur Hapus Skema OLTP Gambar 4.15 Fitur Edit Token Gambar 4.16 Fitur Match Data (Pilih Skema Utama) Gambar 4.17 Fitur Match Data (Pilih Skema Pembanding) Gambar 4.18 Fitur Set Ambang Batas (Threshold) Gambar 4.19 Fitur Lihat Data Match Gambar 4.20 Fitur Tambah Data Mart Gambar 4.21 Fitur Tambah Data Mart Gambar 4.22 Fitur Lihat Data Mart Gambar 4.23 Struktur Tabel tb_dosen pada SIMAK Gambar 4.24 Isi Tabel tb_dosen pada Database simak_db Gambar 4.25 Struktur Tabel m_dosen pada SIMPEG Universitas Udayana Gambar 4.26 Isi Tabel m_dosen pada Database simpeg_db Gambar 4.27 Hasil Perbandingan Nama Dosen pada SIMAK dan SIMPEG Tanpa Notasi % Gambar 4.28 Grafik Data Hasil Pemrosesan Sistem Gambar 4.29 Persentase Akurasi Data Gambar 4.30 Grafik Data Hasil Pemrosesan Sistem Gambar 4.31 Persentase Akurasi Data Gambar 4.32 Perbandingan Komparasi Acak dan Komparasi Berurutan Gambar 4.33 Diagram Waktu Pemrosesan Data xiii

14 DAFTAR KODE PROGRAM Kode Program 2.1 Sintaks Dasar Membuat Stored Procedure Kode Program 2.2 Perintah Memanggil Stored Procedure Kode Program 2.3 Sintaks Dasar Membuat Function Kode Program 2.4 Sintaks Dasar Trigger Kode Program 2.5 Contoh Prepared Statemet Kode Program 2.6 Contoh Aplikasi Prepared Statement Kode Program 2.7 Contoh Aplikasi Prepared Statement Kode Program 4.1 Potongan Kode Program Proses Komparasi xiv

15 DAFTAR TABEL Tabel 3.1 Ilustrasi Tabel Dosen pada Skema OLTP input Tabel 3.2 Ilustrasi Tabel Detil Olah pada Sistem Tabel 3.3 Ilustrasi Tabel Kamus Pada Sistem Tabel 3.4 Ilustrasi Tabel Token pada Sistem Tabel 3.5 Ilustrasi Tabel Detail Olah Tabel 3.6 Rancangan Tabel tb_olah Tabel 3.7 Rancangan Tabel tb_detolah Tabel 3.8 Rancangan Tabel tb_token Tabel 3.9 Rancangan Tabel tb_dict Tabel 3.10 Rancangan Tabel tb_user Tabel 3.11 Rancangan Tabel tb_match Tabel 4.1 Tabel master_paramater Tabel 4.2 Tabel tb_token Tabel 4.3 Perbandingan Hasil Proses dengan Notasi % dan Tidak pada Komparasi Acak Tabel 4.4 Hasil Pencocokan dengan Komparasi Berurutan Tabel 4.5 Hasil Pencocokan dengan Komparasi Acak Tabel 4.6 Pengujian Kecepatan Proses Tokenisasi Tabel 4.7 Pengujian Kecepatan Proses Komparasi Berurut Tabel 4.8 Pengujian Kecepatan Proses Komparasi Acak Tabel 4.9 Perbandingan Waktu yang Diperlukan Oleh Metode Komparasi Berurutan dan Acak xv