Implementasi Data Warehouse dan Big Data Pada Smart City Mempergunakan No SQL Database Manggo DB

Transkripsi

1 Implementasi Data Warehouse dan Big Data Pada Smart City Mempergunakan No SQL Database Manggo DB Roy Mubarak, S.T., M.Kom STMIK Eresha, Jurusan Teknik Informatika Jl Raya Puspitek No 11, Serpong, Kec. Setu, Kota Tangerang Selatan, Banten ABSTRAK Penggunaan Sistem manajemen basis data atau Relational Database Management System (RDBMS) saat ini menjadi dominan untuk digunakan sebagai media penyimpanan data pada web dan aplikasi. Banyak aplikasi Sistem manajemen basis data yang tersedia saat ini, baik berbayar ataupun dapat digunakan dengan bebas. Beberapa contoh aplikasi yang sering dijumpai diantaranya, MariaDB, PostgreSQL, Microsoft SQL Server dan Oracle DB. Selain Relational Database Management System (RDBMS), ada Document-oriented Database. Document database sangat bertolak belakang dengan Relational Database. Relational database pada umumnya menggunakan table untuk menyimpan data yang sudah didefinisikan tipe data serta fieldnya dan dapat terhubung dengan lintas table. Document Database menyimpan semua informasi yang sudah tersedia dalam satu database, dan setiap data memiliki tipe yang berbeda antara satu sama lain. MongoDB hadir sebagai salah satu aplikasi Document database yang dapat digunakan secara bebas untuk komunitas dan berbayar untuk Enterprise. Hasil dari penelitian ini adalah kita dapat mengetahui bagaimana proses dalam penggunaan aplikasi database yang bertipe Document-oriented Database, perbedaan mendasar antara Document database dengan Relational database, dan mengetahui kebutuhan dari penggunaan MongoDB. Data Warehouse tidak dapat terlepas dari sumber data dan keberadaan data itu sendiri, serta bagaimana data tersebut dikelola dengan baik sesuai dengan tujuan yang ingin dicapai dan dimanfaatkan oleh pengguna. Big Data merupakan sebuah istilah dan teknologi yang semakin banyak dibicarakan dan dibahas serta diterapkan diberbagai organisasi saat ini, terkait dengan pemanfaatan data. Data Warehouse dan Big Data merupakan dua teknologi yang sangat memanfaatkan perkembangan teknologi Basis Data sebagai media penyimpanan data dan informasi yang dibutuhkan oleh pengguna. Salah satu pemanfaatan kedua teknologi ini adalah pada sistem Smart City. Keywords: NoSQL, MongoDB, Database, Datawarehouse, Big Data 1. PENDAHULUAN Data merupakan suatu bagian terpenting dalam perkembangan teknologi, karna dengan data yang tersedia kita bisa mendapatkan informasi yang digunakan untuk berbagai macam keperluan individual, komunitas maupun perusahaan. Dalam pengelolaan data yang tersedia, kita membutuhkan suatu media penyimpanan khusus yang dapat mendefinisikan data tersebut. Media penyimpanan tersebut dikenal sebagai basis data atau database. Pada tahun 2018, penggunaan database masih didominasi oleh Relasional Database Management System yang berbasis SQL. Berikut data Ranking database menurut db-engines.com: Gambar 1.1 Rangking database menurut db-engines.com 1 Jurnal Ilmu Komputer JIK Vol. II No. 01 Agustus 2019

2 sering mengkaitkan sistem basis data dengan DBMS atau database management system (Sistem manajemen basis data). Gambar 2.1 Database Gambar 1.2 Rangking database menurut statista.com.com Database No SQL Menurut Shashank Tiwari (2011:4) NoSQL adalah istilah umum untuk semua basis data yang menyimpan data yang tidak mengikuti prinsip-prinsip RDBMS populer dan mapan, dan sering berhubungan dengan kumpulan data besar yang diakses dan dimanipulasi pada skala Web. Masalah yang dihadapai saat ini adalah bahwa Relasional Database Management System sebagai media penyimpanan memiliki permasalahan penyimpanan untuk data yang tidak terstruktur atau unstructured. MongoDB adalah salah satu NoSql Batabase yang berorientasi dokumen (Document-oriented Database) yang dapat digunakan secara bebas untuk versi Community dan berbayar untuk versi Enterprise. MongoDB hadir sebagai alternatif database yang tersedia untuk menjawab permasalahan tersebut. Saat ini, MongoDB dapat mendukung sebagai media penyimpanan pada banyak bahasa pemrograman yang ada, diantaranya adalah: C, C++, C#,.NET, Java, Node.js, Perl, PHP, Python, Ruby, Scala. Pada makalah ini kami akan menjelaskan implementasi dan penerapan Database No SQL Manggo DB pada Data Warehouse dan Big Data. Sebagaimana diketahui bahwa perkembangan Data Warehouse dan Big Data tidak dapat dipisahkan oleh teknologi Database yang mendukungnya. 2. TINJAUAN PUSTAKA Basis Data Nareswara (2011) mengatakan bahwa sistem basis data pada dasarnya dapat dianggap sebagai tempat atau lokasi untuk sekumpulan berkas data yang sudah terkomputerisasi dengan tujuan untuk memelihara informasi, dan juga memuat informasi tersebut, terutama apabila informasi tersebut sedang dibutuhkan. Sistem basis data memiiki pengertian yang tidak telalu banyak. Hal ini dikarenakan banyak para pakar yang Gambar 2.2 Format Database No SQL Terdapat setidaknya 4 alasan penggunaan Database No SQL: Fleksibilitas: menggunakan skema fleksibel sehingga memungkinkan pengembangan yang lebih cepat dan lebih berulang, sangat ideal dengan data yang semi terstruktur dan tidak terstruktur. Skalabilitas: didesain untuk meningkatkan skala penggunaan klaster perangkat keras yang terdistribusi, meningkatkan skala dengan menambah server. Kinerja tinggi: optimal untuk model data spesifik (seperti dokumen, nilai kunci, dan grafik) dan akses yang memberikan kinerja yang lebih tinggi. Fungsionalitas tinggi: terdapat API dan jenis data fungsional yang dibuat secara khusus untuk setiap model data yang sesuai. Manggo DB MongoDB bukan Relasional database tetapi bertipe Document-oriented Database, sehingga tidak memiliki table, kolom dan baris. Yang ada hanyalah collection dan document. 2 Jurnal Ilmu Komputer JIK Vol. II No. 01 Agustus 2019

3 Dengan menggunakan konsep key-value, support untuk dokumen JSON yang membuat integrasi data dalam beberapa jenis aplikasi lebih mudah dan lebih cepat dengan MongoDB. MongoDB dikembangkan oleh MongoDB Inc., versi yang rilis sebelum October 16, 2018 menggunakan Affero General Public License (AGPL). Tetapi,semua versi MongoDB dan patch yang dirilis setelah tanggal October 16, 2018, menggunakan Server Side Public License (SSPL) v1. Tersedia untuk lintas platform, dan dikembangkan menggunakan C++, C dan JavaScript. Beberapa fitur yang tersedia antaralain : Ad hoc queries, Indexing, File storage, Server-side JavaScript execution, Capped collections. Edisi yang tersedia untuk Community adalah bebas (free), sedangkan untuk Enterprise adalah Commersial yang tersedia dari bagian MongoDB Enterprise Advanced subscription. Warehouse. Kedua Tokoh tersebut adalah William Harvey Inmon yang lebih dikenal dengan sebutan Bill Inmon dan ralph Kimball. Menurut Bill Inmon, Data Warehouse didefinisikan sebagai sekumpulan data yang memiliki enam buah sifat atau karakteristik, yaitu: Berorientasi Subject (Subject Oriented), Terintegrasi (Integrated), Berorientasi Kepada Proses (Process Oriented), Time Variant, Accessible, dan Non-Volatile. Sedangkan menurut Ralph Kimball, Data Warehouse merupakan sebuah system yang mengumpulkan data transaksional dari berbagai sumber data yang mengutamakan adanya 2 hal: Query dan Analisa Data. Dari definisi Ralph ini, dunia database mengenal adanya dua istilah: teknologi transaksi data dan Analisa data, yaitu OLTP (On- Line Transactional Processing) dan OLAP (On-Line Analytical Processing). Gambar 2.3 SQL vs No SQL Contoh tampilan Query data pada Monggo DB: MongoDB: db.imagedescriptions.find({}); JSON JavaScript Object Notation (JSON) adalah format pertukaran data yang ringan. Sangat mudah dibaca dan ditulis bagi manusia dan mesin untuk mem-parsing dan mengolahnya. JSON merupakan subset Bahasa Pemrograman JavaScript, Standard ECMA-262 3rd Edition - December Gambar 2.4 JSON Data Warehouse Terdapat dua buah definisi mengenai Data Warehouse yang merujuk kepada definisi yang diberikan oleh dua orang tokoh yang berperan besar terhadap lahir dan berkembangnya Data Gambar 2.5 Struktur Datawarehouse Big Data Big Data merupakan sebuah istilah dan teknologi yang semakin banyak dibicarakan dan diterapkan dibrbagai organisasi saat ini terkait dengan pemanfaatan data. Terdapat sejumlah definisi mengenai Big Data. Merunut Gartner, Big Data merupakan sejumlah teknologi untuk sekumpulan data yang berukuran sangat besar (Tera Byte maupun Peta Byte ke atas), dengan kompleksitas data yang sangat tinggi dan sangat beragam, laju pertumbuhan jumlah data yang sangat cepat, kemudian jenis data juga sangat beragam (baik yang terstruktur maupun yang tidak terstruktur). Hitachi menyatakan bahwa Big Data bukan hanya sekedar suatu teknologi, namun juga mengenai pendekatan dan fenomena mengenai adanya limpahan data digital dengan volume yang sangat besar dengan keberagaman data yang sangat tinggi, tumbuh sangat cepat dari waktu ke waktu sebagai akibat dari adanya pemanfaatan computer, jaringan komputer terutama internet, serta beragam aplikasi dan layanan teknologi informasi sehingga menjadikan data-data ini tidak dapat ditampung dan diolah dengan menggunakan Database Management System (DBMS) maupun Relational Database Management System (RDBMS) pada umumnya. Oleh karena itu untuk mengatasi hal ini dibutuhkan suatu tempat (source) dan juga teknologi untuk mengatasi gejala Big Data seperti ini. 3 Jurnal Ilmu Komputer JIK Vol. II No. 01 Agustus 2019

4 Suatu tempat yang memungkinkan menampung data-data dari berbagai sumber (Resource) dengan beragam format data yang terstruktur maupun yang tidak terstruktur. Smart City Smart City merupakan sebuah upaya untuk menjadikan sebuah kota untuk dapat menyelesaikan permasalahan yang terjadi, mengelola potensi-potensi yang ada berbasiskan kepada teknologi informasi. Ciri dari sebuah kota yang dapat dikatakan memenuhi unsur dari Smart City antara lain adalah: ramah lingkungan, efisiensi sumber daya energi, berkelanjutan, memiliki daya tahan yang baik terhadap gangguan, mampu melakukan pemindalan terhadap kondisi yang ada, memahami kondisi yang terjadi, serta memberikan aksi terhadap kondisi yang terjadi. Terdapat enam buah karakteristik dari Smart City, yaitu: Smart Economy, Smart Mobility, Smart People, Smart Environment, Smart Living, dan Smart Govermance. Gambar 2.6 Big Data Hubungan Data Warehouse dengan Big Data Oleg Kapustin, seorang arsitek Data Warehouse memiliki pendapat tentang hubungan antara Data Warehouse dengan Big Data adalah bahwa Data Warehouse dapat menjadi salah satu teknologi yang digunakan didalam penerapan Big Data pada suatu organisasi. Oleg berpendapat bahwa fenomena teknologi Big Data yang banyak dibicarakan saat ini bukanlah untuk menggantikan Data Warehouse seluruhnya, melainkan bahwa Big Data memerlukan adanya Data Warehouse sebagai salah satu teknologi yang digunakan didalamnya untuk kebutuhan analisis data, pengambilan keputusan, keakuratan data dan keandalan data. Hal senada juga disebutkan oleh Graham dan Awadalah dari Claudera dan Terada di dalam paper publikasi mereka yang berjudul Hadoop and Data Warehouse When To User Which yang menunjukkan eratnya hubungan antara pemanfaatan Data Warehouse dengan Big Data. Gambar 2.6 Hadoop Structure Gambar 2.7 Smart City 3. METODA PENELITIAN Dalam proses implementasi Smart City dan kebutuhan akan data, Data Warehouse dan Big Data memiliki peranan penting untuk menampung, menangani, mengelola, memproses, hingga menganalisis data majemuk dalam jumlah yang sangat besar. Dalam implementasi Smart City, Big Data memiliki 5 buah peranan penting yaitu: 1. Penyediaan data untuk memantau energi yang digunakan dengan mempergunakan teknologi sensor sepeti Wireless Sensor Natwork dan Internet of Thinks (IOT). 2. Melakukan proses analisis data melalui Data Analytics. 3. Membantu proses managemen yang lebih baik didalam jalannya pemerintahan, layanan publik dan layanan dari pihak swasta kepada masyarakat. 4. Membantu proses peningkatan perekonomian suatu daerah/kota dengan penyediaan data-data mengenai pasar, kebutuhan konsumen dan animo masyarakat mengenai suatu produk atau layanan. 5. Mampu meningkatkan keamanan lingkungan suatu wilayah secara lebih baik dan real time dengan memanfaatkan teknologi Wireless Sensor Network dan CCTV Sedangkan Data Warehouse memiliki tiga buah peran sebagai berikut: 1. Membantu terwujudutnya implementasi dari teknologi Big Data. Data Warehouse dapat menjadi salah satu teknologi yang digunakan dalam Big Data. 2. Membantu wilayah/kota yang menerapkan Smart City didalam melakukan analisis terhadap data-data yang tersedia dengan memanfaatkan teknologi OLAP 4 Jurnal Ilmu Komputer JIK Vol. II No. 01 Agustus 2019

5 3. Membantu penyajian laporan terkait dengan pengolahan dan hasil data yang menjadi sumber informasi sekaligus membantu proses pengambilan keputusan. Dari perannya masing-masing, maka dapat dikatakan secara ringkas bahwa Data Warehouse dan Big Data memiliki hubungan yang sangat erat dan saling berhubungan di dalam implementasi Smart City, tepatnya adalah dalam kebutuhan akan data. Metode penelitian akan difokuskan kepada sistem aplikasi Smart City, fitur aplikasi dan berbagai benefit yang akan didapatkan dengan melakukan implementasi sistem Smart City tersebut, termasuk dibahas tentang penerapan database No SQL Manggo DB yang merupakan salah satu tools pendukung pada proses implementasi ini 4. HASIL DAN PEMBAHASAN Smart City Application Smart City Applicaiton adalah merupakan sebuah platform yang bertujuan untuk memfasilitasi pertukaran, pengolahan dan penyimpanan data dalam sebuah kota yang akan mengimplementasikan sistem Smart City. Data yang berasal dari berbagai sumber diolah untuk kemudian divisualisasikan dalam sebuah Operation Room. Data Warehouse Data Bridging Authentication Rules Access Right Dashboard Services Enterprise Bus Services Error Handling Services Decision Support System Analytics Learning Engine Static Engine 3. Gateway Gateway Traffic Water Sensor Air Sensor Social Media Keunggulan dari Smart City Application Gambar 4.2 Smart City Application / Gambar 4.1 Smart City Application Configuration 1. Command Room Dashboard Management Report Analysis Alert & Notification Geospacial Native Dashboard 2. Smart City Application Data Integration 1. Real Time Monitoring Mendapatkan data yang valid dan update 2. Data Interconnctivity Mempermudah dan mempercepat akses data dari berbagai sumber 3. Analytic Function Mempermudah dalam proses pengambilan keputusan 4. Data Visualization Mempermudah dalam proses pengawasan kondisi wilayah Arsitektur Aplikasi Sistem akan mengintegrasikan data yang berasal dari berbagi sistem, aplikasi, sensor lingkungan dan database. Data-data tersebut kemudian akan dianalisa dan divisualisasikan secara sederhana dalam sebua dashboard yang dapat diakses di monitor Command Room maupun Mobile Device 5 Jurnal Ilmu Komputer JIK Vol. II No. 01 Agustus 2019

6 Gambar 4.3 Smart City Architecture Fitur Smart City Application 1. Data Integration Gambar 4.5 Executive Dashboard 3. Big Data & Data Warehouse Gambar 4.4 Data Integration 2. Dashboard Executive Gambar 4.6 Big Data & Datawarehouse 4. City Analytic 6 Jurnal Ilmu Komputer JIK Vol. II No. 01 Agustus 2019

7 column_type), yang didalamnya telah terdefinisikan nama kolom dan tipenya. Pada MongoDB, perintah yang digunakan adalah db.createcollection(name, options). Untuk penjelasannya seperti berikut. Paramete r TABEL I COLLECTION NO SQL DB Type Penjelasan name String Nama collection yang akan dibuat options Document (Pilihan) Penjelasan lengkap tentang memory size dan indexing Gambar 4.7 City Analytic 5. Command Room Command Room adalah sebuah ruangan untuk memonitor keadaan daerah secara real time dan terintegrasi Dalam command room akan terdapat layar untuk memvisualisasi kan data yang berguna dalam proses pengambilan keputusan Insert Document Query yang digunakan untuk memasukan sebuah data pada SQL adalah INSERT INTO tablename (field,field2,...) VALUES (value,value2, ). Sedangkan pada MongoDB untuk memasukan sebuah document adalah db.collection_name.insert(document). Menampilkan Document Untuk menampilkan document yang sudah dimasukan kedalam collection, perintah yang digunakan adalah db.collection_name.find(). Sedangkan untuk Query SQL adalah SELECT field, field2,... FROM table_name, table_name2,... WHERE KESIMPULAN DAN SARAN Gambar 4.8 Command Room Mango DB Pembuatan Document Dalam penggunaan MongoDB, row disebut sebagai document dan table disebut sebagai collection. Jika dalam penggunaan Relational Database perintah SQL yang digunakan untuk membuat database CREATE DATABASE [databasename]. Untuk perintah pada MongoDB adalah use [databasename]. Pembuatan Collection Selanjutnya, untuk pembuatan table pada SQL menggunakan perintah CREATE TABLE table_name (column_name Kesimpulan yang diperoleh dari penelitian ini adalah sebagai berikut: 1. Implementasi Smart City pada sebuah wilayah, contohnya Kabupaten, Kecamatan dan lain sebagainya membutuhkan dukungan teknologi Datawarehouse dan Big Data yang sangat handal, baik dari sisi infrastruktur maupun perangkat lunaknya. 2. Data yang akan disimpan pada sistem Smart City merupakan data yang secara kapasitas sangat besar dan juga memiliki berbagai macam jenis format yang berbeda satu sama lain. 3. Dibutuhkan suatu teknologi penyimpanan data untuk dapat memenuhi kriteria pada poin 1 dan poin Database No SQL Monggo DB dapat dijadikan sebagai salah satu alternatif teknollogi penyimpanan data, karena database ini mampu untuk melakukan penyimpanan data dalam jumlah yang besar (Big Data) dengan berbagai macam jenis format data. 7 Jurnal Ilmu Komputer JIK Vol. II No. 01 Agustus 2019

8 Saran 1. Jika pemerintah kota/kabupaten ataupun propinsi ingin melakukan proses implementasi sistem Smart City, direkomendasikan agar prosesnya dilakukan secara bertahap disesuaikan dengan wilayah yang ingin diimplementasikan. 2. Dengan proses implementasi yang bertahap, maka pemerintah kota dapat melakukan skala prioritas aspekaspek apa saja yang akan didahulukan. 3. Pemerintah kota direkomendasikan untuk bekerja sama dengan pihak swasta professional yang sudah memiliki pengalaman dalam proses implementasi Smart City yang didalamnya termasuk implementasi Datawarehouse dan Big Data. 6. DAFTAR PUSTAKA [1] I Putu Agus Eka Pratama, S.T., M.T, Handbook of Datawarehouse, Practice & Tourism base on Open Source, Informatika [2] Ken Orr, Datawarehouse Technology. Ken Orr Institute. USA [3] Michael Erdmann. The Datawarehouse as a Means to Support Knowledge. Institut fur Angewandte Informatik und Formale Beschreibungsverfahren, University of Karlsruhe (TH) D Karlsruhe, Germany [4] Enrico Franconi, Anand Kamble. A Datawarehouse Conceptual Data Model. Faculty of Computer Science, Free University of Bozen Bolzano, Italy. [5] Apri Junaidi, Studi Perbandingan Performansi Antara MongoDB dan MySQL Dalam Lingkungan Big Data, Annual Research Seminar Vol. 2 - No. 16, 6 Desember 2016 [6] Statista, Diakses pada 26 November [7] Db-Engines, Diakses pada 26 November 2018 [8] Mongodb, Diakses pada 26 November 2018 [9] JSON, diakses pada 26 November 2018 [10] Geek for Geeks, diakses pada 27 November Jurnal Ilmu Komputer JIK Vol. II No. 01 Agustus 2019