APLIKASI PEMBANGUNAN BAYESIAN NETWORK PADA DATA MINING TESIS. HENGKY SIPAYUNG NIM : Program Studi Magister Informatika

Transkripsi

1 APLIKASI PEMBANGUNAN BAYESIAN NETWORK PADA DATA MINING TESIS Karya tulis sebagai salah satu syarat untuk memperoleh gelar Magister dari Institut Teknologi Bandung Oleh HENGKY SIPAYUNG NIM : Program Studi Magister Informatika SEKOLAH TEKNIK ELEKTRO DAN INFORMATIKA INSTITUT TEKNOLOGI BANDUNG 2008

2 ABSTRAK APLIKASI PEMBANGUNAN BAYESIAN NETWORK PADA DATA MINING Oleh HENGKY SIPAYUNG NIM : Data mining adalah proses mengekstrasi data untuk mendapatkan pengetahuan dari kumpulan data yang besar. Salah satu metode data mining adalah klasifikasi yaitu proses pencarian model klasifikasi yang dapat membedakan objek label kelasnya. Bayesian Networks adalah salah satu teknik yang dapat dipakai untuk membangun model klasifikasi. Komponen Bayesian Network terdiri dua komponen yaitu struktur DAG yang menggambarkan hubungan kausalitas antar atribut data dan sebuah tabel yang berisi probabilitas bersyarat berdasarkan atribut sebelumnya. TPDA (Three Phase Dependency Analysis) adalah salah satu algoritma untuk membangun struktur Bayesian Networks. Algoritma ini membangun struktur Bayesian Networks berdasarkan nilai informasi yang terdapat pada dua node. Semakin besar informasi yang mengalir antara dua node maka semakin besar peluang untuk menghubungkan pasangan node tersebut. TPDA terdiri dari tiga fase. Fase pertama disebut drafting yaitu fase penentuan graph awal untuk menghubungkan dua node. Fase kedua disebut thickening yaitu fase menambahkan garis antar dua node yang tidak dapat dipisahkan. Fase ketiga disebut thinning yaitu fase di mana setiap garis antara dua node akan diuji untuk menentukan apakah garis tersebut dapat di hapus atau tidak. Berdasarkan hasil evaluasi kinerja inferensi kelas target menggunakan struktur Bayesian Network yang dihasilkan oleh aplikasi pada tesis ini, terlihat bahwa tingkat akurasi inferensi cukup tinggi. Namun demikian ketika hasil struktur Bayesian ii

3 Networks yang dihasilkan tesis ini dibandingkan dengan struktur yang dihasilkan BN PowerConstructor terdapat perbedaan struktur yang dihasilkan. Oleh sebab itu, aplikasi yang dikembangkan pada tesis ini masih memerlukan perbaikan supaya struktur yang dihasilkan akan sama, mengingat BN PowerConstructor adalah aplikasi yang telah terbukti kebenarannya dalam membangun struktur Bayesian Networks dengan mengimplementasikan algoritma TPDA. Kata kunci : data mining, klasifikasi, inferensi, Bayesian Networks iii

4 ABSTRACT DEVELOPMENT OF APPLICATION OF BAYESIAN NETRWORKS AT DATA MINING By HENGKY SIPAYUNG NIM : Data mining is a process of extracting data to get knowledge from large data repositories. One of method of data mining is classification that is process of seeking model of classification that able to differentiate its class label object. Bayesian Networks is one of technique that able to use to build classification model. Component Bayesian Network compose two component that is DAG structure depicting causality relationship among data attribute and a containing tables of conditional probability based on previous attribute called CPT. TPDA (Three Phase Dependency Analysis) is one of algorithm to build structure of Bayesian Networks. This algorithm builds structure of Bayesian Networks based on value of information is found on two node. Ever greater of value of information can flow of between two node hence is ever greater of opportunity to connect of the nodes. TPDA consist of three phase. First phase is drafting that is phase to determine early graph to connect a pairs of node. Second phase is thickening that is phase that add edge to current structure when a pairs of node can not separated. Third phase is thinning that is phase where each of edge is examined and it will be removed if two node if found to be separated. Based on result of performance evaluation of class inference using structure of Bayesian Network yielded by application in this thesis, seen that level of inference accuration is high enough. But when structure of Bayesian Networks yielded by iv

5 application in this thesis is compared with structure yielded by BN PowerConstructor there are difference between of them. On that account, the application has developed in this thesis still need repaired to get same structure, because BN PowerConstructor which is developed by implementing TPDA algorithm have proven its truth. Keyword : data mining, classification, inference, Bayesian Networks. v

6 HALAMAN PENGESAHAN APLIKASI PEMBANGUNAN BAYESIAN NETWORK PADA DATA MINING Oleh Hengky Sipayung Nim : Program Studi Magister Informatika Institut Teknologi Bandung Menyetujui Pembimbing Tanggal 27 Juni 2008 (Dr.Ing. Ir. Benhard Sitohang) vi

7 PEDOMAN PENGGUNAAN TESIS Tesis S2 yang tidak dipublikasikan terdaftar dan tersedia di Perpustakaan Institut Teknologi Bandung, dan terbuka untuk umum dengan ketentuan bahwa hak cipta ada pada pengarang dengan mengikuti aturan HaKI yang berlaku di Institut Teknologi Bandung. Referensi kepustakaan diperkenankan dicatat, tetapi pengutipan atau peringkasan hanya dapat dilakukan seizin pengarang dan harus disertai dengan kebiasaan ilmiah untuk menyebutkan sumbernya. Memperbanyak atau menerbitkan sebagian atau seluruh tesis haruslah seizin Direktur Program Pascasarjana, Institut Teknologi Bandung. vii

8 Dipersembahkan untuk Orang tuaku : Bpk T. Barth Sipayung dan Ibu Asramawati Br Purba P. untuk istriku : Sri Umi Pujawati dan untuk anak-anakku : Gita Sri Dewi Asmaradana Br. Sipayung dan Azahra Annisa Putri Br. Sipayung viii

9 KATA PENGANTAR Dengan mengucap syukur Alhamdulillah kepada Allah S.W.T, akhirnya penulis dapat menyelesaikan tesis ini sebagai syarat kelulusan Magister Informatika di Institut Teknologi Bandung. Topik yang dipilih berkaitan dengan persoalan data mining, khususnya rekayasa perangkat lunak untuk membangun aplikasi data mining. Metode data mining yang dipilih adalah metode klasifikasi menggunakan Bayesian Networks. Sedangkan metodologi pengembangan perangkat lunak menggunakan metodologi Rational Unified Process. Struktur Bayesian Network dibangun dengan menggunakan algoritma TPDA. Diharapkan semua yang telah dilakukan penulis ini dapat memberikan manfaat sebesarnya khususnya dalam rekayasa perangkat lunak pada data mining. Bandung, 27 Juni 2008 Penulis ix

10 UCAPAN TERIMA KASIH Penulis mengucapkan terima kasih sebesar besarnya kepada semua pihak yang telah membantu penulis dalam menyelesaikan tesis ini : 1. Bapak Dr. Ing. Ir. Benhard Sitohang selaku pembimbing I yang telah menyediakan waktu, tenaga dan pikiran selama proses bimbingan. 2. Ibu Dr. Ir. G.A. Putri Saptawati, M.Comm dan Bapak Dr. techn. Saiful Akbar, S.T, M.T yang telah memberikan kritik dan saran untuk perbaikan tesis ini pada review proposal, seminar, prasidang dan sidang tesis. 3. Ibu Dr.Ir. Inggriani Liem selaku dosen wali yang terus menerus memberikan dorongan untuk menyelesaikan tesis ini. 4. Istri dan anakku yang telah memberikan semangat bagi penulis untuk menyelesaikan tesis ini. 5. Orang tuaku tercinta Bapak T. Barth Sipayung dan Ibu Asramawaty Br. Purba Tambak yang telah memberikan dorongan moril dan materil. 6. Pak Ade, Ibu Nurhayati dan seluruh staf S2 informatika ITB 7. Teman teman RPL Pihak-pihak lain yang tidak bisa disebutkan satu persatu. x

11 DAFTAR ISI ABSTRAK... ii ABSTRACT... iv HALAMAN PENGESAHAN... vi PEDOMAN PENGGUNAAN TESIS... vii KATA PENGANTAR... ix UCAPAN TERIMA KASIH... x DAFTAR ISI... xi DAFTAR LAMPIRAN... xiv DAFTAR GAMBAR... xv DAFTAR TABEL... xvii DAFTAR ISTILAH... xviii DAFTAR SIMBOL... xix BAB. I. PENDAHULUAN... 1 I.1 Latar Belakang Masalah... 1 I.2 Rumusan Masalah... 3 I.3 Tujuan... 4 I.4 Batasan Masalah... 4 I.5 Metodologi Penelitian... 5 I.6 Sistematika Penulisan... 6 BAB. II. TINJAUAN PUSTAKA... 8 II.1 Definisi Data Mining... 9 II.2 Beberapa Metode untuk Data Mining... 9 II.2.1 Aturan Asosiasi... 9 II.2.2 Klasifikasi... 9 II.2.3 Clustering II.3 Bayesian Networks II.4 Fundamental Probabilitas Bayesian II.4.1 Aksioma II.4.2 Prior Probabilitas dan Probabilitas Bersyarat II.5 Dasar Bayesian Networks II.5.1 Definisi Bayesian Networks xi

12 II.5.2 Kaidah Aturan Berantai II.5.3 Topologi Jaringan Bayesian Networks II Koneksi Serial II Koneksi Divergen II Koneksi Konvergen II.5.4 Bebas Bersyarat dan d-separation II.6 Contoh Mengambil Keputusan Menggunakan Bayesian Networks II.7 Algoritma untuk Membangun Struktur Bayesian Networks II.7.1 Three Phase Dependency Analysis (TPDA) II Konsep Dasar TPDA II.7.2 Algoritma TPDA tanpa Pengurutan Node II.8 Kajian Studi Literatur TPDA II.9 Visualisasi pada Data Mining II.9.1 Histogram II.9.2 Pie Chart II.9.3 Bar/Colum Chart II.10 Aplikasi Visualisasi Bayesian Networks II.11 Visualisasi Struktur Bayesian Networks BAB. III. ANALISA PERMASALAHAN III.1 Studi Kasus Data Mining III.1.1 Kriteria Nasabah Aktif dan Nasabah Produktif III Nasabah Produktif III Nasabah Aktif III.1.2 Attribut Data III.2 Aplikasi Klasifikasi dan Visualisasi Data Mining yang di Kembangkan.. 44 III.3 Visualisasi dan Prediksi Kelas Nasabah Bank III.4 Evaluasi Performansi Metode Klasifikasi BAB. IV. ANALISA DAN PERANCANGAN PERANGKAT LUNAK IV.1 Analisa Perangkat Lunak IV.1.1 Deskripsi Umum Perangkat Lunak IV.1.2 Metode Pengembangan Perangkat Lunak SIDAMIBAYES xii

13 IV.1.3 Asumsi dan Batasan Perangkat Lunak IV.1.4 Fungsi Utama Perangkat Lunak IV.1.5 Diagram Use Case IV Definisi Actor IV Definisi Use Case IV Skenario Use Case IV.1.6 Pemodelan Kelas Tahap Analisis IV Identifikasi Kelas IV Identifikasi Interaksi Antar Kelas IV.2 Perancangan Perangkat Lunak IV.2.1 Daftar Kelas Tahap Perancangan IV Realisasi Use Case Tahap Perancangan (Diagram Kelas) IV Deskripsi Atribut dan Operasi IV.2.2 Interaksi Antar Kelas (Sequence Diagram) IV.2.3 Perancangan Struktur Data IV.2.4 Perancangan Antar Muka (Layar) BAB. V. IMPLEMENTASI DAN PENGUJIAN V.1 Implementasi SIDAMIBAYES V.1.1 Implementasi Lingkungan SIDAMIBAYES V.1.2 Implementasi Kelas V.1.3 Implementasi Antar Muka SIDAMIBAYES V.2 Pengujian SIDAMIBAYES V.2.1 Prosedur Pengujian V.2.2 Hasil Pengujian V.3 Evaluasi Kinerja Model Klasifikasi V.4 Analisa Visualisasi Hubungan Kausalitas Struktur yang Dihasilkan V.4.1 Berdasarkan Hasil Evaluasi Kinerja Model Klasifikasi V.4.2 Berdasarkan Aplikasi BN PowerConstructor BAB. VI. KESIMPULAN DAN SARAN VI.1 Kesimpulan VI.2 Saran DAFTAR PUSTAKA xiii

14 DAFTAR LAMPIRAN LAMPIRAN A. Aplikasi Bayesian Networks A.1. Paket Aplikasi BN PowerSoft A.2. GeNie/Smile LAMPIRAN B. Skenario Use Case B.1. Skenario Use Case untuk Konfigurasi B.2. Skenario Use Case untuk Bangun Struktur BN B.3. Skenario Use Case untuk Visualisasi Struktur Bayesian Networks LAMPIRAN C. Daftar Atribut dan Operasi Kelas C.1. Daftar atribut dan Operasi Kelas FormUtama C.2. Daftar atribut dan Operasi Kelas FormKonfigurasi C.3. Daftar atribut dan Operasi Kelas FormVisBNChart C.4. Daftar atribut dan Operasi Kelas FormVisBNCircle C.5. Daftar atribut dan Operasi Kelas FormPrediksiKelas C.6. Daftar atribut dan Operasi Kelas NodeBN C.7. Daftar atribut dan Operasi Kelas NodeStateProb C.8. Daftar atribut dan Operasi Kelas DataTabel C.9. Daftar atribut dan Operasi Kelas CPT C.10. Daftar atribut dan Operasi Kelas Temp_PairNode C.11. Daftar atribut dan Operasi Kelas PairNode LAMPIRAN D. Sequence Diagram D.1. Sequence Diagram untuk Use Case BangunStrukturBN D.2. Sequence Diagram untuk Use Case Visualisasi Struktur Bayes D.3. Sequence Diagram untuk Use Case Prediksi Kelas LAMPIRAN E. Rancangan Antar Muka E.1. Rancangan Antar Muka Form Konfigurasi E.2. Rancangan Antar Muka Form Utama dan Menu E.3. Rancangan Antar Muka Form Visualisasi BN Circle Node E.4. Rancangan Antar Muka Form Visualisasi BN Bar chart Node E.5. Rancangan Antar Muka Form CPT untuk setiap Node E.6. Rancangan Antar Muka Form untuk memprediksi kelas target xiv

15 DAFTAR GAMBAR Gambar 1.1. Proses membangun model klasifikasi [HAN02]... 2 Gambar 2.1. Model Klasifikasi sebagai Fungsi F(x) [TAN01] Gambar 2.2. Contoh sederhana Bayesian Networks [JIE96] Gambar 2.3. Contoh struktur sebuah DAG Gambar 2.4. Contoh struktur Bayesian Networks (CPT tidak ditampilkan) Gambar 2.5. Koneksi Serial [JEN96] Gambar 2.6. Koneksi Divergen [JEN96] Gambar 2.7. Koneksi Konvergen [JEN96] Gambar 2.8. Struktur BN untuk Contoh Kasus Klassifikasi [HAN01] Gambar 2.9. Contoh Multi Koneksi pada Bayesian Networks [JIE01] Gambar 2.9. Contoh struktur BN untuk implementasi TPDA[JIE01] Gambar Prosedur edge_needed_a Gambar Prosedur Orients_Edge Gambar Histogram waktu bepergian sensus penduduk Amerika Gambar Contoh sebuah Pie Chart Gambar Contoh bar chart untuk representasi pemilu Eropa Gambar Contoh bar chart menampilkan pemilu tahun 2004 dan Gambar Contoh Tahapan Visualisasi DAG [HUNG99] Gambar 3.1. Cuplikan Tabel Data Bank dalam format MS. Access Gambar 4.1. Diagram Use Case SIDAMIBAYES Gambar 4.2. Diagram interaksi antar kelas pada tahap analisis Gambar 4.3. Diagram Kelas SIDAMIBAYES Gambar 4.4 Sequence Diagram Use Case Konfigurasi Gambar 5.1. Hasil Implementasi Antar Muka Form Utama Gambar 5.2. Implementasi antar muka Form Konfigurasi Gambar 5.3. Implementasi Antar Muka Form Visualisasi BN Bar chart Gambar 5.4. Implementasi Antar Muka Form Visualisasi BN Circle Gambar 5.5. Implementasi Antar Muka Form Prediksi Gambar 5.6. Implementasi Antar Muka CPT Gambar 5.7. Struktur BN pada BN PowerConstructor xv

16 Gambar 5.8. Struktur BN pada SIDAMIBAYES Gambar A.1. Tampilan Visualisasi Struktur BN pada BN PowerConstructor Gambar A.2. Visualisasi pada Genie/SMILE untuk distribusi probabilitas xvi

17 DAFTAR TABEL Tabel 2.1 Contoh CPT untuk P(X Y) Tabel 2.2 Contoh JPD untuk P(X,Y) Tabel 3.1 Atribut Trainingset Tabel 4.1 Actor SIDAMIBAYES Tabel 4.2. Use case SIDAMIBAYES Tabel 4.3. Identifikasi Kelas Analisis Tabel 4.4 Struktur Data SIDAMIBAYES (Kelas DataTabel) Tabel 4.5 Daftar Antar Muka Pengguna SIDAMIBAYES Tabel 5.1 Lingkungan Implementasi SIDAMIBAYES Tabel 5.2 Daftar Implementasi Kelas Tabel 5.3. Rencana Pengujian Berdasarkan Fungsi (Use Case) Tabel 5.4. Hasil Pengujian Use Case Konfigurasi Tabel 5.5. Hasil Pengujian Use Case Bangun Struktur BN Tabel 5.6. Hasil Pengujian Use Case Visualisasi Struktur BN Tabel 5.7. Hasil Pengujian Use Case Prediksi Kelas Tabel 5.8 Hasil Evaluasi Kinerja Model Klasifikasi xvii

18 DAFTAR ISTILAH Training Set : Data latih, yaitu data yang digunakan untuk membangun model pengklasifikasi. Test Set : Data uji, yaitu data yang digunakan untuk mengukur akurasi model Classifier : Model klasifikasi Decision Tree : Model pengklasifikasi yang berupa pohon keputusan CPT : Singkatan dari (Conditional Probability Table), yaitu tabel yang berisi probabilitas suatu node berdasarkan node lain. Learning : Proses pembelajaran untuk memperoleh model pengklasifikasi Dataset : Kumpulan data Edge : Garis yang menghubungkan simpul Noise data : Data yang bersifat mengganggu / berbeda dengan nilai umumnya data Missing value : Nilai yang kosong Edge : Garis yang menghubungkan antara satu node ke node lain pada struktur Bayesian Network.. Bayesian network : Salah satu pendekatan Bayesian untuk klasifikasi data dengan membuat suatu graph untuk menggambarkan hubungan antar atribut DAG. : Graph berarah yang tidak siklik Node probability table: Tabel peluang dari node node yang ada pada Bayesian network. Data pre-processor : Melakukan perbaikan data untuk menghilangkan noise data atau missing value sebelum dijadikan training data dan testing data. xviii

19 DAFTAR SIMBOL : Aktor yaitu orang yang akan menjalankan aplikasi. : Boundary atau obyek antar muka, yaitu kelas yang berhubungan langsung dengan aktor / lingkungan. : Control, yaitu kelas yang memuat fungsi fungsi transaksional yang menghubungkan boundary dan entity. : Entity, yaitu kelas yang berfungsi untuk menyimpan data / informasi yang digunakan dalam sistem. xix