Data Mining. Pengenalan Sistem & Teknik, Serta Contoh Aplikasi. Avinanta Tarigan. 22 Nov Avinanta Tarigan Data Mining

Transkripsi

1 Data Mining Pengenalan Sistem & Teknik, Serta Contoh Aplikasi Avinanta Tarigan 22 Nov Avinanta Tarigan Data Mining

2 Outline 1 Pengertian Dasar 2 Classification Mining 3 Association Mining 4 Clustering 5 Penutup 2 Avinanta Tarigan Data Mining

3 Outline Pengertian Dasar 1 Pengertian Dasar 2 Classification Mining 3 Association Mining 4 Clustering 5 Penutup 3 Avinanta Tarigan Data Mining

4 Latar Belakang Pengertian Dasar Banyak data yang telah direkam dan disimpan: Transaksi penjualan supermarket Transaksi perbankan dan kartu kredit Log kunjungan Web (access_log) Akuisisi data dalam penelitian-penelitian seperti astronomi, kesehatan, dll Sistem komputer lebih murah dan cepat (Moore s Law) Kebutuhan untuk berkompetisi dengan strategi yang tepat menjadi lebih tinggi 4 Avinanta Tarigan Data Mining

5 Pengertian Dasar Mengapa Harus Data Mining? Data yang sedemikian besar kadang memiliki informasi yang tersembunyi Kemampuan manusia terbatas untuk mempelototi data-data tersebut dalam analisis 5 Avinanta Tarigan Data Mining

6 Pengertian Dasar Definisi 2 Data Mining Data Rekaman atau catatan terhadap fakta / transaksi / obyek Definisi Ekstraksi informasi yang implisit, tidak diketahui sebelumnya, dan berpotensi berguna Eksplorasi dan analisis, secara otomatis atau tidak, data yang sangat besar untuk menemukan pola-pola yang berguna dan mempunyai arti 6 Avinanta Tarigan Data Mining

7 Pengertian Dasar Pengertian Yang Salah Bukan Data Mining Mencari nomor telepon Bambang Gunawan di buku telepon Indonesia Mencari informasi mengenai Bunga di google.com Data Mining Menemukan bahwa banyak orang bernama Bambang di daerah Jawa Timur Mengelompokkan dokumen web mengenai Bunga sesuai dengan konteks Bunga Bank atau Kredit (Keuangan) Bunga - Tanaman / Pertanian BCL (Artis) 7 Avinanta Tarigan Data Mining

8 Pengertian Dasar Sistem Ekstraksi Pengetahuan KDD (Knowledge Discovery in Databases) 8 Avinanta Tarigan Data Mining

9 Ilmu Data Mining Pengertian Dasar Gabungan dari beberapa bidang ilmu dalam Matematik dan Ilmu Komputer Diperlukan karena: Data yang s(u)angat b(u)esar Dimensi data yang besar Data Heterogen 9 Avinanta Tarigan Data Mining

10 Data Pengertian Dasar Kumpulan obyek data dan atributnya Obyek : record, point, case, sampel, entitas, instan Atribut / variabel / field : karakteristik dari obyek (status pernikahan, umur, dll) 10 Avinanta Tarigan Data Mining

11 Outline Classification Mining 1 Pengertian Dasar 2 Classification Mining 3 Association Mining 4 Clustering 5 Penutup 11 Avinanta Tarigan Data Mining

12 Classification Mining Classification Mining Ekstraksi pola pengelompokan atau pengklasifikasian sebuah himpunan obyek / data (training-set) ke dalam kelas (class) tertentu berdasarkan atribut-atributnya Pola pengelompokan yang ditemukan akan menjadi model pengelompokan Model digunakan untuk memprediksi kelompok data / obyek baru (test-set) 12 Avinanta Tarigan Data Mining

13 Classification Mining Ilustrasi Classification Mining 13 Avinanta Tarigan Data Mining

14 Classification Mining Contoh Aplikasi I Pemakaian Kartu Kredit secara Ilegal Tujuan : mendeteksi adanya penggunaan kartu kredit secara ilegal Pendekatan : Data transaksi sebelumnya (lokasi & waktu transaksi, jenis barang yang dibeli, besar transaksi) Label data-data tersebut dengan Curang atau Aman DM mencari model klasifikasi Curang atau Aman berdasarkan atribut transaksi Menerapkan model tersebut jika ada transaksi baru untuk mempercepat / tepat tindakan preventif 14 Avinanta Tarigan Data Mining

15 Classification Mining Contoh Aplikasi II Deteksi SPAM Tujuan : mendeteksi yang tidak diharapkan secara dini Direct Marketing Tujuan : mencari pengelompokan profil pelanggan agar target marketing sesuai Sky Survey Cataloging Tujuan : mengelompokkan obyek langit hasil pemotretan teleskop ke dalam class-nya 15 Avinanta Tarigan Data Mining

16 Classification Mining Contoh Aplikasi III 16 Avinanta Tarigan Data Mining

17 Teknik / Metode Classification Mining Decision Tree (Pohon Keputusan) Rule-based Methods Memory based reasoning Neural Networks (Jaringan Syaraf Tiruan) Naive Bayes dan Bayesian Belief Networks Support Vector Machines 17 Avinanta Tarigan Data Mining

18 Classification Mining Contoh Model: Pohon Keputusan I 18 Avinanta Tarigan Data Mining

19 Classification Mining Contoh Model: Pohon Keputusan II Bagaimanakah Algoritma Pembentuk Pohon Keputusan Tersebut? 19 Avinanta Tarigan Data Mining

20 Outline Association Mining 1 Pengertian Dasar 2 Classification Mining 3 Association Mining 4 Clustering 5 Penutup 20 Avinanta Tarigan Data Mining

21 Association Mining Association Mining Menemukan pola asosiasi dalam data Adanya kemunculan obyek tertentu berdasarkan kemunculan obyek yang lain 21 Avinanta Tarigan Data Mining

22 Contoh Aplikasi I Association Mining Marketing & Sales Promotion Misalnya pola yang ditemukan : {Susu Anak,...} {Kwaci} Kwaci sebagai konsekuen : bagaimana caranya menaikkan penjualan kwaci Susu Anak sebagai anteseden : jika tidak lagi menjual susu anak, memprediksi produk lain yang ikut jatuh penjualannya Dua-duanya : membuat paket promo Susu Anak, Kwaci, dll 22 Avinanta Tarigan Data Mining

23 Association Mining Contoh Aplikasi II Pengelolaan Rak di Supermarket Tujuan: memudahkan pelanggan berbelanja barang-barang yang sering dibeli bersama Misalnya: ada rak kecil berisi kwaci diletakkan pada bagian susu anak Sistem Rekomendasi Pintar Tujuan: memberikan rekomendasi kepada pelanggan toko buku on-line tentang buku-buku lain yang sering dibeli juga oleh pelanggan lainnya jika membeli buku tertentu 23 Avinanta Tarigan Data Mining

24 Metode Association Mining Rule asosiasi : X Y 1 Membangkitkan semua item-set yang kemunculannya tinggi pada data 1 Bentuk Lattice (struktur yang akan memunculkan semua subset yang diurutkan berdasarkan subset - superset) 2 Menyeleksi item-set dg Support yang tinggi. Support = Jumlah Transaksi Yg Berisi X dany Jumlah Keseluruhan Transaksi 2 Mencari pola asosiasi yang mempunyai confidence yang tinggi 1 Confidence = Mengukur seberapa sering item di Y juga muncul pada transaksi yang berisi X 2 Gunakan pencarian Bread-First-Search atau Depth-First-Search pada Lattice tsb 3 Seleksi akhir dengan Interestingness Measure. Asosiasi{Kopi} {Gula} tentunya tidak menarik 24 Avinanta Tarigan Data Mining

25 Ilustrasi I Association Mining Pembentukan Lattice 25 Avinanta Tarigan Data Mining

26 Ilustrasi II Association Mining Seleksi Support 26 Avinanta Tarigan Data Mining

27 Ilustrasi III Association Mining Seleksi High Confidence 27 Avinanta Tarigan Data Mining

28 Outline Clustering 1 Pengertian Dasar 2 Classification Mining 3 Association Mining 4 Clustering 5 Penutup 28 Avinanta Tarigan Data Mining

29 Clustering Clustering (Penggugusan) Definition Proses mencari gugus-gugus dari sekumpulan obyek sehingga obyek-obyek di dalam sebuah gugus mirip satu dengan lainnya, dan berbeda dengan obyek di luar gugusnya. 29 Avinanta Tarigan Data Mining

30 Contoh Aplikasi I Clustering Web-Document Clustering: Tujuan: mencari gugus dokumen-dokumen Web yang mirip berdasarkan kemunculan istilah penting Pendekatan: mengidentifikasi istilah yang sering muncul pada setiap dokumen, mengukur kemiripan berdasarkan frekwensi kemunculan istilah pada dokumen lainnya Hasil: Web search engine memunculkan dokumen-dokumen yang mirip (dalam 1 gugus) berdasarkan istilah yang dicari 30 Avinanta Tarigan Data Mining

31 Contoh Aplikasi II Clustering Segmentasi Pasar: Tujuan: mencari gugus segmentasi pasar berdasarkan data transaksi untuk keperluan marketing Pendekatan: mempersiapkan data beserta atribut data pelanggan berdasarkan geografi dan data pribadi lainnya mencari gugus pelanggan yang mirip berdasarkan atribut2 tsb melakukan observasi perilaku pasar berdasarkan gugus-gugus pelanggan yang ditemukan Hasil: strategi marketing yang tepat sasaran 31 Avinanta Tarigan Data Mining

32 Clustering Mengukur Kemiripan Atribut Data I Kemiripan (Similarity): ukuran dalam numerik [0,1] yang merepresentasikan kemiripan antara 2 obyek 0 (tidak mirip) < range-kemiripan < 1(sama/mirip sekali) Ketidakmiripan (Disimilarity) vs Kemiripan p dan q adalah nilai atribut dari 2 obyek Tipe Atribut Ketidakmiripan Kemiripan { { 0 ifp = q 0 ifp q Nominal d = s = 1 ifp q 1 ifp = q Ordinal d = p q n s = 1 p q n Interval / Ratio d = p q s = d atau s = 1 1+d 32 Avinanta Tarigan Data Mining

33 Clustering Mengukur Kemiripan Atribut Data II Pengukuran kemiripan variabel kontinyu: Euclidean Distance: dist = n i=1 (p i q i ) 2 Minkowski Distance: dist = ( n i=1 p i q i r ) 1 r 33 Avinanta Tarigan Data Mining

34 Clustering Mengukur Kemiripan Atribut Data III Contoh Euclidean Distance 34 Avinanta Tarigan Data Mining

35 Clustering Contoh Algoritma Pencari Gugus K -Means Clustering, Konsep: Centroid titik tengah gugus Algoritma (asumsi: sudah dilakukan pengukuran kemiripan) 1 Tentukan K points sebagai awal centroids 2 Repeat 3 Buat K buah gugus dengan memasukkan point-point yang dekat dengan centroid 4 Cari centroid baru dari gugus-gugus tersebut 5 Until Centroid tidak berubah 35 Avinanta Tarigan Data Mining

36 Ilustrasi K-Means Clustering 36 Avinanta Tarigan Data Mining

37 Outline Penutup 1 Pengertian Dasar 2 Classification Mining 3 Association Mining 4 Clustering 5 Penutup 37 Avinanta Tarigan Data Mining

38 Penutup OnLine Analytical Processing I Diusulkan oleh E.F. Codd (Bapak Relational Database) Data tidak diolah dari database, melainkan dibentuk dalam array multidimensi Data dapat direpresentasikan sebagai titik / point dalam ruang multi-dimensi jika atribut 2 nya adalah numerik Matriks m n dapat merepresentasikan model data tsb, dimana terdapat m obyek dan n atribut (Data Cube) Keuntungan: explorasi, operasi, dan transformasi data dapat lebih mudah dilakukan dan (hampir) real-time 38 Avinanta Tarigan Data Mining

39 Penutup OnLine Analytical Processing II Banyak analisis terhadap transaksi bisnis dengan volume besar dapat dilakukan dengan menggunakan OLAP OLAP menjadi Jargon banyak Vendor 39 Avinanta Tarigan Data Mining

40 Penutup Informasi Mengenai Data Mining Tan, Steinbach, Kumar, Introduction to Data Mining 40 Avinanta Tarigan Data Mining

41 Selesai Penutup TERIMAKASIH presentasi ini sendiri dapat didownload dari 41 Avinanta Tarigan Data Mining