Mengapa DM: Banjir Data

Ukuran: px

Mulai penontonan dengan halaman:

Download "Mengapa DM: Banjir Data"

Dewi Setiawan
7 tahun lalu
Tontonan:

1 Data Mining

2 Mengapa DM: Banjir Data Twitter: 8000an tweet per detik 600 juta tweet per hari. Facebook: 30 milyar item (link, status, note, foto dst) per bulan. 500 juta user menghabiskan 700 milyar menit per bulan di situs FB. Indomaret: 4500an gerai, asumsikan 3 transaksi per menit = 12 juta transaksi per hari se Indonesia. Kartu kredit visa: berlaku di 200 negara. 10 ribu transaksi per detik 850 juta transaksi per hari.

3 Mengapa Datamining We are drowning in data, but starving for knowledge!

4 Mengapa data mining? Digitalisasi, kemajuan sistem informasi data, data, data (Tera Peta) Web berita, blog, twitter, forum, flickr, fb, youtube Streaming data twitter, sensor (satelit)

5 Evolusi DB 60-an: koleksi data (file system primitif) 70-80: MIS (Sistem Informasi Management) 80-sekarang: OO, Deductive, Spatial, Multimedia 90-sekarang: Web based (XML, web mining), Datawarehouse, OLAP, Text Database, Text + Data mining 05-sekarang: Stream data management and mining, Cloud, Web

6 Apa Data Mining? Data mining (pencarian pengetahuan dari data) Mengekstrak secara otomatis pola atau pengetahuan yang menarik (tidak sederhana, tersembunyi, tidak diketahui sebelumnya, berpotensi berguna) dari data dalam jumlah sangat besar.

7 Apa Datamining? (lanj) Nama alternatif: Knowledge discovery (mining) in databases (KDD), knowledge extraction, data/pattern analysis, data archeology, data dredging, information harvesting, business intelligence dsb Keuntungan bagi organisasi yang menerapkan data mining?

8 Keuntungan Datamining Perusahaan fokus ke informasi yg berharga di datawarehouse/databasenya. Meramalkan masa depan perusahaan dapat mempersiapkan diri

9 Contoh: Midwest grocery chain menggunakan DM untuk menganalisisi pola pembelian: saat pria membeli popok di hari Kamis dan Sabtu, mereka juga membeli minuman. Analisis lebih lanjut: pembeli ini belanja di hari kamis dan sabtu, tapi di hari kamis jumlah item lebih sedikit. Kesimpulan yang diambil: pembeli membeli minuman untuk dihabiskan saat weekend. Tindak lanjut: menjual minuman dengan harga full di hari Kamis dan Sabtu. Mendekatkan posisi popok dan minuman.

10 Contoh Aplikasi Bank me-mining transaksi customer untuk mengidentifikasi customer yang kemungkinan besar tertarik terhadap produk baru. Setelah teknik ini digunakan, terjadi peningkatan 20 kali lipat penurunan biaya dibandingkan dengan cara biaya.

11 Contoh Aplikasi Perusahaan kartu kredit memining data customer untuk mengelompokan customer yang memiliki nilai tinggi yang perlu diprioritaskan.

12 Proses Datamining Pattern Evaluation Task-relevant Data Data Mining Data Warehouse Selection Pembersihan Data Data Integration Databases Diambil dari

13 Diambil dari Data Mining dan Business Intelligence Semakin mendukung pengambilan keputusan Pengambil an Keputusan Presentasi Data Teknik Visualiasi Data Mining Penemuan Informasi End User Business Analyst Data Analyst Eksplorasi Data Statistical Summary, Querying, and Reporting Data Preprocessing/Integrasi, Data Warehouses Sumber Data Database, Web, Paper, Files, Web, eksperimen DBA

14 Data Mining: Multi Disiplin Ilmu Teknologi DB Statistik Machine Learning Data Mining Visualisasi Pattern Recognition Algoritma Ilmu Lain

15 Mengapa tidak analisis data biasa? Jumlah data yang sangat besar Algoritma harus scalable untuk menangani data yang sangat besar (tera) Dimensi yang sangat besar: ribuan field Data Kompleks Aliran data dan sensor Data terstruktur, graph, social networdk, multi-linked data Database dari berbagai sumber, database lama Spasial (peta), multimedia, text, web Software Simulator

16 Tugas (task) dari Data Mining Prediksi: Bagaimana perilaku atribut tertentu dalam data dimasa datang? (predictive) Time series Pattern Sequence Independent-dependent relation Klasifikasi: mengelompokkan data ke dalam kategori berdasarkan sampel yang ada (label diskrit) Feature selection Clustering: mengklasterkan obyek tanpa ada sampel sebagai contoh (descriptive) Association: object association

17 Tujuan Association Rules Memberikan aturan yang berkaitan dengan kehadiran set item dengan set item yang lain Contoh:

18 Association Rules Market-basket model Mencari kombinasi beberapa produk Letakkan SHOES dekat dengan SOCK sehingga jika seorang customer membeli satu dia akan membeli yang lain Transaksi: seseorang membeli beberapa items dalam itemset di supermarket

19 Klasifikasi Yes married no <20k Poor risk >=20k <50k Fair risk salary >=50 Good risk Acct balance <5k Poor risk >5k age <25 Fair risk >=25 Good risk

20 RID Married Salary Acct balance Age Loanworthy 1 No >=50 <5k >=25 Yes 2 Yes >=50 >=5k >=25 Yes 3 Yes 20k..50k <5k <25 No 4 No <20k >=5k <25 No 5 No <20k <5k >=25 No 6 Yes 20k..50k >=5k >=25 Yes Class attribute E(Married)=0.92 Gain(Married)=0.08 E(Salary)=0.33 Gain(Salary)=0.67 E(A.balance)=0.82 Gain(A.balance)=0.18 Expected information I(3,3)=1 Entropy n S j1... S jn E( A) * I( S j1,..., S S j 1 Information gain Gain(A) = I-E(A) 12/30/2011 I( S1, S2,... Sn) pi log n i 1 2 p i Class is no {4,5} jn ) <20k Salary 20k..50k age >=50k <25 >=25 Class is no {3} Class is yes {6} E(Age)=0.81 Gain(Age)=0.19 Class is yes {1,2}

21 10 10 Klasifikasi Ex# Country Marital Status Income 1 England Single 125K Yes 2 England Married Yes 3 England Single 70K Yes 4 Italy Married 40K No 5 USA Divorced 95K No 6 England Married 60K Yes 7 England 20K Yes 8 Italy Single 85K Yes 9 France Married 75K No hooligan Country Marital Status Income England Single 75K? Turkey Married 50K? England Married 150K? Divorced 90K? Single 40K? Itlay Married 80K? Hooligan Test Set 10 Denmark Single 50K No Training Set Learn Classifier Model

22 10 10 Text Classification Ex# Hooligan An English football fan Yes During a game in Italy Yes England has been beating France Yes Italian football fans were No cheering An average USA salesman earns 75K No The game in London was horrific Yes Manchester city is likely to win the championship Yes Rome is taking the lead in the football league Yes A Danish football fan? Turkey is playing vs. France. The Turkish fans Training Set Learn Classifier Hooligan? Test Set Model

23 Klastering Klastering adalah proses mengelompokkan obyek-obyek yang mirip ke dalam satu klaster. Obyek bisa berasal dari data base customer, produk, gen, mahasiswa, dsb.

24 Klastering Berapa Konsep Salah satu hal yang sangat penting adalah penggunaan ukuran kemiripan (similarity) Jika datanya numerik, fungsi kemiripan ( similarity function) berdasarkan jarak sering digunakan Euclidean metric (Euclidean distance), Minkowsky metric, Manhattan metric. Korelasi, cosinus, kovariance Hiraki, Kmeans, Fuzzy, SOM, Support Vector Clustering

25 Market Basket Analysis

26 3.1 Ide Dasar

27 3.1 Ide Dasar (cont d) Aturan yang menyatakan asosiasi antara beberapa atribut sering disebut Affinity Analysis atau Market Basket Anaysis. Analisis asosiasi (Association Rule) merupakan salah satu teknik yang digunakan untuk menemukan aturan asosiatif antara suatu kombinasi item. Misalnya aturan asosiatif dari analisis pembelian di suatu pasar swalayan adalah dapat diketahuinya berapa besar kemungkinan seorang pelanggan membeli roti bersamaan dengan susu, pasta gigi dengan sikat gigi, bir dengan pampers, dsb. Dengan pengetahuan tsb pemilik pasar swalayan dapat mengatur penempatan barangnya atau merancang kampanye pemasaran terkait dengan pengetahuan yang didapat.

28 3.1 Ide Dasar (cont d) Aturan asosiasi biasanya dinyatakan dalam bentuk: {roti, mentega} {susu} (support=40%, confidence=50%) Aturan tersebut dapat berarti: 1. 50% dari transaksi yang memuat item roti dan mentega juga memuat susu. Sedangkan 40% dari seluruh transaksi memuat ketiga item itu. 2. Seorang konsumen yang membeli roti dan mentega punya kemungkinan 50% juga membeli susu. Aturan ini cukup signifikan karena mewakili 40% dari transaksi yg ada.

29 3.2 Rumus Dasar Nilai support dari aturan A B diperoleh dengan: Support = P (A B) = Transaksi yang mengandung A dan B Transaksi Nilai confidence dari aturan A B diperoleh dengan: Confidence = P (B A) = Transaksi yang mengandung A dan B Transaksi yang mengandung A

30 3.3 Contoh Kasus Misalkan dari suatu database transaksi didapatkan data sbb: Transaksi Dalam bentuk tabular

31 3.3 Definisi Beberapa pengertian: Sebuah itemset merupakan himpunan item-item yang berada dalam himpunan item yang dijual, yaitu {teh, gula, kopi, susu, roti}. k-itemset adalah itemset yang berisi k item. Misalnya {teh, gula} adalah 2-itemset, {teh, gula, roti} adalah 3-itemset. Frequent itemset menunjukkan itemset yang memiliki frekuensi kemunculan lebih dari minimum yang ditentukan ( ). Himpunan dari frequent k-itemset dilambangkan dengan F k.

32 3.3 Definisi (cont d) 5 C 2 = 10 5 C 3 = 10 Jika = 2, maka: Calon 2-itemset Calon 3-itemset F 2 = { {teh, gula}, {gula, kopi}, {gula, susu}, {gula, roti}, {kopi, susu}, {susu, roti}} F 3 = { {gula, susu, kopi} }

33 3.3 Definisi (cont d) Ingat!, nilai confidence dari aturan A B diperoleh dengan: Confidence = P (B A) = Calon aturan asosiasi dari F 3 Jika ditetapkan nilai confidence minimal adalah 60%, maka aturan yg bisa terbentuk adalah aturan 2 dan 3.

34 3.4 Latihan Berdasarkan contoh transaksi yang diberikan, hitunglah!

35 Jawaban: 3.4 Latihan (cont d)

dokumen-dokumen yang mirip

Sistem Informasi

Sistem Informasi Penggalian data (pencarian pengetahuan tersembunyi dari data) untuk prediksi masa datang Mengekstrak secara otomatis pola atau pengetahuan yang menarik (tidak sederhana, tersembunyi, tidak diketahui sebelumnya,