Sebuah lingkungan untuk machine learning, data mining, text mining dan predictive analytics. Machine learning

Transkripsi

1 MENGENAL RAPIDMINER

2 RapidMiner Sebuah lingkungan untuk machine learning, data mining, text mining dan predictive analytics. Machine learning Salah satu disiplin ilmu dari Computer Science yang mempelajari bagaimana membuat komputer/mesin mempunyai suatu kecerdasan. Data mining Proses mengekstrak pola-pola dari data set yang besar dengan mengombinasikan metoda statistika, kecerdasan buatan dan database.

3 RapidMiner Text mining Mirip dengan text analytics, yaitu proses untuk mendapatkan informasi bermutu tinggi dari teks. Predictive analytics Teknik-teknik statistika yang menganalisa fakta masa kini dan masa lalu untuk memprediksi kejadian di masa depan.

4 RapidMiner Open source berlisensi AGPL (GNU Affero General Public License) versi 3. Dimulai pada 2001 oleh Ralf Klinkenberg, Ingo Mierswa, dan Simon Fischer di Artificial Intelligence Unit dari University of Dortmund. Di-host oleh SourceForge sejak Peringkat satu sebagai tool data mining untuk proyek nyata pada poll oleh KDnuggets, sebuah koran data-mining, pada

5 RapidMiner Menyediakan prosedur data mining dan machine learning termasuk: ETL (extraction, transformation, loading), data preprocessing, visualisasi, modelling dan evaluasi. Proses data mining tersusun atas operatoroperator yang nestable, dideskripsikan dengan XML, dan dibuat dengan GUI. Ditulis dalam bahasa pemrograman Java. Mengintegrasikan proyek data mining Weka dan statistika R.

6 Instalasi Sistem Microsoft Windows Download file installer rapidminer-xxxinstall.exe di Double-click file installer dan ikuti instruksinya. Sistem lain Install Java versi 1.5 atau lebih. Download dan ekstrak arsip zip Java binary. Definisikan RAPIDMINER_HOME. Run dengan scripts/rapidminergui.

7 Terminologi Dasar Atribut dan atribut target Atribut: karakteristik atau fitur dari data yang menggambarkan sebuah proses atau situasi. ID, atribut biasa. Atribut target: atribut yang menjadi tujuan untuk diisi oleh proses data mining. Label, cluster, weight. Peran atribut (attribute role) Label, cluster, weight, ID, biasa

8 Terminologi Dasar Tipe nilai (value type) nominal: nilai secara kategori numeric: nilai numerik secara umum integer: bilangan bulat real: bilangan nyata text: teks bebas tanpa struktur binominal: nominal dua nilai polynominal: nominal lebih dari dua nilai date_time: tanggal dan waktu date: hanya tanggal time: hanya waktu

9 Terminologi Dasar Data dan metadata Data menyebutkan obyek-obyek dari sebuah konsep. Ditunjukkan sebagai baris dari tabel. Metadata menggambarkan karakteristik dari konsep tersebut. Ditunjukkan sebagai kolom dari tabel. Modelling Penggunaan metoda data mining terhadap data. Hasilnya disebut model.

10 Desain Proses Analisa Fleksibilitas dan fungsionalitas Sangat fleksibel untuk mendefinisikan proses analisa secara visual dengan GUI. Meliputi lebih dari 500 fungsionalitas data mining dalam bentuk operator-operator. Skalabilitas Mulai versi 4.6 ~.. fokus utama pada skalabilitas untuk data ukuran besar. Konsep view untuk data mirip seperti database. Transformasi data on-the-fly tanpa copy. 100 juta data set bukanlah data yang besar.

11 Desain Proses Analisa Format data Terhubung sangat baik dengan berbagai sumber data: Oracle, IBM DB2, Microsoft SQL Server, MySQL, PostgreSQL, Ingres, Excel, Access, SPSS, CSV files dan berbagai format lain. Bersama-sama dengan operator-operator untuk data preprocessing, bisa digunakan juga sebagai tool ETL (extraction, transformation, loading) dengan hasil yang menakjubkan.

12 Repositori Pertama Menjalankan RapidMiner untuk pertama kali, akan menanyakan pembuatan repositori baru. Repositori ini berfungsi sebagai lokasi penyimpanan terpusat untuk data dan proses analisa kita.

13 Perspektif dan View Sebuah perspektif berisi pilihan elemenelemen GUI, yang disebut view, yang dapat dikonfigurasi secara bebas. Elemen-elemen ini dapat diatur bagaimanapun juga sesuka kita. Tiga perspektif: Perspektif selamat datang (welcome perspective). Perspektif desain (design perspective). Perspektif hasil (result perspective).

14 Perspektif dan View

15 Perspektif Desain Perspektif pusat di mana semua proses analisa dibuat dan dimanage. Pindah ke perspektif desain dengan: Klik tombol paling kiri. Atau gunakan menu View Perspectives Design. View: Operators, Repositories, Process, Parameters, Help, Comment, Overview, Problems, Log

16 Perspektif Desain

17 View Operator Semua tahapan kerja (operator) ditampilkan di sini secara berkelompok, dan bisa diikutsertakan di dalam proses analisa.

18 View Operator Process control Untuk mengontrol aliran proses, seperti loop atau conditional branch. Utility Untuk mengelompokkan subprocess, juga macro dan logger. Repository Access Untuk membaca dan menulis repositori.

19 View Operator Import Untuk membaca data dari berbagai format eksternal. Export Untuk menulis data ke berbagai format eksternal. Data Transformation Untuk transformasi data dan metadata.

20 View Operator Modelling Untuk proses data mining yang sesungguhnya seperti klasifikasi, regresi, clustering, aturan asosiasi dll. Evaluation Untuk menghitung kualitas dari modelling.

21 View Operator

22 View Repositori Komponen pusat yang menyediakan servis untuk manajemen dan penstrukturan proses analisa, baik data, metadata, proses maupun hasil.

23 View Proses Menampilkan tahap-tahap individual operator di dalam proses analisa dan juga interkoneksi di antara mereka.

24 View Proses

25 View Parameter Operator-operator mungkin memerlukan parameter untuk bisa berfungsi. Setelah sebuah operator dipilih di view Proses, parameternya ditampilkan di view ini.

26 View Parameter

27 View Help dan Comment View Help menampilkan deskripsi dari operator. View Comment menampilkan komentar yang dapat diedit terhadap operator.

28 View Help dan Comment

29 View Overview Menampilkan seluruh area kerja dan menyorot seksi yang ditampilkan saat ini dengan sebuah kotak kecil.

30 View Overview

31 View Problem Menampilkan setiap pesan warning dan error.

32 View Log Menampilkan pesan log selama melakukan desain dan eksekusi proses.

33 View Problem dan Log

34 Operator dan Proses Proses data mining pada dasarnya adalah mendefinisikan proses analisa dengan menyatakan urutan tahap kerja individual. Komponen dari proses ini disebut operator, yang didefinisikan dengan: Deskripsi input. Deskripsi output. Aksi yang dilakukan. Parameter yang diperlukan.

35 Operator dan Proses Sebuah operator bisa disambungkan melalui port masukan (kiri) dan port keluaran (kanan). Indikator status dari operator: Lampu status: merah (tak tersambung), kuning (lengkap tetapi belum dijalankan), hijau (sudah behasil dijalankan). Segitiga warning: bila ada pesan status. Breakpoint: bila ada breakpoint sebelum/sesudahnya. Comment: bila ada komentar. Subprocess: bila mempunyai subprocess.

36 Operator dan Proses Sebuah proses analisa yang terdiri dari beberapa operator. Warna aliran data menunjukkan tipe obyek yang dilewatkan.

37 Membuat Proses Baru Pilih menu File New Pilih repositori dan lokasi, lalu beri nama.

38 Struktur Repositori Repositori terstruktur ke dalam proyekproyek. Masing-masing proyek terstruktur lagi ke dalam data, processes, dan results.

39 Proses Analisa Pertama

40 Proses Analisa Pertama Generate Sales Data proses sangat sederhana, yang hanya men-generate data.

41 Transformasi Metadata Metadata dari terminal output.

42 Transformasi Metadata Generate Attributes men-generate atribut baru.

43 Transformasi Metadata Parameter dari operator Generate Attributes.

44 Transformasi Metadata Menghitung atribut baru total price sebagai perkalian dari amount dan single price.

45 Transformasi Metadata

46 Transformasi Metadata Select Attributes untuk memilih subset dari atribut.

47 Transformasi Metadata Parameter untuk operator Select Attributes.

48 Transformasi Metadata Atribut individu maupun subset bisa dipilih atau dihapus.

49 Menjalankan Proses Proses dapat dijalankan dengan: Menekan tombol Play. Memilih menu Process Run. Menekan kunci F11.

50 Melihat Hasil

51 Referensi 1. Wikipedia, 2. RapidMiner Installation Guide, 3. RapidMiner 5.0 Manual, Rapid-I, 2010, 4. Slide Materi Romi Satrio Wahono (