K-NN merupakan instance-based learning, Maksudnya: data training disimpan sehingga klasifikasi untuk record baru yg belum diklasifikasi dpt ditemukan

Transkripsi

1

2 K-NN merupakan instance-based learning, Maksudnya: data training disimpan sehingga klasifikasi untuk record baru yg belum diklasifikasi dpt ditemukan dengan membandingkan kemiripan yang paling banyak dalam data training.

3 Basic idea: Jika dia berjalan seperti itik, maka dia itik Test Record Training Records Choose k of the nearest records

4 K-nearest neighbors dari suatu record x: titik2 data yg memiliki k terkecil jarak ke x X X X (a) 1-nearest neighbor (b) 2-nearest neighbor (c) 3-nearest neighbor

5 Unknown record Requires three things The set of stored records Distance Metric to compute distance between records The value of k, the number of nearest neighbors to retrieve To classify an unknown record: Compute distance to other training records Identify k nearest neighbors Use class labels of nearest neighbors to determine the class label of unknown record (e.g., by taking majority vote)

6 200 pasien Yà light gray Xà dark gray (A) B, C à medium gray

7 Jika ada pasien baru, maka dilihat yg paling dekat (k=1) à pasien 2 (drug A)

8 Hitung jarak data baru dengan semua data yang ada urutkan jaraknya, dan cari k buah data yang memiliki jarak terdekat dengan data baru Lakukan voting dari k data tersebut Kelas dengan nilai voting tertinggi dijadikan label kelas untuk data baru

9

10 Fungsi jarak yang paling umum digunakan à Euclidean distance Dimana, x=x1,x2, xm, dan y1,y2, ym merepresentasikan nilai atribut m dari dua rekord

11

12 No Rata2 R Rata2 G Rata2 B Kelas Jeruk Jeruk Apel Apel Apel ?

13 d(6,1)= d(6,2)= d(6,3)= d(6,4)= d(6,5)= Jika K = 3, maka dicari 3 data terdekat dengan data ke-6, yaitu data ke-1, 2, dan 4 Diantara ketiga data itu, 1(jeruk), 2(jeruk) dan 4(apel) ada 2 jeruk dan 1 apel. Sehingga data ke 6 diklasifikasikan sebagai Jeruk

14 Bagaimana mengukur jarak? Berapa banyak neighbor yg seharusnya dipertimbangkan (k)? Haruskah seluruh titik sama bobotnya, atau beberapa titik memiliki informasi lebih dari yg lain Bagaimana mengombinasikan informasi dari lebih dari satu observasi? Bagaimana jika tiap atribut memiliki rentang nilai yang berbeda?

15

16 Pemilihan k yg terlalu kecil menyebabkan sensitive terhadap noise Namun k terlalu besar, neighborhood dapat mencangkup titik2 dari kelas lain Sehingga dilakukan pemilihan dengan meminimkan estimasi error pengklasifikasian X

17

18 Simple Unweighted Voting 1. Menentukan k, jml rekord yg memiliki suara dalam pengklasifikasian rekord baru 2. Membandingkan rekord baru ke k-nn, yakni k rekord yg berjarak minim dalam ukuran jarak 3. Sekali k rekord dipilih, maka Satu record satu vote Maka bila terdapat k=3, dan terdapat 2 rekord yg lebih dekat ke suatu record (misal: medium gray), maka memiliki confidence 66.67%

19 Weighting Voting Diharapkan memperkecil kesalahan Merupakan kebalikan proporsi jarak dari rekord baru dengan klasifikasi. Vote dibobotkan dengan inverse square dari nilai jarak

20

21 Lima puluh satu ribu delapan ratus delapan belas Vote (dark grey)> vote (medium grey) Sehingga dipilih vote tertinggi yakni dark gray

22

23 Adanya kemungkinan suatu atribut memiliki informasi yg penting thd yg lain, maka dilakukan pengalian terhadap nilai tertentu. Misal adanya informasi Na/K ratio tiga kali lebih penting dari age, maka untuk pencarian jarak sbb:

24

25 Rentang nilai yang terlalu berbeda menyebabkan proses pengukuran jarak hanya didominasi oleh fitur yan bernilai besar. Contoh No. Gaji/bulan Jumlah Anak Golongan Menengah Kaya ?

26 No. Gaji/bulan Jumlah Anak Golongan Menengah Kaya ? d(3,1) = d(3,2) = Dari jarak yang dihitung, jumlah anak seperti tidak berguna sama-sekali, sebab rentangnya terlalu kecil.

27 Gunakan rumusan normalisasi/ standardisasi sebelum dilakukan klasifikasi: Untuk variabel kategori:

28 Maka jarak antara pasien A & B à d(a,b)= [(50-20) ]= 30; dan jarak antara A & C à d(a,c)= [(50-50) ]=1 Hal ini berarti pasien A lebih similar ke C daripada ke B

29 Jika dilakukan normalisasi min-max, maka ditemukan: d(a,b)=0.6, d(a,c)=1 sehingga dihasilkan pasien B lebih mirip ke pasien A Dan juga bila dilakukan Z-score standarization, maka dihasilkan: d(a,b)=0.6, d(a,c)=1, sehingga didapatkan pasien C yg lebih mirip ke pasien A Sering terjadi penyimpangan yg dilakukan oleh normalisasi min-max

30 Cari k tetangga terdekat Dari semua kemungkinan kelas pada tetangga tersebut hitung derajad keanggaotaan dengan

31

32 Luas Bangunan/ orang Pendapatan/bulan Ferkuensi Memakan Daging /minggu Kategori sedang sedang sedang kaya kaya kaya miskin miskin miskin miskin ?