Recommendation System

Transkripsi

1 May 28, 2014

2 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

3 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

4 Introduction Apa recommendation system (sistem rekomendasi)? Contoh?

5 Introduction Apa recommendation system (sistem rekomendasi)? Contoh?

6 Introduction

7 Introduction

8 Recommender system Memberikan rekomendasi, biasanya barang, kepada orang (user) Misalnya :

9 Recommender system Memberikan rekomendasi, biasanya barang, kepada orang (user) Misalnya : Kamera digital mana yang harus saya beli?

10 Recommender system Memberikan rekomendasi, biasanya barang, kepada orang (user) Misalnya : Kamera digital mana yang harus saya beli? Akun twitter mana yang akan harus saya follow?

11 Recommender system Memberikan rekomendasi, biasanya barang, kepada orang (user) Misalnya : Kamera digital mana yang harus saya beli? Akun twitter mana yang akan harus saya follow? Universitas mana yang tepat bagi saya?

12 Recommender system Kegunaan recommender system : Mempersempit information overload

13 Recommender system Kegunaan recommender system : Mempersempit information overload Kegunaan bagi user : mendapatkan hal yang menarik, mempersempit pilihan, menemukan hal yang baru

14 Recommender system Kegunaan recommender system : Mempersempit information overload Kegunaan bagi user : mendapatkan hal yang menarik, mempersempit pilihan, menemukan hal yang baru Kegunaan bagi provider : memberikan rekomendasi yang lebih personal kepada user-nya, meningkatkan loyalitas user, meningkatkan pembelian, peluang untuk promosi, mendapatkan pengetahuan tentang user-nya

15 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

16 Recommenders vs Search Engines Search engines bukan sebuah sistem rekomendasi

17 Recommenders vs Search Engines Search engines bukan sebuah sistem rekomendasi Query untuk mencari rekomendasi pada search engine menghasilkan kumpulan sistem rekomendasi

18 Recommenders vs Search Engines

19 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

20 Kategori Content based filtering: Rekomendasikan buku yang sesuai dengan tipe buku yang saya suka. Biasanya menggunakan fitur barang.

21 Kategori Content based filtering: Rekomendasikan buku yang sesuai dengan tipe buku yang saya suka. Biasanya menggunakan fitur barang. Collaborative filtering: Rekomendasikan buku yang disukai oleh teman-teman saya. Menggunakan preferensi komunitas.

22 Kategori Content based filtering: Rekomendasikan buku yang sesuai dengan tipe buku yang saya suka. Biasanya menggunakan fitur barang. Collaborative filtering: Rekomendasikan buku yang disukai oleh teman-teman saya. Menggunakan preferensi komunitas. Hybrid: Kombinasi dari CF dan content-based

23 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

24 Input (Vozalis & Margaritis, 2003) menyatakan input sistem rekomendasi ada tiga:

25 Input (Vozalis & Margaritis, 2003) menyatakan input sistem rekomendasi ada tiga: Demographic data : umur, jenis kelamin, dll

26 Input (Vozalis & Margaritis, 2003) menyatakan input sistem rekomendasi ada tiga: Demographic data : umur, jenis kelamin, dll Content data : analisis tekstual dari barang-barang yg pernah dibeli oleh user

27 Input (Vozalis & Margaritis, 2003) menyatakan input sistem rekomendasi ada tiga: Demographic data : umur, jenis kelamin, dll Content data : analisis tekstual dari barang-barang yg pernah dibeli oleh user Ratings : scalar, binary, unary. Selain itu ada juga rating implisit dan eksplisit.

28 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

29 Collaborative Filtering wisdom of crowd

30 CF : Keuntungan (Melville et al., 2002) menyebutkan dua keuntungan CF:

31 CF : Keuntungan (Melville et al., 2002) menyebutkan dua keuntungan CF: bisa digunakan pada domains dimana di dalamnya terdapat content yangx tidak berhubungan dengan items

32 CF : Keuntungan (Melville et al., 2002) menyebutkan dua keuntungan CF: bisa digunakan pada domains dimana di dalamnya terdapat content yangx tidak berhubungan dengan items serendipitious recommendations

33 CF : Input Input dari CF : matriks user-item ratings

34 CF : Output Output dari CF : top-n list, prediksi rating score

35 CF : Metode Nearest Neighbour user-to-user

36 CF : Metode Nearest Neighbour user-to-user item-to-item

37 CF : User-to-user Terdapat sebuah matriks berisi rating. Kira-kira berapa rating Alice untuk item5?

38 CF User-to-user : Pearson correlation coefficient Bagaimana caranya mengukur kesamaan antar user? Solusi: Pearson correlation coefficient sim(a, b) = p P (r a,p r a )(r b,p r b ) p P (r a,p r a ) 2 p P (r b,p r b ) 2 Variables a, b: users P: items, yang sudah dirating oleh a dan b r a,p : rating dari user a untuk item p

39 CF User-to-user : Menentukan prediksi Weighted normalized adjusted average pred(a, b) = b N r a + sim(a, b) (r b,p r b ) sim(a, b) b N

40 CF User-to-user : Menentukan prediksi Lainnya : Simple average Weighted average

41 CF User-to-user : Menentukan prediksi Jika kita ambil 2-Nearest-Neighbour P Alice,item5 = = 3.5

42 CF : Item-to-item Memberikan prediksi berdasarkan kesamaan antar barang (items)

43 CF Item-to-item : Cosine similarity Kesamaan dihitung dengan cosine similarity (yang paling sering digunakan), dimana ratings dianggap sebagai vektor Cosine similarity sim( a, b ) = a. b a b

44 CF Item-to-item : Cosine similarity Opsi lain adalah adjusted cosine similarity yang menggunakan rata-rata ratings dari user untuk mengubah rating awal Adjusted Cosine similarity sim( a, b ) = u U (r u,a r u )(r u,b r u ) u U (r u,a r u ) 2 u U (r u,b r u ) 2 Variables U: satu set users yang sudah melakukan rating terhadap items a dan b

45 CF Item-to-item : Menentukan prediksi Prediction function pred(u, p) = i rateditems(u) sim(i, p) r u,i sim(i, p) i rateditem(u)

46 CF Item-to-item : Menentukan prediksi

47 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

48 Content-based Membutuhkan informasi barang, tidak perlu informasi komunitas

49 Content-based Membutuhkan informasi barang, tidak perlu informasi komunitas Dibutuhkan : informasi tentangg konten barang informasi tentang apa yg disukai oleh user

50 Content-based Membutuhkan informasi barang, tidak perlu informasi komunitas Dibutuhkan : informasi tentangg konten barang informasi tentang apa yg disukai oleh user Biasanya dipakai untuk text-based, misalnya berita text classification

51 Content-based : Keuntungan Keuntungan dari content-based:

52 Content-based : Keuntungan Keuntungan dari content-based: komunitas tidak diperlukan

53 Content-based : Keuntungan Keuntungan dari content-based: komunitas tidak diperlukan lebih mudah daripada CF?

54 Content-based : tf-idf Karena merupakan text classification maka digunakan tf-idf dan classifiers klasik seperti Naive Bayes dan SVM

55 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

56 Evaluasi Statistical accuracy metrics: Mean Absolute Error (MAE), Root Mean Squared Error (RMSE)

57 Evaluasi Statistical accuracy metrics: Mean Absolute Error (MAE), Root Mean Squared Error (RMSE) Decision support accuracy: biasanya untuk data binary, menunjukkan kualitas dari barang yang direkomendasi : Precision, Recall, ROC

58 Introduction Recommenders vs Search Engines Kategori recommendation system Input recommendation system Collaborative Filtering Content-based Evaluasi recommendation system Masalah dalam recommendation system

59 Masalah dalam Data sparsity Solusi? SVD (Singular Value Decomposition)

60 Masalah dalam Data sparsity Solusi? SVD (Singular Value Decomposition) Cold start First rater problem

61 Masalah dalam Data sparsity Solusi? SVD (Singular Value Decomposition) Cold start First rater problem Shilling attacks Biased ratings