User-Based Collaborative Filtering Dengan Meanfaatkan Pearson- Correlation Untuk Mencari Neighbors Terdekat Dala Siste Rekoendasi Arvid Theodorus 1, Djoko Budiyanto Setyohadi 2, Ernawati 3 Magister Teknologi Inforasi Universitas Ata Jaya Yogyakarta Eail : arvid.thd@gail.co ABSTRAK Perkebangan yang pesat seputar siste rekoendasi endorong para peneliti untuk terus encari teknik-teknik rekoendasi baru. Tujuannya adalah untuk encari teknik yang terbaik dala eberi rekoendasi bagi pengguna. Naun, beberapa teknik rekoendasi asih belu eiliki etode yang berfungsi untuk encari relasi antar pengguna. Untuk itu, penelitian ini akan berfokus pada etode pencarian relasi antar pengguna dala sebuah siste rekoendasi. Peneliti eanfaatkan teknik pengukuran Pearson-Correlation dala algorita User-Based Collaborative Filtering untuk enghitung relasi kedekatan antar pengguna. Inforasi kedekatan tersebutlah yang nantinya diharapkan akan beranfaat sebagai dasar suber rekoendasi yang akurat. Katakunci : User Based Collaborative Filtering, Pearson Correlation, Siste Rekoendasi, Evaluasi Siste Rekoendasi
User-Based Collaborative Filtering Dengan Meanfaatkan Pearson- Correlation Untuk Mencari Neighbors Terdekat Dala Siste Rekoendasi Arvid Theodorus 1, Djoko Budiyanto Setyohadi 2, Ernawati 3 Magister Teknologi Inforasi Universitas Ata Jaya Yogyakarta Eail : arvid.thd@gail.co ABSTRAK Perkebangan yang pesat seputar siste rekoendasi endorong para peneliti untuk terus encari teknik-teknik rekoendasi baru. Tujuannya adalah untuk encari teknik yang terbaik dala eberi rekoendasi bagi pengguna. Naun, beberapa teknik rekoendasi asih belu eiliki etode yang berfungsi untuk encari relasi antar pengguna. Untuk itu, penelitian ini akan berfokus pada etode pencarian relasi antar pengguna dala sebuah siste rekoendasi. Peneliti eanfaatkan teknik pengukuran Pearson-Correlation dala algorita User-Based Collaborative Filtering untuk enghitung relasi kedekatan antar pengguna. Inforasi kedekatan tersebutlah yang nantinya diharapkan akan beranfaat sebagai dasar suber rekoendasi yang akurat. Katakunci : User Based Collaborative Filtering, Pearson Correlation, Siste Rekoendasi, Evaluasi Siste Rekoendasi PENDAHULUAN Penelitian seputar siste rekoendasi dala 1 dekade terakhir ini berkebang dengan pesat. Lebih dari 200 artikel penelitian yang ebahas tentang siste rekoendasi sudah terpublikasi (Beel, 2013). Seiring bertabahnya artikel-artikel tersebut, algorita rekoendasi yang dikebangkan dan di inovasikan sesuai dengan kebutuhan asing-asing siste pun seakin banyak. Berdasarkan sudut pandang penyaringan inforasinya, algorita rekoendasi yang sering digunakan dala siste rekoendasi terbagi enjadi tiga jenis, yaitu : Content-Based Filtering (CB), User-Based Collaborative Filtering (UCF) dan Ite-Based Collaborative Filtering (ICF). Beberapa peneliti engebangkan ketiga algorita penyaringan tersebut secara terpisah, naun ada juga peneliti yang enggabungkan lebih dari satu algorita dengan tujuan endapatkan hasil rekoendasi yang terbaik (Hu et al., 2011), (De Capos et al., 2010), (Chen et al. 2010). Untuk engetahui apakah algorita yang dikebangkan endapatkan hasil yang terbaik atau tidak, para peneliti enggunakan beberapa teknik evaluasi seperti Mean Absolute Error (MAE), Precision Value, Recall, dan lainnya. (Beel, 2013), (Jin, 2006), (Claypool, 1999). Dala penerapannya pada siste rekoendasi, UCF seringkali dipasangkan dengan ICF karena eiliki banyak kesaaan dala teknik penyaringan dan bahkan dala hal kekurangan dan kelebihannya. UCF engasusikan bahwa untuk encari sesuatu yang akan disukai oleh pengguna A, aka kita harus encari pengguna lain dengan kecenderungan yang saa. Pengguna lain yang eiliki ketertarikan / kecenderungan yang saa dengan pengguna A disebut dengan neighbors. Nantinya, segala sesuatu yang disukai oleh neighbors akan enjadi suber rekoendasi untuk pengguna A. Sedikit berbeda dengan UCF, ICF enapung segala ite yang telah disukai oleh pengguna A terlebih dahulu dan keudian ulai enelusuri ite lain yang akan disukai oleh pengguna A. Perbedaan ICF dan UCF terletak pada titik awal dala encari rekoendasi untuk seorang pengguna dan jenis neighbors-nya. (Lops et al., 2011), (Sarwar et al., 2001). Peran neighbor sangatlah penting dala siste rekoendasi, selain berperan sebagai suber rekoendasi, ada juga data lain pada neighbors yang nantinya akan digunakan untuk enghitung nilai prediksi. Dala hal ini data tersebut adalah nilai rating neighbors terhadap ite rekoendasi. Nilai prediksi ini nantinya digunakan oleh para peneliti sebagai tolak ukur seberapa baik algorita rekoendasi yang sedang dikebangkan. Pada penelitian kali ini, peneliti encoba eanfaatkan sebuah etode pengukuran dengan harapan bisa endapatkan neighbors terbaik, sebagai dasar dala pencarian rekoendasi dan nilai prediksi yang akurat. Metode pengukuran yang digunakan nantinya adalah Pearson-Correlation Coefficient. Pengukuran tersebut digunakan untuk encari neighbors dengan keiripan dan kecenderungan yang saa terhadap pengguna aktif. USER-BASED COLLABORATIVE FILTERING (UCF) Pada UCF, ada banyak teknik yang digunakan untuk encari nilai prediksi untuk pengguna aktif (P a,i ), diulai dari cara sederhana dengan enjulahkan seua rating dari pengguna lain yang eiliki selera saa dengan pengguna aktif (U a ) dan keudian dibagi dengan julah pengguna tersebut, hingga enggunakan cara pebobotan. Seperti yang sudah dibahas sebelunya, pengguna lain yang eiliki selera saa dengan U a disebut dengan neighbors. Untuk encari neighbors tersebut banyak cara yang ditawarkan, ada yang eanfaatkan teknik K-nearest neighbor (KNN) ada juga yang encarinya secara anual dengan encari irisan dari seua daftar ite yang sudah di rating oleh pengguna aktif (L a,i ) dengan seua daftar ite yang sudah di rating oleh pengguna lain (L u,i ) satu-persatu (Shinde, S. K. & Kulkarni, U. V., 2011) dan (Ghauth, K. I. & Abdullah, N.
A., 2011). Hal terpenting yang perlu diperhatikan dala encari neighbors adalah calon neighbors setidaknya harus eiliki beberapa variabel yang tidak kosong (null) dari irisan L u,i dengan L a,i supaya nantinya dapat dilakukan pengukuran kedekatan. Secara garis besar, dala encari nilai prediksi (P) dan daftar rekoendasi (L) untuk pengguna aktif, UCF dapat dibagi enjadi tiga tahap yaitu : asukan (input), proses (algorita UCF) dan keluaran (P dan L). Input yang diaksud adalah berupa nilai dari irisan L a,i dengan L u,i dan keudian nilai tersebut akan diproses enggunakan algorita UCF yang enghasilkan nilai P a,i. Lihat Ruus (3) untuk skea tahapan UCF, diana I j adalah ite yang akan dicari nilai P-nya. Dala algorita UCF, sebelu encari nilai P a,j perlu dicari terlebih dahulu neighbors dari U a, setelah endapatkan neighbors yang cukup, aka keudian diabil L u,j dengan u adalah seua neighbors dari pengguna aktif (u 1 s/d u ). Dari titik ini, L u,j bisa diproses dengan banyak jenis algorita, ulai dari yang paling sederhana, pebobotan ringan dan pebobotan rata-rata rating U, untuk lebih jelasnya dapat dilihat pada Ruus (1). juga dicari enggunakan algorita tertentu. Selain dengan eberi bobot untuk setiap neighbors, cara lain untuk engebangkan ruus (2), yaitu dengan enabahkan variabel rata-rata rating dari U a dan U. Lebih jelasnya lihat Ruus (3). P a,j = R a + R u,j R u (3) Variabel didapat dari rata-rata R a,j pada L a,j sedangkan didapat dari rata-rata R u,j pada L u,i dengan asusi rata-rata rating enunjukan sifat dasar seorang pengguna. Kata sifat enunjuk pada aktivitas lapau seorang pengguna, apakah dia seorang hater yang selalu eberi rating rendah, ataukah ia adalah seorang lover yang selalu eberi rating tinggi pada setiap ite dala L yang diilikinya. Seakin rendah nilai pada seorang neighboor aka seakin besar kontribusi nilainya terhadap P a,j ketika suatu saat ia eberi nilai tinggi pada sebuah ite j, tetapi jika ia eberi nilai rendah terhadap ite j aka kontribusi nilainya kecil terhadap pencarian P a,j. Sebaliknya, jika seorang neighbor eiliki nilai yang tinggi, aka seakin kecil kontribusinya terhadap pencarian P a,j ketika ia eberi rating tinggi pada ite j, tetapi jika ia eberi nilai rendah terhadap ite j aka kontribusi nilainya sangat besar. Algorita pebobotan dan rata-rata rating pengguna juga dapat digabungkan supaya P yang didapat lebih spesifik. Caranya, pada Ruus (3) akan ditabahkan variabel bobot untuk setiap neighbors-nya, sekali lagi bobot dapat dicari dengan enggunakan berbagai cara tergantung dari asusi pebuat siste, lihat Ruus (4). Gabar 1. Skea Tahapan UCF P a,j = R a + R u,j R u W u W u (4) P a,j = R u,j (1) Pada Ruus (1), variabel ewakili julah neighbors yang sudah terpilih dengan pendekatan tertentu. Algorita ini adalah terasuk yang paling sederhana dala encari nilai P, disebut sederhana karena dala perhitungannya tidak elibatkan variabel yang enunjukan bahwa seorang neighbors berbeda dari neighbors lainnya. Algorita sederhana ini dapat dikebangkan lagi enjadi sedikit lebih spesifik untuk ebedakan setiap neighbors, caranya dengan eberi bobot pada asing-asing nilai R u,j neighbors. P a,j = R u,j W u W u (2) Pada Ruus (2), variabel W adalah bobot yang diberikan untuk pengguna U, nilai W bisa ditentukan secara anual oleh U a atau pebuat siste, bahkan dapat Dengan enggabungkan pebobotan dan ratarata rating pengguna, nilai P a,j yang didapat akan lebih bersifat pribadi karena elibatkan dua variabel yang berasal dari kegiatan lapau pengguna aktif, aupun neighbors. Pada penelitian kali ini, peneliti enggunakan Ruus (4) untuk encari prediksi, karena variabel yang digunakan sangatlah spesifik dan elibatkan lebih banyak variabel (rata-rata rating pengguna aktif, rating pengguna aktif terhadap ite aktif, rata-rata rating neighbors hingga nilai bobot kedekatan antara neighbors dengan pengguna aktif) yang ada dala siste rekoendasi. Peneliti juga eanfaatkan etode pengukuran Pearson-Correlation Coefficient untuk engukur seberapa dekat pengguna aktif dengan pengguna lainnya. Seakin dekat pengguna tersebut dengan pengguna aktif, aka ia akan enjadi kandidat suber rekoendasi (neighbors) dan nilai rating-nya akan epengaruhi seua nilai prediksi yang akan dihitung nantinya. PEARSON-CORRELATION COEFFICIENT Korelasi adalah sebuah teknik pengukuran yang enentukan seberapa dekat relasi antar dua hipunan bilangan yang berbeda. Dengan syarat hipunan bilangan
tersebut harus eiliki urutan yang tetap dan berpasangan satu dengan lainnya antar kedua hipunan. Hasil pengukuran dapat berupa relasi positif ataupun relasi negatif. Relasi positif enunjukkan bahwa kedua hipunan eiliki kecenderungan kenaikan atau penabahan nilai yang sejajar. Sedangkan relasi negatif enunjukkan kedua hipunan eiliki kecenderungan penurunan atau pengurangan nilai yang sejajar. Sejajar dala konteks ini berarti penurunan atau kenaikan nilai yang saling engikuti antar kedua variabel tersebut. Salah satu teknik pengukuran korelasi adalah Pearson Product Moent Correlation atau biasa disingkat enjadi Pearson Correlation. Ruus yang digunakan pada teknik pengukuran ini bisa dilihat dibawah ini: n xy x y r = n x 2 x 2 n y 2 y 2 (5) Variabel r enunjukkan nilai korelasi yang didapat dari dua hipunan bilangan x dan y yang eiliki urutan dan berpasangan. Nilai r eiliki batas atas yaitu 1 dan batas bawah yaitu -1. Jika r bernilai 0 berarti kedua hipunan tidak eiliki relasi saa sekali. Jika r bernilai 1 berarti kedua hipunan eiliki penabahan nilai yang searah (sejajar), sedangkan jika r bernilai -1 aka kedua hipunan eiliki penurunan yang searah. Untuk r yang bernilai 1 atau -1 bisa disipulkan bahwa kedua hipunan eiliki relasi atau kedekatan. Lihat pada Gabar 2 untuk contoh dua hipunan bilangan yang eiliki korelasi negatif dan positif. Gabar 2. Contoh dua hipunan bilangan yang eiliki korelasi yang positif dan negatif Variabel I1 dan I2 adalah dua hipunan bilangan yang berurutan dan berpasangan dari U1 U10. MEAN ABSOLUTE ERROR, PRECISION DAN RECALL VALUE Dala siste rekoendasi, terutaa yang eanfaatkan perhitungan prediksi, evaluasi keakuratan daftar rekoendasi dan prediksi sangatlah penting. Dengan eanfaatkan teknik evaluasi yang sudah tersedia, peneliti dapat engetahui seberapa akurat teknik rekoendasi dan prediksi yang dikebangkan. Pada bagian ini, akan dibahas tiga jenis evaluasi yaitu : Mean Absolute Error (MAE), Precision, dan Recall Value. MAE bertujuan enghitung seberapa besar ratarata selisih nilai prediksi rating yang dihasilkan oleh peneliti dengan nilai rating yang diberikan oleh pengguna, sedangkan Precision dan Recall bertujuan untuk enghitung seberapa banyak persentase ite yang direkoendasikan dan di beri rating oleh pengguna ataupun ite yang sudah di rating tetapi tidak direkoendasikan oleh siste. Evaluasi MAE eanfaatkan teknik perhitungan yang sangat sederhana, yaitu dengan encari selisih dari seua ite yang sudah diberi rating oleh pengguna dan eiliki nilai prediksi. Nantinya selisih tersebut akan di absolute-kan (nilai positif) dan akhirnya dirata-rata. Dari hasil MAE, dapat terlihat jelas seberapa jauh selisih nilai prediksi rating yang diberikan oleh siste dengan nilai rating yang diberikan oleh pengguna. Seakin besar nilai yang dihasilkan oleh MAE aka dapat diartikan bahwa nilai prediksi yang dihasilkan seakin tidak akurat, sebaliknya jika nilai MAE yang dihasilkan endekati 0 aka prediksi yang dihasilkan siste seakin endekati akurat. Ruus yang digunakan dala evaluasi MAE dapat dilihat dibawah ini : =,, (6) Untuk adalah julah seua ite pada daftar rekoendasi pengguna aktif yang eiliki nilai prediksi., adalah nilai prediksi ite ke- ilik pengguna aktif dan, adalah nilai rating yang diberikan oleh pengguna aktif untuk ite ke-. Selanjutnya, untuk engevaluasi hasil rekoendasi yang dihasilkan oleh siste elalui teknik peyaringan yang dibuat oleh peneliti, Precision dan Recall Value dianfaatkan untuk elihat seberapa akurat rekoendasi ite yang dihasilkan untuk tiap pengguna siste. Dala eberikan rekoendasi, ada beberapa keungkinan yang akan dihasilkan, antara lain : (1) ite yang sudah diberi rating oleh pengguna, juga direkoendasikan oleh siste (True-Positive); (2) ite yang di rekoendasikan, tetapi tidak di rating oleh pengguna; (3) ite yang sudah di beri rating tetapi tidak direkoendasikan. Beberapa keungkinan tersebut bisa diringkas enjadi tabel dibawah ini. Tabel 1. Klasifikasi Dari Beberapa Keungkinan Hasil Rekoendasi Rekoendasi Tidak Direkoendasikan Sudah Diberi Rating True-Positive (TP) False-Negative (FN) Tidak Diberi Rating False-Positive (FP) True-Negative (TN) Hasil dari klasifikasi diatas dapat dianfaatkan untuk encari nilai Precision dan Recall. Precision dapat diasusikan sebagai sebuah cara untuk elihat seberapa banyak ite yang tepat direkoendasikan untuk pengguna siste, sedangkan Recall dapat diasusikan sebagai sebuah cara untuk engetahui seberapa banyak ite yang sudah di rating oleh pengguna dan direkoendasikan untuknya. Untuk itu, ruus untuk encari nilai Precision dan Recall adalah : = (7)
= (8) Jika nilai Precision endekati 1 aka berarti rekoendasi yang diberikan kepada pengguna banyak yang digunakan (di beri rating) oleh pengguna, sebaliknya jika seakin endekati 0 aka rekoendasi yang diberikan banyak yang tidak tepat untuk pengguna siste. METODOLOGI Data untuk penelitian ini diabil dari website resi MovieLens (GroupLens) dengan julah rating lebih dari sepuluh juta baris dari hapir 70 ribu pengguna yang eberi rating pada lebih dari 10 ribu jenis fil. Skala rating yang digunakan adalah 1-5 dengan asusi seakin besar nilai rating berarti pengguna enyukai fil tersebut. Untuk tujuan penelitian kali ini, data rating akan dibagi enjadi 5 set, dengan porsi asing-asing set 0,2% - 0,4% - 0,6% - 0,8% - 1%. Data diabil secara acak dari suber aslinya (10 juta data dari website MovieLens). Tujuan peecahan data tersebut adalah untuk engevaluasi hasil rekoendasi dan prediksi nantinya. Secara garis besar, proses dala penelitian ini sebagai berikut : 1. Data yang sudah dibagi enjadi 5 set tersebut asing-asing akan diproses kedala algorita rekoendasi, hasil dari proses ini adalah daftar rekoendasi untuk tiap pengguna yang terdaftar. 2. Keudian, daftar rekoendasi tersebut akan dihitung nilai prediksinya (lihat Gabar 1). Ruus yang digunakan untuk enghitung prediksi adalah Ruus (4). 3. Untuk engevaluasi apakah rekoendasi sudah endekati dengan keinginan pengguna atau tidak, peneliti enggunakan teknik evaluasi Precision dan Recall Value. Precision value enunjukkan seberapa banyak rekoendasi yang tepat (terpilih oleh pengguna) dan seberapa banyak yang tidak. Sedangkan Recall enunjukkan seberapa banyak fil yang sudah diberi rating tetapi tidak direkoendasikan kepada pengguna. 4. MAE (Mean Absolute Error) digunakan untuk engukur seberapa banyak rata-rata selisih antara nilai prediksi dengan nilai rating yang diberi oleh pengguna. Seakin kecil MAE berarti prediksi yang dihasilkan endekati akurat. Dala penelitian ini, peneliti eiliki tujuan untuk enabah keapuan User-Based Collaborative Filtering dala eberi rekoendasi dan prediksi yang akurat bagi pengguna, dengan cara : 1. Meanfaatkan Pearson-Correlation dala encari pengguna lain yang terdekat dengan pengguna aktif. Tujuannya supaya pengguna aktif dapat endapatkan rekoendasi fil yang lebih akurat. 2. Menghitung nilai prediksi dengan elibatkan seua pengguna terdekat (neighbor) dari pengguna aktif. Tujuannya supaya hasil prediksi dapat endekati dengan nilai rating yang diberi oleh pengguna aktif. 3. Peneliti elibatkan pengguna terdekat (neighbor) dala pencarian rekoendasi dan penghitungan prediksi, supaya endapatkan hasil rekoendasi dan prediksi yang akurat. HASIL Hasil yang didapat dengan etodologi dan langkah diatas, nilai MAE, Precision dan Recall dapat dirangku dala bentuk tabel sebagai berikut : Tabel 2. Hasil Evaluasi UCF Dengan Meanfaatkan Pearson-Correlation Porsi Julah Data Records MAE Precision Recall 0,2% 20.002 0,74 0,5882 0,001 0,4% 40.004 0,7 0,4075 0,0098 0,6% 60.006 0,81 0,3064 0,0279 0,8% 80.008 0,9 0,2656 0,0634 1% 100.010 0,98 0,1993 0,1067 1.0000 0.8000 0.6000 0.4000 0.2000 0.0000 0,2% 0,4% 0,6% 0,8% 1% MAE Precision Recall Gabar 3. Perbandingan Hasil Evaluasi UCF Dengan Meanfaatkan Pearson-Correlation Dari hasil yang disajikan, dapat dilihat bahwa nilai MAE seakin naik seiring dengan bertabahnya julah data. Hal ini enunjukkan bahwa kepadatan data epengaruhi keakuratan prediksi yang diberikan oleh siste. Dala kasus ini, prediksi seakin tidak akurat seiring penabahan data. Saa halnya dengan Precision dan Recall, nilai Precision yang seakin enurun seiring kenaikan julah porsi data enunjukkan bahwa rekoendasi yang diberikan oleh siste banyak yang tidak akurat dengan kata lain banyak ite-ite yang direkoendasikan tidak digunakan oleh para pengguna. KESIMPULAN Dari hasil penelitian yang didapat, peneliti enyipulkan bahwa dengan eanfaatkan teknik pengukuran Pearson-Correlation dala encari neighbors terdekat pada siste rekoendasi berbasis User-Based Collaborative Filtering tidak enghasilkan prediksi aupun rekoendasi yang akurat. Untuk tujuan yang saa, yaitu encari prediksi dan rekoendasi yang akurat, penelitian kali ini dapat dikebangkan lagi dengan cara engubah teknik pencarian neighbors terdekat. Dala penelitian ini, peran neighbors sangat penting, karena ereka adalah variabel dasar dari seua perhitungan prediksi dan rekoendasi yang akan dihasilkan oleh siste. Untuk itu, dengan engubah atau eodifikasi teknik pencarian neighbors terdekat, peneliti berasusi hasil rekoendasi dan prediksi yang didapat nantinya dapat lebih baik dari hasil penelitian kali ini.
DAFTAR PUSTAKA Beel, J., Langer, S., Genzehr, M., Gipp, B. and Nürnberger, A. 2013. A Coparative Analysis of Offline and Online Evaluations and Discussion of Research Paper Recoender Syste Evaluation. Proceedings of the Workshop on Reproducibility and Replication in Recoender Systes Evaluation (RepSys) at the ACM Recoender Syste Conference (RecSys) (2013), 7 14. Chen, X., Liu, X., Huang, Z., Sun, H., 2010. RegionKNN: A Scalable Hybrid Collaborative Filtering Algorith for Personalized Web Service Recoendation. IEEE International Conference on Web Services, 2010. Claypool, Mark., Gokhale, A., Murnikov, P., Netes, D., Sartin, M., 1999. Cobining Content-Based and Collaborative Filters in an Online Newspaper. ACM SIGIR Workshop on Recoender Systes Ipleentation and Evaluation. De Capos,L. M., Fernandez-Luna,J. M., Huete,F. J., Rueda-Morales,M. A., 2010. Cobining content-based and collaborative recoendations: A hybrid approach based on Bayesian networks. International Journal of Approxiate Reasoning 51 (2010) 785 799. Ghauth, K. I., & Abdullah, N. A. 2011. The Effect of Incorporating Good Learners' Ratings in e-learning Content-based Recoender Syste. Educational Technology & Society, 14 (2), 248 257. Hu, W., Xie, N., Li, L., Zeng, X., & Maybank, S., 2011. A survey on visual content-based video indexing and retrieval. IEEE transactions on systes, an, and cybernetics part c: applications and reviews, vol. 41, no. 6, noveber 2011 Jin, R., Si, Luo., Zhai, C., 2006. A Study of Mixture Models Of Collaborative Filtering. Springer Science + Business Media, LLC; Inf. Retrieval 9:357-382. Lops, P., Geis, de M., Seeraro, G., 2011. Content- Based Recoender Systes State of the Art and Trends. Sarwar, B., Karypis, G., Konstan, J., Riedl, J. 2001. Ite- Based Collaborative Filtering Recoendation Algoriths. ACM 1-58113-348-0/01/0005; GroupLens Research Group. Shinde, S. K., Kulkarni, U. V., 2011. Hybrid Personalized Recoender Syste Using Fast K-edoids Clustering Algorith. Journal of Advances in Inforation Technology, Vol. 2, No. 3, August 2011.