最简单的推荐系统

基于用户过滤OR物品过滤的电影推荐系统

话不多说，先上代码，主要注释都在代码中

#!/usr/bin/env python

# -*- encoding: utf-8 -*-

'''
@Author  :   {Jack Zhao}

@Time    :   2019/10/10 16:29

@Contact :   {zc_dlmu@163.com}

@Desc    :  基于用户进行过滤/基于物品进行过滤 小型电影推荐
'''
from math import sqrt

def sim_distance(prefs, person1,person2):
   """

   :param prefs:
   :param person1person2:
   :return:基于距离的相似度评价
   """
   #双方都评价过的物品
   si = {}
   for item in prefs[person1]:
      if item in prefs[person2]:
         si[item] =1
   if len(si) ==0:
      return 0
   #根据距离计算相关度
   sum_of_squares = sum([pow(prefs[person1][item]-prefs[person2][item],2)
                    for item in prefs[person1] if item in prefs[person2]])
   return 1/(1+sqrt(sum_of_squares))

def sim_pearson(prefs,p1,p2):
   '''
   :param prefs: 已有的评分字典
   :return: 返回p1和p2的皮尔逊值
   '''

   #双方都评价过的物品列表
   si = {}
   for item in prefs[p1]:
      if item in prefs[p2]:
         si[item] = 1

   #列表元素个数
   n = len(si)
   if n == 0 :
      return 1
   #对所有偏好求和
   sum1 = sum([prefs[p1][it] for it in si])
   sum2 = sum([prefs[p2][it] for it in si])
   #求平方和
   sum1Sq = sum([pow(prefs[p1][it],2) for it in si])
   sum2Sq = sum([pow(prefs[p2][it],2) for it in si])
   #求乘积和
   pSum = sum(prefs[p1][it]*prefs[p2][it] for it in si)
   #计算皮尔逊值
   num = pSum-(sum1*sum2/n)
   den = sqrt((sum1Sq-pow(sum1,2)/n)*(sum2Sq-pow(sum2,2)/n))
   if den==0:
      return 0
   r = num/den

   return r

def topMatches(prefs,person,n=5,similarity = sim_pearson):
   '''
   :param prefs:
   :param similarity:采用的相似度函数
   :return: 排名前n的最相似者
   '''
   #计算评分，即相似度
   scores = [(similarity(prefs,person,other),other) for other in prefs if other!=person]
   #对列表进行排序，评价高者排在前面
   scores.sort()
   scores.reverse()
   return scores[0:n]

def getRecommendations(prefs,person,similarity=sim_pearson):
   """
  :return:推荐物品列表
   """
   totals = {}
   simSums = {}
   for other in prefs:
      # 不要和自己比较
      if other == person:
         continue
      sim = similarity(prefs,person,other) 
       #首先过滤相似度小于等于0的物品
      if sim<=0:
         continue
      for item in prefs[other]:
         #只对自己还未看过的电影评价
         if item not in prefs[person] or prefs[person][item] ==0:
            totals.setdefault(item,0)
            totals[item]+= prefs[other][item]*sim
            simSums.setdefault(item,0)
            simSums[item]+=sim
      #归一化列表
   rankings = [(total/simSums[item],item) for item,total in totals.items()]
   rankings.sort()
   rankings.reverse()
   #返回推荐列表
   return rankings

def transformPrefs(prefs):
   """
   :param prefs:
   :return:物品评分和人对调，即由人-物品字典转化为物品-人字典，例如小明：{porn:4.5，hhh:7.8}转换为porn{小明：4.5，小红：3.5}
   """
   result = {}
   #将物品和人员对调
   for person in prefs:
      for item in prefs[person]:
         result.setdefault(item,{})
         result[item][person] = prefs[person][item]
   return result

def calculationSimilarItem(prefs,n =10):
   """
  :return:构造物品比较集,当用户密度增大的时候可以只训练一次，否则持续多次训练才能保持其有效
   """
   result ={}
   itemPrefs = transformPrefs(prefs)
   c =0
   for item in itemPrefs:
   #输出当前训练到多少了
      c+=1
      if c%100==0:
         print("%d/%d"%(c,len(itemPrefs)))
      scores = topMatches(itemPrefs,item,n=n,similarity=sim_distance)
      result[item]=scores
   return result

def getRecommendedItem(prefs,itemMatch,user):
   """

   :param pref:
   :param itemMatch:
   :param user:
   :return:基于物品过滤获得物品推荐
   """
   userRatings = prefs[user]
   scores = {}
   totalSim = {}
   #遍历由当前用户评分的物品
   for (item,rating) in userRatings.items():
      #循环遍历与当前物品相近的物品
      for(similarity,item2) in itemMatch[item]:
         if item2 in userRatings:
            continue
         scores.setdefault(item2,0)
         scores[item2] +=similarity*rating

         totalSim.setdefault(item2,0)
         totalSim[item2] +=similarity
   rankings =[(score/totalSim[item],item) for item,score in scores.items()]
   #返回评分结果
   rankings.sort()
   rankings.reverse()
   return rankings

def loadMovieLens(path='E:/test/GA/dataset'):
#加载数据集，存储路径可以自由修改

   movies ={}
   for line in open(path+'/movies.csv',encoding='utf-8'):
      (id,title) = line.split(',')[0:2]
      movies[id] =title
   prefs ={}
   for line in open(path + './ratings.csv'):
      (user,movieid,rating,ts) =  line.split(',')
      prefs.setdefault(user,{})
      prefs[user][movies[movieid]] = float(rating)
   return prefs

if __name__ == '__main__':
   prefs = loadMovieLens()
   print(prefs)
   #获取基于用户的推荐
   print(getRecommendations(prefs,'87'))
   #获取基于物品的推荐
   itemsim = calculationSimilarItem(prefs,n=50)
   #print(itemsim)
   print(getRecommendedItem(prefs,itemsim,'87'))

其他

相似用户：使用欧几里得距离或者是皮尔逊相关度计算
数据集下载：随便下载一个数据集，找其中的movie和rating.csv，我个人把它放到了data目录下，需要的自己配置。
用户/物品过滤：基于物品的过滤通常要优于基于用户过滤，而且物品比较只用学习一次即可（itemsim只需运行一次即可注释）。