淘宝网站SEO怎么做,可使用虚拟主机,生活服务行业网站建设,wordpress二级菜单添加链接A content-based movie recommender system using MovieLens tags #xff08;用标签构建一个简单的电影推荐系统#xff09;现在有很多电影。如果没有某种推荐系统#xff0c;您会担心#xff0c;随着时间的流逝#xff0c;用户可能会被他们不关心的电影所淹没。因此用标签构建一个简单的电影推荐系统现在有很多电影。如果没有某种推荐系统您会担心随着时间的流逝用户可能会被他们不关心的电影所淹没。因此您决定构建电影推荐系统。由于您的服务是新服务因此您没有足够的数据来了解哪些用户正在观看哪些电影。这被称为冷启动问题它使您无法仅根据用户的历史收视率来推荐电影。幸运的是即使没有足够的收视数据我们仍然可以使用电影元数据构建一个不错的推荐系统。这就是MovieLens的用处。MovieLens为每个电影提供带有关键字标签的公共数据集。这些标签非常有用。这个转化单功能多个分类值的办法十分有用整个数据集整理完之后为Source https://datascience.stackexchange.com/questions/14847/multiple-categorical-values-for-a-single-feature-how-to-convert-them-to-binary-u在本文的其余部分中我将回答三个业务问题这些问题对于使用MovieLens的标签构建基于内容的简单推荐系统至关重要每部电影需要几个标签我们如何使用标签来衡量电影之间的相似性我们如何使用标签为用户生成电影推荐第一个问题每部电影需要几个标签MovieLens标签基因组数据集中大约有10万部唯一电影和一千个唯一标签。每部电影对每个标签都有一个相关性得分因此大约有1000万个电影标签对取值区间从0到1。但是并非每个标签都与电影相关因此我们只需要保留最相关的标签。首先我们可以根据相关性得分对每部电影的标签进行排序。以玩具总动员为例接下来我们在下面的图表中确认电影排名较高的标签通常具有较高的中位数相关性突出。电影的第1级标签的中位相关性几乎几乎为1。我们可以看到 随着大约第50级中位相关性逐渐降低。要查找电影的最相关标签我们可以根据相关性得分保留电影的前N个标签。在这里我们需要仔细选择N。如果N很小则我们具有非常相关的标签。如果N大则我们有很多标签但其中许多标签可能无关紧要。下图显示了当我们从排名第1升至第100时中位数相关性得分的变化百分比。当相关性得分开始变得更加稳定时我们会在第50个等级附近看到一个拐点。因此我们可以选择N 50作为每个电影要保留的合理数量的标签。请注意这是一种非常简单的“弯头方法”样式的方法以后可以对其进行优化。现在我们可以获得每部电影的前50个标签的列表这些标签将在下一部分中使用。例如玩具总动员的50个标签。另外可以根据电影的名称来查询标签第二个问题我们如何使用标签来衡量电影之间的相似性在为用户生成电影推荐之前我们需要一种基于电影的前50个标签来衡量电影之间相似度的方法。在基于内容的推荐器系统中将向用户推荐与他们已经看过的电影相似的电影。在这里我将演示两种测量相似度的方法两组电影标签的Jaccard系数基于标签的电影矢量也称为内容嵌入的余弦相似度Jaccard 系数使用Jaccard Index的第一种方法是将两个集合A和B之间的相似度作为交集的大小除以并集的大小。在衡量电影之间的相似性时我们可以为两组电影标签计算此索引。例如假设我们下面有三部电影以及前三部标签电影A标签动作空间友谊电影B标签冒险太空友谊电影C标签浪漫喜剧成年直观地看电影A与电影B相似这是因为电影A和电影B共享两个标签空格友谊而电影A和电影C没有共享标签。以下是根据Jaccard Index进行的类似于心灵捕手的前十部电影。 对于善意狩猎的观众来说这些看起来像是合理的建议。 请注意我在列表中包括了心灵捕手以表明在将电影与其自身进行比较时Jaccard Index 1。根据Jaccard 系数与《星际穿越》相似的前十部电影以下。 对于《星际穿越》的观众来说这些看起来也很合理。为了进一步说明“ Jaccard Index”的有效性请参见下文基于类似于《星际穿越》电影的标签频率的词云。 在这里我们可以看到哪些标签在相似度计算中更为突出例如科幻小说伟大的结局错位的未来哲学的大脑的。余弦相似度Cosine SimilarityJaccard Index的第一种方法帮助我们建立了与标签相似意味着什么的直觉。 这里余弦相似度的第二种方法稍微复杂一些。 它要求我们将电影表示为矢量。 在这里向量只是一组数字。例如我们可以用三个实数表示同一部电影电影A 1.12.35.1电影B 1.32.14.9电影C 5.16.21.1凭直觉我们再次可以看到电影A与电影B的相似度高于电影B这是因为电影A和电影B在每个维度上的数字都更接近例如在第一维度上的数字是1.1与1.3。为了找到电影的良好矢量表示我使用本文中的Doc2VecPV-DBOW技术拍摄电影文档并根据其标签文档中的单词学习到潜在K维矢量空间的映射。 Doc2Vec论文中PV-DBOW技术的可视化 对于每个段落ID电影我们正在训练一个模型来预测该段落中单词电影标签的出现一旦我们可以将每个电影表示为矢量就可以计算矢量之间的余弦相似度以找到相似的电影。 我不会在这里详细介绍余弦相似度但是从较高的角度讲它可以告诉我们彼此之间相似的电影矢量之间的相似度我们可以使用它们来生成推荐。 下面我使用UMAP可视化二维的电影矢量这是一种流行的非线性降维技术。 我们可以看到在此向量空间中距离更近的电影更加相似例如玩具总动员和怪物工厂。第三个问题我们如何使用标签为用户生成电影推荐现在我们可以测量带有标签的电影之间的相似性我们可以开始向用户生成电影推荐。请记住在基于内容的推荐器系统中将向用户推荐与他们已经看过的电影相似的电影。如果用户仅看过一部电影例如心灵捕手我们可以像以前一样简单地使用Jaccard索引或余弦相似度来生成要推荐的类似电影的列表。实际上用户将观看一组电影我们需要根据这些电影的组合属性生成推荐。 一种简单的方法是将用户矢量计算为他们看过的电影矢量的平均值。 这些用户向量可以代表用户的电影偏好设置。例如如果用户只看了下面的电影A和B电影A 1、2、3电影B 721用户向量电影A和电影B的平均值4、2、2以下是我观看和欣赏的电影包括星际穿越、心灵捕手、千钧一发、几乎成名、肖申克的救赎、明日边缘、甜心先生、阿甘正传和回到未来。我们如何使用这些电影中的标签生成电影推荐呢我的用户向量将是上述九部电影的电影向量的平均值。 我可以利用用户向量来查找尚未观看的最相似的电影基于余弦相似度。 考虑到我们仅在这里使用电影标签以下是我的电影推荐这些推荐出奇的好以下是我们基于内容的推荐系统的摘要。 请注意如果我们将系统部署为API则可以在批处理过程中预先计算用户向量和相似性分数以加快建议的提供。输入用户向量从标记中学到的电影向量的平均值输出基于用户和电影向量的余弦相似度与用户相似的电影列表Source: Johnson Kuan 2019. How to Build a Simple Movie Recommender System with Tags. Available from: https://towardsdatascience.com/how-to-build-a-simple-movie-recommender-system-with-tags-b9ab5cb3b616 [25 June 2020]个人Github :非商业应用仅用于学术分享侵权删
