php网站开发文档,什么网站可以做动画,营销方案怎么写,网页设计师主要是做什么一、摘要
将知识图谱#xff08;KG#xff09;纳入推荐系统有望提高推荐的准确性和可解释性。然而#xff0c;现有方法主要假设KG是完整的并且简单地在实体原始数据或嵌入的浅层中转移KG中的“知识”。这可能导致性能欠佳#xff0c;因为实用的KG很难完成#xff0c;并且…一、摘要
将知识图谱KG纳入推荐系统有望提高推荐的准确性和可解释性。然而现有方法主要假设KG是完整的并且简单地在实体原始数据或嵌入的浅层中转移KG中的“知识”。这可能导致性能欠佳因为实用的KG很难完成并且KG通常缺少事实关系和实体。因此我们认为当将KG纳入推荐系统时考虑KG的不完整性是至关重要的。 在本文中我们共同学习推荐模型和知识图完成。与之前基于KG的推荐方法不同我们在KG中传输关系信息以便了解用户喜欢某个项目的原因。例如如果用户观看了由关系同一个人实体指导的几部电影我们可以推断出导演关系在用户做出决定时起着关键作用从而有助于理解用户的偏好。更细的粒度。 从技术上讲我们提供了一种新的基于翻译的推荐模型该模型专门考虑了将用户翻译成项目的各种偏好然后通过组合几种转移方案将其与KG完成模型联合训练。对两个基准数据集的大量实验表明我们的方法优于最先进的基于KG的推荐方法。进一步分析验证了联合培训对推荐任务和KG完成任务的积极影响以及我们的模型在理解用户偏好方面的优势。我们在https://github.com/TaoMiner/joint-kg-recommender上发布我们的项目。 二、介绍
知识图谱KG是一种异构结构以机器可读图形的形式存储世界知识其中节点表示实体边表示实体之间的关系。 自提出以来KG在许多领域引起了广泛关注从推荐[40]对话系统[18,21]到信息提取[3]。专注于推荐结构知识在提供有关项目的丰富信息方面显示出巨大潜力为提高推荐系统的准确性和可解释性提供了有希望的解决方案。 然而现有的知识图谱例如DBPedia [20]远未完成这限制了转移知识的好处。如图1所示Robert Zemeckis和Death Becomes Her之间的红色虚线表示缺少关系isDirectorOf。假设用户选择了电影回到未来 III和阿甘正传通过使用KG我们可以将用户选择的原因归因于导演Robert Zemeckis。在这种情况下虽然我们已经准确地捕捉到用户对电影的偏好但由于KG中缺少关系我们仍然可能无法推荐Death Becomes Her用户也感兴趣参见红色虚线。因此我们认为在使用KG进行推荐时考虑KG的不完整性至关重要更有趣的是KG的完成能否从改进的用户项交互建模中受益 在本文中我们建议将联合模型中的推荐和KG完成这两项任务统一起来以实现相互增强。基本思想是双重的1利用KG中的事实作为辅助数据来增强用户 - 项目交互的建模以及2基于增强的用户项目建模来完成KG中的缺失事实。例如我们能够通过相关实体和关系了解用户对导演的偏好;同时我们可以预测Robert Zemeckis是Death Becomes Her的导演如果有一些喜欢这部电影的用户也喜欢Robert Zemeckis导演的其他电影。 尽管许多先前的努力已经在推荐系统中利用了KG [16,29,30,44,46,48]但是很少有工作联合模拟知识图学习和推荐的两个任务。 CoFM [31]是最相似的工作通过规范化或共享实体和项目嵌入来协调每个任务中的两个潜在向量空间如果它们指的是相同的东西。但是它忽略了实体关系在用户项建模中的重要作用并且无法提供解释能力。 在这项工作中我们提出了一个基于翻译的用户偏好模型TUP以便与KG无缝集成。关键思想是在用户和项目之间存在多个隐含的关系这揭示了用户对消费项目的偏好即原因。 “偏好”的一个例子是图1中的导演信息它驱动用户观看电影回到未来III和阿甘正传。虽然我们可以预先定义偏好的数量并从用户 - 项目交互数据中训练TUP但是偏好被表示为潜在的向量这些向量对于更深入的理解是不透明的。为了赋予偏好以明确的语义我们将它们与KG中的关系对齐捕捉项目属性类型在用户决策过程中起关键作用的直觉。从技术上讲我们将关系嵌入以及从KG学到的实体嵌入转移到TUP同时训练KG完成和推荐任务。我们将该方法称为知识增强型TUPKTUP它共同学习用户项目实体和关系的表示。主要贡献归纳如下
•我们提出了一种新的基于翻译的模型该模型利用隐式偏好表示来捕获用户和项目之间的关系。
•我们强调联合建模项目推荐和KG完成的重要性以将偏好表示与知识感知关系相结合从而赋予模型可解释性。
•我们对前N个推荐和KG完成任务的两个数据集进行了大量实验验证了联合学习的合理性。实验结果证明了我们模型的有效性和可解释性。 三、相关工作
我们提出的方法包括两个任务项目推荐和知识图谱补全。在讨论它们之间的关系之前我们先介绍每个任务的相关工作。
3.1项目推荐
在项目推荐的早期阶段研究人员专注于仅使用历史交互向目标用户推荐类似的用户或项目例如协同过滤CF[35]分解机[33]矩阵分解技术[19]BPRMF [34]。这里的关键挑战在于提取用户和项目的特征以计算它们的相似性即基于相似性的方法。
随着神经网络NN模型的激增许多方法将基于相似性的方法扩展到NN并提出了一种更有效的机制来自动提取用户和项目的潜在特征以进行推荐[7,12-14]。但是它们仍然存在数据稀疏性问题和冷启动问题。基于内容的方法通过引入各种辅助信息来处理问题例如上下文评论[9,25]关系数据[10,36]和知识图[6]。附加内容的另一个优点是提高了可解释的能力以便理解为什么要推荐某个项目。已经发现这对于推荐系统的有效性效率说服力和用户满意度很重要[8,39,47]
在辅助信息中知识图例如DBPedia [20]由于其良好的结构和充足的资源而在推荐上显示出巨大的潜力。这种类型的方法主要是基于实体和项之间的给定映射将实体的结构知识从KG转移到用户项交互建模。我们粗略地将它们分为两组使用KG三元组增加用户 - 项目对数据的方法以及结合从不同来源学习的项目和实体嵌入的方法。在第一组中Piao和Breslin [29]提取了从KG即属性 - 对象主题 - 属性驱动的轻量级特征用于分解机器。张等人[46]通过在用户和项目之间添加购买关系构建统一图表然后应用transE [2]来建模关系数据。另一方面第二组中的方法通常使用实体嵌入来提高项目嵌入的质量如果它们引用相同的东西[16,44]。 Piao和Breslin [30]使用不同的实体嵌入即node2vecdoc2vec和transE对推荐结果进行了总结发现node2vec得到了最大的改进。 CoFM [31]首先将来自用户项建模的实体嵌入的改进考虑为另一个转移任务。但是上述方法严重依赖于项目和实体之间的对齐。周等人 [48]在KG中引入实体概念来处理对齐的sparisity问题但仍未考虑实体关系在从KG转移知识方面的重要性。
另一项工作是基于翻译的推荐受KG表示学习的启发。 它假设项目的选择满足潜在向量空间中的转换关系其中关系被认为与顺序推荐[11]中的用户相关或者通过基于记忆的注意隐式建模[37]。 因此我们通过将用户偏好建模中的N对N问题1视为转换关系来改进这种类型的方法这将通过从KG转移实体及其关系的知识来进一步增强。
3.2知识图谱补全
已经发现外部知识在许多自然语言处理任务中都是有效的例如问题回答[45]这加速了知识图图谱的普及。虽然有许多方法可以用于实体[4,5]及其与文本的关系[22]但现有的知识图谱远未完成。最近对KG补全热衷于研究显示出对学习实体和关系的低维表征同时坚持图的结构知识。我们粗略地将这种表示分类学习方法分为两组平移距离模型和语义匹配模型。
TransE [2]首先提出了平移距离模型的核心思想即两个实体之间的关系对应于它们的向量空间中的平移。虽然它简单而有效但它有时会令人困惑因为某些关系可以将一个实体转换为各种实体即1对N问题。类似地还存在其他N对1和N对N问题。为了解决这些问题许多方法通过引入额外的超平面[42]向量空间[23]文本信息[41]和关系路径[22]来扩展TransE。
第二组通过基于相似性的评分函数匹配实体和关系的语义表示来测量事实的合理性。 RESCAL [27]将每个关系表示为捕获实体之间的组合语义的矩阵并将双线性函数用作相似性度量。为了简化关系矩阵的学习DistMult [43]将它们限制为对角线HolE [26]定义循环相关[32]以将关系矩阵压缩为向量ComplEx [38]为非对称关系引入复数值。另一行方法不是对组合关系进行建模而是直接引入NN进行匹配。 SME [1]分别学习头部实体和尾部实体的关系特定层然后将它们馈送到最终匹配层例如点生成而NAM [24]与深层体系结构进行语义匹配。
3.3两个任务之间的关系
项目通常对应于许多字体中的实体例如书籍电影和音乐使得在字幕之间传递知识成为可能。涉及两个任务的这些信息是互补的揭示了项目之间或用户与项目之间的连通性。就模型而言这两个任务都旨在对给定查询即实体或用户的候选者以及它们的暗示或明显相关性进行排名。例如KG完成的目的是为Robert Zemeckis给出明确关系isDirectorOf的人提供正确的电影例如Death Becomes Her而项目推荐旨在为满足某些隐含偏好的目标用户推荐电影。因此我们能够通过联合模型填补项目推荐和KG完成之间的差距系统地研究这两个任务如何相互影响。 四、预备工作
在介绍我们提出的方法前首先正式地定义两个任务以及TransH作为我们模型的知识图谱补全的组件。 4.1 任务和记号
项目推荐给定用户项目交互的表y{(u,i)}我们使用隐式反馈作为协议每对(u,i)意指用户u∈U消费项目i∈I目标是为目标用户推荐前N项。
KG补全知识图谱是由主对象-属性-对象三元组组成的有向图。每个三元组表示存在头部实体eh到尾部尸体等的关系r由ehetr定义其中ehet∈E是尸体兵器人r∈R是关系。由于知识图谱的不完整性只是图谱补全是为三元组ehetr预测缺失的实体eh和et这也可以被视为推荐目标的前N个实体。
TUP表示项目推荐的模型。 它将用户-项目对的列表Y作为输入并且在给定偏好p∈P的情况下输出指示你喜欢i的可能性的相关性得分дui; p其中偏好集P的数量是预定义。 对于每个用户 - 项目对我们引入偏好作为两个实体的关系的类似角色。 为了处理N对N问题我们引入了偏好超平面并为每个偏好分配了两个向量wp用于投影到超平面p用于用户和项目之间的转换。
KTUP是一个多任务架构。 给定KGY和一组迭代对齐A {ie|i∈Ie∈E}其中每个ie意味着我可以映射到给定KG中的实体e。 基于用户u项目i偏好p,wp尸体e关系r,wr的联合学习嵌入KTUP不仅可以输出дui; p还可以输出分数fehetr表明事实为真的可能性。
例3.1 如图1所示给定用户相互作用的电影例如回到未来III和阿甘正传以及相关的三元组KTUP能够1找出在电影上isDirectorOf关系的用户偏好。2根据诱导的偏好推荐电影“飞越长生”以及3预测三元组中失踪的头部或尾部实体Death Becomes Her isDirectorOf -Robert Zemeckis。 上述三个目标不仅要考虑KG中的结构知识还要考虑用户项目的相互作用。
接下来我么们简要地介绍一下transH它在我们的联合模型中作为知识图谱补全的组件。
4.2 用户知识图谱补全的TransH
在坚持结构知识的同时操纵实体的有效方法。 TransE [2]由于其简单性和显着的有效性而被广泛使用。 它的基本思想是学习实体和关系的嵌入如果在KG中存在三元组ehetr则满足eh r≈et。 然而单个关系类型可以对应于多个头部实体或尾部实体从而导致严重的1对NN对1和N对N问题[42]。 因此TransH [42]学习了以不同关系为条件的实体的不同表征。 它假设每个关系拥有一个超平面并且头实体和尾实体之间的转换只有在它们投影到同一超平面时才有效。 它定义了三元组的能量分数函数如下所示
f (eh, et , r ) ∥ e⊥h r − e⊥t ∥
fehetr得分较低表示三联体可能为真否则为否。 e⊥h和e⊥t是预测的实体向量
e⊥h eh − wTr ehwr (2)
e⊥t et − wTr etwr (3)
其中wr和r是关系r的两个学习向量wr表示相应超平面的投影向量r是平移向量。 ∥·∥表示本文中使用的L1范数距离函数。 最后TransH的训练鼓励使用基于差额的排名损失来区分有效三元组和不正确的三元组 其中[·] ≜max0·KG-包含通过随机替换有效三元组中的头部实体或尾部实体而构造的不正确的三元组并且γ控制正三元组和负三元组之间的边界。 五、 用于项目推荐的TUP
受KG中两个实体之间的上述翻译假设的启发我们建议TUP明确地模拟用户偏好并将其视为用户和项目之间的转换关系。 给定一组用户 - 项目交互Y它自动引发对用户 - 项目对的偏好并且学习偏好p用户u和项目i的嵌入满足u p≈i。 考虑到用户偏好的不确定性和多样性我们在TUP中设计了两个主要组件偏好感应和基于超平面的翻译。
5.1 偏好介绍
给定用户项对ui该组件用于从一组潜在因子P中引出偏好。这些因子由所有用户共享并且每个p∈P表示不同的偏好其旨在捕获 用户之间的共性作为全局特征补充了本地关注单个用户的用户嵌入。 与主题模型类似数字P | P | 是一个超参数我们无法提名每个偏好的确切含义。在KG的帮助下可以自动设置首选项的数量并为每个首选项分配说明第5节。
我们设计了两种偏好归纳策略一种从P偏好中选择一种的硬方法以及将所有偏好与注意力结合起来的柔和方式。
5.1.1 硬策略
我们的硬策略背后的直觉是当用户对项目做出决策时只有一个偏好生效。 我们使用Straight-ThroughSTGumbel SoftMax [17]对给定用户 - 项目对的偏好进行离散采样利用反向传播的重新参数化技巧可以在端到端计算模型参数的连续梯度训练。
ST Gumbel SoftMax大致采样来自多分类分布的单热矢量。 假设P路分类分布中属于p类的概率定义为log softmax 其中πp是得分函数的非标准化输出。 然后我们从上面的分布中采样一个热矢量z [z1,...,zP]∈RP如下 其中д-log -logu是Gumbel噪声u由某个噪声分布产生例如u~N0,1。 噪声项增加了arg max函数的随机性使得该过程变得等效于绘制一个样本该样本包含连续的概率分布y [y1,...yp,...,yP]其中д-log-logu是Gumbel噪声u由某个噪声分布产生例如u~N0,1。 噪声项增加了arg max函数的随机性使得该过程变得等同于绘制一个样本该样本包含连续的概率分布y [y1,...,yp,...,yP] 这称为Gumbel-Softmax分布其中τ是温度参数。 相关证明可以在原始论文中找到。
直通STgumbel-Softmax在前向和后向传播中采用不同的路径以便保持稀疏性同时支持随机的下降SGD。 在前向传递中它使如上所述的单热矢量的连续概率分布离散化。 并且在后向传递中它仅跟随连续y因此误差信号仍然能够反向传播。 在硬策略中我们将πp的得分函数定义为用户 - 项对和偏好之间的相似度 我们使用点积作为相似函数。 5.1.2 软策略
实际上用户可能根据各种因素喜欢项目这些因素没有明显的界限。 软策略不是选择最突出的偏好而是通过注意机制组合多个偏好 其中αp是偏好p的注意权重并定义为与相似度得分成比例 5.2 基于超平面的翻译
受TransH的启发我们引入超平面来处理各种偏好。 也就是说不同的用户可以对不同的项目共享相同的偏好即N对N问题这在实践中是相当普遍的。 显然对于类似TransE的转换而言这是令人困惑的只要喜欢它们的用户都是由于某种偏好图2a项目的嵌入就很接近从而导致用户的错误结论 无论用户的偏好是什么消费者都应该消费另一方。 通过引入如图2b所示的偏差超平面来减轻这种限制i和i具有不同的表示并且仅当它们被投影到特定超平面时才是相似的。 因此我们定义了基于超平面的翻译功能如下所示 其中u⊥和i⊥是用户和项目的投影向量并且是通过诱导偏好p获得的它与TransH中的关系起着类似的作用 其中wp是与偏好的诱导过程一起获得的投影向量p要么使用硬策略拾取相应的投影向量要么通过在软策略中基于诱导的注意力量来注意添加所有投影向量 我们通过BPR Loss功能鼓励每个用户的交互项目的翻译距离小于随机项目 其中Y包含负面交互通过随机破坏每个用户的交互项目到非交互项目。
传统方法例如BPRMF [34]通过基于用户和项目嵌入来计算标量分数来为用户推荐项目其指示用户更喜欢该项目的程度。 相反我们将偏好建模为向量以便1捕获用户之间的共性作为全局潜在特征与仅仅关注用户的本地特征的用户嵌入相比以及2反映更丰富的语义以获得可解释的能力。 六、通过KTUP联合学习两个任务 KTUP通过结合实体的KG知识以及关系来扩展基于翻译的推荐模型TUP。直观地辅助知识补充了项目之间的连通性作为对用户 - 项目对建模的约束。 另一方面对用户对项目的偏好的理解应揭示其与某些关系类型和实体相关的共性这可能在给定的KG中缺失。 6.1 KTUP
图3显示了KTUP的整体框架。 左侧是输入用户项交互知识图以及项和实体之间的对齐。 在右上角是项目推荐的TUP而知识图谱补全的TransH在右下角。KTUP通过增强项目和偏好与实体和关系的嵌入来共同学习这两项任务。 我们定义知识增强型TUP翻译功能如下 其中i⊥是对应实体嵌入e的增强项嵌入i的投影向量 并且p和wp是翻译向量并且投影向量通过根据预定义的一对一映射R→P的对应关系嵌入的那些增强。我们获得这两个向量如下 因此对于实体和项目增强项目嵌入包含与用户项目交互互补的项目之间的关系知识并且改进项目推荐因为实体嵌入e将结构知识保存在KG中。同时嵌入e的实体应通过反向传播期间用户和项目的附加连接进行微调。请注意我们不对两个任务使用组合嵌入因为它使项目的嵌入与两个任务中的对应实体相同这实际上降低了我们的模型以共享项目和实体之间的嵌入。对于关系和偏好关系的使用不仅提供了对可解释性的明确解释而且在模型层面上进一步更充分地结合了这两个任务。一方面通过一对一映射关系标签揭示了每个偏好的含义。例如关系isDirectorOf显示对导演的偏好或者主演对电影明星的偏好。另一方面由于KG的不完整性许多项目没有对齐的实体这限制了仅传递实体知识的模型中实体和项目之间的对齐的相互影响。考虑到每个用户 - 项目对都有一个偏好两个实体之间的关系也是如此KTUP可以更彻底地优化所有用户项目和实体。 KTUP的框架。 在顶部是项目推荐的TUP包括两个组件偏好感应和基于超平面的翻译。 KTUP联合学习TUP和TransH通过转移实体知识和关系来增强项目和偏好建模。
6.2 训练
我们使用总体目标函数训练KTUP如下所示 其中λ是一个超参数来平衡这两个任务。
6.3 SOTA模型的关系
在本节中我们将讨论KTUP与其他最先进的基于KG的推荐方法之间的关系以便在第6节中促进对两个任务之间的深入理解。我们选择三个传递实体知识的典型模型在数据层面CFKG [46]嵌入层面CKE [44]和两个方向CoFM [31]。我们从以下几个方面总结了主要的差异和相似之处用户偏好的暗示CKE和CoFM可以被视为协同过滤的扩展。这种类型的方法隐含地考虑从用户到项目的偏好并且依赖于它们的嵌入来计算分数即点积该分数指示用户喜欢该项目的程度。 CFKG和KTUP明确地对首选项进行建模并学习行业表示而不是标量来捕获更全面的语义。各种用户偏好CFKG定义了用户和项目之间唯一的购买偏好这明显受到严重的N对N问题的影响并且无法通过类似TransE的评分功能来处理它。 TKUP区分不同的用户参数并为每个偏好引入超平面以及每个关系以学习项目和实体的各种表示来自KG CKE和CoFM的转移知识仅侧重于转移实体的知识。 CFKG还通过统一图表以数据集成的方式传递关系。除了实体和项目之外KTUP根据预定义的一对一映射结合了关系和首选项的嵌入这带来了推荐机制的可解释能力的另一副产品。 七、 数据集
电影和书籍领域MovieLens-1m [28]和DBbook2014 2.两个数据集都包含用户及其对电影或书籍的评级然后通过将项目映射到DBPedia实体如果有来对LODRecSys [15,28,29]进行细化。可用的映射。在模拟隐式反馈[40]的大多数项目推荐工作之后我们将现有评级视为积极的互动并通过随机破坏项目来产生负面评价。为了从DBPedia收集相关事实我们只考虑那些与具有映射项的实体直接相关的三元组无论实体用作哪个角色即主体或对象。然后我们通过以下方式预处理这两个数据集过滤掉低频率用户和项目即在MovieLens中低于10在DBbook中低于5过滤掉不常见的实体即两个数据集中低于10切断不相关的关系并手动合并类似的关系。表1显示了MovieLens-1m和DBbook2014数据集的统计数据3。预处理后Movielens-1m中有6,040个用户和3,230个项目998,539个评级每个用户的平均评分数为165空间率为94.9。 DBbook2014中的数据sparisity问题更严重。它由5,576个用户和2,680个项目组成共有65,961个评级其中每个用户的平均评分数为12并且sparisity率达到99.6。两个数据集中使用的三元组具有相同的比例其中MovieLens 1m的子图由434,189个三元组组成具有14,708个实体和20个关系而DBbook的子图具有334,511个三元组具有13,882个实体和13个关系。请注意MovieLens-1m中用于传输的项目和实体之间的对齐比DBbook2014中的对齐要少。
7.2 基线
对于项目推荐我们将我们提出的模型与以下最先进的基线进行比较这些基线涉及典型的基于相似性的方法和基于KG的方法。
•典型的基于相似性的方法我们选择广泛使用的协同过滤模型FM [33]和BPRMF [34]因为它们是其他基线的基础并且还在许多基准数据集上实现了最先进的性能。
•CFKG [46]整合了两个来源的数据并在一个统一的图表上应用TransE包括用户项目实体和关系;
•CKE [44]结合了来自不同来源的各种项目嵌入包括KG上的TransR;
•CoFM [31]通过共享对齐项目和实体的参数或正规化来联合培训FM和TransE。我们将这两个方案分别标记为CoFM份额和CoFMreg。
对于KG完成我们选择在该领域广泛使用的典型方法TransE [2]TransH [42]和TransR [23]。此外我们评估上述基于KG的方法即使它们在原始论文中没有这样做以调查不同转移方案的影响。为了公平比较我们在发布的代码中仔细重新实现它们因为它们没有在相同的数据集上报告结果我们找不到它们发布的代码。请注意我们删除了辅助信息建模的组件如评论和可视信息因为它们在数据集中不可用并且超出了本文的范围。 7.3 训练细节
我们通过以712的比例随机分割数据集来构建训练集验证集和测试集。对于项目推荐我们为每个用户分割项目并确保测试集中至少存在一个项目。
对于超参数我们在BPRMF和TransE上应用网格搜索以找到每个任务的最佳设置并将它们用于所有其他模型因为它们共享基本的学习思路4。在{0.0005,0.005,0.001,0.05,0.01}中搜索学习速率L2正则化的系数在{10-5,10-4,10-3,10-2,10-1,0}中并且优化方法包括自适应矩估计AdamAdagrad和SGD。最后我们将项目推荐和KG完成的学习率分别设置为0.005和0.001将L2系数设置为10-5和0并将优化方法设置为Adagrad和Adam。特别是对于涉及两个任务的模型我们尝试了两组参数并且由于其优越的性能而选择后一组参数。其他超极表根据经验设置如下批量大小为256嵌入大小为100我们在验证集上执行早期停止策略。我们预先确定TUP中的首选项数量分别为20和13分别为MovieLens-1m和DBbook2014它们是根据收集的三元组的关系设置的。对于涉及两个任务的模型即CFKGCKECoFM和KTUP我们在{0.7,0.5,0.3}搜索后在两个数据集上将联合超参数λ设置为0.5和0.7以平衡它们的影响并使用基本模型的预训练嵌入即BPRMF和TransE。
本文的主要目标是在联合培训期间调查每项任务的相互影响而不是通过调整参数来实现最佳性能。因此我们提出的模型以及基线方法针对每个数据集进行一次训练并评估项目推荐和KG完成的任务。 7.4 项目推荐
在本节中我们评估我们的模型以及项目推荐任务的基线方法。 给定用户我们将测试集中的所有项目作为候选者并根据基于用户和项目的嵌入计算的分数对它们进行排名。 因此排在最前面的N个项目是推荐项目。
7.4.1度量标准。 我们使用了以前工作中广泛使用的五个评估指标
•Precision N这是与用户相关的推荐项目的一部分。 我们将所有用户的平均值计算为最终精度。
•召回 N成功推荐的与用户相关的项目比例。 我们计算所有用户的平均值作为最终召回。
•F1得分N它是等级N的精度的调和平均值并且是等级N的回忆。
•命中率N如果在前N项中推荐任何金项则为1否则为0.我们计算所有用户的平均值作为最终命中率得分。
•nDCG N标准化折扣累积增益nDCG是排名质量的标准度量考虑排名列表前N中正面和负面项目之间的分级相关性。 7.4.2总体结果。表2显示了我们提出的模型的总体性能以及基线方法其中硬和软表示4.1节中的两种偏好诱导策略。
我们可以观察到
•与两个数据集上的基线方法相比我们提出的方法表现最佳。特别是TUP与其他基于KG的模型相比具有竞争力同时它不需要任何其他信息。这是因为TUP会自动从用户 - 项目交互中推断出偏好的知识并且在交互数据量足够时例如MovieLens-1m表现得更好。通过整合KGKTUP在DBbook上进一步呈现出比MovieLens更有希望的改进即在F1中增加11.06增加4.43这意味着知识对稀疏数据更有帮助。
•仅当硬策略用于MovieLens-1m上的TUP时硬策略的性能优于软策略这意味着诱导确定性用户权限需要足够的数据并且软策略更加健壮。
•CFKG和CoFM的性能略好于MovieLens-1m上的典型模型即FM和BPRMF但在DBbook2014的稀疏数据集上表现更差。一个可能的原因是它们都通过强制它们的嵌入与对齐的项目相似来转移实体导致嵌入中已经存在的知识的丢失并且当训练数据不足时损失变得更加严重。
•CKE主要在两个数据集上实现了相当好的性能因为它结合了来自两个源的信息的项目和实体的嵌入而不是将它们与潜在空间中的类似位置对齐。
•由于相对充足的训练数据和更简单的测试甚至使用随机初始化更高的值所有模型在MovieLens-1m上的预制形成要比在DBbook2014上好得多。有趣的是使用KG的改进在MovieLens的密集数据集上比在DBbook的稀疏数据集上更大。这违背了我们的直觉即数据集越稀疏它在吸收更丰富知识方面的潜力就越大。因此我们根据训练数据的不同sparisity水平进一步划分测试集并在下一节中研究KG对每个子集的影响。 图4不同稀疏度对MovieLens-1m的影响。 x轴显示根据交互数划分的10个用户组左y轴对应于指示每个用户组中的交互数的条右y轴表示曲线的F1-得分。
7.4.3培训数据稀疏性的影响
为了研究数据稀疏性对知识转移的影响我们根据每个用户的评级数将MovieLens-1m的测试集分成10个子集进行训练; 同时我们也尝试平衡每个子集中的用户数量和评级。 F1评分的详细结果如图4所示。绿条表示每位用户的平均评分数范围从17到5635.我们将没有KG知识的模型表示为虚线其他模型表示为实线。 我们可以看到1当每个用户的平均评级数在100到200之间时基于KG的方法即CKE和KTUP比其他模型的表现最佳。2两种模型之间的差距是 随着训练数据量的减少越来越近当他们的训练数据处于类似的精神程度时改进与DBbook上的改进相似。 3同时当平均评级为563最左边的条时差距几乎消失这意味着如果有足够的训练数据KG的影响可以忽略不计。 请注意当平均评分大于89时所有模型的性能都会变差。可能的原因是用户喜欢这么多项目这些项目的偏好太普遍而无法捕获。 4当用户偏好相对简单模型即#rating 50时TUP优于KTUP显示了充分利用用户项交互进行偏好建模的有效性和必要性。
7.5知识图谱补全
在本节中我们评估KG完成的任务。它是预测给定三元组的缺失实体eh或etehetr。对于每个缺失的实体我们将所有实体作为候选者并根据基于实体和关系嵌入计算的分数对它们进行排名。
7.5.1度量标准
我们使用了两个在以前的工作中广泛使用的评估指标[42]
•命中率N如果未命中实体在前N个候选者中排名则为1否则为0.我们计算所有人的平均值
三胞胎作为最终命中率得分。
•平均等级它是缺失实体的平均等级越小越好。 7.5.2总体结果
表4显示了整体性能。我们可以看到除了MovieLens-1m上的平均等级值之外KTUP几乎优于两个数据集上的所有其他模型。我们认为这个指标不那么重要因为它很容易被一个具有低等级的顽固三重[41]所减少。与TransH相比MovieLens-1m的命中率与DBbook20142.67vs。1.15的命中率相比有更大的提升因为Movielens-1m包含更多用户和项之间的连接有助于在实体之间建模结构知识。我们还观察到CFKGCKE和CoFM与基本KG组件相比表现出性能下降TransE和TransR。 一个原因可能是这些方法迫使对齐实体的嵌入满足项目推荐的其他任务而对齐的实体只是一小部分即两个数据集上的19.95和18.25这实际上降低了学习的学习KG完成。另一个原因是用户偏好的N对N问题对实体和关系的表征学习产生负面影响特别是对于CFKG中的购买关系。 CKE考虑了这个问题但TransR包含许多可训练的参数并且在这么小的训练集上不能很好地工作。 7.5.3处理N对N关系的能力
表3显示了每个关系类别的单独评估结果。在[2]之后我们将关系分为四种类型1对11对NN对1和N对N.我们可以看到1TransR及其相关模型即CKE表现最差这与上述整体性能一致。 2KTUP在N对N问题上实现了最佳性能并且还与TransE和CoFM在1对11对N和N对1问题上具有竞争力这表明了我们的能力。处理复杂关系并改进这两项任务的方法。 3CFKG在N-N关系上的值比TransE低这意味着统一图可能引入了更加混乱的关系语义。 4CoFM在KG完成任务中具有竞争性而在项目推荐中则较差因为他们的知识转移方案导致联合训练不稳定。也就是说难以控制知识转移对哪个任务的积极影响以及需要在每个任务上单独训练CoFM的不同参数这也在原始论文[31]中得出结论。 图5DBbook2014上两个任务之间训练曲线的相关性用Pearson相关系数ρ表示。 x轴是训练时期左侧y轴对应于通过命中率的KG完成右侧y轴是通过F1的项目推荐。 请注意我们将F1和命中率的值都缩放到相同的大小。
7.6两项任务的相互利益虽然已经对单独的任务进行了评估但仍不清楚不同的转移方案如何生效。因此我们研究了两个任务的训练曲线之间的相关性。直觉上强相关意味着更完整的转移学习以及更好地利用彼此的补充信息。由于KG完成没有F1测量因此我们将其命中率对应于左侧y轴并且通过F1的项目推荐显示在右侧y轴上。 如图5所示我们可以看到KTUP和CFKG呈现出曲线之间最强的相关性即一条曲线的增加和减少应同时反映在另一条曲线上。这意味着关系的转移在共同训练这两项任务方面发挥着重要作用。然而CFKG在机器人任务上表现不佳如表2和表4所示主要是因为2个原因。首先它不能处理复杂的关系;第二它只通过关系和偏好的整合来增加统一图中的连通性这实际上不是过渡性的。相反KTUP结合了两种结构知识的关系和偏好的嵌入同时引入了N对N问题的超平面。由于转移实体的一小部分CoFM和CKE的曲线显然不是强相关的。具体而言CoFM强制对齐的实体和项目的嵌入相似这可能导致不稳定的训练。 CKE通过组合嵌入来关注单向增强因此在项目推荐中表现良好但在KG完成方面表现更差。
7.7案例研究
在本节中我们将介绍Movielens-1m的一个示例以直观地展示我们的可解释性。左边是与7部电影互动的用户。 KTUP首先引导用户对这些电影的偏好并发现用户关心的是isDirectorOf和starring的关系4.1节中最受关注的偏好。因此它基于诱导的偏好根据等式16搜索最近的项目。我们在右侧展示推荐的四部电影。特别推荐Batman Forever和BatmanRobin电影因为用户会向导演Joel Schumacher表示偏好。同样对导演的偏爱也有助于诱导由Cameron Crowe执导的电影Say Anything ......此外用户还喜欢主演如伊甸园东部的詹姆斯迪恩电影和吉普赛的娜塔莉伍德1962年的电影;在一起系统建议另一部电影Rebel Without a Cause。 八、结论
在本文中我们提出了一种新的基于翻译的推荐模型TUP并将其扩展为无缝集成KG完成即KTUP。 TUP能够对用户和项目之间的各种隐式关系建模这揭示了用户对消费项目的偏好。 KTUP通过对齐的关系和权限进一步增强了模型的可解释性并通过联合学习提高了两个任务的性能。将来我们感兴趣的是在多跳实体关系上引入更复杂的用户偏好并引入KG推理例如规则挖掘技术用于看不见的用户偏好以处理冷启动问题。
九、参考文献
Unifying Knowledge Graph Learning and Recommendation: Towards a Better Understanding of User Preferences
文献获取地址https://arxiv.org/abs/1902.06236
