网站标题更改后要多久才能收录,贸易网站建设,二手房网站平台怎么做,免费设计网论文笔记整理#xff1a;朱珈徵#xff0c;天津大学硕士链接#xff1a;https://www.ijcai.org/proceedings/2021/0395.pdf动机从遗传数据到社会网络#xff0c;在越来越多的场景下与知识图谱边缘相关的数值已经被用来表示不确定性、边的重要性#xff0c;甚至是带外知识。… 论文笔记整理朱珈徵天津大学硕士链接https://www.ijcai.org/proceedings/2021/0395.pdf动机从遗传数据到社会网络在越来越多的场景下与知识图谱边缘相关的数值已经被用来表示不确定性、边的重要性甚至是带外知识。然而传统的知识图嵌入模型并没有设计来捕获这些信息这损害了预测能力。在这项工作中作者们的任务是预测缺失环节的概率估计与数字增强三元知识图。作者提出了FocusE一个知识图嵌入的附加层以增强边相关数字文字的链接预测它将数字边缘属性注入传统知识图嵌入体系的评分层。对公开可用的丰富数字的知识图的实验表明作者的方法优于传统的数字不可知的基线以及最近的UKGE模型。亮点FocusE的亮点主要包括1.FocusE适用于采用标准负样本生成协议的任何现有KGE模型并使用边数值字面值来调节真三元组的分数与其相应的负损坏之间的差值2.通过修改损失函数以更稀疏的困难示例为目标利用数值文字将传统KGE模型聚焦于具有更高数值的三元组实验表明使用FocusE训练的模型优于数字不可知 的基线特别是在区分具有高数值属性的三元组和与低值相关的三元组时概念及模型基于FocusE增强的知识图嵌入模型体系结构。附加组件充当传统计分层和损失之间的中间层。知识图嵌入模型(KGE)是用于预测实体之间缺失链接的神经结构知识图的嵌入是通过在训练知识图上训练神经结构来学习的:输入层将训练三元组提供给检索实体和关系的嵌入查找层。在本文中作者预测了看不见的数值增强三元组t (s, p, o, w)的概率估计。该任务被形式化为传统链路预测的相同的学习排序问题。基于FocusE增强的知识图嵌入模型体系结构如下•FocusEFocusE是一个知识图嵌入架构的附加层旨在用数字丰富的三元组进行链路预测。FocusE会考虑与每个链接相关联的数字文字。不管它们的语义如何作者都是在数值强化或减弱链接存在的可能性的假设下操作的。例如给定数值w在[0 - 1]范围内作者假设高值识别出具有更高概率为真的三元组低值挑选出弱或不太可能的关系而w 0三元组被认为是负样本。FocusE包含一个插件层该插件层位于传统KGE方法的计分层和损失层之间设计用于训练期间如上图。与传统体系结构不同在将评分层提供给损失函数之前作者根据与三元组相关的数值调整其输出以获得重点评分。作者利用与三元组相关联的数值以便在训练期间模型将重点放在具有更高数值的三元组上。模型从训练具有高数值的三元组中学习同时使用边缘数值来最大化分配给真实三元组的分数和分配给其损坏的分数之间的差值。这会增加模型的损失并帮助它关注具有更高值的三元组。设t (s, p, o)是正的三元组。作者定义t的变体为 t_{-}(s,p,o)或t^{-}(s,p,o)。其中, s, o 分别是主体或客体的变体。设f(t)为KGE模型的打分函数作者使用软加非线性σ来确保f(t)返回的分数大于或等于零而不引入过多的失真为了考虑与三元组相关的数值的影响作者定义了一个调制因子是α∈R它负责在图形结构的影响和与每个三元组相关的数值的影响之间取得平衡在β∈[0,1]是结构性的影响,一个调制图拓扑影响的超参数并且w∈R是与正三元组t相关联的数值。β用于重新衡量三元组价值w。如果β 0使用原始数值w。当β 1时忽略数值w模型等效于传统KGE结构。注意正三元组和负三元组被分配了不同的α方程。这样做是为了在三元组数值较高时降低三元组值与它们各自的错误值之间的差值。最后FocusE层h(t)定义为把上述所有这些放在一起FocusE层h(t)然后在损失函数L中使用。这是一个修改过的更稳定的数字版本的负对数似然标准化softmax分数理论分析实验作者评估了FocusE在链接预测任务中的预测能力。实验表明FocusE在区分低值三元组和高值三元组方面优于传统的KGE模型及其最接近的直接竞争对手UKGE。作者采用了3个公开数据集进行实验分别是CN15K、NL27K、PPI5K。作者预测每个三元组t (s, p,o) ∈T是否是一个正的事实其中t是一个不相交的保留测试集只包括正的三元组。作者把这个问题看作是一个学习排序的任务:对于每一个t (s, p,o) ∈T作者通过一次破坏其中一方(即主体或客体)来生成合成的负t。作者预测每一个t和它的所有负t的得分。然后作者将唯一的正t与所有负N进行排序。作者报告了通过从生成的变体列表中过滤掉虚假的基本事实正数来学习排名度量如平均秩(MR)、平均倒数秩(MRR)和n(其中n 1,10)的命中率。结果表明FocusE带来了更好或非常相似的MRR相较于传统的数字不可知的基线:FocusE增加了所有模型的MRR它比最好的基线高出14个基点。实验表明FocusE在CN15K上的MRR比UKGE高15个基点在NL27K上的MRR比UKGE高19个基点在PPI15K上的MRR比UKGE高30个基点。FocusE实现了更好的预测能力而不需要额外的带外规则下图显示了如果λ增加性能就会提高。在大多数情况下当λ 400 epoch时模型性能达到饱和总结作者证明通过插入一个额外的层可以使传统的KGE体系结构意识到与三元组相关的数值。这将导致模型更好地区分高值和低值三元组而不考虑数字属性的语义而且不需要额外的带外规则(与UKGE不同)。未来的工作将研究预测与看不见的三元组相关的数值的能力。作者还将扩展他们的方法以支持与同一个三元组关联的多个数字属性。OpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
