网站建设的方式有哪些方面,农业网站建设公司,求职网站建设,11免费建网站论文笔记整理#xff1a;许泽众#xff0c;浙江大学博士研究生。研究方向#xff1a;知识图谱#xff0c;规则挖掘等。论文链接#xff1a;https://openreview.net/pdf?idrJleKgrKwS本文解决的是规则的学习问题#xff0c;学习出来的规则可用于知识推理任务#xff0c;… 论文笔记整理许泽众浙江大学博士研究生。研究方向知识图谱规则挖掘等。论文链接https://openreview.net/pdf?idrJleKgrKwS 本文解决的是规则的学习问题学习出来的规则可用于知识推理任务例如链接预测等。KG上的规则捕获了数据中可解释的模式并且可以用于KG的清洗和补全。可微逻辑框架TensorLog将规则推理编译成了可微的操作序列。受TensorLog的启发Neural LP方法可用于学习参数和规则的结构。然而它在处理age, weight, scicentific measurements等数字特征方面受限。本文提出Neural LP的扩展可实现对数值规则的快速学习。在通用的Neural LP方法中数值规则会导致稠密的矩阵操作使用动态规划和累积求和运算有效地表达了用于数值比较的操作符。同时作者还设计了否定、聚合等操作符总体上使得规则形式更加丰富。最后在多个KG数据集上进行了实验证明了本文的方法和Neural LP方法相比可以更准确地回答queries并且比state-of-the-art的规则抽取方法准确率更高。在两个合成的真实数据集上进行了实验证明了本文的方法可以依赖于数值信息更准确地恢复出规则以实现在KG上进行更精准的链接预测。和纯图嵌入方法不同的是本文的方法抽取出的规则仍然具有可解释性。考虑图中所示的KG和如下的规则这个规则表示学生受有较高引用量的导师的同事的影响。原始的Neural LP框架不能直接支持有数值的事实简单的做法是将数值常量作为实体但这将会非常难以处理因为各自矩阵中非零的元素值非常非常多。类似地朴素的处理否定原子的操作会引入操作不可行的稠密矩阵。本文方法的主要思想是隐式地表示必要的矩阵操作可以使用动态规划、累积求和和排列用于数值比较特征也可以使用低秩分解用于否定原子。所谓隐式操作就是指不需要完全重现操作符的具体数据只需要能够得到操作符和向量相乘得到的结果即可。作者设计了以下操作符1Pair-wise Comparison这一矩阵是针对KG上所有包含p , q实体对的因此通常是稠密的因此朴素的具体化将超过GPU内存的限制。而且在现实中通常不需要明确地具体化TensorLog的关系矩阵。上面提到的Neural LP推理链中所需要做的就是有效地计算关系矩阵和表示推理链中当前概率的某个向量之间的matrix-vector积这就是隐式的意思考虑到特殊的情况p和q都以升序进行排列: γ值可以预先在CPU上进行计算使用动态规划可以实现线性的复杂度。 考虑一般的情况也就是p , q没有进行排序2分类操作符作者也考虑到了更多的一般规则在这种规则中不一定非要对实体的两个数值属性间进行比较也可以对这些属性的functions进行比较。通过在之上施加聚合函数 F 去达到多个属性操作聚合作用的效果例如下面一条逻辑表达式其中 F 代表的聚合操作就是由两种基础的属性比较操作的某种联合作用聚合函数可用任意的神经网络来替换文中使用了简单的MLP。3否定操作符Negated Operators使用了局部封闭世界的假设local closed-world assumption因为封闭世界假设不符合KG的使用场景开放世界假设对操作符取反之后全为0没有意义。对于给定的操作符矩阵M对那些要被翻转的元素进行了限制即要被翻转的元素所在的行至少要有一个非零元素。实验部分如下1、数据集2、实验任务链接预测3、对比方法本文的方法称为Neural-Num-LP和以下两个baselines进行对比AnyBURL用于学习Horn规则的自底向上的方法Horn规则例如只有positive atoms没有比较操作符的规则Neural-LP可微的规则学习系统。4、实验结果本文的方法和baselines对比的实验结果实验结果可以看出本文基于Neural-LP拓展出的方法Neural-Num-LP在自造的数据集上达到了一种很好的效果而另外俩个相关的baseline因为没有加入数值推理的逻辑所以效果不行同时在俩个标准知识图谱上Neural-Num-LP也能达到一个较好的效果体现出框架的一方面很好的保存了关系推理的功能又较好的建模了数值推理的逻辑。总体而言本文设计了多种操作符丰富了规则形式尤其是支持数值型规则的可谓学习但是每种操作符都有一定的限制。比较操作符只能比较规则中相邻的实体的数值否定操作符本身的部分封闭世界假设本身相比开放世界假设是有限制的聚合操作符实际减弱了规则的可解释性。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
