寿光建设局网站,天津网站建设流程,佛山网站定制,php快速开发平台论文作者: 邓淑敏#xff0c;浙江大学在读博士#xff0c;研究方向为低资源条件下知识图谱自动化构建关键技术研究。Ningyu Zhang, Shumin Deng, Zhanlin Sun, Jiaoyan Chen, Wei Zhang, Huajun Chen. Relation Adversarial Network for Low Resource Knowledge Graph Comple… 论文作者: 邓淑敏浙江大学在读博士研究方向为低资源条件下知识图谱自动化构建关键技术研究。 Ningyu Zhang, Shumin Deng, Zhanlin Sun, Jiaoyan Chen, Wei Zhang, Huajun Chen. Relation Adversarial Network for Low Resource Knowledge Graph Completion.本论文已被WWW 2020接收. 论文链接https://arxiv.org/abs/1911.03091 知识图谱补全Knowledge Graph CompletionKGC通过链接预测或关系抽取来补充知识图谱缺失的连接主要困难之一是资源不足问题。KG中存在很多实例很少的关系而且那些新添加的关系通常没有许多已知的训练样本。比如下图中展示的KG大部分关系的样本都比较少呈现出长尾分布比起样本较多的关系长尾关系的预测和抽取性能显著降低。a关系的链接预测结果与它们在KG中的频率高度相关KG中频率较高的关系明显优于频率较低的关系b关系抽取的效果随着每个关系的样本数目减少而下降。本文的任务是在低资源条件下预测KG中新的三元组包括链接预测和关系抽取两个子任务。 典型的KGC任务中的资源不足问题示例链接预测、关系抽取本文提出了一个加权关系对抗网络Weighted Relation Adversarial NetworkwRAN的通用框架该框架利用对抗过程将从资源丰富的关系中学到的知识/特征去适应不同但相关的低资源关系。wRAN框架综合考虑了三部分问题对抗迁移学习Adversarial Transfer Learning核心思想是通过对抗性学习过程提取领域不变性特征该过程能够减少源域和目标域之间的分布差异关系对抗网络Relation Adversarial Network学习通用的关系不变性特征以此弄清不同关系背后的语言变化因素并缩小相关关系之间的语言差异负迁移Negative Transfer区别于标准的domain adaption源域和目标域之间的标签空间完全相同且共享wRAN考虑从多个源关系到一个或多个目标关系的适应并且考虑了不同的关系可能对迁移产生不同的影响离群的源关系在与目标关系做判别时可能导致负迁移。比如下图所示wRAN可以从三个源关系place_of_deathplace_of_birthcountry中学习通用的位置信息然后将隐含的知识应用于目标关系place_of_burial以提高其预测性能而capital关系则会导致负迁移。 Relation Adaptation示例具体地说wRAN框架利用关系判别器来区分来自不同关系的样本并以此学习从源关系到目标关系易于迁移的关系不变性特征主要包含三个模块1实例编码器Instance Encoder学习可转移的特征这些特征可以弄清关系之间的语言变化因素。考虑到模型性能和时间效率本文使用CNN实现实例编码。其他神经架构例如RNN和BERT也可以用作编码器。2对抗性关系适应Adversarial Relation Adaptation寻找可以区分具有不同关系分布的关系判别器。对抗学习有助于学习一个神经网络该网络可以将目标样本映射到特征空间从而使判别器不再将其与源样本区分开。3加权关系适应Weighed Relation Adaptation可以识别无关的源关系并自动降低其重要性以解决负迁移问题并鼓励正迁移。通过两个角度来评估每个源关系/样本对目标关系的重要性关系间相关性和实例迁移能力。并提出关系门控机制学习和控制细粒度的关系/样本权重。 模型架构本文通过低资源条件下链接预测和关系抽取两种KGC任务评估wRAN的性能。两类任务共享相同的对抗性学习框架但具有不同类型的实例编码器。前者对一个关系的三元组编码而后者学习句子特征。本文的部分实验结果如下。数据集本文的数据集情况 链接预测实验实体预测的实验结果比较 三元组分类的实验结果比较 关系抽取实验关系抽取的F1值比较ACE05数据集下标准和部分的关系适应 无监督和监督关系适应的前100、200和500个句子的关系抽取的精度值 无监督适应的关系抽取的实验结果比较 有监督适应的关系抽取的实验结果比较总而言之这篇文章研究工作的主要贡献是1率先提出将对抗迁移学习应用于解决低资源条件下知识图谱补全问题2提出加权的关系对抗网络wRAN框架利用关系判别器来区分来自不同关系的样本并以此学习从源关系到目标关系易于迁移的关系不变性特征3提出一种关系门控机制可以完全放宽共享标签空间的假设。这种机制可以挑选出离群的源关系/样本并减轻这些不相关的关系/样本的负迁移可以在端到端框架中对其进行训练4实验表明wRAN框架在低资源条件下的链接预测和关系抽取两个任务上均超过了目前最优模型的性能。如果对本文的工作感兴趣欢迎大家阅读原文也欢迎大家和我们交流。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。