长沙网站优化公司,东营建设有限公司,湖北省招投标交易云平台,设计手绘笔记整理#xff1a;杨帆#xff0c;浙江大学计算机学院硕士#xff0c;研究方向知识图谱。动机事件编码#xff08;event encoding#xff09;之前的工作集中在提取实体#xff0c;检测触发单词以及匹配预定义的模板#xff0c;这些方法存在以下缺点#xff1a;首先它… 笔记整理杨帆浙江大学计算机学院硕士研究方向知识图谱。动机事件编码event encoding之前的工作集中在提取实体检测触发单词以及匹配预定义的模板这些方法存在以下缺点首先它们依赖于细粒度的标记数据进行训练但是这些数据很难获得其次它们使用句子级别的嵌入来去除导致错误的上下文信息但是一个事件的信息并不只是包含在一个单一的句子中。作者提出的模型引入多层的注意力机制来生成句子和文档的表示旨在更好地捕获全局信息来进行事件分类及编码。模型本文提出的模型包含以下三个模块1. Sequence Encoder 该模块使用双向GRU生成每个单词的表示。2. Word-Level Attention该模块包含以下三部分2.1 Bilinear Attention 第一部分将 Sequence Encoder 生成的单词表示通过一层的MLP得到其对应的隐藏层表示然后利用 和 计算得到attention 代表句子的全局信息。2.2 Factorized Bilinear Multi-Aspect Attention (FBMA)第二部分通过矩阵分解将之前单层的attention转换为多层的attention用来抽取更丰富的全局信息。 2.3 Sentence Representation 第三部分通过单词的表示以及对应的attention计算得到每个句子的表示。 3. Attention-Level Attention3.1 Document representation 文档表示的计算方式与句子表示类似此处不再赘述。 3.2 Loss 该模型采用交叉熵作为损失函数并且引入惩罚项P防止生成的多层attention的各层权重相同。实验1. Dataset 2.Baselines 3.Results OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
