婴儿辅食中企动力提供网站建设,京津冀网站建设公司,网站模板 代码免费,网络舆情应对及处置方案Commonsense for Generative Multi-Hop Question Answering Tasks链接#xff1a; https://arxiv.org/abs/1809.06309背景机器阅读任务按照答案类型的不同#xff0c;可以大致分为:(1) 分类问题: 从所有候选实体选择一个(2) answer span: 答案是输入文本的一个片段(3) … Commonsense for Generative Multi-Hop Question Answering Tasks链接 https://arxiv.org/abs/1809.06309 背景机器阅读任务按照答案类型的不同可以大致分为:(1) 分类问题: 从所有候选实体选择一个(2) answer span: 答案是输入文本的一个片段(3) 生成式问题: 模型生成一句话回答问题不同的数据集文档的差异也较大。如SQuADCNN/DM数据集来源于百科新闻等文本问题类型多为事实型因而回答问题不需要综合全文多处进行综合推理只需要包含答案的句子即可。而本文实验所用的数据集如NarrativeQA则来源于小说等回答问题需要综合全文多处不相连片段进行推理因此难度更大。本文提出在NarrativeQA等需要多跳推理的文本进行生成式问题回答的模型。人工抽样数据集样本分析发现许多样本答案的推理单凭文本包含的信息是无法完成推理并回答的需要引入外部知识库中的常识信息。本文提出在常规的机器阅读模型中引入ConceptNet中的常识信息。BaseLine模型按照机器阅读模型的一般性结构baseline模型可以分为4层:(1) Embedding layer: 问题和文档里的每个词用预训练的词向量和ELMo向量表示(2) Reasoning layer: 重复执行K次推理单元推理单元的内部结构是BiDAF模型的attention层(3) Model layer: 最后再对文档的表示做self-attention和Bi-LSTM(4) Answer layer: pointer-generator decoder, 即RNN的每一步同时对词表和输入计算输出概率每个词在当前位置被输出的概率为其在词表中被选中的概率和其在输入中被copy的概率之和。 改进模型引入外部常识常识挑选对每一个样本需要中外部KG中选择与之相关的多跳路径做法如下(1) 在KG中找出多跳路径其中包含的实体出现在样本的问题或文档中(2) 对这些路径中的实体节点按照出现次数或PMI打分(3) 类似beam search, 从所有路径生成的输出中挑选出得分最高的一些路径这些路径是对该样本可能有帮助的外部常识信息模型引入常识引入外部常识通过修改Reasoning layer中的基本单元。具体做法是每条路径的embedding表示为其每个节点的文本embedding的简单拼接修改后的Reasoning cell在经过BiDAF的attention结构后再对该样本的所有外部常识三元组路径做attention计算该attention计算再次更改文档和问题中每个词的表示。实验结果对比baseline模型和引入外部常识的模型可见引入外部常识能是模型在BLEU和Rouge等指标上取得不错的提升。对模型做ablationtest, 可以发现推理层的推理次数如果为1模型效果下降很多这表明模型确实在利用多跳的路径信息。另外ELMo embedding以及经过Reasoning层后的self-attention都对模型的效果提升较大。本文作者: 王梁浙江大学硕士研究方向为知识图谱自然语言处理.OpenKG.CN中文开放知识图谱简称OpenKG.CN旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。转载须知转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题请注明原标题。 点击阅读原文进入 OpenKG 博客。
