html5绿色的房地产手机网站模板源码,流量网站,广州网络,中国材料价格网笔记整理#xff1a;朱珈徵#xff0c;天津大学硕士链接#xff1a;https://aclanthology.org/2021.acl-long.183.pdf动机因果推理旨在理解因果之间的一般因果相关性#xff0c;对于各种人工智能应用都有很大的价值。先前的研究主要是基于从手工注释的因果事件对中归纳出的… 笔记整理朱珈徵天津大学硕士链接https://aclanthology.org/2021.acl-long.183.pdf动机因果推理旨在理解因果之间的一般因果相关性对于各种人工智能应用都有很大的价值。先前的研究主要是基于从手工注释的因果事件对中归纳出的知识来推断事件之间的因果关系。然而关于因果关系的更多证据信息仍未被利用。通过整合这些信息可以揭示因果关系背后的逻辑规律提高因果推理系统的可解释性和稳定性。为此作者们提出了一个事件图知识增强的可解释因果推理框架(ExCAR)。ExCAR首先从大规模的因果事件图中获取额外的证据信息作为因果推理的逻辑规则。为了学习逻辑规则的条件概率作者们提出了条件马尔可夫神经逻辑网络(CMNLN)它以端到端可微的方式结合了逻辑规则的表示学习和结构学习。实验结果表明ExCAR的性能优于以往的SOTA方法。对抗性攻击评估显示ExCAR的稳定性优于基线系统。人工评估结果表明ExCAR具有良好的可解释性能亮点ExCAR的亮点主要包括1.提出了一个事件图知识增强的可解释因果推理(ExCAR)框架充分利用证据信息的潜力。给定一个输入事件对ExCAR首先从大型因果事件图中检索外部证据事件并将它们之间的因果关系定义为一组逻辑规则2.进一步提出了一个条件马尔可夫神经逻辑网络(CMNLN)以端到端方式学习逻辑规则的条件因果相关性以解决事件之间因果关系的不确定。概念及模型•背景因果推理任务可以形式化为一个预测问题给定一个因果事件对C,E由前提事件和其中一个假设事件组成预测模型需要预测一个分数来度量事件对的因果关系。CEG是由作者构建的大规模因果知识库从该知识库中可以检索出一组针对某一因果事件对C,E的额外证据。在形式上CEG是一个有向无环图表示为G {V,R}其中V是节点集R是边集。每个节点 对应一个事件而每条边 表示第i个事件和第j个事件之间存在因果关系。为了提高因果推理的可解释性和稳定性本文将因果推理问题转化为基于规则的推理任务。具体来说给定一个输入因果事件对C,E从CEG那里检索到一组证据事件。证据事件与C、E进一步形成一套因果逻辑规则其中一条规则描述了两个事件之间的因果关系。在形式上规则 其中是⇒一个逻辑连接表示两个事件 和 之间的因果关系。针对这些因果逻辑规则可以揭示因果机制并以一种可解释的方式进行因果推理事件图知识增强的可解释因果推理(ExCAR)框架结构如下•ExCAR如图上所示ExCAR由两个组件组成。给定事件对C,EExCAR采用证据检索模块从预先构建的因果事件图中检索证据事件生成一组逻辑规则。然后ExCAR利用条件马尔可夫神经网络进行基于逻辑规则的因果推理。•证据事件检索给定在因果事件图之外的事件对C,E为了从因果事件图中获得证据作者首先在因果事件图中定位因果关系。从直观上看语义上相似的事件会有相似的原因和结果并且在CEG中共享相似的位置。为此采用了一种预先训练的语言模型ELMo来推导CEG中事件的语义表示以及因果事件。然后利用语义表示的余弦相似度在CEG中找到与输入的因果事件语义相似的事件。这些事件可以作为定位因果事件的锚点。然后如上图所示以原因事件的锚点为起点以效应事件的锚点为终点可以通过广度优先搜索(BFS)算法检索证据事件。•条件马尔可夫神经逻辑网络规则的因果强度可能因先行词的不同而不同其中先行词可以是一个事件一个简单的规则或单个规则的复杂组合。为清楚起见将规则 的先行词表示为 。如图所示从因果逻辑图派生出的单个规则可以有多个前因每个前因都可以对规则的因果强度产生自己的影响。为了通过利用神经模型在表示学习中的有效性来解决这个问题提出了基于逻辑规则嵌入的CMNLN。为了模拟规则的叠加因果效应CMNLN将CLG视为不同因果逻辑链的组合并结合每个因果逻辑链的信息预测因果评分。因此在每个因果逻辑链中使用一个前因感知的势函数为每个规则估计特定于链的因果强度。然后CMNLN聚合链内因果信息和链间因果信息得出因果评分。•训练在训练过程中引入了因果逻辑驱动的负抽样以提高条件因果强度估计的可靠性。特别是如果在CLG中存在规则 由于因果关系的单向性可以推导出相应的错误规则 。从CLG中也可以通过随机抽样为错误规则生成一个错误的前因式。因此理想情况下这些错误规则的条件因果强度应该等于0。此外还将因果关系的单向性与因果关系的及物性结合起来生成具有更复杂模式的错误规则。通过对错误规则进行采样并训练这些错误规则的势函数为零时条件因果强度估计的可靠性可以得到提高。对于因果逻辑驱动的负抽样过程CMNLN的损失函数定义为理论分析实验为了评估ExCAR框架的鲁棒性作者构建了一个额外的中文常义因果推理数据集C-COPA。Baseline这些方法从大规模语料库中估计词或短语层次的因果关系。然后通过合成词级或短语级的因果关系得到输入事件对的因果关系。PMI使用点互信息度量词级因果关系。PMI EX是一个非对称的词水平PMI它考虑了因果推理的方向性。CS通过整合必要性因果关系和充分性因果关系来衡量词汇层面的因果关系。CS MWP使用CS评分来衡量单词和介词短语之间的因果关系。作者在下表中列出了COPA数据集和C-COPA数据集上的结果。实验表明与基于因果对的BERT相比ExCAR相关方法的性能有所提高。这表明从事件图中加入额外的证据有助于揭示因果决策机制从而提高因果推理的准确性。ExCAR-w/ MLN和ExCAR-w/ CMNLN的性能优于ExCAR-concat后者将CLG简化为一个事件序列。这表明利用逻辑规则之间复杂的因果关系模式可以帮助完成因果推理任务。与ExCAR-w/ fixed-cs相比ExCAR-w/ MLN和ExCAR-w/ CMNLN的性能有所提高。这证实了神经化规则来解释逻辑规则的不确定性对因果推理任务是有帮助的。与ExCAR-w/ MLN相比ExCAR-w/ CMNLN进一步提高了预测精度表明通过整合前因感知势函数CMNLN可以对因果推理逻辑规则的条件因果强度进行建模。表2为对抗性攻击后的预测精度∆为对抗性攻击带来的性能变化。例如∆ -9.9表示攻击后的预测精度下降了9.9%。作者发现与基于事件对的BERT相比ExCAR能够显著提高预测精度的稳定性。这些结果表明ExCAR可以通过引入额外的证据事件来揭示其背后的因果机制从而提高预测结果的稳定性。总结本文设计了一个新颖的可解释的因果推理框架ExCAR。给定一个事件对ExCAR能够从一个大规模的因果事件图中获取逻辑规则以提供对推理结果的洞察力。为了学习逻辑规则的条件概率作者提出了一种结合了基于规则和神经模型的优势的条件马尔可夫神经逻辑网络。经验上本文的方法在两个因果推理数据集包括COPA和C-COPA上优于之前的工作。此外ExCAR可以通过提供概率逻辑规则的解释来解释。OpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
