网站更新问题,大岭山网站建设公司,十大免费网站推广入口,搬瓦工可以做网站吗笔记整理#xff1a;耿玉霞#xff0c;浙江大学直博生。研究方向#xff1a;知识图谱#xff0c;零样本学习#xff0c;自然语言处理等。论文链接#xff1a;https://arxiv.org/pdf/1904.05298.pdf本文是发表在 NAACL 2019 上的最佳可解释性论文。受量子力学中数学模型的… 笔记整理耿玉霞浙江大学直博生。研究方向知识图谱零样本学习自然语言处理等。 论文链接https://arxiv.org/pdf/1904.05298.pdf 本文是发表在 NAACL 2019 上的最佳可解释性论文。受量子力学中数学模型的启发在语义希尔伯特空间建模语言的基本单位语义、词、句子其中基于 complex-value 的end-to-end 网络以 semantic matching 的方式在QA数据集上取得了SOTA并具备一定的可解释性。 1、Backgroundof Quantum(1)、Quantum Probability微观粒子存在不同的运动状态并且伴随着一定的概率这些状态由一定的基态组成。以 , 组成的二元基态为例粒子状态的计算为这些基态的线性组合其中α_0, α_1 为 complex value。 (2)、Measurement 不同的粒子组成一个小的微观系统由于粒子状态伴有一定的概率微观系统本身也带有不确定性。 微观系统的不确定性由一元迹的半正定矩阵也称densitymatrix进行计算其中为第 i 个粒子为量子力学中对粒子状态的向量表示为其转置m表示此微观系统中粒子的数量。在微观系统的状态空间可观察到一些high-level的属性特征x根据Gleason理论计算这些属性的概率表示为 其中由于一元迹半正定矩阵的特性。2、Semantic Hilbert Space(1) Linguistic Units与微观系统类似在语义系统中存在一些语义的基本单位语义、词、句子。语义系统由一些基本的语义组成这些语义通过一定的概率组合成词由不同词组成的句子构成了一个小的语义系统。其中语义一系列正交向量组成的基态词由语义组成而成新的状态其中权重为complex value这里表示为极坐标向量且句子由不同的词的状态构成一个微观系统。(2) Semantic Measurement语义微观系统的 Hilbert space同样可观察到一些high-level的特征x给定句子的density matrix计算其特征分布其中特征的抽取由rank-oneprojector构成的measurement matrix进行计算其作用相当于CNN中的卷积核或RNN中的cell。3、Complex-valued Network for Semantic Matching2 中基于量子力学的数学模型对语言系统进行了建模其中词和句子均为 complex- value的表示为度量语义建模的有效性本文在QA语义匹配的场景中设计了一个基于 complex value 的端到端网络。(1) word representation 的物理含义使用complex value组合词的表示embedding向量的长度和方向均具备一定的物理含义其中归一化的向量方向表示为词的状态长度为词在句子中的重要性体现(2) sentence modeling 考虑到句子过长时不能保持长距离的依赖在句子建模的过程中利用滑动窗口抽取局部状态。给定一个大小为3的滑动窗口窗口中的所有词表示为一个子句构成一个子系统产生一个density matrix因此文本中的句子由densitymatrix序列组成。同时基于词向量的长度对窗口中不同词的相对重要性进行计算 不同于一个density matrix中对所有词向量求平均局部窗口区域的densitymatrix表示为 如下图所示以词为中心计算窗口范围内的 density matrix对局部子语义系统的不确定性进行计算。 (3) match question and answer 在QA场景中给定一个问题需要找到最匹配的答案本文利用句子的density matrix对问题和答案分别进行建模并计算它们的距离 首先对长度均为L的问题答案对组成的句子对分别表示为 定义抽取特征的semantic measurement vectorK个初始化为正交one-hot向量用于抽取 density matrix 的high-level特征 利用semantic measurement vector和句子的 density matrix 序列计算k-by-L的特征矩阵 整体框架如下图(4)、利用density matrix并提取特征计算语义距离的优势a. 保留了 density matrix 中所提取特征的概率分布b. 相比计算矩阵的迹density matrix 利用measurement vector的计算方式更易于计算c. measurement vector 为可训练的向量相比于CNN的卷积核/RNN的cell计算更方便且易于理解d. datadriven的方式complex-valued vectors使得端到端的网络训练更方便。 4、Experiment1QA semantic matching 本文在两个QA数据集上进行了实验数据集特性如下图本文提出的方法在两个数据集上相比于quantum-inspired的QA模型QLM,NNQLM-i, NNQLM-ii表现更好并且在WikiQA上击败了所有的方法。 同时本文也针对实验的细节做了 ablation study• FastText-MaxPool adopt max pooling over word-embedding• CNM-Real replaces word embeddings and measurements with their real counterparts• CNM-Global-Mixture adopts a global mixture of the whole sentence• CNM-trace-inner-product replaces the train- able measurements with trace inner product like NNQLM2可解释性 基于 complex value 的向量表示为模型提供了可解释性本文从以下三个方面进行了可解释性的分析a. Transparency对模型中每一部分的元素的物理含义进行了解读。需要注意的是进行特征抽取的 measurement vector 在模型中是可训练的并且是一个具体的正交向量表达一个基态相比于CNN中的卷积核或RNN中cell更易于理解。b. Post-hoc interpretability本文对模型进行语义匹配时对问题和答案中相对重要的词进行了可视化如下图所示由图可知在语义匹配的过程中本文提出的模型确实选择出了一些相对重要的词以此可匹配到问题答案对从而对模型的匹配结果进行了解释。 5、Conclusion本文利用量子力学中的数学模型对语义空间中的语义单元进行了建模并生成了与一般常用的实数值向量不同的复数值向量complex-valued vector使用复数表示的向量不仅在计算上更为方便并且在空间中可表达一定的语义物理意义。利用量子力学建模语义空间的思想不仅在本文中被使用早在一些论文中也被提出不同于其他论文中的模型本文选择在语义希尔伯特空间中对语言进行建模并且在计算densitymatrix矩阵方面方法更高效。除此之外基于量子力学的思想也可利用其他空间的思想对语义进行建模并设计神经网络应用到更多自然语言处理的场景中。 本文提出的模型在考虑语义单元物理意义的情况下具备一定的可解释性。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
