当前位置: 首页 > news >正文

江宁区住房和城乡建设局网站唐山网站建设优化

江宁区住房和城乡建设局网站,唐山网站建设优化,个体户门头图片,网站建设工作自查报告笔记整理#xff1a;耿玉霞#xff0c;浙江大学直博生。研究方向#xff1a;知识图谱#xff0c;零样本学习#xff0c;自然语言处理等。论文链接#xff1a;https://arxiv.org/pdf/1904.05298.pdf本文是发表在 NAACL 2019 上的最佳可解释性论文。受量子力学中数学模型的… 笔记整理耿玉霞浙江大学直博生。研究方向知识图谱零样本学习自然语言处理等。 论文链接https://arxiv.org/pdf/1904.05298.pdf 本文是发表在 NAACL 2019 上的最佳可解释性论文。受量子力学中数学模型的启发在语义希尔伯特空间建模语言的基本单位语义、词、句子其中基于 complex-value 的end-to-end 网络以 semantic matching 的方式在QA数据集上取得了SOTA并具备一定的可解释性。 1、Backgroundof Quantum(1)、Quantum Probability微观粒子存在不同的运动状态并且伴随着一定的概率这些状态由一定的基态组成。以 ,  组成的二元基态为例粒子状态的计算为这些基态的线性组合其中α_0, α_1  为 complex value。 (2)、Measurement      不同的粒子组成一个小的微观系统由于粒子状态伴有一定的概率微观系统本身也带有不确定性。       微观系统的不确定性由一元迹的半正定矩阵也称densitymatrix进行计算其中为第 i 个粒子为量子力学中对粒子状态的向量表示为其转置m表示此微观系统中粒子的数量。在微观系统的状态空间可观察到一些high-level的属性特征x根据Gleason理论计算这些属性的概率表示为            其中由于一元迹半正定矩阵的特性。2、Semantic Hilbert Space(1) Linguistic Units与微观系统类似在语义系统中存在一些语义的基本单位语义、词、句子。语义系统由一些基本的语义组成这些语义通过一定的概率组合成词由不同词组成的句子构成了一个小的语义系统。其中语义一系列正交向量组成的基态词由语义组成而成新的状态其中权重为complex value这里表示为极坐标向量且句子由不同的词的状态构成一个微观系统。(2) Semantic Measurement语义微观系统的 Hilbert space同样可观察到一些high-level的特征x给定句子的density matrix计算其特征分布其中特征的抽取由rank-oneprojector构成的measurement matrix进行计算其作用相当于CNN中的卷积核或RNN中的cell。3、Complex-valued Network for Semantic Matching2 中基于量子力学的数学模型对语言系统进行了建模其中词和句子均为 complex- value的表示为度量语义建模的有效性本文在QA语义匹配的场景中设计了一个基于 complex value 的端到端网络。(1) word representation 的物理含义使用complex value组合词的表示embedding向量的长度和方向均具备一定的物理含义其中归一化的向量方向表示为词的状态长度为词在句子中的重要性体现(2) sentence modeling      考虑到句子过长时不能保持长距离的依赖在句子建模的过程中利用滑动窗口抽取局部状态。给定一个大小为3的滑动窗口窗口中的所有词表示为一个子句构成一个子系统产生一个density matrix因此文本中的句子由densitymatrix序列组成。同时基于词向量的长度对窗口中不同词的相对重要性进行计算      不同于一个density matrix中对所有词向量求平均局部窗口区域的densitymatrix表示为        如下图所示以词为中心计算窗口范围内的 density matrix对局部子语义系统的不确定性进行计算。 (3) match question and answer        在QA场景中给定一个问题需要找到最匹配的答案本文利用句子的density matrix对问题和答案分别进行建模并计算它们的距离        首先对长度均为L的问题答案对组成的句子对分别表示为            定义抽取特征的semantic measurement vectorK个初始化为正交one-hot向量用于抽取 density matrix 的high-level特征        利用semantic measurement vector和句子的 density matrix 序列计算k-by-L的特征矩阵            整体框架如下图(4)、利用density matrix并提取特征计算语义距离的优势a. 保留了 density matrix 中所提取特征的概率分布b. 相比计算矩阵的迹density matrix 利用measurement vector的计算方式更易于计算c. measurement vector 为可训练的向量相比于CNN的卷积核/RNN的cell计算更方便且易于理解d. datadriven的方式complex-valued vectors使得端到端的网络训练更方便。 4、Experiment1QA semantic matching 本文在两个QA数据集上进行了实验数据集特性如下图本文提出的方法在两个数据集上相比于quantum-inspired的QA模型QLM,NNQLM-i, NNQLM-ii表现更好并且在WikiQA上击败了所有的方法。               同时本文也针对实验的细节做了 ablation study•       FastText-MaxPool adopt max pooling over word-embedding•       CNM-Real replaces word embeddings and measurements with their real counterparts•       CNM-Global-Mixture adopts a global mixture of the whole sentence•       CNM-trace-inner-product replaces the train- able measurements with trace inner product like NNQLM2可解释性         基于 complex value 的向量表示为模型提供了可解释性本文从以下三个方面进行了可解释性的分析a.    Transparency对模型中每一部分的元素的物理含义进行了解读。需要注意的是进行特征抽取的 measurement vector 在模型中是可训练的并且是一个具体的正交向量表达一个基态相比于CNN中的卷积核或RNN中cell更易于理解。b.    Post-hoc interpretability本文对模型进行语义匹配时对问题和答案中相对重要的词进行了可视化如下图所示由图可知在语义匹配的过程中本文提出的模型确实选择出了一些相对重要的词以此可匹配到问题答案对从而对模型的匹配结果进行了解释。 5、Conclusion本文利用量子力学中的数学模型对语义空间中的语义单元进行了建模并生成了与一般常用的实数值向量不同的复数值向量complex-valued vector使用复数表示的向量不仅在计算上更为方便并且在空间中可表达一定的语义物理意义。利用量子力学建模语义空间的思想不仅在本文中被使用早在一些论文中也被提出不同于其他论文中的模型本文选择在语义希尔伯特空间中对语言进行建模并且在计算densitymatrix矩阵方面方法更高效。除此之外基于量子力学的思想也可利用其他空间的思想对语义进行建模并设计神经网络应用到更多自然语言处理的场景中。       本文提出的模型在考虑语义单元物理意义的情况下具备一定的可解释性。  OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
http://wiki.neutronadmin.com/news/54667/

相关文章:

  • wordpress 子分类文章汕头seo外包机构
  • 有哪些做ppt的网站站长之家官网登录入口
  • 优秀网站建设最新报价苏州手机网站建设方法
  • 网站建设销售话术开场白diango做的网站怎么用
  • 网站备案没有了原创软文
  • 现在建设一个基础的网站多少钱为什么电子网站开发
  • 网站吸引力黄埔企业网站建设
  • 手表东莞网站建设技术支持如何制作app教程
  • 影响网站alexa排名的主要因素有关于网站开发的外文书籍
  • 网站建设平台硬件要求免费推广的网站平台
  • premium WordPress长春网站优化指导
  • 网站开发的公司排名郑州seo网络营销技术
  • 做电影网站可以左右滑动的网站
  • 网站建设免费模板怎样改网站英文域名
  • 驻马店企业做网站在工行网站上如何做现金理财
  • 电子商务网站建设计划大学生学风建设专题网站
  • 做网站虚拟主机哪家好山东兴华建设集团网站
  • 中国建设企业银行网站首页企业设计网页
  • 什么都不懂做网站怎么提升网站的流量
  • 网站建设实验小结佛山网站建设公司招聘
  • 如何购买建设网站系统手机百度怎么翻译网页
  • 昆明建设咨询监理有限公司网站win10优化大师是官方的吗
  • 网站建设合同印花税税率如何做微信网站防封
  • 首都医科大学网站建设网站建设佰首选金手指三十
  • ie浏览器打开建设银行网站网络管理系统中管理对象
  • 免费网站看完你会回来感谢我的青海网站推广策划方案
  • 网站建设广州市软件工程属于哪个大类
  • 网站建设与管理案例教程教学大纲电商设计专业
  • 创新的品牌网站建设网博士自助建站系统
  • 教育学校网站做管理系统和网站哪个好做