想在网上做外卖 上什么网站好,做百度移动端网站优化,公司网站设计规范,网站商城设计方案笔记整理 | 陈卓#xff0c;浙江大学计算机科学与技术系#xff0c;博士研究生研究方向 | 知识图谱/图神经网络/多模态论文链接#xff1a;https://www.aclweb.org/anthology/2020.findings-emnlp.44.pdf代码#xff1a;https://github.com/ZiaMaryam/ConceptBERT发表会议浙江大学计算机科学与技术系博士研究生研究方向 | 知识图谱/图神经网络/多模态论文链接https://www.aclweb.org/anthology/2020.findings-emnlp.44.pdf代码https://github.com/ZiaMaryam/ConceptBERT发表会议EMNLP 2020任务核心ideas模型概览流程如下得到对应模态的嵌入表示通过两个并行模态融合模块视觉-语言输出2个向量知识-语言输出1个向量聚合三种向量带有语言信息的视觉向量带有视觉信息的语言向量带有外部知识的语言向量分类器进行答案分类背景知识借鉴AAAI2020的一篇文章Commonsense knowledge base completion with structural and semantic context中所提到的ConceptNet embedding 作为I2020 常识概念图中的实体表示借鉴NIPS2019中一篇文章中的多模态交叉attention方法交叉视觉和语言两条stream分别使用了自己的query和来自另一边的key和value向量进行信息融合模型方法输入模块编码模块包括1图片与bert的联合编码2bert与Kgembedding的联合编码33个编码方式的聚合实验作者在OK-VQA数据集上达到了sota但是在VQA标准数据集VQA2.0上并没有达到。主要原因是因为该方法侧重于常识与背景知识在trick上不如当前SOTA的VQA模型效果接近76%。同时该论文避开了FVQA数据集猜测原因是在该数据集上表现不佳该数据上大部分方法都是基于pipeline这种end2end的方法不好去对标总结与灵感常识知识库某种程度上可增强许多VQA任务哪怕不是显式地需要外部知识多模态任务中以图的形式引入外部知识依然有很大的潜力可以挖掘预训练fine-tune 交叉注意力机制 外部知识 KG图结构 - - 信息最大化 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
