深圳住房和建设局网站故障,中英文双语网站,wordpress cdn 部署,网站 用户登陆 模板本文首发于微信公众号”夕小瑶的卖萌屋“文 | Sherry源 | 夕小瑶的卖萌屋视觉是人和动物最重要的感觉#xff0c;至少有80%以上的外界信息是经过视觉获得的。我们看论文的时候#xff0c;通过图表来确定文章的大致内容往往也是一个更高效的 说到深度神经网络的可视化#xf…本文首发于微信公众号”夕小瑶的卖萌屋“文 | Sherry源 | 夕小瑶的卖萌屋视觉是人和动物最重要的感觉至少有80%以上的外界信息是经过视觉获得的。我们看论文的时候通过图表来确定文章的大致内容往往也是一个更高效的 说到深度神经网络的可视化最经典的莫过于的CNN密恐图了这种可视化方法可以让我们清晰的知道每一层的每一个Cell关注何种信息模型最后是如何逐层迭代处理得到最后的判断。但是对NLP而言文字并不容易转换成这样直观的视觉表示。对Transformer而言理解注意力机制是最为关键的一步。比较常见的一种注意力可视化是用灰度图表示不同token之间的注意力权重但这种可视化的一大缺点是每张图只能表示一个注意力头我们很难获得一个更直接的全局感受。乔治亚理工最近提出了DODRIO一种可交互的Attention可视化工具从句法和寓意层面总结了不同注意力头的信息。Transformer的可解释性终于有救啦赶紧试试他们的Demo吧https://poloclub.github.io/dodrio/论文题目DODRIO: Exploring Transformer Models with Interactive Visualization论文链接http://arxiv-download.xixiaoyao.cn/pdf/2103.14625.pdfGithub:https://poloclub.github.io/dodrio/注意力头概览在概览图中我们可以看到不同层的不同注意力头都化身成了大小深浅不一的圆点。本文计算了几种分数并用颜色、深浅、大小来表示。第一个是语义得分m它是从注意力向量和显著性得分的cosine相似度得到。其中S表示的是每个token对模型最终预测的贡献程度[1], 表示注意力权重。圆点颜色越红表示这个注意力头对语义的贡献越大。接着是句法得分n: 我们使用最被关注的源token作为依赖关系预测的目标对于每个依赖关系我们计算每个注意力头在所有样例上的平均准确性。最后将每个头所有依赖关系中的最大值作为他的句法得分。圆点颜色越蓝表示这个注意力头对句法的贡献越大。然后是重要性得分c直接计算当前头的最大注意力权重在所有样例上的平均圆点颜色越大表示注意力头对最终预测的贡献越高。句法依赖除了注意力头概览本文根据依赖关系也给出了注意力头的分析。注意力权重可以被看作是模型对词之间依赖关系的预测。切换到句法依赖的可视化之后鼠标移动到每个token都会高亮跟这个词有关的注意力连接。在展开的依赖关系图上还可以看到指定的关系在不同层的权重会如何变化。语义关系图同样本文也对语义关系进行了可视化。点击每个概览中的注意力头即可展开在这个位置的注意力表示。颜色依然表示的是每个token的显著性得分。一些结论本文的可视化方法再一次验证了一些之前BERT可解释性文章的结论。例如BERT的中间层更关注句法信息以及BERT最后1-2层是分类的关键等。一个有意思的实验是DistillBERT和BERT的可视化比较我们知道DistillBERT只用了40%的参数量达到了BERT97%的效果。用Dodrio来比较他们俩会发现什么呢DistillBERT的所有注意力头大小都差不多进一步分析发现大多数头的置信度都很接近1。另外DistillBERT的亮度也更高一些这表示整体每个头对句法或者语义的关注度都不高。这些发现暗示我们DistillBERT可能学到了语义和句法之外的信息。
