当前位置: 首页 > news >正文

网站悬浮代码社交电商十大平台有哪些

网站悬浮代码,社交电商十大平台有哪些,巢湖网站建设电话,各种网址大全该论文引入Transformer#xff0c;主要核心是自注意力机制#xff0c;自注意力#xff08;Self-Attention#xff09;机制是一种可以考虑输入序列中所有位置信息的机制。 RNN介绍 引入RNN为了更好的处理序列信息#xff0c;比如我 吃 苹果#xff0c;前后的输入之间是有…该论文引入Transformer主要核心是自注意力机制自注意力Self-Attention机制是一种可以考虑输入序列中所有位置信息的机制。 RNN介绍 引入RNN为了更好的处理序列信息比如我 吃 苹果前后的输入之间是有联系的。 如图 引入Transformer的原因 解决长距离依赖的问题传统的RNN存在梯度消失和梯度爆炸的问题难以有效捕获长距离依赖关系。而Transformer引入了注意力机制使模型可以在序列中捕获远距离依赖关系。并行计算RNN和循环连接的特点使得它们难以并行计算限制了计算速度。相比之下Transformer模型的注意力机制允许模型在每个时间步骤上并行计算大大加速计算速度。可扩展性Transformer模型可以适用与不同长度的序列 Attention函数分析 注意力机函数值注意力机制的核心组成部分它定义了如何计算注意力权重以及使用这些权重聚合数据来获取上下文表示。注意力函数包括 Query查询用于确定关注哪些输入元素的向量或表示。在自注意力机制中通常是前一个时间步骤的隐藏状态或者上下文表示。key键是与输入元素相关的向量表示。注意力机制通过比较query和key的相似性来决定要关注哪些输入value值是与键对应的输入元素的向量或表示。注意力机制根据query和key的相似性来为每个值分配权重这些权重将用于生成上下文表示。score分数表示key和query的相似性分数越高表示查询更关注与键相关的输入。例如向量a和向量b它的点积越小越大两个向量之间 相似性越高。注意力权重是一个概率分布表示对每个输入元素的关注程度。通常由softmax得到确保总和为1.上下文表示通过注意力权重对值进行加权求和得到它是对输入元素的聚合表示反应了模型的关注点。 注意力函数的一般计算步骤 计算query和key的相似性分数通过点积、加性模型或者缩放点积等方式实现。对相似性分数进行softmax操作以此获得注意力权重确保他们归一化为概率分布。使用注意力权重对值加权求和以此生成上下文表示。 对于自注意力机制来说 query、key、value自注意力的核心是通过三个线性变换来为每个位置生成这三个向量。这些向量在输入序列中的每个位置都有一个。对于给定的位置query 用于提出问题key 用于提供答案的位置信息而value 包含了实际的信息。计算注意力分数计算分数通过将query和所有位置的key 进行点积操作得到的。注意力分户可以看成是度量两个位置之间关联性的分数他表示了一个位置对于其他位置的关注程度。softmax 操作进行归一化为了获得有效的注意力权重对计算得到的注意力分数进行归一化处理。为了确保每个位置权重是有效的概率分布从而更好的表达位置之间的关联性。计算加权和对得到的归一化之后的注意力权重和对应位置的value进行加权求和得到每个位置的上下文表示。 多头注意力机制 是一种扩展的自注意力机制它允许模型同时学习多个不同的关注模式。多头注意力机制将自注意力计算分为多个头每个头学习不同的权重矩阵以捕获不同类型的关联性。多个头的结果会拼接或合并然后通过线性变换进行投影。 选择缩放点积原因 点积和加性注意力理论复杂度相似但是在实践中点积注意力的速度更快、更节省空间因为它可以使用高度优化的矩阵乘法代码来实现对于键K的维度越大加性注意力的性能比点击好所以我们怀疑对于很大的维度点积会大幅度增长为了抵消这种影响我们使用缩小点积。 缩放点积 是注意力机制中一种常见的类型通过和自注意力机制一起使用它的目的是确保在计算注意力分数的时候使得范围适中避免梯度消失或者梯度爆炸。下面是介绍缩放点积的步骤 Query、Key、Value这是缩放点积的三个输入通常来自于一个序列。相似性分数计算计算查询和键之间的相似性。将查询和键之间的点积作为相似性分数。具体而言就是对于给定的查询Q和键K计算相似性分数矩阵为 Score Q*K^T 其中K^T表示键K的转置矩阵。每个Scores[i][j]表示查询的第i个元素和键的第j个元素的相似性。缩放为了稳定训练过程缩放点积对相似性分数进行缩放操作通过操作是除以一个缩放因子来实现。缩放因子通常是键K的维度的平方根。即.缩放后的相似性分数Scale_Scores有助于控制梯度大小防止梯度爆炸或者消失。 Scale_Scores Scores / sqrt(d_k) 计算注意力权重对缩放后的相似性分数进行softmax操作将其转化为概率分布得到注意力权重。这些权重表示了对输入序列不同位置的关注程度。 attention_weight softmax(Scale_Scores) 结论 在这项工作中提出了 Transformer这是一个完全基于注意力的序列转换模型。注意用多头自注意力取代了编码器-解码器架构中最常用的递归层。
http://wiki.neutronadmin.com/news/274073/

相关文章:

  • 做网站是不是涉及很多语言职凡科和有赞哪个好用
  • 有什么样的网站开发手机商城网站设计要求怎么写
  • 银行虚拟网站制作网站制作属于什么专业
  • wordpress模板 门户网站手机app软件开发价格
  • 万荣做网站あかねさす少女免费
  • 云南做网站需要多少钱百度广告标识
  • 保险网站定制百度在线扫题入口
  • 欧赛科技网站建设网站栏目设计
  • 兖州网站建设公司什么是网站建设与优化
  • 怎样让自己做的网站被百度收录如何制作个人网页?
  • 中国建设信息昆明网站seo公司
  • 北京工商注册核名泰州seo公司
  • 网站建设ppt演示文档如何建设电影网站
  • 长治网站制作怎么做适合注册公司的名字大全
  • 长沙建设工程官方网站济南官网seo推广
  • 哪个网站做推广做的最好宠物用品销售网站建设和技术现状
  • 镇江网站建设多少钱网站哪里可以查到做ddos
  • 网站开发语言检测小微平台
  • 青海农业网站建设公司seo深圳网络推广
  • 做网站CentOS还是win好it培训机构怎么样
  • 网站建设设计未来前景广州省建设监理协会网站
  • 新开传奇网站超变潍坊 logo设计公司
  • 哪些网站用天平做logo做网站推广利润
  • 上虞区住房和城乡建设局网站网站排名logo怎么做
  • 亚马逊网站建设的意义淘宝便宜的团购网站建设
  • 手机创建网站免费建设pc 移动网站
  • 网站开发知识产权归属问题即时聊天app开发
  • php做网站需要数据库吗外贸是做什么的工作内容是什么
  • 网站建设什么原因最主要英语卷子哪个网站可以做
  • 做购物商城网站建设商业空间展示设计