wordpress建站阿里云,什么是项目管理,合肥的电商网站设计,做平台还是自己做网站卖萌屋今日学术精选大家好#xff0c;我是卖萌酱。今天下午卖萌屋作者群里一位MILA实验室的大佬在临睡前#xff08;蒙特利尔时间凌晨0点半#xff09;甩出来一篇论文#xff1a;大佬表示太困了#xff0c;肝不动了#xff0c;于是卖萌酱左手抄起一罐咖啡#xff0c;右手… 卖萌屋今日学术精选大家好我是卖萌酱。今天下午卖萌屋作者群里一位MILA实验室的大佬在临睡前蒙特利尔时间凌晨0点半甩出来一篇论文大佬表示太困了肝不动了于是卖萌酱左手抄起一罐咖啡右手接过论文就开始肝了必须第一时间分享给卖萌屋的读者小伙伴们论文链接https://arxiv.org/pdf/2203.00555.pdf首先把Transformer模型训深最大的问题是什么耗显存训练慢都不是最大的问题是压根就不收敛啊...所以这篇论文最关键的贡献就是提出了一种新的Normalization方式——DeepNorm有效解决了Transformer训练困难的问题。其实早在2019年就有研究者针对Transformer训练困难的问题提出了Pre-LN来提升Transformer的训练稳定性但是随后有人发现Pre-LN会导致模型底层的梯度比顶层的还要大这显然是不合理的因此往往训练出的模型效果不如传统的Post-LN。尽管后续也有一些补丁来试图解决这些问题但这些既有的尝试都只能让Transformer的模型深度最多训练到几百层始终无法突破千层的天花板。本文提出的DeepNorm则成功打破了这个天花板。DeepNorm从以上DeepNorm伪代码实现中可以看到这确实是simple but effective的方法作者也给出了几个不同场景下的参数经验取值。效果层面作者在机器翻译benchmark上做了实验可以看到随着模型深度从10层到100层再到1000层机器翻译BLEU指标持续上升。而在与前人工作的比较上200层的DeepNet3.2B参数量比Facebook M2M 48层的矮胖大模型12B参数量有足足5个点的BLEU值提升。此外作者表示将来会尝试将DeepNet往更多NLP任务上迁移包括预训练语言模型期待DeepNet能给NLP带来下一波春天上期回顾别再双塔了谷歌提出DSI索引检索效果吊打双塔零样本超BM25后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
