做3d打印网站,搜索词和关键词,织梦网站搬家数据库,做现货去哪些网站营销好呢来源 | AI前线作者 | Jerry Wei译者 | 马可薇策划 编辑 | 刘燕语言模型 BERT 可以大幅提升许多任务的性能#xff0c;那么它成功的背后是什么呢#xff1f;本文最初发表在 Towards Data Science 博客#xff0c;由 InfoQ 中文站翻译并分享。什么是 BERT#xff1f;BE… 来源 | AI前线作者 | Jerry Wei译者 | 马可薇策划 编辑 | 刘燕语言模型 BERT 可以大幅提升许多任务的性能那么它成功的背后是什么呢本文最初发表在 Towards Data Science 博客由 InfoQ 中文站翻译并分享。什么是 BERTBERT全称 Bidirectional Encoder Representation from Transformers是一款于 2018 年发布在包括问答和语言理解等多个任务中达到顶尖性能的语言模型。它不仅击败了之前最先进的计算模型而且在答题方面也有超过人类的表现。BERT 是一个可以将文字转换为数字的计算模型。这个过程是至关重要的因为机器学习模型需要以数字而非文字为输入而一款可以将文字转换为数字的算法让人们可以直接使用原始的文本格式数据训练机器学习模型。BERT 是可以将文字转换为数字的计算模型图源 Devlin et al., 2019BERT 为何如此优秀对作者来说BERT 的优秀之处主要在于以下三点 第一使用大量数据预训练第二可以处理文字语意第三开源1BERT 使用海量数据预训练 BERT 提供两种不同大小模型BERT-base使用 BookCorpus 数据集训练约 8 亿字以及 BERT-large使用英文维基百科训练约 25 亿字。两种模型均使用了巨大的训练集而任何一个机器学习领域的人都明白大数据的力量是相当无敌的。正所谓“熟读唐诗三百遍不会做诗也会吟”在见过 25 亿单词之后再看到新单词时你也能猜到它会是什么意思。因为 BERT 的预训练非常优秀所以即使是应用在小型数据集上也能保持不错的性能。举例来说作者最近参与了一个开发 新冠COVID-19自动问答系统 的项目在没有进一步微调的情况下BERT-base 在作者使用的数据集中的 15 个类别上准确率达到 58.1%。更令人惊叹的时“COVID”这个词甚至不在 BERT 的词汇库中但它依然获得了相当高的准确率。 2BERT 可以处理语意之前的词嵌入方法无论一个词处于什么样的语境下都会返回同一个向量。而 BERT 则会根据上下文为同一个词返回不同的向量。例如在下面的例子中旧方法会为“trust”返回相同的嵌入。I cant trust you.我不能相信你。They have no trust left for their friend. 他们对自己的朋友已经没有信任感。He has a trust fund. 他有一个信托基金。相比之下BERT 可以处理语意根据“trust”语境的不同返回不同的嵌入。如果算法可以分辨出一个词使用情况的不同就能获得更多的信息性能也有可能得到提升。另一个可以处理上下文的语言建模方法是 ELMo。3BERT 是开源的开源是个大加分项。机器学习领域中的很多项目都被开源化因为代码开源可以让其他的研究人员轻松应用你的想法从而促进项目的发展。BERT 的代码 发布在了 GitHub 上同时还附有代码使用相关的 README 文件这些深入信息对于任何想要使用 BERT 的人来说有很大帮助。在作者最开始使用 BERT 时只花费了几分钟下载能运行的 BERT 模型然后只用不到一小时的时间成功写出可以用在数据集中的代码。一个非常强大的语言模型会同时具备上文中提到的全部三个方面而这个模型可以在 SQuAD、GLUE 和 MultiNLI 等大名鼎鼎的数据集上会达到最顶尖的性能。它所拥有的这些巨大优势是让它如此强大和适用的原因所在。BERT 利用大量数据进行预处理用户可以直接将其应用在自己相对较小的数据集上。BERT 有上下文嵌入性能会很不错。BERT 是开源的用户可以直接下载并使用。它的应用范围如此之广这就是为什么说 BERT 彻底改变了 NLP。谷歌的研究人员也是 BERT 的最初创造者计划利用它来理解谷歌搜索并提高谷歌自动问答服务的准确性。后来人们发现BERT 的用处不仅仅只局限于谷歌搜索。BERT 有望改善计算机语言学的关键领域包括聊天机器人、自动问答、总结和文本情感分析。自一年多前 BERT 的发布以来其论文 的引用已超过 8,500 次其广泛实用性不难看出。此外自 BERT 发表后最大的国际 NLP 会议 Association for Computational LinguisticsACL的投稿量也翻了一番从 2018 年的 1544 篇直接增到 2019 年的 2905 篇。BERT 将继续为 NLP 领域带来革命性的变化它为小型数据库中各种类型的任务提供实现高性能的机会。延伸阅读Devlin et al. 原论文https://arxiv.org/pdf/1810.04805.pdfELMo使用上下文嵌入的类似语言模型https://arxiv.org/pdf/1802.05365.pdf原文链接https://towardsdatascience.com/bert-why-its-been-revolutionizing-nlp-5d1bcae76a13未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”