提高网站的访问速度,网站怎么做付费项目,推荐几个的网站,企业网站主题点击上方“AI有道”#xff0c;选择“星标”公众号重磅干货#xff0c;第一时间送达作者 | Lysandre Debut译者 | 陆离出品 | AI科技大本营(ID: rgznai100)【导语】自然语言处理预训练模型库 Transformers 实现了几种用于 NLP 任务的最先进的 Transformer 架构#xff0c;如… 点击上方“AI有道”选择“星标”公众号重磅干货第一时间送达作者 | Lysandre Debut译者 | 陆离出品 | AI科技大本营(ID: rgznai100)【导语】自然语言处理预训练模型库 Transformers 实现了几种用于 NLP 任务的最先进的 Transformer 架构如文本分类、信息提取、问题解答和文本生成等它经常被研究人员和公司所使用提供 PyTorch 和 TensorFlow 的前端实现。究竟是 PyTorch 还是 TensorFlow 更有效率地训练和运行 Transformers 模型作者对不同环境下所展现的性能进行了对比最终的结果是无论在 CPU 还是 GPU 上最终两大框架的表现都差不多。Transformers库https://github.com/huggingface/transformers自 TensorFlow 发布以来我们一直在致力于模型产品化的工作并使其可以用在 TPU 上逐步适应它的性能。本文对比了我们的模型在几种环境中所展现出来的性能。在 CPU 和 GPU 上比较了 PyTorch(1.3.0)和 TensorFlow(2.0)的推断结果。出于对一些原因的考虑本文只是关于基准测试和后续性能优化系列文章中的第一篇。此外我们还在文档中创建了基准测试部分随着进一步的模型研究并在不同环境中对它们进行基准测试该部分还将不断完善。结果测试的平均结果显示在下表中在接下来的讨论部分里将对这些结果进行详细介绍。 平均推断时间Benchmarking Transformers测试结果https://url.cn/5hZHCll电子表格中的 N/A 记录表示内存不足或是数列长度不合适。Transformer-XL(Transformer extra-longTransformer 在模型设计上做了长度方面的延申)没有 TorchScript 结果因为它当前不能由 TorchScript(TorchScript 是一种从 PyTorch 代码创建可序列化和可优化模型的方法)进行序列化。大多数情况下TensorFlow 和 PyTorch 的模型在 GPU 和 CPU 上都得到了非常相似的结果。下面是对结果相关的阐述不仅是 PyTorch 和 TensorFlow 之间的比较也是模型之间的比较。测量推理推理时间是模型投入生产时的一个重要指标。为了评估模型的推理时间我们对不同批量和不同序列长度的模型进行了对比。我们比较了适当的批量大小[1248]和序列长度[8641282565121024]。批量大小仍然很小因为我们仅仅关注推断设置。BERT和其它类似模型的最大序列长度为 512 或 256(用于 CTRL)因此不能在最后一个序列长度上进行测量。以下是我们在两种不同环境中的测试结果在 CPU 上使用 GCP n1-standard-32它有 32 个 vCPU 和 120GB 的内存。CPU 的型号是 Intel Xeon2.3GHz在 GPU 上使用了带有 12 个 vCPU、40GB 内存和一个 V100 的 GPU(16GB 的 VRAM)的定制 GCP 机器实验细节和最佳实践为了最大化性能我们进行了更进一步的优化上述测量使用的 Intel Xeon CPU 带有 AVX 和 AVX2 的扩展而 TensorFlow 需要从源代码编译之后才能够利用这些扩展所以只能这么做我们通过使用 tf.function 和预先跟踪模型来确保我们没有使用 TensorFlow 的 eager 模式我们比较了依赖于库和不依赖于库的工具PyTorch的 TorchScript 和带有 GPU 的TensorFlow 的 XLA(自动聚类)后面会详细介绍这两个工具我们使用了原生的 Python 模块 timeit 来测量推断时间。另外用repeat30 和 number3 来进行每个实验。然后求出30 个值的平均数就会得到所期望的平均推理时间。通常超过30 个值就会获得非常稳定的结果了我们不会使用如 TFX 这样的生产环境并且我们使用的测量模型的可调用方法是PyTorch 的nn.module.forward 和 TensorFlow 的 tf.keras.layers.layer.call对于 TensorFlow 和 PyTorch我们会很谨慎地使用适当的 CUDA 版本讨论PyTorch 和 TensorFlow在大多数情况下这两个框架都会得到类似的结果与 PyTorch 相比TensorFlow 在CPU 上的速度通常会稍慢一些而在 GPU 上的速度则稍快一点所有的模型中在 CPU 上PyTorch 的平均推断时间为 0.748s而 TensorFlow 的平均推断时间为 0.823s所有模型中在 GPU 上PyTorch 的平均推断时间为 0.046s而 TensorFlow 的平均推断时间为 0.043s这些结果通过计算平均值来比较所有模型的推断时间。因此输入值越大对最终结果的影响就越大。当输入值过大时PyTorch 就会耗尽内存当计算平均值时这些结果会从所有度量中删除因为这样会使结果向 PyTorch 倾斜。运行过程中PyTorch 模型往往比 TensorFlow 模型更早地耗尽内存除了Distilled 模型之外PyTorch 在输入批量大小达到 8 以及序列长度达到 1024 时会耗尽内存。TorchScriptTorchScript 是PyTorch 用来创建可序列化模型的一种方法可以在不同的运行时间上运行而不需要 Python 的依赖包如 C 环境。我们的测试是通过在 Python 中跟踪模型并在相同的环境中重用这个跟踪模型来完成的。我们通过预先执行前向传递以确保在测量其推断之前来跟踪模型。免责声明虽然 TorchScript 并不是为了在 Python 环境中提高运行速度而创建的但是我们的结果表明使用 TorchScript 的跟踪模型可以提高性能。TorchScript 似乎非常依赖于模型以及输入的大小(批量大小*序列长度)。例如在XLNet 上使用 TorchScript 可以获得永久性的性能提升而在 XLM 上使用 TorchScript 则可能会出现问题因为它在较小输入下才会提高性能但在较大输入下反而会降低性能。平均来说使用 TorchScript 跟踪模型的推断速度比使用相同 PyTorch 非跟踪模型的推断速度快 20%。XLAXLA 是一个线性代数编译器它可以提高 TensorFlow 模型的速度但我们只能在 GPU上使用。它基于TensorFlow 的自动聚类编译了模型的一些子图。这些结果在速度和内存的使用效率方面得到了提高大多数内部基准在启用了XLA 后运行速度提高了 1.15 倍。在启用 XLA 后我们所有模型性能都得到了提高。在某些极端情况下特别是在较小输入的情况下推断时间可以减少 70%。模型及其精炼版本精炼模型版本在这个测试中表现出色因为它可以很快就进行基准测试。这两个 Hugging Face-engineered 模型——DistilBERT 和 DistilGPT-2 的推断时间比它们的老师模型减少了一半。贡献由于不同的基准测试有不同的设置和相应的工具这些都不是靠一个组织所能实现的因此我们也欢迎来自广大社区的基准。Github用户 tlkh 已经通过在 TensorFlow 的模型上使用 AMP、XLA 和分布式策略实现的基准测试性能做出了重大的贡献目前也被添加到文档的基准测试部分。如何做贡献如果你愿意参与我们已经在 Github 上设置了主题模板这样操作起来就会更简单一些。你可以随意打开已有结果的主题或者打开一个请求并到文档的基准测试部分进行添加。基准测试脚本和本文的发布和文档中的基准测试页一起我们在示例部分添加了一个新脚本benchmarks.py它是用于获取下面详细结果的脚本。它可以使用XLA 或 TorchScript 在 TensorFlow 或 PyTorch 上运行基准测试并将结果保存到 CSV 文件当中。接下来的计划对模型进行基准测试只是提高性能的第一步。我们相信这篇介绍性的文章可能有助于比较模型的当前状态特别是在研究 PyTorch 和 TensorFlow 之间的差异时。当我们深入研究 Transformers 生产方面时一定会致力于性能改进。对于 Pythorch 和 TensorFlow 的自动化脚本、新架构和定制 TPU 培训请密切关注后续文章。原文链接https://medium.com/huggingface/benchmarking-transformers-pytorch-and-tensorflow-e2917fb891c2推荐阅读(点击标题可跳转阅读)完备的 AI 学习路线最详细的资源整理干货 | 公众号历史文章精选我的深度学习入门路线我的机器学习入门路线图
