广告公司收费价格表,十堰seo优化哪家公司好,网站模版二次开发跟手工制作区别,响应式网站和平时网站的区别作者 | 宋慧
出品 | CSDN 云计算AI 科技大本营 为 AI 与机器学习提供更高性能的支持#xff0c;是芯片厂商的竞争特点。最近#xff0c;AI 芯片厂商 Graphcore 联合国内知名的深度学习平台百度飞桨#xff0c;共同提交了 MLCommons 的 AI 基准评测 MLPerf Training 2.…
作者 | 宋慧
出品 | CSDN 云计算AI 科技大本营 为 AI 与机器学习提供更高性能的支持是芯片厂商的竞争特点。最近AI 芯片厂商 Graphcore 联合国内知名的深度学习平台百度飞桨共同提交了 MLCommons 的 AI 基准评测 MLPerf Training 2.0提交的模型集合评测结果比以往测试和其他芯片平台都有较大的提升再次证明了 IPU 芯片的过硬实力。 CSDN 曾报道 Graphcore IPU 的发展 GPU还是IPUIPU 芯片厂商 Graphcore 的 2021 与英伟达、Google、英特尔的 SIMD 的芯片架构不同Graphcore 的 IPU 是 MIMD 架构的图处理器Graphcore 的 IPU 多核最多已达 1472 核每个核自有 SRAM是多核分布式、片上内存分布式的多指令多数据的处理器。因此Graphcore IPU 基于 AI 计算图的处理器可以支持运行矢量处理器运行效果不佳的应用场景。 联合提交 MLPerf 测试模型算力与性能继续提升 Graphcore 在 2022 年第一季度发布了最新的基于 Bow 芯片的 Bow Pod 平台也是本次 MLPerf 2.0 主要提交的计算平台Bow Pod16、Bow Pod64、Bow Pod128、Bow Pod256为提交测试的各类模型都提供了最新和最强的算力支持。例如 Bow Pod16 整体算力为 5.6 PetaFLOPS到 Bow Pod256 整体接近 90 PetaFLOPS几乎达到了数据中心的算力规模。 本次提交的测试模型是 ResNet-50、BERT 和 RNN-T其中ResNet-50 和 BERT 是标准提交的集合另外语音方面在开放分区提交了 RNN-TRecurrent Neural Network Transducer性能指标可以直接供商业用户使用参考。 测试结果 1、ResNet-50 测试耗时最短 2.67 分钟 Graphcore Bow Pod 在 ResNet-50 上的提交结果 在 2021 年底 Graphcore 提交的 ResNet-50 测试中NVIDIA 的 DGX A100 和 Graphcore IPU-POD16 的对比上Graphcore 第一次超过 NVIDIAIPU-POD16 耗时 28.3 分钟。本次提交结果继续进步缩短到 19.64 分钟。在 Bow Pod256 上训练时间仅需 2.67 分钟要知道几年前的模型训练时间都是以小时为单位起步的。Graphcore 技术负责人对 CSDN 介绍性能的成绩得益于硬件层面 Graphcore Bow IPU 采用的 Wafer-on-Wafer 3D 堆叠技术软件层面的通信库、内存优化编译器优化以及训练模型的优化等这些技术点的提升。 测试结果 2、BERT 测试性能线性提升 与去年提交结果的对比从 IPU-POD16 到 Bow Pod16 的训练时间提升了 31%吞吐量的提升约为 1.6 倍其中 1.3 倍来自硬件提升1.26 倍来自软件提升。另外Bow Pod256 提升了接近 30%通常情况下系统越大越难提升因此 Graphcore 在大尺度系统上做了很多通信库、集合通信collective communication优化最终在大尺度系统上也达到了同比例提升。另外BERT 和 ResNet 的提升幅度类似训练时间提升了接近 37%吞吐量提升了 1.6 倍。 本次测试和以往不同的是 Graphcore 与百度飞桨联合提交。百度飞桨使用 Bow Pod16 和 Bow Pod64 进行了 BERT 在封闭分区的提交结果与 Graphcore 使用自研的训练推理引擎 PopART 进行提交的结果几乎一致说明了 Graphcore 软件栈能够快速对接新的 AI 框架。而百度飞桨在测试中也体现了框架的接入高效性没有任何性能侵入式的设计。 芯片之上Graphcore 继续深耕软件与生态能力 本次的联合提交测试也是 Graphcore 与百度飞桨生态共建的重要一站。从共聚、共研到共创百度飞桨的硬件生态正在快速发展与以往算子开发、映射开发不同Graphcore 以子图或者整图的方式也为飞桨提供了创新思路。 据介绍飞桨与 Graphcore 在 AI Ecosystem 的共创方面还有很多新的方向如百度飞桨与 Graphcore 的软件栈以及 Graphcore 的模型花园偏应用层面的开发工具等合作并在百度的内部以及国内其他的行业落地产业开展真实应用。此外百度飞桨与 Graphcore 也计划在 AI Studio 上后续开设 Graphcore 的硬件应用专区基于这个平台更好地共同拓展与国内开发者以及国际开发者的合作。 硬件的发展之外Graphcore 在软件层面也在持续发力。就像下图中的模型除了黄色的是历届提交的 MLPerf 模型在实践中 Graphcore 还积累了更多模型可供用户参考使用。比如在计算机视觉上除了 CNN 卷积神经网络还包括 ResNet-50、EfficientNet、MoblieNet更多的类似 TransformerDINO、Swin Transformer 等业界最新流行的模型。在物体检测方面 YOLOv3、v4在目标分割以及医疗影像方面的 UnetGraphcore 也在持续跟进、快速迭代。 另外据介绍Graphcore 在自然语言处理 NLP、强化学习、语音、时间图神经网络、聚类图神经网络上都在发力。在 HPC 领域分子动力学、大气模拟、Covid-19、智能气象里 ET0 的计算也都可以通过 Graphcore 的 IPU 硬件加速带来更高性能提升。在 AI 领域之外金融行业销售预测、推荐引擎和生成式模型 DALL-E 以及 DALL-E 2Graphcore 也在同步开发和研究。除了与百度飞桨的深度合作Graphcore 也在与欧洲的 AI 公司 Aleph Alpha 在大模型大算力联合创新。 Graphcore 还在打造 AI 超级计算机 Good™ Computer古德计算机古德计算机是为100万亿参数量的模型打造Good™ Computer将会达到约8192个路线图IPU提供超过10 Exa-Flops的AI算力也考虑继续往3D Wafer-on-Wafer演进目前Graphcore采用3D Wafer-on-Wafer的Bow芯片AI算力为350T。其中存储需达到4PB以及10 PB每秒的内存带宽离不开Graphcore Poplar软件的迭代以支持大算力和大模型的要求。 AI 芯片行业的爆发式发展从本次联合提交 MLPerf 测试能看到 AI 行业中的各方在寻求更加开放的合作与共赢而生态的繁荣也会让 AI 走得更远。CSDN 将继续关注 Graphcore 与 AI 芯片的最新发展。
