网站开发公司招聘技术人员,做暧暧网站在线,wordpress分享代码,开发手机应用网站在Wave Summit 2023深度学习开发者大会上#xff0c;来自百度的资深研发工程师贺思俊和王冠中带来的分享主题是#xff1a;飞桨大模型套件#xff0c;一站式体验#xff0c;性能极致#xff0c;生态兼容。 大语言模型套件PaddleNLP
众所周知PaddleNLP并不是一个全新的模型…在Wave Summit 2023深度学习开发者大会上来自百度的资深研发工程师贺思俊和王冠中带来的分享主题是飞桨大模型套件一站式体验性能极致生态兼容。 大语言模型套件PaddleNLP
众所周知PaddleNLP并不是一个全新的模型库自2021年以来PaddleNLP一直是国内头部的开源NLP库在GitHub上拥有超过一万的Star。大模型时代PaddleNLP升级成为飞桨大语言模型套件同时秉承了一站式体验、性能极致、生态兼容的设计理念。
下面是飞桨大语言模型套件的全景图。中间是飞桨的核心深度学习框架在其之上是飞桨针对大模型场景专门打造的全流程工具链。工具链里面主要分为五环预训练、精调、压缩、推理、部署。从模型和工具链的角度飞桨希望能够打造一个统一的全流程工具链去覆盖尽可能多的模型。不管是百度自研的文心大模型还是社区的第三方大语言模型都尽可能去支持并沿用这套统一的方案。硬件方面飞桨也希望能够发挥百度既有的硬件生态让大模型在不同的平台上都跑起来。 一站式体验
不论工程优化或者前沿算法多么复杂都可以在飞桨解决端到端的问题不需要用户到处去找开源库去攒自己的方案。百度飞桨在2021年就发布了业界首创的4D混合并行技术并且依赖这套技术数次在国际权威的Benchmark MLPerf Training上做到了世界范围的性能第一。
因为大模型对于极致性能的要求飞桨也将这套分布式的技术加入了PaddleNLP的全场景Trainer。让用户可以通过简单的参数化配置控制复杂的并行策略。
如下图右边的代码片段。导入飞桨框架和PaddleNLP套件简单定义一个4D混合并行配置初始分布式环境最后通过Auto API来加载这个模型。加载回来的模型会根据用户所提供的分布式配置调整结构后续就可以直接开始训练或者推理。 关于精调部分飞桨大模型内置了业界主流的两种高效精调算法LoRA和Prefix Tuning。再搭配上面说到的分布式策略单机就可以做到微调千亿以上的模型。同样飞桨也提供了一套统一的使用方法。虽然LoRA和Prefix各有优劣但他们使用的方法是基本一致的。用户只用定义一个Config就可以把Auto API加载回来的模型自动转为LoRA模型或者Prefix模型然后便可直接开始训练。高效精调策略的核心优势之一是大大降低了大模型训练的门槛一般情况下它跟普通的精调SFT相比硬件门槛只有之前的1/4左右。 量化压缩方面飞桨也内置了业界两种比较主流的量化算法GPTQ和SmoothQuant。同时飞桨还开源了PaddleSlim团队自研的自适应Shift-SmoothQuant算法这个算法能够解决一些SmoothQuant无法解决的量化Case。比如当一个模型的权重和激活的异常值发生在同一个通道的时候一般SmoothQuant算法没有很好的方法去得到一个Scale从而导致量化的损失。而PaddleSlim提出的分段搜索是一个很好的解决方案。 依托PaddleSlim全面实现了主流大模型的无损量化从下图可以看到不论是百度自研的ERNIE Bot Turbo还是开源的ChatGLM、Bloomz、LLaMA等模型不论是直接量化大模型或者先精调大模型再量化都可以把量化的损失控制在一个点以内。 性能极致
预训练阶段在飞桨框架以及大模型的Transformers结构上都做了全环节的算子融合。比如每个大模型都有一个不可或缺的Self-Attention层将它的MultiHeadAttention层还有FFN分层甚至最后的Optimizer都做了算子融合这让飞桨和业界主流的预训练库Megatron LM比起来有了一定的性能优势。 到了精调阶段在算子融合的基础上进一步对变长数据流做了比较极致的优化大大提高了Token的有效率其方法就是降低Pad Token的占比。通过上图可以看到飞桨和Hugging Face的Transformers比在各个不同的模型结构上都有一倍左右的性能优势。 自文心一言上线以来推理部署性能达原先30多倍这也是负责飞桨推理的同学的功劳。飞桨大模型套件也整合了一部分在文心一言上使用过的优化点。比如推理算子融合它让飞桨在对齐Transformers生成API和使用体验的情况下提升三倍以上的性能优势。同时得益于自研的动态插入技术静态图推理部署也是业界领先。和几个主流的开源部署代码库比不管吞吐还是实验都是业界最好的。 生态兼容
一直以来不管是飞桨还是PaddleNLP都有生态兼容的理念。现在也有非常多优秀的开源大模型大家都能够在自己发布的大模型上顺畅的走通训压推流程。而目前应该只有飞桨大模型套件可以做到使用同样一套工具去覆盖业界主流模型。此外飞桨还基本对齐Hugging Face Transformers的API也支持比较方便的去加载Hugging Face社区上的模型权重。 硬件生态是生态建设的重要一环。迄今为止飞桨已经适配了超过40家的芯片/IP厂商也成功发布了硬件共创计划。大模型时代的到来给硬件带来新的挑战飞桨大模型套件在国产硬件适配的道路上进行了很多优化实现了芯片层、框架层和模型层的联动。比如基于飞桨和昆仑芯 实现了一套高性价比的国产大模型推理方案。能够在ERNIE Bot Turbo上使用更大的Batch Size承载更高的QPS以及产出更低的数据延迟。 跨模态大模型套件PaddleMIX
跨模态大模型技术发展趋势
跨模态的大模型被认为是从限定领域的弱人工智能通向通用人工智能的一条探索路径它更符合人类通过视觉、听觉等不同的感官去认知世界的过程。比如下图展现的这只狗我们可以通过图片、文字、视频、音频的形式去描述它。目前跨模态大模型前沿的进展就包括了像以图生文为首的理解类任务也包括以文生图为首的生成类任务。近期也出现了大量融合其他模态的跨模态大模型这是必然的趋势之一。这些不同模态的增多也在促进创新应用的增多另一个趋势是模型体量的增大。从下图右边部分可以看到随着模型体量的增大视觉问答的效果是不断提升的。 结合前沿的发展趋势可以总结出核心的技术要素主要分为开发、性能以及应用。目前跨模态大模型的开发主要是以大语言模型为基础开发的一个核心是高效地融合大语言模型。而极致的性能优化可以为大模型带来成本的大幅降低。社区当中已经涌现了大量的跨模态应用不同模态的融合也为更多的创新应用提供了空间。
跨模态大模型套件PaddleMIX
下面是PaddleMIX的全景图。依托飞桨的核心框架PaddleMIX推出了一套完整的大模型开发工具链。从开发训练精调到推理部署上层的模型也覆盖了像图片、文本、音频、视频等不同的模态。模型库划分为多模态预训练和扩散模型两部分其中包含了一些主流的的跨模态算法结合这些不同的跨模态模型PaddleMIX也推出了大模型的应用工具集其中包括了文生图的应用pipeline以及跨模态任务流水线AppFlow。 PaddleMIX的特点跟PaddleNLP大语言模型套件保持一致它也具备一站式模型的开发体验以及极致的训练、推理性能同时保持生态的兼容。
在一站式开发上PaddleMIX针对图文预训练提供了一套完整的预训练开发流程从CLIP系列的图文特征对齐到以BLIP-2为代表的通过衔接模块连接大语言模型同时冻结视觉语言模块来实现低成本、高效的跨模态预训练。最后是以MiniGPT4为代表的指令微调任务去实现像VQA/Caption这种跨模态的下游任务。这里不同阶段涉及的模型代码权重在PaddleMIX当中有做充分的打通以提高跨模态预训练的开发效率。
对于模型解耦、兼容PaddleNLP的各类大语言模型举了两个典型的结构BLIP-2分为视觉、衔接以及语言模块这些不同的模块都可以独立地进行配置语言模型也可以灵活地进行替换。扩散模型更多的以pipeline的形式来实现不同的生图功能这里会通过像unet还有VAE这样独立的子模型以及不同策略来实现循环采样。 性能方面结合飞桨核心框架做了一系列极致优化。训练侧基于Flash Attention以及Fuse Linear的模块实现了BLIP-2在单机4卡的性能超越了Pytorch 25%。Stable Diffusion的训练性能超越了Pytorch 40%。推理侧通过不同粒度的算子融合以及组网逻辑的一系列优化在SD方面实现了出图速度达到Pytorch的四倍它的显存占用也仅为TensorRT的43%。像MiniGPT-4的推力达到了加速1.6倍的效果Grounded SAM较Pytorch的性能也提升了22%。 生态方面PaddleMIX也提供了一套独立的PPDiffusers扩散模型工具箱通过兼容Web UI和Civital以支撑这些复杂的Prompt还能和万余种权重在众多场景中完成生成任务。权重生态方面PPDiffusers也支持了Civital提供超过3万余个LORA权重来实现各类的个性化文生图模型。 工具方面兼容了WebUI来实现丰富的功能比如可控生成、图像编辑。除此之外PaddleMIX还提供了AppFlow跨模态任务流水线它的目的是为了串联文生图、图生文这样的一些基础任务来实现更加复杂的跨模态应用。比如基于对话的图像编辑系统还有自动数据标注系统等等。同时AppFlow也具备简单易用的特点开发者们可以很方便的调用代码实现一键预测。
PaddleMIX应用体验
目前基于PaddleMIX所实现的这些特色应用已经上线到飞桨AI Studio星河社区包括艺术风格二维码的生成生成属于自己的特色二维码这里推荐大家把链接复制到PC端会有更好的使用体验。下图右下角是一个叠图应用可以基于输入的两张图片和特定的提示词自定义融合生成一张全新的图片。当然后续PaddleMIX也会陆续上新更多的特色应用也期待更多开发者们集思广益来AI Studio上创建属于自己的大模型应用。 本篇文章根据WAVE SUMMIT 2023深度学习开发者大会讲稿整理而成
