企业网站模板下载需谨慎,下载资料免费网站,百度一下建设部网站,帝国和织梦哪个做网站好云布道师
本文根据 2023 云栖大会演讲实录整理而成#xff0c;演讲信息如下#xff1a; 演讲人#xff1a;林伟 | 阿里云研究员#xff0c;阿里云计算平台事业部首席架构师#xff0c;阿里云人工智能平台 PAI 和大数据开发治理平台 DataWorks 负责人 演讲主题#xff1a…云布道师
本文根据 2023 云栖大会演讲实录整理而成演讲信息如下 演讲人林伟 | 阿里云研究员阿里云计算平台事业部首席架构师阿里云人工智能平台 PAI 和大数据开发治理平台 DataWorks 负责人 演讲主题大数据 AI 一体化的解读
今年是 AI 大爆发的一年大语言模型的诞生推动了席卷整个行业的大模型热潮许多人认为“AI 的 iPhone 时代”到来了。训练大模型其实不简单因为模型参数量的增加意味着需要更好的算力、更多的数据去锤炼并且需要合适的工具让开发者快速迭代模型只有这样才能更快地提高模型精度。这几年来阿里云一直在宣传 AI 工程化和规模化其实是这轮 AI 爆发的主要推手。 我们看一个典型的模型开发过程包括数据预训练、模型训练到模型部署。我们往往会非常关注训练而忽视了整个生产流程。但是要训练出好的模型数据越来越重要。包括数据采集、数据清理、特征提取、数据管理再到训练过程中需要分发哪些数据参与训练、哪些数据用来评测模型质量。所有数据都需要有验证部分用于验证质量这一步非常关键。低质量数据对模型的伤害力是超出想象的。这也是为什么吴达恩一直宣传了一个观点就是更好的机器学习是 80% 的数据处理20% 的模型。
“以模型为中心”和“以数据为中心”的模型开发方式演进
这也体现了模型开发方式的演进。过去我们常常说以模型为中心的模型开发算法工程师花大量的时间调模型结构希望通过模型结构来去提高模型泛化能力解决各类噪声问题。如果大家看 5 年前的 Paper会发现大量的研究都是围绕模型结构展开的当时的数据、算力都还不足够支撑今天这样的大模型时代。那时候的模型训练更多是“有监督的学习”用的都是标注数据这些数据是非常昂贵的这也决定了在训练过程中数据上没有太多腾挪的空间我们更多在考虑模型结构的变化。 今天的大模型训练有非常多的无监督的学习。模型结构反而是没有那么多变化的大家好像趋同的都采用 Transformer 结构。这个时候我们就慢慢演进到了以数据为中心的模型开发范式里面。这个开发范式是什么就是需要用大量数据去做无监督的训练通过大的算力、大的数据引擎结合相对固定的模型结构去萃取出一些有趣的智能的东西。 因此训练使用到的数据量会暴涨也需要用到各种方法清洗和评测数据。我们可以看到许多大模型研究的团队都会花费大量的精力去处理数据在各种环境里面反复地、多角度地验证数据质量。通过各种各样的维度甚至有时候还会把模型产生出来去评测通过模型结果反馈数据的质量。在这个过程中就需要积累非常多的数据处理工具只有这样才能有效地支撑以数据为中心的模型开发工作对于数据质量的要求。这也是大家说到以数据为中心的模型开发的范式的核心的一个想法。 正是在这种趋势下面我们一直认为大数据和 AI 是一体两面需要实现大数据和AI的一体化这样才能顺应当下模型开发范式的演进。
在阿里云我们一直努力将数据和 AI 两个系统紧密地联合在一起。我们在计算基础设施层提供适应各种场景的计算集群包括适合大数据的以 CPU 为主的集群以及适合大模型训练的需要 RDMA 网络的异构计算集群。在此之上打造了大数据和AI 一体化平台覆盖模型开发全过程的能力包括数据采集和集成再通过大数据平台做大规模的离线分析去验证数据质量。此外还有流式的计算能力。数据在大数据平台上处理好之后就会被“投喂”到 PAI 这个负责人工智能开发的平台去做训练和迭代。最后在模型应用孵化上依赖向量引擎的数据库例如 Hologres 等一起去构造场景化的应用。
大数据 AI 一体化的应用场景
在正式展开大数据 AI 一体化的技术点之前先举两个应用的例子。 第一个例子是知识库检索增强的大模型问答系统。大家可以看到最近很多做大模型的通行都会提到这个场景通过一个大模型可以获得特定行业的垂直知识库。这是怎么做到的呢首先需要把这个知识库的数据进行清理后分片通过大模型把它转成一个向量再把这些向量存在一个数据系统里面这是向量检索的数据系统。当有真实请求过来的时候会先把 query 对应的向量找出来转译成知识再用这个知识去约束大模型控制大模型“胡说八道”的冲动这样反馈的结果会更加准确。 这个场景里面用到了很多大模型能力包括大规模分布式的批处理因为在创建 embedding 的时候其实是一个非常大的数据。同时也会用到向量数据库这样的服务能力真实业务场景对于查询时延的敏感度很高需要非常快的给一个向量。当然也用到了大模型训练的能力就需要一个很好的 AI 系统。 第二个例子是个性化推荐系统。在做实时推荐的过程中所有推荐对象的兴趣是动态变化的往往这样的系统它的模型是时时刻刻更新的需要根据最新的行为数据来更新模型。我们往往会把所收集到的日志经过实时或者离线处理离线数据用来生产一个比较好的基础模型实时数据也会去提取这个特征经过模型训练产生一个模型的 delta然后再把这个 delta 应用到线上的系统进行每天更新。在这里面我们可以看到有非常多的数据系统有实时的像流计算的系统、有 AI 的系统、有批处理系统。
大数据 AI 一体化的技术实现
统一的数据和 AI 工作空间管理 首先我们在模型构造最外层把 AI 和大数据的流程串联在一起这也是我们在PAI 产品里构建工作空间的最初始的想法这样就可以把多种资源统一在一个开发平台上管理。现在阿里云人工智能平台 PAI 已经可以支撑多种计算资源包括 ECS 资源、流计算平台还有 PAI 灵骏智算用于大模型训练的集群还有这次云栖已经发布的容器计算服务 ACS 等等。 仅仅接入这些资源是不够的用户需要的是把接入的资源有机串联到一起。所以我们推出了一个 Flow 框架把这些流程串联起来把模型训练和数据处理的各个步骤连接起来。这里面我们提供了多种构建连接的方式包括静态构图、SDK、图形交互式等用来去构建复杂的大数据和 AI 交互的流程图。 Serverless云原生服务 如果想进一步地去把大数据和 AI 融合好用户希望能够在一份资源里面提供大数据和 AI 的服务。这时候就离不开 Serverless 云原生服务技术。我们一直在说云原生但是云原生其实是有很多维度的云原生更多的是资源是共享的但是这个资源是什么其实也是需要定义的。 这个定义也分很多层次。你可以说你是硬件层面的共享那你共享的是服务器、虚拟服务器你也可以共享更高层次的虚拟资源比如容器和服务本身。在不同的层次共享层次越高单位计算成本就会越低当然技术的复杂度也会越高。这也是为什么做云计算的团队一直在提高自己服务的云原生化或者是去实现更高技术复杂度的能力这样就能以更加经济实惠的方式去提供更高层次的计算资源共享的目的更加经济高效地提供大数据和 AI 的服务。 也是因为此我们所有的大数据产品都是在第六个维度也就是 Share Everything上的一个产品。但是我们都是架在了第五个维度也就是 Shared container就是在容器计算服务这一层这样我们就可以把大数据和 AI 的系统有机地连在一个资源上面。 统一调度多负载、差异化 SLO 增强的调度 为了能够达到这样的能力其实并不是那么容易的因为容器计算服务最开始的产生是为了支持微服务的。微服务在并行调度的力度上面和大数据以及 AI 智算的场景有很大不同。为了能够让不同的大数据和 AI 的任务和服务能够跑在一个资源池上其实我们要做大量工作。比如说大数据场景里面有些很多高并发、短时长的任务需要大大增强 K8S 本身的吞吐能力解决它各个层次上的性能问题包括延时和规模。 同时我们有多元化的任务它不仅仅有在线服务还有计算任务我们要在调度上增强资源的丰富度和多场景的能力。比如在复杂的 AI 场景需要做网络拓扑感知因为 AI 大模型训练对网络要求非常高。这时候我们怎么样在这层的容器服务上、计算服务上感知这个拓扑结构有效做调度我们怎么样让大数据和 AI 的 Workload 在上面存储资源需要有非常多的负载感知、QS 感知的调度。 多租安全隔离 对云服务来说最重要的就是多租安全的隔离。我们需要加强云原生的 K8S 在这个方向上的能力这样我们才能安心地把大数据和 AI 复用在一个资源上。我们在存储层、网络层都用了非常多的安全隔离的技术。这样才能把大数据和 AI 的多款产品甚至是用户自己的在线服务能够集成在一个资源池里面来给云上提供企业化的使用。 容器计算服务 ACS 这次云栖大会发布了容器计算服务 ACSPAI 也是第一批容器计算服务支持的首批产品之一。在容器计算服务 ACS 平台上用户可以很好地调配自己在大数据和 AI 的资源配比然后在统一的资源底座上、在网络上、在存储 IO 上就能够更加自然地联在一起。 多级 Quota 我们都知道大模型的计算计算资源是非常昂贵的。我们还要持续地加强这个底座上的一些精细化的资源管理的能力所以我们也即将发布多级 Quota 能力使集群的管理员可以更好地管理资源平时让各个团队管理自己的资源但是到了关键时刻。比如到了需要冲刺的阶段管理员可以把所有的资源集中起来然后去训练一些比较大的模型。这是我们的多级 Quota。 自动拓扑感知调度 对于超大模型的模型训练我们要加强容器服务的调度能力。举一个例子我们可以看到在模型训练里面我们常常有一个步骤叫 All-Reduce 的环节如果不加以调度的控制稍微乱一个顺序去构成 reduce 的 ring就会发现会带来一些 cross 的交换机的流量。最后我们经过拓扑感知的调度和非拓扑感知的调度前后性能提升的增幅能有 30-40%这是非常可观的。 MaxCompute 4.0 DataAI 大模型训练往往需要海量的数据就跟我们前面说的我们不仅仅要把数据存下来更多的是我们要进行批处理进行清洗、反复评估数据质量、并根据反馈来调整数据。这时候我们就需要大数据平台以及湖仓一体的能力在背后支撑。阿里云数仓产品MaxCompute 上推出了 MaxFrame 的开放的数据格式可以把强大的数据管理、数据计算的能力和 AI 系统进行有机和开放的连接。此外还有 Flink-Paimon在流计算的场景里可以把流计算和 online machine learning 结合起来把数据和训练的这条通路打通。 数据集加速 DataSetAcc 在 PAI 灵骏集群的 AI 智算场景里面不仅仅是高密的机器学习任务还有数据处理的任务但是高密计算的资源是非常宝贵的这个时候可以去连接远端的大数仓来解决。但这里又会出现一个矛盾就是远端的数据 I/O 不能匹配高密度的计算。为了解决这个问题我们提供了一个数据集加速的 DatasetAcc 能力就是利用 PAI 灵骏集群本地的 SD 和本地的储存来做一个近端的 cache异步地把远端数仓的数据拉到近端。这样就能很好地解决大数据和 AI 智算集群在训练场景上的结合提升训练效率。 正是因为具备了这样的有效连接大数据和 AI 智算集群的能力我们才能在大规模的LLM 训练过程中更好地使用大数据分析的能力。举个例子我们在训练通义千问的过程中获取了大量重复的文本信息去重是非常关键的步骤不然整个训练数据集会被这些数据拉偏导致有一些过拟合的情况产生。我们利用我们构造的 FlinkML 的 library 构建了一个高效的文本去重算法算法的同学就可以快速地进行多次文本去重提高整个模型开发的效率。 我们前面说的都是大数据怎么能够助力于 AI 训练的部分也就是我们经常听到的 Data for AI但其实反方向AI 技术的成长也能够帮助数据系统去提高它的服务质量和效率现在的数据分析也从 BI 走向了 BIAI。
DataWorks Copilot 过去的数据分析做的更多的是 business intelligence如今有更多 AI 技术可以去推动数据分析能力的提升。我们在这方面做了一些工作比如说在数据开发和治理平台 DataWorks我们推出了 DatawWorks Copilot也就是代码助手。代码助手可以帮助用户用自然语言的方式去找到感兴趣的表格然后再帮助用户构建 SQL query最后再去执行 query。 当然真正要做出一个好用的代码助手只用基础模型是不够的。DataWorks 平台上本来就积累了大量的 query然后我们用本身的语言就是 MaxCompute 的或者是 Flink 的语言作为一个数据集我们拿基础模型和这个数据集做了 finetune产生一个垂类模型然后再在这个垂类模型做推理产生了这个特定场景里的更有效的代码辅助工具。通过这种方式我们能够提效 30% 的代码的开发。 DataWorks AI 增强分析 不仅仅是辅助代码生成我们今年也发布了 DataWorks 数据洞察功能。我们可以通过 AI 的方式、AI 的能力自动地根据已有数据提供一些智能的数据洞察。通过这种方式我们可以让用户更快速地掌握数据的特性从而加快用户对于数据的理解和分析能力。 以上的分享是希望通过刚才说的一些技术点和案例阐述现在 AI 和大数据的一体化的演进过程。我们坚信大数据和 AI 是相辅相成的也希望推动数据智能更快的落地和实现。
