西安 网站托管,oa系统开发,寻找哈尔滨网站建设,大型网站服务器得多少钱最近#xff0c;字节跳动被曝调用 OpenAI API 接口训练大模型的争议#xff0c;以及谷歌大模型 Gemini 被曝使用百度文心一言进行中文语料训练等事件#xff0c;在行业里引发了不小的关注和讨论。
不明真相的网友们一边热情吃瓜#xff0c;一边也在感叹 AI 大厂之间互相“…最近字节跳动被曝调用 OpenAI API 接口训练大模型的争议以及谷歌大模型 Gemini 被曝使用百度文心一言进行中文语料训练等事件在行业里引发了不小的关注和讨论。
不明真相的网友们一边热情吃瓜一边也在感叹 AI 大厂之间互相“薅羊毛”的奇葩操作属实是给大家整不会了。 不过透过现象看本质。IT之家倒认为这几件颇受关注的事件或许可以成为一个契机引导行业走向 AI 大模型训练过程中数据使用版权走向规范化的道路上。
AI 领域数据版权问题是行业通病
前面说的关于字节跳动和 OpenAI 之间的“争议”目前双方都做出了回应。OpenAI 方面称需要进一步调查字节跳动是否存在违规。而字节跳动则表示仅在初期探索阶段使用 OpenAI 的 API4 月份的时候已经停止。
而就在外媒报道字节与 OpenAI 事件后不久谷歌的 Gemini 大模型也被曝出中文语料是使用文心一言进行训练。
有很多用户发现ZAI Poe 平台上询问谷歌 Gemini-Pro 大模型 “你是谁”Gemini-Pro 直接就回答“我是百度文心大模型”而接着问它“你的创始人是谁”他也回答是“李彦宏”。 同时国内媒体“量子位”在 Gemini 官方的开发环境入口进行测试时Gemini-Pro 也直接声称自己在中文数据的训练上使用了百度文心一言。
截至小编发稿谷歌方面还没有针对这件事做出回应。
但可以看到AI 领域数据版权侵权其实一直是行业的共性问题也是大模型发展早期很难避免的现象。
比如小编还注意到今年三月谷歌就已经被曝出旗下 Bard 聊天机器人通过 ShareGPT 网站捕获用户与 ChatGPT 的对话数据来训练模型。 除了谷歌同为科技巨头的 Meta 最近也陷入大模型训练的数据版权风波根据路透社的报道由喜剧演员 Sarah Silverman、普利策奖得主 Michael Chabon 等著名作家于今年夏天联合发起诉讼他们指控 Meta 未经许可使用他们的书籍作品训练人工智能语言模型 Llama。
Meta 于今年 2 月发布了其第一版 Llama 大型语言模型并公布了用于训练的数据集列表其中包括“ThePile”数据集的“Books3”部分。根据诉讼文件该数据集的创建者曾表示其中包含 196,640 本书籍Meta 在明知使用其中数千本盗版书籍训练其 AI 模型存在法律风险的情况下仍然这么做了。 与之类似的还有这次事件中的“受害者”OpenAI今年 9 月包括《权力的游戏》原著作者乔治・马丁在内的 17 位美国著名作家指控 OpenAI 未经许可使用他们受版权保护的作品并将这些作品用于训练 ChatGPT 等大模型还能生成与其作品相似的内容。 还有今年 11 月OpenAI 和微软又被一群非小说类作品作家对 OpenAI 和微软提起了诉讼指控这两家公司在训练其大型语言模型时未经允许使用了他们的书籍和学术期刊而且没有给予任何补偿。
诸多案例都显示在眼下这个 AI 大模型发展的早期模型训练过程中的数据侵权问题可以说是行业的通病是普遍现象并且关于 AI 训练过程中的数据使用问题目前还存在较大的争议性有待行业规范的进一步完善。
大模型的“无性繁殖”究竟是咋回事
我们知道AI 大模型的基本原理是根据上文的内容输出下一个最有可能出现的 token语素那么它怎么保证输出的就是我们想要的呢答案就是靠训练。
这里我们要先简单介绍一些大语言模型训练的主要阶段预训练、有监督的精调和人类的反馈学习。
预训练阶段是不需要人工干预的只要喂给 AI 足够多的数据AI 就能通过训练获得强大的通用语言能力。
接下来在有监督的精调这一步就需要解决让大模型输出我们想要的结果的问题。
比如当我们提出“水的沸点是多少度”这个问题AI 可能会觉得有很多类型的回复比如“我也很想知道”但对人类来说最合理的回复自然是“100 度”。
所以就需要人类引导 AI 输出我们认为合理的标准答案这个过程中我们会人为地喂给 AI 大量问题的标准答案来微调它的模型参数因此叫监督学习。类似的情况还有很多比如我们不希望大模型输出不符合人类价值观的内容所有这些都需要对模型进行精调换句话说就是要对我们想要的数据进行标注。
可想而知数据标注这件事是个非常海量且庞大的工程需要投入非常多的人力和时间。在商业竞争争分夺秒的环境下对后来进入大模型领域的企业来说独自且重复地去完成这些事显然不符合发展的需求。因此很多大模型使用 GPT 生成标注数据其实已经是行业公开的秘密。
例如之前有些国内的 GPT 镜像站完全免费就是某些公司自己花钱调用 OpenAI 的接口然后拿用户当劳力生成训练数据。 例如比较知名的开源数据集 Alpaca也是用 GPT4 生成的。这种用 GPT 的标注数据训练小模型的方法也叫做“蒸馏”。
ChatGPT 爆火之后不少公司能够这么快地跟进并推出自己的 AI 大模型其实主要就是两个路径。
其一是使用 Meta 的开源大型语言模型 Llama 来训练。
其二就是 ChatGPT 里面蒸馏一些数据再结合开源数据集和自己爬的数据训练自己的大模型。
因此尽管 OpenAI 在其 API 服务条款中有给出“不可以用 Output 来开发与 OpenAI 竞争的模型”这样的条款但其实这一政策一直以来都很有争议。
支持的人认为 OpenAI 为训练模型做了大量前期投入借助他们的服务走捷径是不正确的。而反对的人则认为OpenAI 的前期训练过程吃了 AI 训练早期外部环境无戒备的红利且同样存在数据侵权的控诉此后的模型很难获得同样量级和规模的训练数据阻止其他企业调用其模型违背“Open”的精神。
在此背景下我们再看字节跳动的回应 今年年初当技术团队刚开始进行大模型的初期探索时有部分工程师将 GPT 的 API 服务应用于较小模型的实验性项目研究中。该模型仅为测试没有计划上线也从未对外使用。在 4 月公司引入 GPT API 调用规范检查后这种做法已经停止。 早在今年 4 月字节大模型团队已经提出了明确的内部要求不得将 GPT 模型生成的数据添加到字节大模型的训练数据集并培训工程师团队在使用 GPT 时遵守服务条款。 9 月公司内部又进行了一轮检查采取措施进一步保证对 GPT 的 API 调用符合规范要求。例如分批次抽样模型训练数据与 GPT 的相似度避免数据标注人员私自使用 GPT。 未来几天里我们会再次全面检查以确保严格遵守相关服务的使用条款。
对于字节跳动的回应小编想提炼两个重点其一字节跳动只是在探索大模型初期时有部分工程师将 GPT 的 API 服务应用于较小模型的实验性项目研究中而实验性项目并不违反服务条款。比如微软也曾利用 OpenAI 的合成数据做微调训练训练出了一个 130 亿参数的模型 Orca还达到了 chatGPT 3.5 的水平。这个和字节跳动一样也是实验和研究的用途并未将模型对外商用。
其二就是字节跳动在回应中已经明确指出他们已经在内部反复做出规范和限制不能使用 GPT 生成数据训练模型其实这不仅是遵守服务条款更是技术发展的必要因为如果一直使用 Open AI 的模型输出表面上是走捷径但实际上相当于是将自己的大模型能力天花板给锁死了无论模型本身、训练数据还是输出方式都只是 GPT 的延续这一点字节跳动一定比谁都清楚。
AI 大模型训练中的核心版权问题亟待规范和完善
其实任何新兴行业在发展初期都会存在各种各样的乱象和不合规问题事物的发展总是一个过程而标准和规范的介入也往往是在行业发展规律完全呈现后在一个合适的契机下发生的。
因此这次字节跳动和 OpenAI、谷歌 Gemini 和文心一言相继发生的事件小编认为我们与其在争议中过多纠结于“对或错”更值得关注的应该是关于 AI 领域数据使用的行业规范是否到了进一步规范和完善的时候
根据工业和信息化部赛迪研究院近日的数据今年我国生成式人工智能市场规模有望突破 10 万亿元。专家预测2035 年生成式人工智能有望为全球贡献近 90 万亿元的经济价值其中我国将突破 30 万亿元占比超过四成。
一方面生成式 AI 的发展势头可谓如火如荼另一方面大模型训练的问题处于生成式 AI 生命周期的开始如果不能从源头上尽早规范AIGC 大模型的研发就会始终处于侵权和不确定的状态。这对于行业发展显然是不利的。
同时应该注意到传统的授权许可以及版权法在生成式 AI 训练的领域内会存在很多主体、条件、可行性等难以界定的问题比如 AIGC 训练的数据量过于庞大众多、来源各异如果使用事先授权许可的方式很难将具体的作品从海量数据中进行分离提取再加上版权界定、付费等一系列操作几乎不可行。也就是说AI 时代的数据侵权问题对于现有的版权法律和规范本身就是一项挑战需要从头开始一点一点完善的地方很多但又不能不完善因此必须尽早尽快地推进规范化体系。
好消息是这个问题正在得到行业的重视。比如今年 6 月就有中文在线、同方知网、中国工人出版社等 26 家单位共同发布了国内首份有关 AIGC 训练数据版权的倡议书就针对引导 AI 生成内容的合理使用、提升版权保护意识、优化内容授权渠道等方面提出了倡议。
同时我们也希望这次字节跳动和 OpenAI 以及 Gemini 与文心一言的事件也能成为一个契机推动生成式 AI 训练数据核心版权问题的规范化从“倡议”迈向实际的“落地”。
只有这样生成式 AI 才能更好的服务于人类服务于千行百业。
