阿里云建设网站好吗,wordpress用户名怎么起,哪儿有那种网站,做汽车售后的网站参考#xff1a;深度学习#xff1a;GPT1、GPT2、GPT-3_HanZee的博客-CSDN博客
Zero-shot Learning / One-shot Learning-CSDN博客 Zero-shot#xff08;零次学习#xff09;简介-CSDN博客 GPT-2 模型由多层单向transformer的解码器部分构成#xff0c;本质上是自回归模型… 参考深度学习GPT1、GPT2、GPT-3_HanZee的博客-CSDN博客
Zero-shot Learning / One-shot Learning-CSDN博客 Zero-shot零次学习简介-CSDN博客 GPT-2 模型由多层单向transformer的解码器部分构成本质上是自回归模型自回归的意思是指每次产生新单词后将新单词加到原输入句后面作为新的输入句
gpt2与gpt1区别
1.模型架构上变得更大参数量达到了1.5B数据集改为百万级别的WebTextBert当时最大的参数数量为0.34B但是作者发现模型架构与数据集都扩大的情况下与同时期的Bert的优势并不大。
2.gpt2 pre-training方法与gpt1一致但在做下游任务时不再进行微调只进行简单的Zero-Shot就能与同时期微调后的模型性能相差不大。 Zero-Shot零次学习成品模型对于训练集中没有出现过的类别能自动创造出相应的映射 XX - YY。利用训练集数据训练模型使得模型能够对测试集的对象进行分类但是训练集类别和测试集类别之间没有交集期间需要借助类别的描述来建立训练集和测试集之间的联系从而使得模型有效。 Zero-Shot表现在GPT2中就是在训练样本中加入了下游任务的相关描述从而在测试集上给出一个没在pre-training时训练的任务例如句子分类gpt2也能执行 3.在模型结构上调整了每个block Layer Normalization的位置 gpt3与gpt2区别
GPT3 可以理解为 GPT2 的升级版使用了 45TB 的训练数据拥有 175B 的参数量
GPT3 主要提出了两个概念
情景in-context学习就是对模型进行引导教会它应当输出什么内容比如翻译任务可以采用输入请把以下英文翻译为中文Today is a good day。这样模型就能够基于这一场景做出回答了其实跟 GPT2 中不同任务的 token 有异曲同工之妙只是表达更加完善、更加丰富了。
Zero-shot, one-shot and few-shotGPT3 打出的口号就是“告别微调的 GPT3”它可以通过不使用一条样例的 Zero-shot、仅使用一条样例的 One-shot 和使用少量样例的 Few-shot 来完成推理任务。下面是对比微调模型和 GPT3 三种不同的样本推理形式图。