松江做网站价格,软件项目管理的内容,怎么查自己的二建信息,成都彩票网站建设用好大模型的层次#xff1a;1. 提示词工程(prompt engineering); 2. 大模型微调(fine tuning)为什么要对大模型微调#xff1a; 1. 大模型预训练成本非常高#xff1b; 2. 如果prompt engineering的效果达不到要求#xff0c;企业又有比较好的自有数据#xff0c;能够通过…用好大模型的层次1. 提示词工程(prompt engineering); 2. 大模型微调(fine tuning)为什么要对大模型微调 1. 大模型预训练成本非常高 2. 如果prompt engineering的效果达不到要求企业又有比较好的自有数据能够通过自由数据更高的提升大模型在特定领域的能力大模型微调的两个方案全量微调full fine tunning ; 部分参数微调parameter - effictient fine tuning全量微调的问题1. 参数量和预训练相同消耗大量资源 2. 灾难性遗忘常见的模型微调路线1. 监督式微调SFT( Supervised Fine Tuning); 2. 基于人类反馈的强化学习微调RLHF(把人类的反馈通过强化学习的方式引入到大模型的微调中) 3. 基于AI反馈的强化学习微调RLAIF人类反馈成本高
从成本和效果角度考虑PEFT是目前业界比较流行的微调方案
Prompt Tuning: 在输入序列X之前增加特定长度的特殊Token发生在Enbedding环节Prefix Tuning: 在transformer的encoder和decoder的网络中都加入特定前缀LoRAQLoRA 量化的LoRA量化的核心目标是降低成本降低训练成本特别是降低后期的推理成本
Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning
比较高效的finetuning方法包括adaptor, prefix-tuning, LoRA adaptor prefix-tunning
浅层特征通用性强深层特征与具体任务的关联性强
finetuning扮演的角色
拿到新数据集后想要用预训练模型处理的时候会首先将最后一层全连接层打开其余层冻结(transfer learning)看预训练模型在新数据上的效果怎么样先摸个底如果效果可以就考虑打开更多的层进行fine tuning如果新的数据集和预训练数据集差别很大一方面考虑从头训练另一方面考虑打开更多的层或干脆用预训练模型的参数作为初始值对模型进行完整的训练
模型微调方式
固定一部分模型固定全部预训练模型添加可训练head使用预训练模型推理过程将数据处理为特征和标签使用新的特征数据和标签训练小的head去进行下游任务(优点数据特征提取一次可永久使用特征提取结束后下游任务和预训练模型无关除了推理时需要将原有图片处理为特征外)
模型全调方式
加载预训练模型为模型初始权重重训练
