网站建设指标,邢台网页设计,移动互联网开发工程师证书,网站建设贰金手指下拉壹玖文 | ZenMoore编 | 小轶可控文本生成#xff0c;旨在让语言模型的输出带有我们想要的某种属性。比如情感、主题、三元组等。一般我们习惯采用 CTRL[1] 或者 PPLM[2] 等方式。但是#xff0c;CTRL 是对整个语言模型进行 Finetuning, PPLM 因为需要在生成的过程中迭代更新 hidd… 文 | ZenMoore编 | 小轶可控文本生成旨在让语言模型的输出带有我们想要的某种属性。比如情感、主题、三元组等。一般我们习惯采用 CTRL[1] 或者 PPLM[2] 等方式。但是CTRL 是对整个语言模型进行 Finetuning, PPLM 因为需要在生成的过程中迭代更新 hidden activations所以推理速度非常慢。随着 Prompting 技术的大火我们一直在思考Prompt 究竟能够带来什么我们都说Prompt 本质上是一种激发语言模型中知识的手段。因此它应该不仅仅局限于数据集或者说任务的层面激发模型对于某个任务的“知识”还应该扩展到范围更广的控制属性层面激发模型对于某种输出属性的 sense 于是我们不妨把视角从 task scaling 挪开更多地关注一下 Prompt 对于可控性的 buff 加成。今天的这篇文章来自 UCSB 和微软提出通过对比学习的方法找寻到了这个 buff 一般的 Prompt能够“调教”我们的语言模型进行可控的生成。论文标题Controllable Natural Language Generation with Contrastive Prefixes论文作者Jing Qian, Li Dong, Yelong Shen, Furu Wei, Weizhu Chen论文链接https://arxiv.org/abs/2202.13257模型方法首先明确一个概念Prefix。读者可以简单看一下 Prefix-Tuning[3] 的方法图就大概知道Prefix 相当于一种控制指令加在输入的最前面以控制生成文本的属性。本文提出了两种方法分别是监督方法和无监督方法。下面的方法介绍以 Sentiment Control 为例即生成给定带有情感的文本。该任务要训练的正是 positive 和 negative 的两种情感类别所对应的 prefix.监督方法整个训练过程和 Prefix-Tuning[3] 相似LM 的参数是冻结的只调整 Prefix 相关联的参数。在训练的时候除了LM loss 之外新增一个判别损失其中 代表生成文本 代表控制信号的类别positive 或 negative。无监督方法在监督方法中控制信号是已知的。实际场景中还会常常出现控制信号未知的情况因此需要通过变分的无监督方法找到这个“虚拟的类别信号“并使用 latent variable 表征即 VQ-VAE[4] 的思想。如图需要先通过一个 encoder 预测相应输入对应的 latent variable 作为 prefix index(指代当前要使用哪个 prefix)。设 prefix index 为 则这个 encoder 就是要学习 这个分布。一方面除了 LM loss 还需要保证后验概率 或 尽可能的准确故引入 KL 散度这里的 假设是 uniform distribution。其中402 Payment RequiredGS 表示 Gumbel Softmax 是 GS 的 temperature 参数。关于这块儿的详细原理就是我们小学二年级就学过的 EM 算法啦~帮读者回忆一下402 Payment Required......另外作者又提出了一个无监督对比损失402 Payment Required其中和 是根据 decoder 的文本生成概率得到的具体计算方式如下402 Payment Required最后总的损失函数为 , 的加权求和实验结果Sentiment ControlDetoxificationTopic Control推理速度Multi-Aspect Control实际场景中很少有 multi-aspect labeled data只有 single-aspect labeled data.本文使用了两种方式来解决多种属性的可控生成问题Ours (concatenation)使用 single-aspect labeled data 分别训练各自的 prefix, 然后在 multi-aspect control 任务中将其拼接起来。Ours (semi-supervised)同时训练 multi-aspect prefixes, 在训练时把 single-aspect labeled example 当做 partially labeled. 此外multi-aspect prefixes 经过了 trained single-aspect prefixes 的初始化。Ours (semi-supervised) 是上述监督方法和无监督方法的组合因此架构图和无监督方法的图是一样的。写在最后这里也推荐读者品读一下 DeepMind ICL 的相似工作Control Prefixes [5].古人云“君子生非异也善假于物也”。我们把语言模型比作“人”把可控性比作“物”也许大大小小的语言模型在能力的本质上并没有什么不同但是如果可以通过不同的 Control Prefixes假之以物则语言模型可成“君子”也哈哈搞一个俏皮的比喻~无论是本文介绍的 Contrastive Prefixes 也好还是 Control Prefixes 也好我们都可以从中发现 Prompt 对于”调教“语言模型的伟大能力。从 task 到 controllability, 可能会是 prompt 向前发展的又一个新阶段吧~萌屋作者ZenMoore北航本科生爱数学爱物理爱 AI 想从 NLP 出发探索人工认知人工情感的奥秘个人主页 zenmoore.github.io知乎 ZenMoore, 微信 zen1057398161在澜舟科技实习ing欢迎来一起玩耍 嘤其鸣矣求其友声✨作品推荐一文跟进Prompt进展综述15篇最新论文逐一梳理图灵奖大佬谷歌团队为通用人工智能背书CV 任务也能用 LM 建模以4%参数量比肩GPT-3Deepmind 发布检索型 LM或将成为 LM 发展新趋势后台回复关键词【入群】加入卖萌屋NLP、CV与搜推广与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1] CTRL: A Conditional Transformer Language Model for Controllable Generation.https://arxiv.org/abs/1909.05858[2] Plug and Play Language Models: A Simple Approach to Controlled Text Generation.https://arxiv.org/abs/1912.02164[3] Prefix-Tuning : https://arxiv.org/abs/2101.00190[4] VQ-VAE : https://arxiv.org/abs/1711.00937[5] Control Prefixes : https://arxiv.org/abs/2110.08329
