本文介绍的研究由Sangwon Yu、Changmin Lee、Hojin Lee和Sungroh Yoon等人完成，分别来自首尔国立大学电气与计算机工程系、Kakao公司以及首尔国立大学人工智能跨学科项目。该研究发表于2024年8月11日至16日举行的第62届计算语言学协会年会（ACL 2024）上，论文标题为《通过基于分数的渐进编辑器实现黑箱语言模型的受控文本生成》。

研究背景

随着现代语言模型（如GPT系列）的发展，生成文本的流畅性已经达到了接近人类的水平。然而，生成的文本可能包含有害或不适当的内容，尤其是在输入上下文包含非期望属性时。因此，受控文本生成（Controlled Text Generation）成为了一个重要的研究方向，旨在确保生成的文本仅包含特定领域或数据集的期望属性。现有的方法要么无法应用于黑箱模型（即无法访问模型参数），要么在控制生成文本和保持其流畅性之间存在显著的权衡。本文提出的基于分数的渐进编辑器（Score-based Progressive Editor, SCOPE）旨在解决这些问题。

研究流程

SCOPE的核心思想是在生成过程中对中间输出文本进行逐块编辑，确保编辑后的文本包含目标属性。具体流程如下：

1. 输入与生成：给定一个输入序列x，语言模型生成一个中间输出文本块ỹ。
2. 逐块编辑：SCOPE将生成的文本块ỹ划分为若干块，每块包含b个token。每次生成b个token后，SCOPE会对当前块进行编辑，生成编辑后的文本块ŷ。
3. 目标分数最大化：SCOPE通过最大化目标分数来指导编辑过程，确保编辑后的文本块ŷ更接近目标分布。目标分数由预训练的掩码语言模型（Masked Language Model, MLM）计算，考虑了文本的流畅性和目标属性的匹配度。
4. 迭代生成：编辑后的文本块ŷ被重新插入到输入中，作为下一生成步骤的输入，逐步引导生成过程包含目标属性。

实验结果

研究在多个受控生成任务上进行了实验，使用了亚马逊客户评论数据集构建的不同语料库。实验结果表明，SCOPE能够有效调节生成文本的属性，同时充分利用黑箱大语言模型的生成能力。具体结果如下：

1. 类别控制生成：在针对相机、视频游戏、杂货和音乐等类别的生成任务中，SCOPE显著提高了生成文本的流畅性和控制性。使用GPT-4进行评估时，SCOPE生成的文本在流畅性和控制性方面均优于基线模型。
2. 情感控制生成：在情感控制生成任务中，SCOPE在保持文本流畅性的同时，显著提高了情感控制的准确性。与现有的基线模型（如GEDI、DExperts）相比，SCOPE在控制性和流畅性之间取得了更好的平衡。
3. 多属性控制生成：SCOPE还可以同时控制多个属性（如类别和情感）。实验表明，SCOPE能够有效处理多属性控制任务，生成同时满足多个目标属性的文本。

结论

SCOPE通过逐块编辑的方式，有效解决了黑箱语言模型在受控文本生成中的挑战，特别是在控制性和流畅性之间的权衡问题。该方法不仅适用于单一属性的控制，还能够处理多属性控制任务，展示了其在现实应用中的广泛潜力。

研究亮点

1. 创新性：SCOPE是首个能够在完全黑箱条件下实现受控文本生成的方法，无需访问模型参数或输出分布。
2. 高效性：与现有的迭代采样方法相比，SCOPE显著提高了生成速度，减少了计算成本。
3. 广泛适用性：SCOPE能够与多种大语言模型API（如GPT-4、ChatGPT）兼容，展示了其在现实应用中的实用性。

未来工作

尽管SCOPE在受控文本生成方面取得了显著进展，但仍存在一些局限性。例如，训练过程中需要大量的目标领域数据和计算资源。未来的研究可以进一步优化编辑器的稳定性，探索更多的编辑选项（如插入和删除），并研究在少样本设置下的应用。

SCOPE为黑箱语言模型的受控文本生成提供了一种高效且灵活的解决方案，具有重要的科学和应用价值。