本文介绍了一项关于可控文本生成的研究，提出了一种名为Decider的双系统规则可控解码框架。该研究由Chen Xu、Tian Lan、Changlong Yu、Wei Wang、Jun Gao、Yu Ji、Qunxi Dong、Kun Qian、Piji Li、Wei Bi和Bin Hu等作者共同完成，主要来自北京理工大学和南京航空航天大学。该研究已提交至IEEE，可能在未来发表。

研究背景与目标

可控自然语言生成（Controllable Natural Language Generation）旨在生成满足特定条件的自然语言句子，例如情感、主题或关键词控制。近年来，随着预训练语言模型（Pre-trained Language Models, PLMs）的广泛应用，研究者们开始探索如何在推理过程中直接引导预训练模型生成符合特定关键词的文本，而无需重新训练模型。然而，现有的约束解码方法通常通过贪婪地选择目标词来完成任务，这虽然能够满足任务要求，但可能会破坏自然语言生成的流畅性和逻辑性。

为了解决这一问题，本文提出了Decider框架，旨在通过逻辑规则来控制预训练语言模型的生成过程。具体来说，Decider将目标词的鼓励转化为对所有符合规则的词的鼓励，从而在生成过程中更好地模拟人类的表达方式。该框架的核心目标包括：（1）减少对目标词的贪婪关注；（2）探索一种新的约束解码策略，通过逻辑规则引导生成模型，使其生成的文本不仅满足约束条件，还能更好地符合人类的逻辑和表达习惯。

研究方法与流程

Decider框架由三个主要部分组成：（1）一个基础的预训练语言模型（PLM），用于生成流畅的文本；（2）一个一阶逻辑（First-Order Logic, FOL）推理器，用于表达和评估规则；（3）一个决策函数，用于在每一步解码过程中合并两个系统的输出，从而引导生成方向。

1. 预训练语言模型（PLM）：PLM负责生成文本，其输出是一个词汇表上的概率分布，表示下一个词的可能性。
2. 一阶逻辑推理器（FOL Reasoner）：推理器根据用户定义的规则，计算每个词是否符合规则，并生成一个逻辑向量。该向量表示每个词是否满足规则。
3. 决策函数（Decision Function）：决策函数将PLM的输出和逻辑推理器的输出结合起来，调整词汇表上的概率分布，使其更倾向于选择符合规则的词。

在生成过程中，Decider通过以下步骤进行解码： - 注意力分布调整：在每一步解码时，Decider会调整PLM对先前生成词的注意力分布，使其更关注符合规则的词。 - 目标词注意力调整：Decider还会调整PLM对目标词的注意力分布，确保生成过程中目标词的信息得到充分体现。 - 预测分布调整：最后，Decider调整PLM的预测分布，使其更倾向于选择符合规则的词作为下一个词。

实验结果与分析

Decider在CommonGen和PersonaChat两个任务上进行了实验验证。CommonGen任务要求生成包含给定概念集的句子，而PersonaChat任务则要求生成与给定人物描述语义一致的回复。

1. CommonGen任务：实验结果表明，Decider在所有评估指标上均优于现有的约束解码方法，尤其是在覆盖率和生成质量之间取得了良好的平衡。Decider不仅能够覆盖所有目标词，还能生成更自然、更符合常识的句子。
2. PersonaChat任务：在个性化对话生成任务中，Decider同样表现出色。它不仅能够生成与目标人物描述一致的回复，还能在对话中找到双方的共同兴趣点，生成更符合日常对话模式的回复。

结论与意义

Decider框架通过引入逻辑规则来控制文本生成过程，显著提升了生成文本的质量和逻辑性。该框架的创新之处在于： - 规则可控的解码策略：Decider允许用户通过逻辑规则编程来控制生成过程，鼓励所有符合规则的词，而不仅仅是目标词。 - 双系统架构：Decider结合了神经系统的生成能力和符号系统的逻辑推理能力，通过决策函数将两者有机结合，实现了对生成过程的精确控制。 - 通用性：Decider是一个通用框架，用户可以根据不同任务定义不同的规则，适用于多种文本生成任务。

该研究的科学价值在于提出了一种新的约束解码方法，能够在不重新训练模型的情况下，通过逻辑规则引导生成过程，生成更符合人类逻辑和表达习惯的文本。其应用价值则体现在个性化对话生成、常识推理生成等多个领域，具有广泛的应用前景。

研究亮点

1. 重要发现：Decider框架能够在不牺牲生成质量的情况下，显著提升生成文本的逻辑性和自然性。
2. 方法创新：Decider首次将一阶逻辑推理器引入到约束解码过程中，通过双系统架构实现了对生成过程的精确控制。
3. 任务特殊性：Decider在常识推理生成和个性化对话生成任务中表现出色，展示了其在复杂文本生成任务中的潜力。

Decider框架为可控文本生成提供了一种新的解决方案，具有重要的理论和应用价值。