这项研究由Ling Yang*¹、Zhaochen Yu*¹、Chenlin Meng²³、Minkai Xu²、Stefano Ermon²和Bin Cui¹合作完成，¹代表北京大学（中国），²代表斯坦福大学（美国），³代表Pika Labs（美国），通讯作者为Ling Yang（yangling0818@163.com）。研究成果发表于《Proceedings of the 41st International Conference on Machine Learning》（PMLR 235），会议于2024年在奥地利维也纳举行。

学术背景

研究领域为生成式人工智能（Generative AI），具体聚焦于文本到图像（text-to-image）扩散模型（diffusion models）的生成与编辑能力优化。当前，尽管扩散模型（如DALL·E 3、SDXL）在生成逼真图像方面表现优异，但其对包含多对象、多属性及复杂关系的文本提示（text prompts）的处理能力仍存在局限。传统方法（如布局控制或注意力引导）依赖粗糙的空间约束或额外训练反馈，易导致重叠对象生成模糊或语义对齐不足。为此，本研究提出无需训练的新框架RPG（Recaption, Plan, and Generate），通过多模态大语言模型（Multimodal LLMs, MLLMs）的链式推理（Chain-of-Thought, CoT）能力，将复杂生成任务分解为区域化子任务，提升扩散模型的组合生成能力。

研究方法与流程

RPG框架包含三大核心策略：

1. 多模态重标注（Multimodal Recaptioning）

   • 任务分解：使用MLLMs（如GPT-4）将复杂文本提示分解为基提示（base prompt）和子提示（subprompts），例如将“戴王冠的中国将军与龙纹铠甲”分解为“王冠”“龙纹”“铠甲”等独立描述。
     
   • 语义增强：对子提示进行细节扩充（如将“龙纹”扩展为“象征力量的威严龙首纹样”），提升生成图像的细粒度语义对齐。
     

2. 链式推理规划（Chain-of-Thought Planning）

   • 区域划分：通过MLLMs的CoT能力，将图像空间划分为互补子区域（subregions）。例如，根据提示中的“河流左侧冬季村庄，右侧夏季火山”，将图像水平分割为左右区域，并分配对应子提示。
     
   • 规则设计：定义区域参数（如“1,1,1;2,1,1”表示三列左区域与两列右区域），结合上下文示例指导MLLMs生成非重叠布局。
     

3. 互补区域扩散（Complementary Regional Diffusion）

   • 并行生成：在扩散模型的每个去噪步骤中，独立生成各子区域的潜在特征（latents），随后通过调整尺寸并拼接（resize-and-concatenate）合并。
     
   • 权重融合：引入基提示潜在特征与子区域特征的加权和（公式：( z{t-1} = β \cdot z{t-1}^{base} + (1-β) \cdot z_{t-1}^{cat} )），平衡整体一致性与区域特性。
     

实验设计：
- 生成任务：在T2I-CompBench等基准测试中，对比SDXL、DALL·E 3等模型，评估属性绑定（attribute binding）、数量准确性（numeric accuracy）及复杂关系（complex relationships）的生成效果。
- 编辑任务：通过轮廓掩码（contour-based masking）实现精准局部修改（如将“黑色猫”替换为“棕色猫”），支持多轮闭环优化。

主要结果

1. 生成性能：在T2I-CompBench上，RPG在属性绑定（0.8335 vs. 0.7019）、空间关系（0.4547 vs. 0.2362）等指标超越ConPreDiff等SOTA模型（详见表1）。例如，对“六只图案马克杯与左侧玫瑰”的生成中，RPG精确还原数量与布局，而SDXL遗漏部分对象。
   
2. 编辑精度：相比Prompt-to-Prompt和InstructPix2Pix，RPG的掩码修复策略更完整保留原图结构（图12）。例如，将“蓝色衬衫”编辑为“青色衬衫”时，相邻区域无颜色渗漏。
   
3. 泛化性：RPG兼容多种MLLM架构（如MiniGPT-4、LLaMA-2）和扩散主干（如ControlNet），支持姿态、深度等条件的扩展生成（图3）。
   

结论与价值

科学价值：
- 首次将MLLMs作为全局规划器（global planner）嵌入扩散模型，通过CoT推理实现生成任务的动态分解。
- 提出的互补区域扩散算法解决了重叠内容冲突问题，为组合生成提供了新范式。

应用价值：
- 无需额外训练即可适配现有模型（如SDXL），降低计算成本。
- 支持影视设计、广告创意等需高精度语义控制的场景。

研究亮点

1. 方法创新：结合MLLMs的推理能力与扩散模型的生成能力，突破传统布局引导的局限性。
   
2. 技术通用性：框架开源（GitHub: yangling0818/RPG-DiffusionMaster），支持社区扩展。
   
3. 闭环优化：通过多轮编辑-生成循环（图13），逐步修正语义偏差，提升用户意图契合度。
   

其他发现

• 分层区域扩散：通过多级子区域划分（图9），可进一步提升复杂场景的生成质量。
  
• 基提示权重：实验表明，基提示权重β过高会导致子提示语义弱化（图16），需根据提示复杂度动态调整。
  

该研究为多模态生成模型的可控性提供了重要技术路径，其“规划-生成”协同框架或可推广至视频生成、3D建模等更广泛领域。