本研究的核心作者团队来自阿里巴巴集团，包括Zhenghao Zhang、Junchao Liao、Xiangyu Meng、Long Qin和Weizhi Wang。论文发表于2025年10月的ACM国际多媒体会议（MM ‘25），标题为《Tora2: Motion and Appearance Customized Diffusion Transformer for Multi-Entity Video Generation》。
研究领域：该研究属于计算机视觉与生成式人工智能交叉领域，聚焦于多实体可控视频生成（multi-entity controllable video generation）。
研究动机：尽管现有扩散Transformer模型（如TORA）在运动控制视频生成上取得进展，但多实体场景下的外观与运动同步定制仍存在挑战：
1. 外观保真度不足：现有方法（如Video Alchemist）依赖低频全局特征（DINOv2提取），导致高频细节（如面部特征）丢失；
2. 多实体绑定失效：运动轨迹、文本描述与实体外观的跨模态对齐不充分，导致生成视频中实体混淆或运动偏差；
3. 架构局限性：基于U-Net的方法难以适配扩散Transformer（DiT）框架，且缺乏联合优化策略。
研究目标：提出Tora2框架，实现：
- 开放集多实体定制：支持人类与非人类实体（如猫、气球）的外观与运动独立控制；
- 跨模态对齐：通过门控自注意力机制绑定实体、文本与轨迹；
- 高频细节保留：开发解耦个性化提取器（Decoupled Personalization Extractor, DPE）融合高低频特征。
输入处理：
- 参考图像：对每个实体（如人、猫）输入1张参考图，通过以下并行路径提取特征：
- 低频语义路径：DINOv2提取全局特征；
- 高频身份路径：人类实体使用面部识别网络（ArcFace-R100），非人类实体使用ReID网络，再经外观适配器（Appearance Adapter）投影至统一空间。
特征融合：
- 高低频特征拼接后，通过Q-Former网络（含交叉注意力层）生成个性化嵌入（Personalization Embeddings），维度为( R^{l_p \times d} )。实验表明，此设计使面部相似度提升4.1%（见表2）。
输入模态：
- 运动嵌入：轨迹坐标序列经3D Motion VAE编码为( R^{l_m \times d} )；
- 文本嵌入：CLIP文本编码器提取实体描述词特征( R^{l_c \times d} )。
门控自注意力机制：
1. 将三类嵌入拼接后输入自注意力层；
2. 通过独立门控单元（( G_p, G_m )）动态调节交互强度（公式5），例如：
- 人类实体的运动门控权重更高以确保步态自然；
- 非人类实体（如气球）则侧重外观-文本对齐。
扩散Transformer架构：
- 运动条件：通过自适应层归一化（Adaptive LayerNorm）调制视频隐变量，再输入3D全注意力层；
- 外观条件：在主要注意力层后添加独立交叉注意力模块注入个性化嵌入。
消融实验（表5）证明，此分层注入策略使轨迹误差降低3.2像素。
损失函数设计：
- 对称对比损失（公式6）：最小化正样本对（实体嵌入-对应运动嵌入）距离，最大化负样本对距离；
- 总损失( L{total} = L\epsilon + 0.2L{cont} )，其中( L\epsilon )为扩散模型的标准噪声预测损失。
数据集：融合Video Alchemist和TORA的流水线，构建110万视频片段，过滤标准包括：
- 分辨率≥720p，美学评分＞5，光流评分＞2；
- 使用LiSA提取实体掩码，CoTracker生成轨迹标注。
在MSRVTT-Personalization基准测试中，Tora2表现如下：
- 非人类实体：主题相似度（Subj-S）达0.615，轨迹误差（TrajError）17.43，优于TORA+Flux.1的19.72；
- 人类实体：面部相似度（Face-S）0.419，超越Video Alchemist的0.411，且运动控制误差降低23.3%。
科学价值：
1. 首次在DiT框架中实现多实体外观-运动联合优化，为可控视频生成提供新范式；
2. 提出的DPE和门控注意力机制可泛化至其他跨模态生成任务。
应用价值：
- 影视预可视化：快速生成含特定角色/道具的动态分镜；
- 虚拟现实：支持用户自定义虚拟实体的行为与外观。
（注：全文共约1500字，涵盖方法细节、实验数据及领域意义，符合学术报告规范。）