这篇文档属于类型a：一份单一原创性研究的报告。以下是根据要求撰写的学术报告。
SemanticFace：通过可解释空间中的语义蒸馏进行语义面部动作估计
一、 研究团队与发表信息
本研究由匿名作者（Anonymous author(s)）完成，其所属机构和地址信息未在预印本中公开。该研究论文已提交至第40届神经信息处理系统大会（40th Conference on Neural Information Processing Systems, NeurIPS 2026），目前处于待审阅状态。这表明本研究是计算机视觉、图形学与人工智能交叉领域的前沿工作，旨在推动单图像面部动作估计技术的发展。
二、 学术背景与研究目标
本研究的主要科学领域是计算机视觉与计算机图形学，具体聚焦于从单张图像进行面部动作估计（Facial Action Estimation）。这项技术是驱动数字人、虚拟化身控制以及人机交互的关键。传统的面部建模方法，如基于FLAME（Faces Learned with an Articulated Model and Expressions）的网格重建方法，虽然在三维面部几何重建上效果显著，但其压缩的表达参数并非以语义化的面部动作为单位进行组织。这使得FLAME参数难以直接用于动画制作，也阻碍了其与语言指令的对齐和推理。相比之下，苹果的ARKit等系统提供的混合形状系数（Blendshape Coefficients）直接输出与动画装配（Rig）兼容且具有语义名称（如jawOpen、browInnerUp）的面部控制参数，非常适合用于驱动虚拟化身和下游的表情编辑。
尽管ARKit系数提供了一个天然可解释的动作空间，但现有的基于ARKit的方法通常将系数预测视为一个常规的数值回归问题，未能充分利用系数名称和动作定义中已嵌入的语义结构。与此同时，现代多模态大语言模型（Multimodal Large Language Models, MLLMs）通过大规模预训练编码了强大的视觉-语义先验知识，为提升面部动作理解的语义性和可解释性提供了新的可能。近期研究也探索了利用视觉-语言联合学习来进行可解释的面部动作单元（Action Unit, AU）识别。
基于此背景，本研究旨在解决的核心问题是：如何超越传统的数值回归范式，利用大语言模型的语义先验，实现更准确、更鲁棒、且更具语义可解释性的ARKit面部动作系数估计。具体目标包括：1）将ARKit系数预测重新定义为在可解释动作空间内进行的、与语言对齐的结构化生成任务；2）提出一种新颖的语义蒸馏框架，将地面真实（Ground-Truth）ARKit系数蕴含的结构化语义知识迁移到图像条件化的MLLM中；3）通过实验验证该方法在系数精度、感知一致性、跨身份泛化能力以及对域外输入（如卡通脸）的鲁棒性上的优势。
三、 详细研究流程与方法
本研究提出的SemanticFace框架采用两阶段语义蒸馏范式，其核心思想是利用冻结的大型语言模型（LLM）作为“语义教师”，将地面真实的ARKit系数转化为结构化的语义描述，然后指导一个多模态大语言模型（MLLM）“学生”从图像中联合预测语义描述和ARKit系数。整个工作流程可详细阐述如下：
第一阶段：语义监督信号生成 此阶段不涉及模型训练，而是离线生成用于监督后续模型的语义标签。研究使用了一个公开的ARKit面部表情数据集（源自KeyframeFace项目），该数据集使用iPhone深度摄像头和Live Link Face捕获，包含61维ARKit系数（52个混合形状系数和9个头动系数）。研究对数据进行了降采样处理，并按照人物身份无关（subject-disjoint）的原则划分为训练集（7位演员，28,209对数据）、验证集（1位演员，4,960对数据）和测试集（1位演员，4,700对数据）。
对于数据集中的每一个样本，其地面真实ARKit系数被构造成一个结构化的动作-值集合（Action-Value Set）S_gt = {(a_k, v_k)}，其中a_k是动作名称（如mouthSmileLeft），v_k是其对应的激活值。研究采用一个冻结的预训练大语言模型（本研究中使用的是Qwen3-14B）作为语义教师，通过精心设计的提示词（Prompt），将这个动作-值集合转化为分层级的语义描述 T_gt。提示词引导LLM基于系数推断出：1）最可能的表情类别（如“微笑”）；2）详细的面部肌肉运动（按区域描述，如眉毛、眼睛、脸颊、嘴巴、下巴）；3）当可清晰观察时的情绪暗示（如“快乐”）；4）表达的对称性模式。这个过程并非引入新的人工标注，而是将隐含在数值参数空间中的动作间关系（如区域肌肉协调、表情配置、对称性）外化为语言对齐的形式，为第二阶段提供了丰富的结构化语义监督信号。
第二阶段：语言先验语义蒸馏 此阶段是模型训练的核心。研究采用一个预训练的多模态大语言模型（本研究中使用Qwen3-VL-4B-Instruct）作为学生模型。该模型包含视觉编码器和因果语言解码器。视觉编码器负责处理输入的面部图像I，产生视觉令牌（Visual Tokens），这些令牌用于条件化语言解码器生成结构化输出。
训练的关键创新在于目标序列的构建。对于每个训练样本，将第一阶段生成的语义描述T_gt和地面真实的动作-值序列S_gt拼接，形成一个统一的自回归目标序列 U_gt = [T_gt || S_gt]。模型被训练以根据输入的图像I，自回归地生成这个完整的序列。这种设计迫使模型不仅要学习预测准确的系数值，还要在生成过程中内化语义描述所蕴含的动作间关系知识。通过要求模型“先描述再预测”或“联合生成”，研究将语言级别的先验（关于区域协调、对称性、表情配置）注入到了模型的参数中。这改变了模型的归纳偏置，从独立的标量估计转向了结构化的动作推理。
在实现细节上，研究采用了参数高效的微调方法LoRA（Low-Rank Adaptation），仅更新语言解码器的部分参数，而冻结视觉编码器和多模态对齐模块，以保留预训练的多模态表示并保持训练稳定性。模型使用AdamW优化器，在8块NVIDIA A100 GPU上训练了50个epoch，耗时约45小时。训练完成后，模型能够端到端地从单张输入图像直接生成语义描述和ARKit系数。
四、 主要实验结果与分析
研究进行了全面且严谨的实验评估，以验证SemanticFace框架的有效性。
1. 在分布内测试集上的定量与定性评估： 研究在拥有地面真实ARKit系数的测试集上，与现有的ARKit兼容方法进行了定量比较。基线方法包括：SBCA（一种基于面部特征点的统计回归方法）和DeadFace（一个基于MediaPipe的开源面部几何估计实现）。评估指标涵盖系数级误差（MSE）、基于学习的图像-运动嵌入空间的语义检索精度（R-Precision）和分布一致性（MMD）、人类感知研究胜率，以及与SBCA报告的13个主要表情相关混合形状的交叉比较指标（皮尔逊相关性P-Corr、斯皮尔曼相关性S-Corr、准确率Accuracy、均方偏差MSD、平均绝对偏差Deviation）。
结果显示，SemanticFace在绝大多数指标上显著优于基线。具体而言： * 系数精度：与SBCA和DeadFace相比，SemanticFace分别将MSE降低了81.2%和89.3%。 * 语义对齐与分布一致性：在R-Precision（Top-1）上比DeadFace提升了约50%，MMD降低了83.5%。 * 人类感知质量：在严格的双盲AB/BA一致性检验的用户研究中，SemanticFace相对于地面真实结果的胜率达到46.15%，远高于DeadFace的17.35%，表明其预测结果在人类感知上与参考图像更匹配。 * 交叉比较：在13个关键混合形状上，SemanticFace在皮尔逊相关性、准确率和均方偏差等指标上表现最佳，仅在斯皮尔曼相关性上略低于DeadFace，论文分析这可能是由于语义蒸馏为了匹配整体表情语义而对视觉相似动作的相对强度进行了微调所致。
定性结果（如图4所示）进一步证实，SemanticFace在嘴巴闭合、眨眼、眉毛运动等区域产生了更准确、视觉一致性更高的面部动作，其渲染结果在感知上更接近地面真实。
2. 在域外（Out-of-Distribution）输入上的鲁棒性评估： 为了测试模型的泛化能力，研究在660张无ARKit标注的野外图像（包括真实人脸和卡通/风格化角色）上进行了评估。由于缺乏地面真实系数，评估主要依赖R-Precision和MMD指标。结果显示，SemanticFace在这些指标上大幅优于DeadFace（R-Precision@1: 23.38% vs. 9.06%; MMD: 0.55 vs. 0.90），表明其预测的面部动作与学习到的语义分布有更好的对齐。
此外，研究还与基于FLAME的方法（Smirk, EMOCA, Pixel3DMM）进行了定性对比。如图3所示，在面对极端表情、部分人脸、遮挡和卡通角色等挑战性输入时，一些FLAME方法在其默认预处理流程中可能出现“未检测到人脸”的失败情况，或重建效果下降。而SemanticFace则表现出更强的稳定性，能对各类输入产生语义上合理的ARKit面部动作，更好地保留了目标表情。这证明了在可解释的ARKit动作空间中进行语义引导建模，能够提升模型在大表情变化和域偏移下的鲁棒性。
3. 消融实验（Ablation Study）： 为了量化语义监督的贡献，研究设计了三个配置进行渐进式对比： * A0（系数回归）：模型直接从图像预测ARKit系数向量，不建模动作标识符。 * A1（动作-值预测）：模型预测结构化的动作-值集合S，将动作名称作为结构化语义令牌提供。 * A2（语义蒸馏，即本文方法）：在A1的基础上，额外使用由两阶段语义蒸馏框架生成的层级语义描述T进行监督。
实验结果（表3）显示，从A0到A2，平均MSE、中位数MSE、标准差和90分位数误差均呈现单调下降。配对t检验（表4）表明所有改进都具有统计显著性（p < 0.001）。这证明引入层级语义结构提供了额外的约束，规范了从视觉特征到可解释面部动作的映射，从而提高了预测的准确性和稳定性。
4. 头部姿态参数分析： 研究还单独分析了三个刚性头部姿态参数（headYaw, headPitch, headRoll）的预测效果。结果显示，语义蒸馏对headYaw和headPitch（对应“转头”、“抬头/低头”等有明确语言描述的动作）的预测有积极提升，但对headRoll（头部侧倾）的预测性能则有所下降。论文将此归因于headRoll在自然语言描述和训练数据中缺乏清晰的语义对应，因此语言对齐的监督对其提供的有效指导有限。这恰好印证了该方法的特性：它最适用于具有明确语义解释的面部肌肉动作。
五、 研究结论与价值
本研究提出了SemanticFace，一个用于在可解释的ARKit混合形状空间中进行面部表情估计的语言对齐框架。通过将ARKit系数蒸馏为结构化的语义描述，SemanticFace将表情估计从数值回归转变为语义化的面部动作预测。实验证明，该方法在系数精度、分布对齐和感知真实性方面均优于现有基线。尽管仅在有限人物数据上训练，SemanticFace展现了强大的跨身份泛化能力，并对野外输入和风格化人脸等域外数据具有出色的鲁棒性。这些结果凸显了语言对齐监督对于可解释面部表示学习的重要价值。
其科学价值在于：1）开创性地将大语言模型的语义先验知识引入到细粒度的、动画就绪的面部动作估计任务中；2）提出了一个通用的“语义蒸馏”范式，可将任何具有语义标签的参数化模型的数值输出转化为可用于监督的结构化语言描述；3）证明了在可解释的动作空间中进行结构化生成，相较于黑盒回归，能带来精度和鲁棒性的双重提升。
其应用价值非常直接：为数字人驱动、虚拟现实/增强现实中的虚拟化身动画、视频游戏角色控制、以及基于语言指令的面部表情编辑等应用，提供了一个更准确、更鲁棒、且更易于与高级语义（如自然语言描述）接口的技术方案。
六、 研究亮点
七、 其他有价值内容
研究在附录中提供了丰富的补充材料，包括：更多域外案例的定性对比（图5），证明了方法在不依赖人脸检测框情况下的优势；所有评估指标的详细定义和计算方式（如用户研究的具体实施流程、R-Precision和MMD的计算细节）；完整的实现细节（如使用的具体LLM/MLLM模型、LoRA配置、训练超参数）；用于两个阶段的详细提示词（Prompt）设计；详细的算法流程描述；以及对所有61个ARKit系数的细粒度逐系数评估结果（表6、7），为研究者提供了深入分析模型行为的宝贵数据。这些内容极大地增强了研究的可复现性和深度。