本研究由来自麻省理工学院(Massachusetts Institute of Technology)信息与决策系统实验室(Laboratory for Information and Decision Systems, LIDS)的 Lorenzo Shaikewitz、Charis Georgiou 和 Luca Carlone 共同完成。论文发表于期刊 *IEEE Transactions on Robotics*,并被接收用于 2026 年出版,正式引用格式为:Lorenzo Shaikewitz, Charis Georgiou, and Luca Carlone, “Uncertainty Quantification for Visual Object Pose Estimation: S-Lemma Ellipsoidal Bounds,” IEEE Trans. Robotics, 2026。
该研究属于机器人感知与计算机视觉的交叉领域,核心聚焦于单目视觉物体位姿估计(visual object pose estimation)中的不确定性量化(uncertainty quantification)问题。在机器人操控、自主导航和规划控制中,物体位姿的点估计(point estimate)常常不足以支撑鲁棒决策,因此需要为位姿估计附加具有统计意义的置信界。然而,现有主流方法,如集成方法(ensembles)、贝叶斯推断(Bayesian inference)和基于学习的置信度估计(learned uncertainty),多依赖强分布假设或缺乏严格的统计保证。针对这一不足,作者团队旨在提出一种无需分布假设且可证明包含真实位姿的不确定性外边界。其核心途径是利用二维语义关键点(2D semantic keypoints)的像素噪声高概率界,推导物体六自由度位姿的椭球不确定界(ellipsoidal uncertainty bound),并保持对单目尺度模糊性的表达能力。
为实现上述目标,作者提出了 SLUE(S-lemma Uncertainty Estimation)框架,其完整工作流包含以下几个相互衔接的步骤。第一步是建立关键点测量与噪声模型。研究假设输入为一张 RGB 图像,通过前端关键点检测网络获取物体上已知三维关键点在图像平面的二维测量值。二维关键点噪声不作任何分布假设,而是通过保形预测(conformal prediction)获得高概率误差上界,具体采用无穷范数(infinity-norm)约束,即关键点误差以不小于 (1-\alpha_i) 的概率落入边长为 (2ri) 的方形不确定集内。第二步是将关键点噪声传播到位姿约束集。作者利用针孔相机重投影模型,在深度为正的可见性条件(chirality constraint, FOC)下,将重投影误差不等式等价转换为关于旋转矩阵与平移向量的线性反向投影约束(backprojection constraint, BP∞)。由此得到的位姿约束集 (P\infty) 是一个隐式、非凸但包含真实位姿的概率集合。第三步是将该非凸集合转化为二次形式。通过引入齐次变量 (x=[1, \mathrm{vec}®^\top, t^\top]^\top),旋转矩阵的正交性和右手性约束被表达为 15 个二次等式,每个关键点的四组线性约束被改写为二次不等式,使得原始位姿约束集成为一个半代数集(semialgebraic set)。第四步是利用广义 S-lemma 推导最小体积外接椭球(minimum volume bounding ellipsoid)的凸松弛。作者构造了以当前位姿估计为中心的二次椭球不等式,并利用 S-lemma 的对偶形式,将对非凸集合的包含关系松弛为线性矩阵不等式(LMI)。在松弛阶数 (\kappa=0) 时,该问题为凸半定规划(SDP),目标函数为最大化 (\log\det(H)),即最小化椭球体积。第五步是建立求和平方(sum-of-squares, SOS)松弛层级。作者将固定乘子推广为 SOS 多项式乘子,得到命题 5 的广义 SOS S-lemma,并形成命题 6 的椭球界层级。该层级的第 (\kappa) 阶松弛是一个规模更大的半定规划,且满足 (\log\det(H\kappa^\star) \le \log\det(H{\kappa+1}^\star)),保证在 (\kappa \to \infty) 时收敛到真实最小体积椭球。在实验中,只使用了 (\kappa=1) 和 (\kappa=2) 的松弛阶,且为提高计算效率采用四元数(quaternion)旋转表示,将旋转矩阵的 9 维参数降至 4 维。第六步是将联合椭球边界投影为独立的平移椭球和角度椭球。对于平移,通过正交投影直接获得三维平移椭球矩阵;对于旋转,利用罗德里格斯公式(Rodrigues’ formula),将旋转矩阵椭球转换为以 (\omega \sin(\theta)) 为坐标的轴角偏差椭球,并对旋转角不超过 90 度的情况给出闭合表达;对于四元数表示,则给出适用于全角度范围的轴角边缘化方法。
实验部分覆盖了三个真实场景数据集:线模遮挡数据集(Linemod-Occlusion, LM-O)、YCB-Video 数据集(YCB-V)以及无人机跟踪场景(CAST)。保形预测使用分割校准集计算关键点误差的调整分位数。实验结果表明,在置信水平 (\alpha=0.1) 时,CAST 和 LM-O 的关键点经验覆盖率接近理论覆盖水平 (1-\alpha),而使用合成校准的 YCB-V 则略有偏差。位姿约束集 (P_\infty) 存在 30% 至 45% 的覆盖率下降,这与多个关键点联合覆盖时相关性不足以及最坏情况联合界过于保守有关。在不确定性量化结果方面,作者将 SLUE 与 RANSAG 和 GRCC 两类球状外包络方法进行了比较。SLUE 的优势体现在平移不确定界上,其一阶松弛在体积上比基线方法小若干数量级,二阶松弛在多数情况下也优于基线方法。在旋转不确定界方面,SLUE 在一阶松弛时优于 RANSAG,在二阶松弛时与 RANSAG 接近。定量累积分布图显示,SLUE 能更紧凑地捕获沿相机光轴的尺度模糊性,而球状基线方法则因固定形状而显著膨胀。定性结果进一步显示,一阶平移椭球沿光轴很长,二阶椭球显著收紧;旋转椭球则相对保守,作者将其归因于无穷范数关键点集扩大了极端旋转角变化范围,以及二次等式约束对椭球近似不友好。在计算时间方面,SLUE 在 LM-O 数据集上一阶松弛平均耗时 39.0 毫秒,二阶为 548 毫秒,均快于 RANSAG 和 GRCC,且求解单个联合椭球即可得到平移和旋转边界,无需分别优化。
该研究的核心贡献在于提出了首个直接优化椭球形状且具有统计保证的视觉位姿不确定性估计方法。不同于 Yang 与 Pavone 等人的球状不变体积近似,SLUE 通过 S-lemma 的 SOS 层级对非凸位姿约束集进行最小体积椭球逼近。其科学意义体现在将分布无关的保形预测从关键点层级传播到位姿层级,并在椭球包含问题上建立了可与成熟的 SOS 优化理论衔接的凸松弛框架。此外,将联合椭球边缘化为独立的平移和旋转椭球,使得不确定性估计能够直接服务于下游规划与控制器设计。应用价值方面,该方法在计算上极为高效,一阶松弛接近实时,可嵌入到实际无人机跟踪和机器人操控流水线中。
论文的亮点还在于几个方面。首先,首次将无穷范数关键点噪声建模引入到视觉位姿不确定性问题中,增强了计算效率并简化了反投影约束结构。其次,S-lemma 方法与四元数表示的联合使用显著降低了半定规划的维度,并解决了数值不稳定性问题,为高阶松弛的实际求解铺平了道路。此外,该研究给出了详细的覆盖率经验分析,揭示了最坏情况联合界在真实数据中的覆盖率衰减现象,为后续研究提供了重要参考。最后,作者还提供了二阶范数关键点约束的扩展形式以及三维约束矩阵的显式表达,增强了方法的可复现性。总体而言,SLUE 在视觉位姿不确定性量化中实现了统计严格性、表达能力和计算效率之间的良好平衡,并为机器人实时安全感知和鲁棒控制提供了新的工具。