本文发表于 *International Journal of Computer Vision*（2026年，第134卷，文章编号136），第一作者为 Chen Zhao，通讯作者单位为瑞士洛桑联邦理工学院（EPFL）计算机视觉实验室（CVLab），合作者包括 Tong Zhang、Zheng Dang 与 Mathieu Salzmann。该研究提出了一种名为 DVMNet++ 的深度学习网络，旨在仅使用单张参考图像，对从未见过的物体进行六自由度（6D）相对位姿估计，且无需依赖测试时的真实物体边界框或大量离散旋转假设。

研究的学术背景属于可泛化物体位姿估计（generalizable object pose estimation）领域。传统位姿估计方法通常假设训练与测试阶段包含相同物体实例，难以泛化到全新物体。近年来，基于稠密参考视图或模板匹配的方法虽然展现出一定泛化能力，但需要大量参考图像覆盖物体不同视角，限制了实际应用。少数方法聚焦于单参考图像下的相对位姿估计，然而这些方法普遍依赖两个不切实际的假设：一是测试时已知真实物体边界框；二是需要离散化旋转空间并评分大量旋转假设（例如 500,000 个），计算开销巨大，且因旋转空间本质连续，离散评分机制容易产生极大误差。此外，这类方法在杂乱场景中难以有效检测未见过的物体。针对上述问题，本文旨在通过开放集物体检测与深度体素匹配网络，实现无需真实边界框的、无旋转假设的单次前向相对位姿估计。

在方法流程上，DVMNet++ 包含两个核心模块：开放集物体检测模块和假设无关的相对旋转估计模块。开放集物体检测模块首先根据参考图像自动生成描述物体属性与类别的文本提示（text prompts），将文本提示与查询图像同时输入开放词汇物体检测网络（Grounding DINO），得到若干候选边界框。由于这些候选框常常包含错误目标或背景区域，作者进一步提出基于图像检索的筛选策略：使用预训练的 DINOv2 编码器分别提取参考图像与每个候选区域的特征描述子，对输出特征图进行空间平均池化后，计算参考图像与候选区域之间的余弦相似度，选择相似度最高的候选框作为最终检测结果。该步骤同时估计了物体的二维中心位置，并通过针孔相机模型近似计算相对平移向量，但由于单参考设置下缺乏三维模型，平移估计具有尺度模糊性，因此本文以角度误差评估平移结果。

假设无关的相对旋转估计模块是整个方法的核心。首先利用检测到的边界框从查询图像中裁剪物体区域，并与参考图像一起输入自编码器网络。该自编码器由二维到三维的编码器和三维到二维的解码器组成。编码器首先使用预训练视觉 Transformer（DINOv2）提取查询与参考图像的二维特征嵌入，随后通过多个交叉注意力模块融合两视角信息，以注入跨视角三维线索。融合后的特征被重塑为三维体素表示，同时预测每个体素的物体显著性分数（objectness score）。解码器则从体素表示中重建去除背景的物体图像，并预测二维物体掩码，以迫使体素编码物体相关模式而非背景噪声。该自编码器通过图像重建损失和掩码二值交叉熵损失进行训练。

在获得查询体素与参考体素之后，DVMNet++ 通过深度体素匹配计算相对旋转。具体做法是：计算两体素特征之间的余弦相似度得分矩阵，并利用 softmax 进行软分配，将查询体素坐标与参考体素坐标对齐。接着，提出加权最近体素算法（Weighted Closest Voxel, WCV），通过将二维掩码沿深度方向复制形成伪三维掩码，并与三维物体显著性图融合，为每对体素分配置信权重，以抑制背景或噪声体素对旋转估计的干扰。最后，利用加权最小二乘问题并通过奇异值分解（SVD）求解相对旋转。整个旋转估计模块以端到端方式训练，损失函数包含自编码器损失和位姿损失，位姿损失使用旋转矩阵的六维连续表示进行计算。

在实验部分，研究在 CO3D、Objaverse、LINEMOD、HomebrewedDB 和 LINEMOD-O 等多个数据集上进行了评估。CO3D 数据集包含 18,619 个视频序列，涵盖 51 个物体类别。按照先前工作设定，训练时使用 41 个类别，测试时使用其余 10 个未见过的类别。在 CO3D 上，DVMNet++ 的平均角度误差为 17.23°，相比最佳的假设驱动方法（3DAHV 的 28.44°）显著降低了 11.21°，比图像匹配方法（如 SuperGlue 的 71.47°、LoFTR 的 78.64°）提升幅度更大。误差分布直方图显示，DVMNet++ 产生较少的极端大误差，鲁棒性更强。在计算开销方面，该网络处理一对图像仅需 23 毫秒，远低于基于扩散的 PoseDiffusion 的 5584 毫秒，也低于部分并行化的假设驱动方法；同时所需乘加操作数（MACs）显著少于需要大量旋转采样的方法。

在 GROP 基准测试中，Objaverse 合成图像上 DVMNet++ 的平均角度误差为 14.63°，而最佳竞争方法 3DAHV 为 28.11°；LINEMOD 真实图像上，DVMNet++ 的平均角度误差为 33.92°，优于 RelPose++ 的 46.67° 和 3DAHV 的 41.55°。在跨数据集泛化实验中，模型在 GROP 上训练后直接于 HomebrewedDB 上测试，DVMNet++ 获得 39.03° 的平均角度误差，优于 3DAHV 的 44.35° 和 SuperGlue 的 58.61°，证明其在不同域和全新物体上具有更好的泛化能力。在遮挡场景数据集 LINEMOD-O 上，DVMNet++ 的旋转误差为 46.04°，明显低于 3DAHV 的 51.49° 和 SuperGlue 的 73.72°，显示出对遮挡的鲁棒性。

在开放集物体检测方面，CO3D 上 DVMNet++ 的 mAP@[.5:.95] 为 87.18%，略优于 Grounding DINO 的 86.62%，并显著优于 CNOS 的 40.96%。在更杂乱的 LINEMOD 场景中，DVMNet++ 达到 49.14%，远高于 Grounding DINO 的 32.72% 和 CNOS 的 29.14%。结合预测边界框后，CO3D 上的平移角度误差仅为 4.13°，LINEMOD 上为 1.81°，表明检测框中心接近真实物体中心，且旋转估计对检测噪声不敏感。消融实验表明，移除交叉注意力层或替换为 CroCoV2 特征会导致旋转误差升高；将深度体素匹配模块替换为直接回归头会令误差从 17.23° 增加到 31.97°，验证了体素匹配的重要性；引入三维物体显著性图可使误差从 27.48° 降低至 22.48°，进一步结合二维掩码后降至 17.23°，证明加权最近体素算法对抑制噪声体素的有效性。在 T-LESS 等工业零件场景中，尽管外观高度相似导致文本提示区分度有限，多模态检测仍能稳定检索到正确边界框。此外，当参考图像数量从 1 增加至 7 时，DVMNet++ 的角度误差从 17.23° 降至 12.96°，并始终优于其他方法，展示了该方法在稀疏多参考设置下的兼容性。

本文的结论指出，DVMNet++ 通过多模态开放集物体检测和深度体素匹配网络，首次在单参考图像设置下同时摆脱了对真实物体边界框和旋转假设的依赖，并实现了高效、准确的未见物体相对位姿估计。科学价值在于提出了一种将二维图像提升至三维潜在体素空间、利用可微体素匹配和加权最近体素算法解决连续旋转回归的新范式，克服了传统离散假设方法建模连续旋转空间的不足。应用价值方面，该方法可广泛用于机器人抓取、增强现实和三维场景理解等需要对全新物体进行快速位姿估计的任务，特别是在无法获得三维模型或稠密参考视图的实际场景中。研究的主要亮点包括：无需真实边界框的开放集物体检测、无需旋转假设的端到端体素匹配旋转估计，以及加权最近体素算法对背景与噪声的鲁棒性。该工作仍存在局限性：单参考图像信息有限，位姿精度低于多视图方法；由于缺乏三维模型，平移估计存在尺度模糊，这些也是未来研究需要解决的方向。