本研究由清华大学软件学院及北京信息科学与技术国家研究中心（BNRIST）的Shengtao Li、Ge Gao（通讯作者）、Yudong Liu、Yu-Shen Liu和Ming Gu等人共同完成。该论文发表于2024年AAAI人工智能会议（Association for the Advancement of Artificial Intelligence）。
在三维计算机视觉领域，从离散点云中重建连续表面是一项核心任务。点云由各类传感器直接捕获，能够提供离散的三维空间信息，但将其转换为连续、可用的三维几何模型仍面临巨大挑战。近年来，基于学习的隐式神经网络方法在点云表面重建领域取得了显著进展。这些方法通过编码输入点云，构建一个描述三维空间连续占用场或距离场的函数，从而在任意查询点预测其位于表面内部、外部或表面之上的概率。
现有方法通常将点云编码为规则网格特征（Grid Feature），例如二维平面特征或三维体积特征。网格特征通过在网格内均匀散布点云特征来学习，虽然捕获空间信息效率较高，但由于平均化操作往往会丢失形状细节。另一类方法将特征附加到离散的输入点上，形成不规则特征（Irregular Feature）。这类特征能更精确地表示三维形状，但将不规则特征与连续空间连接起来较为困难，且计算效率低下。
为充分发挥规则网格特征与不规则点特征各自的优势，本研究首次提出了点-网格Transformer（Point-Grid Transformer, GridFormer）这一全新的高效注意力机制。该方法将固定网格视为连接三维空间与离散点云之间的“中转点”，通过可学习的点-网格注意力机制来建模网格特征，从而在维持高效率的同时最大化网格特征对空间细节的表达能力。此外，针对占用函数在物体表面不连续、不可微的固有属性导致的边界模糊问题，研究团队进一步提出了一种包含边际二元交叉熵损失与边界采样的两阶段训练优化策略，以获取物体结构更精确的表示。
1. 点-网格Transformer层（Point-Grid Transformer Layer）
点-网格Transformer层是GridFormer架构的核心创新单元，其设计目标是在离散点云与规则网格之间建立高效、可学习的信息传递通路。传统网格方法使用固定权重（平均值）散布点特征，而点-网格方法学习输入点与网格点之间的关系权重。具体工作流程分解如下：
位置编码：首先将点云从全局坐标系转换到其所在网格的局部坐标系中，将一个包含两个线性层和一个ReLU非线性函数的多层感知机（Multi-Layer Perceptron, MLP）作用于局部化后的点，生成位置编码，为注意力机制提供空间先验。
点特征聚合：该步骤利用源自Point Transformer的注意力机制学习点特征与网格特征之间的权重。具体来说，对网格特征应用一个小型卷积神经网络（CNN）以学习“键”（Keys），并利用两个MLP分别从点特征中学习“查询”（Queries）和“值”（Values）。点-网格权重由网格键、点查询以及位置编码通过一个权重函数计算得出，随后在同一网格内通过Softmax归一化公式得到最终权重。利用这些学习到的权重，对同一网格单元内所有输入点的值特征与位置编码之和进行加权求和，实现点特征向网格特征的聚合。此步骤使得网络能够根据空间信息和特征相似性动态决定如何融合来自不同点的信息，而非简单的均匀散射。
网格特征聚合：为增加每个网格点的感受野，使用小型CNN对相邻网格特征进行进一步聚合。为保持网络轻量化，在最后三个直接连接解码器的层中，该CNN被替换为深度可分离卷积，通过对每个输入通道应用不同的卷积核来共享网格特征之间的权重。
点特征重采样：为避免忽略邻域内的点特征，该层通过双线性或三线性插值从混合后的网格特征中以残差连接的方式重新采样点特征。
2. 多分辨率解码器
对于任意查询点，解码器通过双线性或三线性插值从学习到的网格特征中采样查询特征。在信息传递链（输入点云到网格点，再到查询点）中，前半部分的权重已通过学习得到；若将后半部分查询点与网格点之间的权重也改为注意力机制，当需要高分辨率重建结果时，查询点数量的急剧增长会导致解码耗时大幅增加。因此该方法选择保留插值方式以平衡精度与效率。解码器从编码器网络中抽取两个不同分辨率的网格特征，缩放至统一维度后进行累积，最终输入一个与Convolutional Occupancy Networks相同的、接收累积特征和查询点坐标并输出占用概率的解码网络。
3. 边界优化策略
占用函数在零等值面处不连续、不可微的特性增加了训练的误差界。为更精确地预测物体表面附近的占用值，GridFormer设计了一套两阶段的训练与优化策略：
第一阶段：采用标准均匀采样策略，在整个空间中以二元交叉熵损失函数训练模型直至收敛。二元交叉熵衡量预测占用值与真实占用标签之间的差异。
第二阶段：基于真实占用标签提取边界点。边界点定义为在其固定半径邻域内至少存在一个位于表面另一侧的邻点的点。训练从此切换至边界采样，仅在这些边界点上微调模型。同时，损失函数切换为边际二元交叉熵损失，其核心是在sigmoid层之前直接对网络输出增加一个与真实标签相关的边距值。这一修改强制模型在表面附近输出更接近0或1的极值占用概率，从而减小模糊性，使得最终通过Marching Cubes等算法提取的网格表面更清晰、更精确。
为了全面验证GridFormer的有效性和泛化能力，研究团队在物体级重建和场景级重建两个层面、多个人工合成与真实世界数据集上进行了广泛的实验。
在物体级重建任务中，研究使用了ShapeNet数据集，该数据集包含经水密处理的网格模型。实验在多种不同点云密度（3000点、1000点、300点）和不同程度高斯噪声（标准偏差0.005、0.025）的设置下进行，并与包括Occupancy Networks、Convolutional Occupancy Networks、POCO、ALTO、NKSR等在内的当前主流方法进行了比较。评估指标包括体积交并比、倒角距离、法线一致性以及F分数。定量结果显示，在绝大多数设置下，GridFormer在这些指标上均优于其他对比方法。特别是当输入点密度较高时提升效果尤为显著；当点云极其稀疏（如300点），由于单个点的权重学习意义有限，提升幅度减小。定性视觉对比同样表明，GridFormer能捕捉更多细节，重建出的形状拓扑结构更加统一和一致。
在场景级重建任务中，实验基于Synthetic Rooms数据集，该数据集包含5000个经随机摆放墙壁、地板和ShapeNet物体生成的合成房间场景。与点方法和网格方法的定量和定性对比表明，GridFormer在各类场景中均能获得更高质量的重建结果，尤其是在家具等细粒结构上能保留更丰富的细节。为了验证模型的真实世界泛化能力，所有模型仅在合成数据上训练，然后在真实扫描数据集ScanNet-v2上进行测试。结果表明，GridFormer能够重建出更平滑、更完整的表面，在倒角距离和F分数等指标上取得了最优结果。
在计算效率方面，GridFormer的注意力机制应用于编码器端，相比于在解码器端使用注意力机制的POCO和ALTO等方法，在处理相同ShapeNet椅子模型时，占用的GPU内存和推理时间均显著更低，体现了其高效性。
为深入理解各组件的贡献，研究团队进行了多项消融实验：
网格表示类型：对比了三平面（Triplane）和体积两种网格表示，结果表明，无论是基于哪种表示，GridFormer相对其基础网络ConvONet和ALTO均有显著提升，且体积表示下性能最优。
网格下采样：对比有无U-Net状编码器中的下采样操作，结果表明，包含下采样虽然使编码时间略有增加，但能够显著提升重建质量。
边界优化策略：在不同噪声和密度设置下，应用边界优化策略后的平均倒角距离均显著降低，证明了该策略能有效减少估计占用函数与真实函数之间的误差。
GridFormer研究的价值体现在科学贡献与应用潜力两个层面。从学术角度，它提出了一种创新的点-网格交叉注意力机制，为点云数据的高效、高保真几何特征编码提供了新范式。该机制巧妙地将非规则点特征的表征能力与规则网格的计算效率结合起来，解决了领域内的一项技术挑战。同时，所提出的边界优化策略也针对占用场的内在问题进行解决，对后续相关研究具有启发性。
从应用价值看，高精度的三维表面重建是数字孪生、增强现实、机器人导航和自动驾驶等多个领域的底层核心技术。GridFormer能以较低的计算代价重建复杂场景的精确几何结构，为这些实时性要求高的应用提供了更优的解决方案。作者指出，未来可探索如何动态划分网格以实现不同分辨率间的注意力机制，从而将该方法应用于更多场景之中。