近日，由南洋理工大学、加州理工学院、西湖大学、加州大学、牛津大学、南京大学、香港大学、剑桥大学、哈佛大学及麻省理工学院等顶尖高校与科研机构组成的联合团队，发布了一项关于三维视觉重建技术的前沿研究。该研究系统梳理了前馈模型在3D重建与视图合成领域的应用进展，重点分析了点云、3D高斯散斑（3DGS）、神经辐射场（NeRF）等底层表示架构的技术特性。
传统3D重建技术如运动恢复结构（SfM）长期依赖场景专属优化流程，需通过特征点匹配、三角测量等步骤耗时数小时甚至数天完成建模。2020年出现的NeRF技术虽能生成高质量新视图，但其神经网络模型仍需针对每个场景单独训练，无法直接迁移至其他场景。2023年诞生的3DGS技术通过微小高斯椭球体显式构建场景，显著提升了渲染速度，但泛化能力不足的问题仍未解决。
研究指出，前馈模型通过单次前向传播实现3D重建的技术突破，正在重构计算机视觉、虚拟现实（VR）及数字孪生等领域的技术范式。这类模型通过海量数据训练获得通用能力，可直接从少量2D图像推断3D场景结构，其处理速度较传统方法提升数个数量级，为机器人实时感知、交互式3D内容创作等应用开辟了新路径。
在技术实现层面，研究详细解析了前馈模型的演进路径。针对NeRF模型的泛化改进中，PixelNeRF开创性提出条件NeRF框架，通过动态调整输入图像特征实现跨场景预测；CodeNeRF进一步引入全局潜在码编码场景特征；MVSNeRF则借鉴传统多视图立体匹配技术，构建3D成本体积提升几何预测精度。大型重建模型LRM采用三平面表示架构，结合Transformer实现端到端3D特征解码，展示了大规模模型在通用重建中的潜力。
点云表示领域，DUSt3R模型通过回归像素对齐的点地图，统一了单目与双目重建流程，甚至可在无相机参数条件下工作。后续改进如MASt3R引入局部特征匹配提升精度，Fast3R设计全局融合Transformer处理多视图输入，Spann3R与MUSt3R则通过内存机制实现视频序列的渐进式3D表示更新。
针对3DGS技术的即时生成需求，研究区分了预测高斯图与预测高斯体积两条技术路径。前者如Splatter Image通过U-Net从单图预测像素对齐的3D高斯，GRM与Flash3D分别利用大规模数据先验与深度预测器提升重建质量；后者如LaRa构建3D特征体积后重建高斯分布，Triplane-Gaussian则探索三平面表示降低计算成本。多视图辅助方法MVSplat通过成本体积构建显著提升了高斯定位精度。
在经典3D表示领域，研究关注了网格、占用及符号距离函数（SDF）等方向的技术突破。Pixel2Mesh通过变形初始网格匹配输入图像轮廓，扩散模型驱动的One-2-3-45与Wonder3D分别实现多视图一致性网格生成及法线图辅助重建。Any-Shot GIN与SparseNeuS则实现了从图像到占用表示及SDF的前馈预测。
研究特别指出，跳过显式3D表示的直接视图合成方法正成为新热点。场景表示变换器（SRT）通过Transformer编码器-解码器结构直接输出目标视角像素颜色，Zero-1-to-3通过修改文生图扩散模型实现单视图新视图合成，ReconX等视频扩散模型则利用隐式3D结构知识生成多视图一致序列。
技术评估显示，前馈模型在无姿态重建、动态场景处理等任务中展现出独特优势。基于Pointmap的模型可同步恢复相机参数，降低3D内容创作门槛；快速推理能力使其适用于运动人物捕捉、自动驾驶场景理解等动态场景。但研究同时指出，当前技术仍面临多模态数据融合不足、极端条件泛化能力有限、高分辨率输入计算成本高企等挑战。
