将一张普通照片转化为可编辑的3D场景，这项曾被视为科幻的技术，如今正逐步走进现实。康奈尔大学团队提出的SEIG系统，通过“分阶段可执行逆向图形学”框架，让AI像专业3D设计师一样逐步构建场景，最终生成可直接在Blender中修改的工程文件。这项研究以论文形式发布，编号为arXiv:2606.02580，为3D内容创作开辟了新路径。
传统3D建模需要设计师手动完成建模、材质、布局、灯光等步骤，耗时数小时甚至数天。而SEIG的目标是让AI仅凭一张照片自动完成这一过程，生成的不是静态图像，而是包含程序代码的完整3D场景。用户可自由调整物体颜色、更换材质、模拟物理效果，甚至重新设计灯光，如同拥有原始设计文件一般。
逆向图形学的核心挑战在于“一对多”的映射关系——同一张照片可能对应无数种3D场景。例如，一张椅子的照片无法明确其背面结构或材质类型。此前，VIGA系统尝试通过“写代码-渲染-对比-修改”的循环优化所有参数，但因参数间相互纠缠，导致AI在巨大可能性空间中难以收敛。SEIG则采用分阶段策略，将复杂任务拆解为几何、材质、布局、灯光四个独立阶段，每阶段专注单一目标，逐步逼近最终结果。
SEIG的工作流程类似流水线作业。首先，AI分析照片生成“场景图”，记录物体名称、形状、材质及空间关系，并用基础几何体搭建粗糙框架。随后，系统生成四套初始方案，由“选拔模块”选择最优方案作为起点。在几何精修阶段，AI逐个优化物体形状，通过缩放、旋转或添加部件使其贴近照片；材质阶段则用物理渲染（PBR）材质替换纯色占位符，调整颜色、粗糙度、金属感等属性；布局阶段从整体视角调整物体位置、大小及接触关系；最后，灯光阶段通过分析光线方向、阴影类型等线索，匹配参考图的色调与对比度。
为确保每阶段质量，SEIG引入“生成器-验证器”循环机制。生成器负责修改场景并渲染图像，验证器则对比渲染图与参考图，仅关注当前阶段目标（如几何阶段仅检查形状），生成改进清单。若某阶段未在限定轮次内通过验证，系统会选择最佳中间结果进入下一阶段。这种自我纠错机制显著提升了重建精度。
实验在NeRF合成数据集（7个场景）和Edit3D数据集（13个物体场景）上进行，对比对象为VIGA系统及其简化版。结果显示，SEIG在六个评估指标中五个领先，尤其在像素级相似度（PSNR 13.58）和语义一致性（DINO 0.7188、CLIP 0.8830）上表现突出。定性分析进一步验证其优势：在篮子场景中，SEIG根据可见轮廓合理推测内部面包形态，而VIGA未能生成完整结构；在拟人角色场景中，SEIG避免“双面神”错误，而VIGA因依赖单视角重建工具导致头部异常。
SEIG生成的Blender工程文件支持多种下游应用。用户可直接修改灯光参数，实现同一场景在不同光照下的渲染；通过场景图定位单个物体，进行移动、复制或材质替换；利用Blender物理引擎模拟物体碰撞或软体变形，无需额外处理。例如，在桌面场景中，施加外力后马克杯与茶碟会滑动碰撞；在沙发场景中，球体落下会导致垫子凹陷，效果逼真。
尽管成果显著，SEIG仍存在局限性。早期阶段的错误可能传递至后续流程，导致全局偏差；多轮循环调用的AI接口使计算成本较高，限制了大规模应用。研究团队建议未来增加“全局回顾”阶段以修正早期错误，并探索成本优化方案。
这项研究为AI驱动的3D内容创作提供了新范式：通过任务分解降低复杂性，让AI以更系统的方式利用现有能力。对于普通用户而言，它意味着未来可能通过拍照快速生成可编辑的3D设计稿，简化虚拟场景搭建流程。技术细节可查阅论文完整版本（arXiv:2606.02580）。
