当一块厨房纸巾被夹子夹住浸入浅蓝色液体时，按照物理规律本应逐渐吸水变湿，但某AI视频生成系统却让纸巾像方糖入水般直接溶解。这个看似荒诞的场景，暴露出当前AI视频评估体系的致命缺陷——现有评分机制往往被画面精美度蒙蔽，对物理逻辑错误视而不见。针对这一痛点，由多所顶尖研究机构联合开发的"物理问题场景图"（PQSG）评估体系，通过构建带逻辑依赖关系的核查清单，为AI视频生成技术提供了更精准的"体检报告"。
传统评估方法通常将视频质量压缩为单一分数，侧重画面清晰度、色彩搭配等视觉指标，却忽视物理合理性这一核心要素。研究团队以小球下落场景为例指出，正确评估需按"对象存在-动作正确-物理合理"的顺序层层验证。若视频中根本未出现小球，后续关于重力轨迹的讨论便失去意义。现有系统将不同维度问题混为一谈，既无法定位具体错误，也难以提供改进方向，如同食评家只关注摆盘而忽略食材新鲜度。
PQSG体系采用法庭审判式的逻辑链条，将评估分解为三个递进层级：首先核查视频是否包含文字描述中的所有对象，其次验证对象是否执行指定动作，最后判断物理交互是否符合现实规律。每个问题均以现在时态提出，如"纸巾是否接触液体""液体是否渗入表面"，形成包含127个基础问题的标准化题库。评估流程分为两步：先由视觉语言模型自动生成问题图，再通过另一模型结合视频内容逐项作答，最终合并为对象、动作、物理三个维度的分数。
为验证评估体系有效性，研究团队构建了FinePhyeval数据集，涵盖65个物理场景提示生成的195段视频。这些视频涉及固体力学、流体动力学、光学等五大领域，包含物体碰撞、液体倾倒、镜面反射等复杂交互。8位人类评估员采用1-5分制，从对象存在度、动作准确度、物理合理性及整体质量四个维度进行独立评分，共收集780份有效判断。数据显示，物理合理性维度的人类一致性系数虽达0.773，但仍是四个维度中最低的，反映出不同观察者对物理错误的容忍度存在差异。
在对比实验中，PQSG体系展现出显著优势。当使用GPT-5.5作为问答模型时，其皮尔逊相关系数达0.478，肯德尔系数0.336，斯皮尔曼系数0.456，全面超越VideoScore等现有方法。特别在物理维度评估中，PQSG与人类评分的相关性比次优方法高出18个百分点。进一步分析发现，人类评估整体质量时，物理合理性（相关性0.85）的影响权重远高于动作准确度（0.66）和对象存在度（0.44），这为专注物理评估提供了数据支撑。
对四个主流视频生成系统的测试显示，商业模型表现优于开源模型。Veo 3以0.80分领跑，Sora 2得0.78分，而Wan 2.1和Cosmos-14B分别仅得0.59和0.62分。值得注意的是，所有模型在物理维度的平均得分（0.57）显著低于对象维度（0.93）和动作维度（0.66），即便是专为物理模拟设计的Cosmos-14B，其物理得分也与通用模型Wan 2.1持平，暴露出"理解物理"与"实现物理"之间的巨大鸿沟。
评估体系的核心环节表现呈现明显差异。在问题生成阶段，GPT-5.5的召回率高达99.6%，能准确覆盖92%的标准问题；但在回答阶段，其对物理类问题的正确率仅64.6%，且存在"是"偏见倾向——在燃烧纸张实验中，该模型将"烟雾是否向上散逸"等明显错误均判定为正确。当改用人类回答问题时，PQSG与整体评分的相关性从0.48跃升至0.80，表明当前评估精度主要受限于AI的物理理解能力，而非框架设计缺陷。
该体系已展现出直接指导视频优化的潜力。在迭代测试中，Wan 2.2模型根据PQSG反馈修改提示文字后，首次迭代即提升15%得分，最终稳定在81.9%。相比之下，传统评估方法VideoPhy-2-Autoeval的改进幅度不足其三分之一。控制实验进一步证实，去除问题依赖关系或细粒度分解，均会导致评估质量显著下降，验证了PQSG设计的必要性。目前研究团队已在arXiv平台公开论文编号2606.25306的完整技术细节，供学界验证与改进。
