人工智能生成视频技术近年来发展迅猛，但多数研究聚焦于视觉效果的提升，忽视了声音与画面的同步真实性问题。南京大学NJU-LINK团队联合快手科技、中科院自动化研究所，推出全球首个文本到音视频同步内容的综合评测基准T2AV-Compass。该研究通过构建500个复杂场景测试集和双重评估体系，首次系统揭示了现有AI模型在音视频生成中的核心短板——音频真实感不足，为行业提供了全新的评价标准和技术改进方向。
传统AI视频评测主要关注画面清晰度与动作流畅性，类似艺术考试仅考察“美术”科目。T2AV-Compass的突破在于将“音乐”与“表演”纳入考核范围，要求模型生成的音频与画面在语义、时间维度上高度匹配。研究团队指出，现有评测工具要么仅评估视频质量，要么单独分析音频效果，缺乏对跨模态同步性的综合考量。这导致模型在复杂场景下常出现“画面精美但声音失真”或“动作与音效错位”的问题，严重限制了生成内容的实际应用价值。
为构建高难度测试环境，研究团队采用多阶段筛选策略。首先从VidProM、Kling AI社区等高质量数据源收集原始提示词，通过“语义聚类”技术去除重复内容，确保场景多样性。随后引入“平方根采样”策略，降低常见场景的权重，提升罕见复杂场景的入选概率。例如，一个简单提示“女孩走路”被扩展为“身着苗族服饰的少女在古镇石板路上行走，脚步声与环境音形成节奏”，包含更多视觉主体、动态细节和声音事件。最终，团队结合400个文本生成场景与100个YouTube真实视频反推的提示词，形成覆盖广泛复杂度的测试集，其中35.8%的场景包含4个以上视觉主体，55.6%涉及混合音源，72.8%包含重叠音频事件。
评估体系设计上，T2AV-Compass创新性地融合客观指标与主观判断。客观评估分为视频、音频、跨模态对齐三大模块：视频质量通过技术分数（检测噪点、模糊）和美学分数（评估构图、色彩）双重衡量；音频质量从感知保真度（信号真实性）和内容有用性（语义有效性）两个维度分析；跨模态对齐则通过文本-音频相似度、文本-视频语义一致性、音频-视频语义匹配及时间同步精度（DeSync指标）四层机制评估。主观评估采用“MLLM-as-a-Judge”协议，要求模型先提供推理过程再打分，确保评估可解释性。例如，在指令跟随能力评估中，系统将抽象指令分解为具体可验证的子维度，如“属性”维度关注外观准确性，“动态”维度评估运动流畅性，每个维度均制定详细评分标准。
对11个代表性模型的测试结果显示，当前AI视频生成存在显著的“音频真实感瓶颈”。闭源模型中，Veo-3.1综合得分最高（70.29分），但其音频真实感仅获53.84分，远低于视频真实感的87.14分。多数模型音频得分集中在30-50分区间，暴露出材质-音色一致性（如金属碰撞声误判为塑料声）和声学伪影（电子杂音、机械质感）两大核心问题。跨模态对齐方面，音视频语义匹配（A-V）和时间同步（DeSync）得分普遍较低，表明模型难以精准协调听觉与视觉事件的发生时机。组合管道方法（如Wan-2.2与HunyuanFoley串联）虽在视频真实感上表现优异（89.63分），但音频问题仍未解决，凸显原生联合架构开发的紧迫性。
技术方法层面，T2AV-Compass在数据构建与评估协议上实现多项创新。分类驱动的数据生成方法通过构建内容类型、声音类别等维度分类体系，确保测试集系统性覆盖关键能力点。推理优先的MLLM评估协议强制模型提供评分依据，提升评估准确性。真实感评估独立于文本指令，专注物理合理性（如动作流畅度、对象完整性），避免指令跟随与真实感混淆。跨模态对齐评估引入DeSync和LatentSync指标，为音视频时间同步提供量化工具，填补了现有评估体系的空白。
该研究的实践价值在于为AI视频生成技术提供明确改进方向。对开发者而言，T2AV-Compass的统一标准使模型性能比较成为可能，音频真实感短板成为下一阶段优化重点；对用户而言，评估结果揭示了当前技术在影视制作、音乐视频等高要求场景的局限性，需结合专业音频处理工具弥补不足。研究团队进一步提出，未来需探索原生音视频联合扩散架构、长时长视频评估方法及轻量化评估器，以推动技术向更自然、连贯的方向发展。这一基准的推广有望加速AI生成内容从“技术演示”向“实用创作”的转型，为多媒体交互、虚拟现实等领域开辟新可能。
