近期，视频生成技术领域取得了突破性进展，特别是在超长视频的创作上。上海人工智能实验室携手南京大学、复旦大学、南洋理工大学S-Lab及英伟达等顶尖机构，联合推出了LongVie框架，成功攻克了制作高质量且风格一致的长视频所面临的难题。
LongVie框架致力于提升超长视频生成的可控性和一致性。研究团队发现，传统视频生成模型在处理长时间视频时，往往会出现时序不连贯和视觉质量下降的问题。时序不连贯表现为视频内容在细节上缺乏流畅性，而视觉质量下降则是指随着视频时长增加，画面颜色和清晰度逐渐变差。
为了应对这些挑战，LongVie采取了双重策略：优化控制信号和统一噪声初始化。团队创新性地提出了控制信号全局归一化方法，即在视频生成过程中，不再局限于单个片段的归一化处理，而是对整个视频序列的控制信号进行统一，从而增强了视频片段之间的连贯性。同时，通过引入统一噪声初始化策略，确保所有片段从相同的初始噪声开始生成，有效减少了不同片段间的视觉差异。
在解决视觉退化问题上，LongVie框架采用了多模态精细控制技术。团队指出，单一模态的控制往往难以提供足够的稳定性约束。因此，LongVie结合了密集控制信号（例如深度图）和稀疏控制信号（如关键点），并引入了退化感知训练策略。这一组合使得模型在处理长视频时能够保持更高的画质和细节表现力。
LongVie还推出了LongVGenBench基准数据集，这是首个专为可控超长视频生成设计的测试集。该数据集包含100个时长超过1分钟的高分辨率视频，旨在为该领域的研究和评估提供有力支持。通过定量分析和用户评测，LongVie在多个评估指标上超越了现有技术，赢得了用户的高度认可，达到了行业领先水平。
LongVie框架的问世标志着超长视频生成技术迈入了一个全新阶段，为创作者提供了更大的自由度和创意空间。项目详细信息可访问LongVie官方网站获取。
