当AI生成的视频里，主角走出画面再回来时突然“变脸”，甚至凭空消失，这种荒诞场景暴露了当前技术的致命短板——AI缺乏对虚拟世界中角色身份的持续记忆能力。针对这一难题，香港科技大学、蚂蚁集团、浙江大学及香港中文大学联合研发的WorldDirector系统，通过创新性架构设计，为AI视频生成领域带来了突破性进展。
传统AI视频模型如同患有严重“健忘症”的导演，只能处理镜头内的画面信息。当角色离开视野后，系统会立即丢失其位置、运动和外貌特征，导致角色再次出现时要么静止不动，要么变成完全不同的形象。研究团队将这种缺陷归结为两个核心问题：角色需具备独立于镜头视角的持续运动能力，且必须保持外貌一致性，无论消失多久再次出现都应保持相同身份特征。
WorldDirector的创新之处在于将“导演思维”与“摄影技术”彻底分离。系统采用双模型架构：大语言模型作为“导演大脑”，负责规划所有角色的三维运动轨迹；视频生成模型则充当“智能摄像机”，根据导演指令渲染画面。这种分工模式确保即使角色暂时离开画面，导演大脑仍持续更新其位置信息，为后续重现提供精确坐标。
为解决角色身份识别难题，研究团队设计了“外貌绑定”机制。系统会从历史帧中提取角色外貌特征，生成“视觉身份证”作为参考图像。当角色重新出现时，视频生成模型通过比对参考图像确保外貌一致性。为避免角色动作僵硬，系统引入“时间丢弃机制”：在角色出现初期密集提供参考图像，随后逐渐减少参考频率，迫使模型根据运动轨迹和文字描述自主生成自然动作。
在上下文记忆管理方面，WorldDirector采用“因果分块生成”架构。系统将视频分解为5秒片段逐块生成，每块生成时从历史帧中精选10帧作为参考，包括与当前视角重叠的静态帧和包含动态角色的关键帧。这种双策略筛选机制确保记忆帧既包含背景信息又涵盖角色动态，通过“单向注意力遮罩”技术防止历史帧被当前生成过程干扰。
针对多角色行为控制难题，系统开发了“空间感知加权交叉注意力”机制。通过将画面分解为视觉单元，并识别各单元所属角色区域，模型能精确将文字描述映射到对应角色，避免语义混淆。例如当描述“女人快步走，跑车缓慢行驶”时，系统能确保运动指令仅影响对应角色区域，防止跑车出现异常动作。
训练数据获取是另一大挑战。由于现实世界中角色消失重现的场景极为稀缺，研究团队利用游戏引擎生成专用数据集。他们搭建的游戏平台可自动生成包含角色消失重现场景的15秒视频，并记录精确的摄像机参数和角色位置信息。通过视频目标跟踪工具和视觉语言模型，系统自动标注对象位置并生成详细文字描述，最终构建出包含10万组文字-视频对的训练集。
实验数据显示，WorldDirector在像素级重建质量（PSNR达18.127）、结构相似度（SSIM 0.502）和感知差异（LPIPS 0.359）等指标上全面领先现有方法。在动态主体一致性测试中，其DINO相似度达0.769，CLIP相似度达0.917，均创行业新高。定性对比显示，当测试角色走出画面后继续前行再重现时，唯有WorldDirector能准确保持角色身份并完成预设动作，其他方法均出现身份丢失或动作异常。
消融实验验证了各组件的必要性。移除外貌条件会导致角色身份混乱；仅靠自注意力路由强化历史帧关联会模糊精细纹理；缺少动态上下文记忆会降低身份保持能力；取消时间丢弃机制则产生动作“滑翔”效应。这些实验证明，WorldDirector的每个设计环节都不可或缺。
该系统还支持“可提示世界事件”功能，允许用户在脚本中定义全新角色。例如从空旷沙漠场景开始，系统可按预设轨迹依次生成骆驼、卡车和人物，每个新角色都能自然融入画面并保持身份一致。在视角切换测试中，系统成功实现了360度全景旋转和第一人称视角切换等复杂运镜。
尽管存在游戏画面与现实视频的域差异问题，导致生成结果有时出现机械运动或面部模糊，但研究团队已计划引入真实世界数据集进行优化。这项突破为游戏开发、影视制作和虚拟现实等领域提供了新工具，当AI能够维护持久一致的虚拟世界时，交互式叙事和动态场景生成等应用将迎来质的飞跃。
