这款由DecartAI推出的MirageLSD,被誉为世界上首个支持直播推流的实时扩散AI视频模型。它实现了0延迟与无限时长的视频生成,每秒24帧流畅不卡顿,为AI视频交互带来了颠覆性的变革。
与传统的滤镜效果不同,MirageLSD并非简单地对视频进行重新着色或样式设置,而是能够深入理解视频内容,并同步生成充满无限想象力的AI视频。这意味着,用户可以将自己的宠物变成超级英雄,或将打斗场面瞬间转换为星球大战的场景,而且这一切都是实时的。
MirageLSD的实时性能得益于Decart自研的Live Stream Diffusion(LSD)模型。该模型能够在保持时间连贯性的同时,逐帧生成视频,并支持完全交互式的视频合成。用户可以在视频生成的同时,进行持续提示、变换和编辑,实现了真正的实时交互。
为了实现实时生成,LSD模型采用了多种创新技术。首先,它设计了自定义的CUDA超大内核,以最大限度地减少开销并提高吞吐量。其次,在快捷蒸馏和模型剪枝的基础上,减少了每帧所需的计算量。最后,优化模型架构以与GPU硬件对齐,实现了最高效率。这些技术的共同作用,使得MirageLSD的响应速度比之前的模型提高了16倍,实现了每秒24帧的实时视频生成。
MirageLSD还解决了以往视频模型在生成长视频时容易出现的误差累积问题。它引入了历史增强技术,使模型能够预测并修正输入中的伪影,从而增强了对自回归生成中常见漂移的鲁棒性。这使得MirageLSD成为首个能够无限生成视频的视频生成模型。
随着MirageLSD的推出,未来的视频娱乐和直播互动将拥有更多的可能性。用户不再受限于直播设备的性能,即使设备再差,也能通过MirageLSD将直播画面转化为全新场景,实现“完美直播”。同时,MirageLSD也为科幻电影制作、游戏开发等领域带来了前所未有的创新机遇。