【ITBEAR】智源研究院近期推出了全新的原生多模态世界模型——Emu3，该模型在文本、图像和视频三种模态数据的理解和生成上展现出卓越能力。其独特之处在于，仅需基于下一个token预测，无需依赖扩散模型或组合方法，便能实现多模态数据的统一处理。
在图像生成任务中，Emu3的表现优于SD-1.5与SDXL模型，获得了人类偏好评测的高度认可。同时，在视觉语言理解任务中，Emu3也展现出了强大的实力，其对于12项基准测试的平均得分超越了LlaVA-1.6。在视频生成任务中，Emu3同样表现出色，VBench基准测试得分高于OpenSora 1.2。
Emu3配备了一个强大的视觉tokenizer，能够将视频和图像转换为离散token，这些token可以与文本tokenizer输出的离散token一同送入模型中。这一特性为Any-to-Any任务提供了更加统一的研究范式。
Emu3的研究结果充分证明了下一个token预测作为多模态模型范式的强大潜力，它不仅能实现超越语言本身的大规模多模态学习，还能在多模态任务中取得先进性能。目前，Emu3已开源关键技术和模型，为相关研究提供了有力支持。
