米哈游崩坏AI研发团队公开了一项名为Gamer的研究。该模型被定位为面向长流程、实时交互的通用视觉—语言—动作基础模型,目标是在游戏画面、任务指令和键鼠操作之间建立直接联系。
演示中,Gamer把《崩坏:星穹铁道》当成测试场。它能操作角色与可可利亚战斗,走到气泡弹珠装置前启动机关,跟随流萤上楼梯、转弯并抵达广场。整个过程依赖屏幕画面和任务指令推进,不读取游戏内部接口或底层状态。

主力版本以80亿参数的Qwen3-VL-8B为基座继续训练。模型每隔200毫秒读取一次画面,随后安排六个动作块,每个动作块约33毫秒,对应30Hz控制节奏。它还会动态记录已完成事项和下一步计划,以支撑长流程任务。
为兼顾实时操作和长期记忆,研究团队设计了三阶段训练流程。第一阶段是持续预训练,将不同游戏的录屏与玩家键鼠操作对齐,让模型学习画面变化与动作之间的对应关系。不同游戏的操作被整理成统一键鼠格式,进入同一训练流程。
第二阶段使用约1000小时高质量《崩坏:星穹铁道》演示,把目标拆成具体操作、阶段性小目标和完整任务。团队还引入稀疏思考与记忆摘要机制:路线稳定时直接操作,遇到失败、目标切换或新交互提示再展开推理;旧记录移出上下文前,先摘要任务进度、失败尝试、重要地点和后续计划。
第三阶段是在线强化学习。团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,并用游戏环境核验结果更新模型。是否到达目标地点、是否完成当前任务,都可以成为训练反馈。
配套的Streaming-vLLM推理引擎会复用已处理上下文,并提前输出生成且核验完毕的动作块,以降低操作延迟。在覆盖五个主线篇章、总计约50小时的《崩坏:星穹铁道》长流程评估中,Gamer自主运行时间占比超过95%。
跨游戏实验中,Gamer的CPT版本测试了《我的世界》、ViZDoom、OmniGameArena和GameWorld等环境。在《我的世界》里,它能转动视角锁定史莱姆并追上去挥剑;在ViZDoom中,它可以拉枪瞄准并连续点射逼近的敌人。
公共基准上,Gamer-8B-CPT平均得分为29.5,所列通用模型对照中最高为17.6。七类小游戏、共40个未参与训练的任务中,基座模型成绩为3.2%,持续预训练后升至15.0%,监督微调后为39.2%,加入强化学习后达到49.7%;同场通用模型最高分为GPT-6.1-Sol的17.1%。
论文认为,统一键鼠接口、跨游戏学习和长期记忆结合后,AI可以在复杂游戏中持续执行任务,并通过交互继续改进。相关能力可用于自动化测试、加快游戏迭代、支持新玩法机制,从而降低开发成本。
在学术方面,该团队还联合高校推出GameScaling和Video-Arena,前者研究跨游戏持续预训练的Scaling Law,后者关注模型对动态游戏画面的理解边界。



