大语言模型每天与海量外部信息交互，它们能否像人类一样从这些经历中积累经验、实现自我提升？这一问题长期困扰着人工智能领域。字节跳动Seed团队联合M-A-P、TokenWave.AI推出的交互式基准测试S?Gym，首次为这一命题提供了系统性验证框架。该测试通过七款文字游戏，揭示了AI在经验转化过程中面临的复杂挑战。
S?Gym的核心创新在于构建了"自我测试-自我评判-自我提升"的闭环评估体系。研究团队设计了七款涵盖不同认知维度的游戏：象棋任务考验隐藏规则推理，扫雷任务涉及约束满足，俄罗斯方块侧重空间规划，贪吃蛇需要长时程控制，植物大战僵尸模拟资源分配，信任演化则引入多智能体博弈。每款游戏均设置宽松的探索环境与严格的评估环境，通过棋盘规模扩大、惩罚力度增强等设计，确保模型必须提炼可迁移策略而非简单记忆场景。
实验选取GPT-4o、Gemini-3.5-Flash等七款主流模型，对比"原始历史"与"摘要记忆"两种经验存储方式。结果显示，不同模型在相同任务中表现差异显著：Gemini-3.5-Flash在贪吃蛇任务中原始历史模式下进步幅度最大，而GPT-5.5在扫雷任务中摘要记忆模式下表现更优。这种分化源于任务特性的本质差异——信任演化等博弈类任务依赖抽象策略，适合压缩为规则摘要；扫雷等状态敏感型任务则要求保留具体交互细节，强行压缩会导致关键信息丢失。
参数训练的实验结果更具戏剧性。对Qwen3-8B模型进行20轮持续微调后，信任演化任务分数从0飙升至30分，但植物大战僵尸任务分数却从23分暴跌至6分且持续19轮未恢复。研究团队指出，这种"越训越差"现象源于错误经验的固化：当探索阶段成功案例不足，或自我评判存在偏差时，参数更新可能将偶然成功误认为普遍规律，导致模型在评估环境中遭遇系统性失败。这种损伤具有惯性特征，模型难以通过自我修正恢复原有水平。
自我评判的可靠性成为制约AI进步的关键瓶颈。对11.6万个交互步骤的分析显示，模型在俄罗斯方块等局部结果明确的任务中打分准确率较高，但在象棋等需要预测多对象状态的任务中过度自信率显著上升。更令人意外的是，评判准确度与后续表现提升的相关系数接近零，这意味着模型即便能准确识别对错，也未必能将其转化为有效策略。正如研究团队所指出的："知道错误所在与真正变强之间，横亘着需要跨越的认知鸿沟。"
具体案例分析进一步揭示了经验提炼的复杂性。GPT-5.5在信任演化任务中总结出"对手持续背叛时应坚持反击"的规则，带动进步指标提升66.89%；而其在植物大战僵尸任务中提出的"优先生产阳光"等原则，却因缺乏具体场景指导导致分数下降。这表明有效摘要必须达到操作级精度，而非停留于正确但空洞的战略层面。研究团队将这种现象类比为职场复盘："加强沟通"等泛泛而谈的结论无法指导实践，只有明确"在何种信号下采取何种动作"的细则才能产生实际价值。
这项研究不仅刷新了业界对AI学习机制的理解，更揭示出参数训练的潜在风险。当模型将低质量探索经验内化为普遍规律时，其决策系统可能陷入持续性偏差，这种损伤与人类遭遇重大失败后形成的思维定式具有相似机制。如何构建元认知能力，使模型既能评判经验质量，又能检验评判方法本身的可靠性，将成为下一代AI自我进化系统的核心挑战。
