会计新人第一天处理报销单时手忙脚乱，一周后却能熟练应对，这种经验积累带来的效率提升，正是当前人工智能领域大型语言模型（LLM）所缺失的能力。现有AI助手每次启动对话都像新员工般从头摸索，企业不得不反复教导相同任务的处理方式。针对这一痛点，工业界与学术界联合团队构建了名为AFTER的基准测试系统，通过382个真实职场任务验证AI程序性记忆的跨场景复用能力。
研究团队将职场技能细分为22个程序性技能，覆盖文档处理、数据操作、机器学习等五大领域。这些任务涉及数据工程师、生成式AI工程师、项目经理等六种技术岗位，每个岗位的任务设计都暗含玄机。以PDF处理为例，数据工程师需要提取表格数据，生成式AI工程师要导入知识库，而项目经理则要生成高管摘要，相同技能在不同岗位的用途截然不同。这种设计使AFTER成为首个同时具备职业角色结构、技能标注和跨场景迁移测试的综合平台。
实验首先测试了现成操作手册的价值。领域专家手工编写的专项指南与AI自动生成的宽泛手册进行对比，结果显示后者在多数场景下表现更优。小型AI模型从说明书中获益尤为显著，某款小型模型在生成式AI工程师任务中的完整通关率提升达14.2个百分点，而顶级大模型仅提升3.1个百分点。这种差异源于基础薄弱模型更需要结构化指导，而能力强的模型已具备自主解决问题的基础。
当允许AI根据执行记录优化操作手册后，效果进一步提升。仅需一轮优化，大型模型在基础设施工程师任务上的表现提升7.1个百分点。这种单轮改进相当于让AI通过复盘会议修正操作步骤，企业应用中可显著降低训练成本。但多轮测试暴露出"窄经验"陷阱：仅接触单个任务记录的AI，在训练任务上提升13.9个百分点，在新任务上却仅提升2.5个百分点，显示出明显的过拟合倾向。
职业角色间的技能迁移实验则揭示出"职业惯性"现象。为项目经理优化的PDF处理手册，应用于数据科学家任务时准确率下降7.5个百分点。这种差异源于不同岗位对技能的核心需求不同：项目经理关注文档格式与逻辑结构，数据科学家则注重数据提取与批量处理。研究团队因此建议，企业部署AI时应谨慎共享跨岗位操作手册。
实战进化的操作手册还带来计算成本优势。在Kafka延迟异常检测任务中，某高端AI助手使用进化后手册的令牌消耗量降低62%。这种节省源于手册减少了AI的摸索过程，使其能直接执行优化后的步骤。对于处理高频重复任务的企业系统，这种成本优化可转化为显著的经济效益。
