在企业数字化转型的浪潮中，AI助手已成为提升效率的重要工具，但其在复杂任务中的可靠性始终面临挑战。香港科技大学（广州）与京东联合研究团队近日提出一种创新评估框架，通过拆解操作过程、建立动态评分机制，为AI在企业场景中的规范化应用提供了新思路。该研究以预印本形式发布于arXiv平台，编号为arXiv:2607.01874v1。
传统评估体系往往聚焦最终结果，却忽视了AI完成任务的过程质量。研究团队以企业标准作业程序（SOP）为切入点，指出当前AI助手普遍存在三大问题：面对海量相似技能时误选干扰项、执行关键步骤时跳过验证环节、多技能组合时顺序混乱。这些问题导致AI即使给出正确答案，其操作过程也可能存在重大隐患，若将此类案例作为训练数据，反而会加剧模型的不稳定性。
针对这一痛点，研究团队开发了名为SkillCoach的评估框架，将技能使用过程分解为四个可量化维度：技能选择准确性、关键步骤覆盖率、技能组合合理性、结果自检完整性。每个维度均设置独立评分标准，例如技能选择采用F1分数综合考量查准率与查全率，技能执行要求操作记录中留存可验证的证据链。四维度权重分配为4:3:2:1，最终得分与任务验证结果相互独立，避免结果导向的评估偏差。
该框架的核心创新在于其自我进化机制。通过三阶段循环优化：首先收集AI在混合技能库中的真实操作轨迹，其次用当前评分卡进行偏差分析，最后由仲裁模型提出局部修正方案。修正内容严格限定于评分标准细节，绝不改动技能手册要求或最终验证结果。经94轮迭代优化后，评分卡在关键步骤识别准确率上提升12.14个百分点，轨迹筛选一致性达到96%，且未引入任何虚构要求。
实验设计凸显严谨性。研究团队从数百个候选任务中筛选出28个典型场景，涵盖代码审计、财务分析、科学计算等六大领域，确保任务必须依赖技能手册才能完成。测试集与训练集完全隔离，要求AI在包含干扰技能的复杂环境中执行任务。结果显示，主流模型在获得正确手册后，任务成功率平均提升58个百分点，但加入干扰项后，技能选择准确率普遍下降20-40个百分点，暴露出AI在相似技能区分上的显著短板。
七款主流AI助手的对比测试揭示出差异化表现。Opus 4.7在干扰技能达194个时仍保持71%的选择准确率，而DeepSeek V4 Flash在26个干扰项下即出现明显退化。特别值得注意的是，Gemini 3.1 Pro虽整体成功率仅下降2个百分点，但其技能选择分数暴跌20%，表明表面稳定的性能可能掩盖过程缺陷。这种差异在训练数据筛选环节被进一步放大：使用进化评分卡优化的数据训练的模型，任务成功率较基础模型提升3-4倍，远超仅用结果筛选的数据效果。
技能库规模对选择能力的影响测试带来新发现。当干扰技能数量超过50个时，AI选择准确率开始出现分化；达到5万个时，仅GPT-5.5和Opus 4.7仍保持有效选择能力。更关键的是，干扰项的相似度比数量更具破坏性——高度相似的技能可使GPT-5.5的选择分数下降25个百分点。研究还区分了两种错误类型：不该用技能时误触发的情况较少发生，但该用时选错技能的问题普遍存在，这为企业技能库管理提供了重要参考。
该研究对训练方法论产生深远影响。通过只保留过程规范且结果正确的案例作为训练数据，模型在复杂任务中的表现显著提升。消融实验证实，关键步骤执行要求对训练效果的贡献率超过50%，技能组合顺序影响次之，结果自检的贡献相对较小。这种数据筛选标准为行业树立了新标杆，推动AI训练从"结果正确"向"过程可靠"转型。
论文附录公开了全部实验参数与提示词模板，技术细节的透明度为后续研究提供了便利。尽管当前实验场景仍有限，且未涉及在线强化学习应用，但研究团队已指出过程评分可作为奖励信号的潜在价值。这项工作不仅为AI企业应用评估提供了新工具，更引发对人工智能可靠性标准的深度思考——在追求答案正确性的同时，过程规范性同样关乎技术落地的可持续性。
