随着生成式人工智能技术的快速演进，智能体（Agent）的应用场景正从消费级服务向产业级核心环节渗透。在AI基础设施运维领域，面对动辄数千张GPU组成的复杂算力集群，传统监控系统已难以应对硬件故障、网络抖动、框架冲突等多维度问题。行业亟需建立一套能够真实反映智能体实战能力的评估体系，推动运维自动化从"辅助决策"向"自主闭环"跃迁。
由中国信息通信研究院主导研发的AISHPerf评测基准近日正式开源，该体系首次将真实生产环境中的百亿级运维数据转化为标准化测试用例。研发团队从2024年至2026年的海量工单、监控日志和集群告警中，通过多轮数据清洗和脱敏处理，最终提炼出103个覆盖五大技术栈的高保真故障场景。这些案例不仅包含完整的故障链数据，更标注了专业工程师的实际处置路径，形成从问题现象到根因分析的完整闭环。
与传统知识问答式评测不同，AISHPerf构建了"故障注入-自主排障-过程追踪"的全链条测试环境。测试平台通过AIops-Chaos故障模拟系统，可在软件层精准复现掉卡、显存泄漏、RDMA通信异常等22类典型硬件故障，同时叠加真实业务负载形成高仿真测试场。智能体需调用Shell工具进行日志分析、命令执行和状态检查，其每一步操作都会被AIops-eval追踪系统记录，形成包含决策质量、工具效率和资源消耗的多维度评估报告。
在针对Claude Sonnet等主流模型的实测中，评测体系展现出显著的区分能力。尽管所有模型在简单任务中均能快速响应，但面对中等难度问题时成功率骤降至不足50%，困难场景下更是普遍低于30%。特别在GPU硬件故障和分布式存储异常等基础设施类问题中，模型平均需要消耗3倍于软件故障的推理资源，却仍难以准确定位根因。测试数据还暴露出三大典型缺陷：23%的失败源于工具调用格式错误，37%因推理链断裂导致误判，另有15%存在执行危险命令的安全风险。
该基准特别增设国产算力专项评测，覆盖昇腾、壁仞、摩尔线程等五家厂商的GPU架构。测试显示，不同芯片在驱动兼容性、CUDA生态适配等方面存在显著差异，某些国产平台的故障处置需要额外调用特定诊断工具。这种差异化评估为异构算力环境的统一运维提供了关键数据支撑，有助于推动国产智算生态的标准化建设。
据研发团队介绍，AISHPerf已建立动态更新机制，将根据行业实践持续扩充测试场景。当前版本聚焦离线故障处置，后续计划增加实时防御、资源优化等运维场景，并探索将安全合规性纳入评估指标。随着华为、阿里云等企业陆续加入共建，这套源自中国产业实践的评测体系，正在成为全球AI基础设施领域的重要技术参照。
