在人工智能领域，如何准确评估智能体的真实能力始终是一个难题。当测试任务涉及专业领域的私有规则时，传统评估方式往往难以区分模型是真正掌握了知识，还是仅仅通过训练数据中的模式匹配得出了正确答案。针对这一挑战，某研究团队提出了一套创新的测试框架，通过将任务分解为可控制的知识组件，实现了对AI能力更精确的测量。
该团队设计的实验方案包含两个核心部分：任务说明和隐藏的知识文档。前者详细描述需要完成的工作，后者则包含解决该任务必需的特定行业规则或计算方法。关键在于，任务说明中不会透露任何关于知识文档的信息，模型只有同时获得这两部分内容才能正确完成任务。研究人员在合同审查、供应链核算等15个专业场景中验证了这一方法，结果显示，当提供知识文档时，某领先模型的通过率达到68%，而在完全不提供文档的情况下，通过率骤降至0%。
实验设计特别强调了三个关键原则：出题者拥有构造特权，可以设置无法从任务描述中推导出的答案；验证成本远低于生成成本，确保评估效率；支持组合验证，通过多个检查点精准定位失败环节。这种设计使得测试能够严格区分知识掌握与推理能力。例如，在修改供应链核算规则的对照实验中，即使提供看似合理但包含关键错误的文档，模型的通过率同样为0%，证明其确实依赖文档中的具体规则而非泛化能力。
研究进一步揭示了影响AI表现的复杂因素。当使用另一模型进行测试时，完整代理环境中的通过率仅为22.7%，但通过"背诵探针"实验发现，该模型能准确复述知识文档内容并在简化环境中达到100%准确率。这种矛盾表明，操作层面的技术问题，如文件读取或工具调用失败，可能导致模型表现不佳，而非知识缺失。研究人员形象地比喻：这就像厨师能背诵菜谱却在陌生厨房找不到调料，最终成品失败不能归因于烹饪技能不足。
为确保测试质量，研究团队制定了严格的筛选标准：领先模型配知识文档的通过率需超60%，无文档时必须为0%，较弱模型配文档的通过率不得超过40%。经过筛选，15个初始任务中仅有7个符合要求，涵盖合同风险评分、临床变异体映射等领域。值得注意的是，研究坦承筛选过程存在局限性，如试验次数较少导致结果波动，且筛选标准与验证数据存在循环依赖问题。
在答案验证方面，研究区分了两种知识类型：约定门涉及无法推导的行业惯例，算子门包含复杂但可推导的算法。对于结构化输出任务，采用自动重计算方式进行严格比对；对于开放式任务，则开发了命名条目评分系统，将任务分解为多个可独立判断的检查点。这种设计确保了评估的客观性，所有校准任务均采用确定性验证路径，未使用主观评分标准。
附录中的压缩实验进一步探索了知识文档的最小化可能。以论文索引构建任务为例，将文档从4379字节压缩至1078字节（去除所有解释和示例）后，模型通过率仍保持100%，显示核心规则本身即可构成有效知识门槛。不过研究人员强调，这仅代表单个任务的观察结果，不同任务的知识压缩极限可能存在差异。
该研究对AI训练策略具有重要启示。当前结果证明，模型表现不佳可能源于知识缺失或操作障碍，这两种情况需要完全不同的改进方案。研究人员推测，随着AI自我纠错能力增强，纯粹的能力型难题可能被逐步攻克，但基于私有约定的知识门槛因其不可推导性，将持续构成有效挑战——前提是确保这些知识未通过其他渠道泄露。为此，研究团队开发了泄露审计工具，但承认当前覆盖范围有限，部分任务仍存在未检测到的泄露风险。
