当你在考试中反复修改选择题答案，最终却选错时，是否想过人工智能也会面临同样的困境？伊利诺伊大学厄巴纳-香槟分校的研究团队发现，现代AI推理系统在处理复杂问题时，存在两个关键瓶颈：即使增加作答次数，系统也可能无法更准确地识别正确答案，甚至可能因过度自信而犯错。
这项研究的核心发现是，AI系统通过“测试时扩展”策略——即对同一问题多次独立作答并选择多数答案——存在两个理论上限。第一个是“众数上限”，即当作答次数达到一定阈值后，投票结果会固定在出现频率最高的答案上，无论该答案是否正确。第二个是“相关性上限”，即同一问题的多次作答因受题目难度影响，实际携带的独立信息量远低于名义作答次数。
研究团队通过数学建模和实验验证，揭示了AI推理系统的根本矛盾：系统生成正确答案的能力与识别正确答案的能力之间存在显著差距。在MATH-500数据集的实验中，使用Llama-3.2-1B-Instruct模型对500道数学题各作答256次，结果显示覆盖率（至少一次答对的比例）达到88%，但多数投票的准确率仅为45%，且在64次作答后即趋于稳定。这表明，AI系统虽然能生成正确答案，但无法有效识别这些答案。
众数上限的形成与答案分布的集中程度密切相关。实验数据显示，每道题平均仅产生约13种不同答案，而非256种。这意味着，即使AI在少数情况下能给出正确答案，这些答案也可能被大量错误答案淹没。研究团队指出，众数上限取决于“AI最常给出的答案是否恰好正确”，而非作答次数。在基准测试中，众数命中率（即众数为正确答案的比例）平均仅为45%，这直接限制了投票准确率的提升空间。
相关性上限则揭示了重复作答的统计局限性。研究团队借鉴调查统计学中的“设计效应”概念，提出有效样本数公式：neff = n ÷ [1 + (n-1) × ρ]，其中ρ为组内相关系数。在GSM8K和MATH数据集的实验中，ρ值约为0.4至0.6，这意味着一万次作答的实际信息量仅相当于约两次独立作答。这种相关性源于不同题目之间的难度差异，而非作答过程本身的相互影响。
题目难度分布对覆盖率的影响呈现幂律特征。当题目难度呈现长尾分布时，覆盖率的上升速度会从指数型转变为幂律型，即每增加十倍作答次数，覆盖率仅上升固定比例。研究团队用贝塔分布建模难度分布，推导出覆盖率趋近上限的速度为n的负α次方。在极端情况下，若题目超出AI能力范围，覆盖率将永远无法达到100%。
研究团队进一步解释了重复作答相关性的根源。他们将AI的每次作答视为以题目隐藏“擅长程度”θ为成功概率的独立试验。θ的方差与平均正确率的比值决定了ρ值。实验数据显示，题目间的难度差异（ρb约为0.4）是造成相关性的主要因素，而同一题目不同轮次的θ值几乎不变（ρw约为0.0007）。
基于这些发现，研究团队提出了资源分配的优化策略。对于评估AI平均准确率的目标，每道题仅需约2次作答即可获取大部分统计信息；对于选择最终答案的目标，投票结果通常在十几到几十次作答后稳定；而对于寻找至少一个正确答案的目标，重复作答始终有效，但需配合外部验证工具。研究团队建议，AI评测报告应同时披露名义样本数、有效样本数和相关性上限，以准确反映结果可靠性。
如何测量这些理论上限？研究团队提供了实用方法：通过方差分析估算组内相关系数ρ，比较题目间方差与题目内方差的比值。ρ值越高，说明题目难度差异越大，重复作答的效用越低。在MATH-500数据集中，ρ值约为0.4，意味着一万次作答的实际信息量仅相当于两次独立作答。
这项研究对AI系统设计具有重要启示：计算资源并非越多越好，关键在于如何分配。增加作答次数无法提升投票准确率，因为众数上限早已锁定；而重复作答的统计效用受相关性上限严格约束。真正决定AI性能的，是其将正确答案排在首位的能力，而非生成答案的数量。当下次看到AI系统宣称“通过N次采样达到X%准确率”时，不妨思考：这些作答中，有多少是真正独立的？投票结果在第几次已固定？计算资源是否用在了刀刃上？
