谷歌研究院与特拉维夫大学联合完成的一项研究，为人工智能领域对抗“幻觉”问题提供了全新思路。这项被ICML 2026 Position Track收录的论文《Hallucinations Undermine Trust; metacognition is a Way Forward》指出，当前行业通过扩充知识库或强制拒答来减少幻觉的路径存在根本性缺陷，提出让AI具备“感知并表达自身不确定程度”的元认知能力才是突破方向。
所谓AI幻觉，指模型输出事实性错误内容却以绝对肯定的语气呈现。在医疗诊断、法律咨询等高风险场景中，这种“自信的错误”可能造成严重后果。传统解决方案分为两派：一派主张通过扩大训练数据和模型参数提升知识储备，另一派则让AI对不确定问题直接拒答。但研究发现，前者永远无法覆盖所有知识死角，后者则会导致“实用性税”——为将错误率从25%降至5%，模型需拒绝回答超过52%的正确问题，即便判别力达到当前最优的0.85，仍需放弃28%的正确答案。
研究团队通过区分“校准”与“判别力”两个概念，揭示了问题的本质。校准衡量的是AI整体自信水平与正确率的匹配度，而判别力则要求模型能精准区分每道题的对错。实验显示，主流大模型在知识问答任务中的判别力指标AUROC普遍在0.70-0.85之间，远未达到实用标准。以AUROC=0.71的模型为例，其要在保持5%错误率的同时，必须牺牲半数以上正确回答，这种“答得少错得少”的模式导致模型实用性大幅下降。
论文重新定义了幻觉的本质：问题不在于AI说错，而在于它“没有资格确定却强行给出确定答案”。基于此，研究提出“忠实不确定性”概念——要求AI的语言表达与其内部不确定状态严格对应。这种对应可通过重复采样验证：若模型对同一问题给出相同答案，则表明其内部确信度高；若答案多变，则说明存在不确定性。与追求“零错误”的开放世界难题不同，这种内部状态与语言表达的闭环对齐在技术上更具可行性。
在AI代理（Agent）场景中，元认知能力的重要性愈发凸显。当模型配备搜索引擎等工具时，它需要自主判断是否需要查询、如何评估信息可信度、如何处理矛盾信息等。缺乏元认知的AI代理如同没有仪表盘的飞行员，无法感知自身知识边界，容易导致工具滥用或关键信息遗漏。现有搜索增强型AI普遍存在过度查询问题，根源正在于此。
实现元认知面临三大挑战：首先是“自举悖论”——用静态标注数据训练动态知识边界的模型，可能导致AI学会“假装不确定”；其次是“对齐破坏信号”——现有强化学习训练会磨灭模型原有的内部不确定性信号，使其倾向于给出确定回答；最后是“因果性评估”——需区分AI是真正读取内部信号，还是学会了“遇到生僻词就说不确定”的表面策略。研究建议，评估反幻觉方法时应采用“实用性-错误率权衡曲线”，而非单一准确率指标，同时需检测模型在推理、编程等任务中是否产生意外代价。
这项研究为AI发展提供了新范式：与其追求全知全能，不如让模型具备诚实区分“已知”与“未知”的能力。正如专业人士的价值不在于永不犯错，而在于能明确告知“我确定”或“我猜测”，AI若能建立这种自我认知机制，或许比消灭所有错误更接近实用目标。
