【ITBEAR】麻省理工学院（MIT）信息与决策系统实验室（LIDS）近日公布了一项关于生成式AI模型导航能力的研究结果，引发了业内关注。该研究指出，尽管这类模型在提供纽约市导航指引时表现近乎完美，但实际上并未形成准确的地图认知。
在研究过程中，研究人员尝试对部分街道进行封闭，并设置相应的绕行路线。结果显示，这一微小变动导致生成式AI模型的性能大幅下滑。具体来说，当仅有1%的街道被封闭时，模型的准确率便从接近百分之百骤降至67%，这暴露出模型在应对环境变化时的显著不足。
深入研究还发现，这些模型所生成的纽约地图中包含大量虚构的街道。这些街道在地图网格中以扭曲的方式连接，形成了一个与现实相去甚远的“虚构纽约”。地图上随处可见的随机跨街桥和角度奇异的交叉街道，进一步揭示了模型存在的缺陷。
该研究强调，对于生成式AI模型而言，评估其是否具备连贯的世界观至关重要。虽然这类模型在自然语言处理领域取得了显著成就，但在拓展至其他科学领域时，其连贯性和适应性仍需经过严格验证。
此次研究主要聚焦于名为“transformer”的生成式AI模型。该模型作为众多大型语言模型（如GPT-4）的核心组成部分，在基于语言的数据训练方面表现出色。然而，MIT的这项研究却揭示了其在导航任务中的局限性。
