ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

OpenAI推出GDPval评估法:AI在多领域接近专家水平,Claude表现亮眼

时间:2025-09-28 12:06:24来源:快讯编辑:快讯

人工智能领域正迎来新一轮评估革命。OpenAI近日推出全新评估框架GDPval,通过追踪模型在真实经济场景中的表现,为AI能力量化提供全新视角。该框架以国内生产总值(GDP)为核心指标,从美国经济贡献最大的九大行业中筛选出44个关键职业,涵盖软件开发、法律咨询、护理服务等高价值领域,构建起包含1320项专业任务的评估体系。

在黄金开源数据集的220项任务测试中,前沿模型展现出惊人进步。Claude Opus 4.1凭借出色的文档格式设计和幻灯片布局能力,在49%的任务中达到或超越人类专家水平;GPT-5则以精准的专业知识检索能力见长,在特定领域信息提取任务中表现优异。测试数据显示,AI完成任务的平均速度较人类专家快100倍,成本降低至百分之一,这种效率优势在标准化工作流程中尤为显著。

评估方法论突破传统测试框架,每项任务均由平均从业14年的资深专家设计,基于真实工作成果改编。从法律摘要到工程图纸,从客户对话到护理方案,所有任务都经过至少五轮审核确保质量。完整数据集包含每个职业30个全审查任务,开源黄金集则提供5个典型任务供研究使用。这种设计使评估结果能真实反映AI在专业场景中的辅助价值。

实验数据显示AI能力呈指数级增长。对比2024年春季的GPT-4o与2025年夏季的GPT-5,模型在GDPval任务上的性能提升超过200%。通过扩大模型规模、增加推理步骤和丰富任务上下文等优化措施,研究人员观察到持续的性能改进。这种进步不仅体现在速度提升,更表现在处理复杂任务时的准确性增强。

评估机制采用双轨制设计。专业评分员在盲测环境下对比AI与人类成果,依据详细评分标准给出"更优"、"相当"或"较差"的判断。同时开发的自动评分系统虽尚不能完全替代人工评估,但已能提供快速预判参考。这种设计既保证评估严谨性,又兼顾效率需求。

该框架揭示AI已具备处理重复性、规则明确任务的能力,这为工作模式转型带来契机。OpenAI研究团队指出,当AI承担标准化工作时,人类可将更多精力投入创造性劳动和复杂决策。这种分工转变可能推动生产力跃升,但需要配套建立公平的收益分配机制和技能转型支持体系。

作为动态评估系统,GDPval正持续扩展覆盖范围。研究团队计划纳入更多行业和职业类型,增加需要处理模糊情境的任务设计,并提升交互性评估维度。这个仍在演进的框架,正为量化评估AI在多元化知识工作中的进展提供新工具,其发展轨迹或将重塑人类对智能劳动力的认知边界。

更多热门内容
李开复:AI Agent浪潮来袭,企业数智化转型核心引擎已启动
李开复表示,当企业不再为模型买单,⽽是为“结果”与“价值”付费时,AI创造的价值将从降本转向增效。 沈鹏飞向记者表示,大型企业面对大量客户群体,更倾向于提供标准化产品,尽管在浅层合作和交付层面看似没有问题,但…

2025-09-28

安徽90后博士领衔,优艾智合冲刺港股IPO,成移动操作机器人领跑者
今年4月,优艾智合执行董事兼首席战略官梅婉箐在深圳具身智能产业化发展座谈会上接受21世纪经济报道记者采访时指出,过去公司基于工业场景积累了丰富的经验,尤其是在半导体工业场景深耕近7年,“当前公司基于客户的应…

2025-09-28