ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

哥伦比亚大学测试:ChatGPT新闻搜索准确性存忧

时间:2024-12-04 09:10:12来源:ITBEAR编辑:瑞雪

近期,美国哥伦比亚大学的Tow数字新闻研究中心公布了一项针对OpenAI ChatGPT搜索工具的研究结果,指出该工具在准确性上存在显著问题。这一发现引发了业界的广泛关注。

在测试中,研究人员选取了20家出版商的200条引文作为样本,其中包括40条来自禁止OpenAI爬虫抓取的网站。结果显示,ChatGPT在回答中多次给出了错误答案,并且几乎没有表现出任何不确定性。具体而言,ChatGPT的153次回答中,完全或部分错误的情况占据了绝大多数,仅有7次明确表示无法准确回答。

根据测试结果的详细图表,ChatGPT的回答中“错误”的占89次,“部分正确”有57次,而完全“正确”的仅有47次。这一数据直观地反映了ChatGPT在准确性方面存在的问题。

测试中,研究人员还记录了一些典型案例。例如,ChatGPT错误地将《奥兰多哨兵报》的读者来信引用归因于《时代周刊》的文章;在另一个案例中,当要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,ChatGPT链接到了一家完全剽窃该文章的网站。这些案例进一步证明了ChatGPT在识别和处理引用方面的不足。

针对这一研究结果,OpenAI向《哥伦比亚新闻评论》回应称,由于缺乏Tow中心隐藏的测试数据和方法,解决错误归因非常困难。OpenAI表示,这次研究是对其产品的非典型测试,并承诺将继续优化搜索结果。这一回应显示出OpenAI对于问题的认知和改进的决心。

今年早些时候,OpenAI曾宣布与新闻行业进行了广泛的合作,并收集了合作伙伴对于搜索功能的反馈。包括美联社、阿克塞尔·斯普林格、康泰纳仕、道奇梅雷迪思、《金融时报》、GEDI、赫斯特、《世界报》、路透社、大西洋月刊、时代杂志和Vox媒体等在内的众多媒体和出版商都选择了与OpenAI合作,使其内容能够出现在ChatGPT的搜索结果中。然而,此次研究结果无疑对这些合作伙伴的信任度产生了一定影响。

更多热门内容
李国庆坦言:15人小团队难寻企业家感,战略转向服务30+成熟群体
三言科技12月4日消息,日前,当当网创始人李国庆在2024搜狐财经年度论坛上称,自己公司只有15个人,没有找到企业家的感觉,像是一个创业者。 李国庆表示,随着市场代际更替,95后及00后消费群体对他的个人认知…

2024-12-04

携程客服春节可申请最长两月返乡办公,灵活工作制再升级
三言科技12月4日消息,据报道,携程集团正式开启客服申请提前返乡办公政策。2025年1月1日至2月28日,满足条件的一线客服员工可以根据个人需求选择返乡办公时间段,最长可申请两个月。 2022年3月,携程宣布…

2024-12-04