ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

诗歌成AI“越狱”新工具?研究称六成概率诱使大模型生成违禁内容

时间:2025-12-01 11:48:29来源:互联网编辑:快讯

一项最新研究显示,通过将指令转化为诗歌形式,研究人员成功突破了多款主流人工智能大语言模型的安全防护机制。这项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究,由伊卡洛实验室团队完成,其核心发现表明,语言模型的防护体系在特定形式的文本诱导下存在显著漏洞。

实验过程中,研究人员将涉及制造核武器、儿童性虐待材料及自杀自残等敏感内容的指令,以诗歌形式重新编码后输入模型。结果显示,这种"越狱诗歌"整体成功率达62%,能够诱导模型生成原本被禁止输出的信息。研究团队特别指出,诗歌的韵律结构和隐喻表达方式,可能干扰了模型对指令内容的识别判断。

在测试的多个模型中,Google Gemini、DeepSeek和MistralAI的表现尤为突出——这些模型在所有测试场景中均未能有效拦截违规请求。相比之下,OpenAI的GPT-5系列和Anthropic的Claude Haiku 4.5展现出更强的防护能力,成为测试中最难被突破的模型。研究人员认为,这种差异可能与不同模型的安全训练强度和内容过滤机制有关。

尽管研究论文未公开完整的"越狱诗歌"样本,但团队向科技媒体透露,这些诗句包含的诱导信息具有潜在危险性,因此不宜公开传播。不过论文中仍提供了一个经过脱敏处理的示例,用以证明这种攻击方式的可行性。研究负责人强调:"实验结果证明,绕过AI安全防护的难度远低于公众预期,这正是我们保持谨慎的重要原因。"

目前该研究已引发人工智能安全领域的广泛关注。有专家指出,随着大语言模型应用场景不断拓展,此类攻击手段可能带来严重伦理风险。部分模型开发者表示,将根据研究结果升级防护系统,重点优化对隐喻性指令的识别能力。但也有声音认为,完全杜绝此类攻击在技术层面存在挑战,需要建立更完善的内容安全评估体系。

更多热门内容
AI拐点已至:亚马逊云科技以“野心”破局,用“务实”推动Agent落地
本次re:Invent上,亚马逊云科技发布了一个新产品——Amazon AI Factory(亚马逊AI工厂),这是一个私有的AWS区域,让客户能够利用自己的数据中心和电力容量,由AWS帮助建设最先进的AI…

2026-01-11

马斯克预言未来3-7年普通人难熬?破局关键在这三大方向
一是“轻资产配置”:减少对“旧产能相关资产”的投入(比如传统行业的实体门店),把资金转向“提升自身能力”(学习、健康)和“适配新趋势的轻资产”(比如AI工具订阅、线上技能服务);二是“保留流动性”:不用追求…

2026-01-11

商业航天与脑机接口双轮驱动,这6家龙头公司或成市场新热点!
值得注意的是,商业航天的行情还未结束,有迎来新的热点题材——脑机接口又来了。 值得注意的是,当前市场量能持续放量,资金持续抱团当下最热题材,商业航天和脑机接口无疑是当前最热的板块。经过深度梳理和挖掘…

2026-01-11

雷军剖析小米汽车:SU7登顶细分市场,YU7潜力待发未来竞争可期
这一成绩不仅展示了小米在新能源汽车领域的竞争力,更是对其产品力与制造品质的直接肯定。雷军认为,通过不断提升用户体验和技术优势,YU7在未来有望在市场竞争中缩小与ModelY的差距。这种务实的态度不仅反映了小米…

2026-01-11

雷军谈小米YU7:短期未超特斯拉,智能生态布局或成破局关键
在技术研发方面,雷军在回应网友提问时透露,团队正在全力研发新一代智能驾驶辅助系统,目标是在2025年实现城市道路全场景的自动驾驶功能。总的来看,尽管小米YU7在初期销量上未能超越特斯拉ModelY,但在技术研…

2026-01-11