十年内AI毁灭人类的概率超10%？Anthropic研究员发出严重警报

编辑：史亭亭

近日，曾在OpenAI和Anthropic从事预训练研究的考克森宣布从Anthropic辞职，并在辞职信中公开指责两家公司没有尽到应有的安全责任。

考克森表示，两家公司正在全力投入自我提升的超级智能研发，却是在“拿我们的生命冒险”。他警告，随着AI能力快速提升，这些系统未来可能具备入侵系统、改变行业甚至获取现实资源和权力的能力。

他透露，Anthropic内部并非不了解这些风险，但在与竞争对手的激烈竞争下，公司仍希望抢先开发超级智能，导致部分安全审查不断被削弱甚至取消。

Anthropic对齐团队主管埃文·胡宾格随后公开回应，承认内部确实存在非常悲观的安全预期。他甚至表示，自己估计未来十年内AI毁灭人类的概率超过10%，同时承认目前对于超级智能安全对齐，仍没有明确的解决方案。

当AI巨头一边竞速开发超级智能，一边又担心这种技术可能失控，AI安全究竟应该排在创新速度之前，还是只能成为这场竞赛中的“次要问题”。