ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

OpenAI新突破:循环Transformer架构登场,Astra实力飙升引期待

时间:2026-09-03 23:36:00来源:互联网编辑:快讯

OpenAI即将推出的新一代模型Astra,因其采用的循环深度推理架构引发科技界热议。这种被称作循环Transformer的技术,通过让神经网络层重复利用计算资源,在保持模型体积不变的前提下大幅提升推理能力。据内部人士透露,该架构使Astra的思考Token消耗量显著降低,但性能表现却呈现指数级增长。

首席科学家Jakub Pachocki在回应外界猜测时表示,当前最先进模型的计算图深度仅为GPT-4的两倍,但实际效果远超参数规模所暗示的水平。这种技术突破源于对传统Transformer架构的根本性改造——不同于传统模型将数据单向传递至固定层数,循环Transformer通过反复利用相同神经网络层,在潜空间中完成深度推理。

学术界早已验证这种架构的潜力。谷歌2025年发表的《Reasoning with Latent Thoughts》论文显示,包含k层循环L次的模型,在推理任务中可达到k×L层普通模型的性能。今年2月的研究更证实,35亿参数的小模型通过循环计算,竟展现出500亿参数大模型的处理能力。这种"时间换空间"的策略,使模型在无需增加显存占用的情况下,实现计算深度的指数级扩展。

技术突破带来的变革正在重塑AI研发范式。传统模型依赖思维链(CoT)技术将推理过程外化为可读文本,而循环Transformer将大部分计算隐藏在向量空间。meta的连续思维链(Coconut)研究指出,数字向量推理比强制语言输出更高效精准,这种转变虽然提升了性能,却也使人类难以理解模型决策过程。OpenAI内部测试显示,Astra在数学和编程任务中展现出惊人实力,其持续智能体模式甚至能保持数周不间断运行。

行业观察家指出,这项技术可能引发安全监管难题。当模型思考过程完全隐身于向量空间,现有的可解释性工具将失去效用。OpenAI工程师在技术文档中承认,循环架构确实增加了监控难度,但强调这是实现性能突破的必要代价。目前API接口已出现gpt-6-astra的测试版本,部分开发者通过非公开渠道体验到其前端开发能力,有报告称其计算机操作水平已接近人类专家。

随着发布日期临近,科技社区陷入集体期待。OpenAI研究员在社交媒体频繁暗示新模型特性,赛博义父等核心成员的动态引发持续关注。虽然官方尚未确认具体发布时间,但多方证据表明GPT-6系列可能随时上线。这项突破性技术不仅将改变AI竞赛格局,更可能重新定义人机交互的边界,其潜在影响正在引发伦理学界的激烈讨论。

更多热门内容