ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

中国大模型公司提出新架构,解决Context无限长问题,开启Agent时代

时间:2025-01-16 21:15:30来源:ITBEAR编辑:汪淼

日月开新元,万象启新篇。

1月15日,MiniMax发布并开源新一代01系列模型,包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破Transformer传统架构记忆瓶颈,在综合性能比肩GPT-4o、Claude-3.5等海外领军模型的基础上,能够高效处理高达400万token的输入,可输入长度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍。

目前,MiniMax-01系列开源模型已应用于MiniMax旗下产品海螺AI并在全球上线,企业与个人开发者可前往MiniMax开放平台使用API。

以架构创新实现高效超长文本输入

2017年,具有里程碑意义的论文《Attention Is All You Need》正式发表,Transformer架构问世并逐步发展成为该领域的主流技术范式。自2023年起,自然语言处理领域迎来了一股创新浪潮,对模型架构的创新需求日益增加。

MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,并使其综合能力达到全球第一梯队。而受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从Scaling Law、与MoE的结合、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理高达400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。

MiniMax-01模型发布后,在国内外迅速掀起了热议浪潮。海外媒体与AI从业者聚焦该模型,深入探讨其技术内涵与潜在价值,对其所展现出的创新性给予了高度肯定。

性能比肩国际领军模型

在应用创新架构之外,MiniMax大规模重构了01系列模型的训练和推理系统,包括更高效的MoE All-to-all通讯优化、更长的序列的优化,以及推线性注意力层的高效Kernel实现,使得模型能力可与全球顶级闭源模型相媲美。

在业界主流的文本和多模态理解任务处理表现上,MiniMax-01系列模型大多情况下可以追平海外公认最先进的两个模型,GPT-4o-1120以及Claude-3.5-sonnet-1022。过往的模型能力评测中,Google的自研模型Gemini有着显著的长文优势。而在01系列模型参评的长文任务下,相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢,效果及其出众。

▲ 多项任务评测结果显示,MiniMax-01系列模型核心性能稳居全球第一梯队。(图源MiniMax-01系列模型技术报告)

▲ MiniMax-01系列模型长上下文处理能力全球领先。(图源MiniMax-01系列模型技术报告)

加速AI Agent时代到来

2025年,AI将迎来至关重要的发展节点,AI Agent有望成为新一年最重要的产品形态,引领AI从传统的“工具”角色向更具互动性与协作性的“伙伴”角色转变。AI Agent时代,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升,是AI Agent为各行业带来更为丰富、高效、智能的解决方案的必要条件。

MiniMax在Github上开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”

凭借开放、共享、协作的特点,开源模型激发AI产业的创新活力,正在成为赋能新质生产力发展的关键引擎。受益于Linear Attention层面的架构创新、算力层面的优化,以及集群上的训推一体的设计,MiniMax以业内极具性价比的价格提供文本模型和多模态理解模型的API服务,标准定价是输入token 1元/百万token,输出token 8元/百万token。

论文链接:https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

更多热门内容
基于“宠生万象”大模型,宠智灵打造宠物智能喂食器AI核心解决方案
在宠物智能硬件加速演进的趋势下, 智能喂食器正在经历从“定时喂食工具”向“健康营养管家”的关键转型期; 传统喂食设备在实现基础定量定时功能的同时, 普遍缺乏对宠物饮食行为、健康状态和营养结构的理解能力难以满足养宠人对“科学喂养”的个性化、高频率、长期性需求

2025-07-15

国补抢不到了?什么时候恢复?国补政策第二阶段7月开启继续!全国统一截止时间为2025年12月31日结束
购物车里的空调补贴按钮突然变灰?别慌!7 月起,1380 亿元中央补贴资金已分批到位,“以旧换新” 国补政策正式重启。官方明确喊话:2025 年国补截止日为 12 月 31 日,但热门品类额度可能提前告罄,现在不抢,年底真没机会了!首先,划重点! 家电家具国补资格的领取方法入

2025-07-15

当贝AI双模型回答技术方案:分栏对比设计提升信息筛选效率
7月14日消息,当贝AI正式推出“双模型回答”功能,通过同时调用两个独立训练的AI模型对用户提问进行解答,并呈现对比结果,帮助用户快速筛选更优答案。这一更新标志着当贝AI在智能交互效率与准确性上迈出关键一步,同时保留了其原有的核心功能优势,形成“高效对比+全能服务”

2025-07-15

岚图FREE+正式上市!全系标配英得尔车载冰箱,共筑高端智慧出行新境
7月12日,岚图FREE+正式上市,21.99万元起售。岚图FREE+定位“极智驾享大五座SUV”,外观以极具辨识度的 “城市光影美学” 设计语言勾勒独特气质,搭载华为乾崑智驾及鸿蒙座舱,更全系标配英得尔车载冰箱,让用户出行尽显自由与舒适。岚图FREE+的车载冰箱置于中控扶手处

2025-07-15

视觉中国:镜头下的活力盛夏
视觉中国:镜头下的活力盛夏炎炎夏日,神州万象,用镜头展现活力多彩的夏日光谱。本文图片均来自视觉中国旗下网站 cfp.cn,该网站资讯类内容在线量近 7900 万,涵盖国内、国际、体育、文娱、档案五大板块,汇聚了环球国际视频通讯社(CCTV+)、中新社、Getty Images、美联

2025-07-15

九号公司联合交管等多方举办暑期安全亲子公开课 让萌娃秒变“小交警”
当萌娃伸出小手,一本正经向爸妈比划安全手势——这可不是过家家,而是一场实实在在的交通安全实践。7月13日,九号公司在江苏常州,联合常州综合门户化龙巷、常州市高架交警大队以及幼教机构,共同举办了一场主题为“从九出发,安全到家”的沉浸式交通安全公开课,通过

2025-07-15

天硕工业级M.2 NVMe SSD固态硬盘国密+AES256全盘加密构建数据安全长城
在工业自动化、国防军工、航空航天、金融交易等关键领域,数据不仅是核心资产,更是命脉所在。天硕(TOPSSD)作为国内领先的工业级存储解决方案提供商,深刻理解行业用户的严苛安全需求。其工业级SSD产品线,构建了一套融合国密标准与国际主流算法的多重数据加密与保护体

2025-07-15

《赢在AI+》迎来收官,阿里云助力企业乘“AI云全栈技术”破浪
7月11日,由中央广播电视总台(以下简称“总台)和阿里云携手打造的AI纪实创投节目《赢在AI+》迎来收官,历时一年,节目从筹备、路演到十强选手从数百家创企中脱颖而出。从上百个差异化的AI落地项目,到贯穿现场的AI科技满满的舞台,节目给公众带来耳目一新的AI探索体验其

2025-07-15

精致护衣 全面多能 三星AI神 黑钻衣物护理机重新定义生活美学
在现代生活中,衣物作为个人形象的名片,其清洁度、整洁度与质感格调,都直接影响着人们的日常体验与社交魅力,高端衣物的护理尤其成为备受关注的焦点话题。三星生活家电始终站在科技创新的前沿,致力于为消费者提供高品质的衣物解决方案,三星AI神 黑钻衣物护理机凭借

2025-07-15

稳坐50万级销冠!问界M9重新定义豪华出行新标杆
问界M9近期捷报频传,用户口碑与权威认证双丰收。据杰兰路最新发布的《2025年度上半年新能源汽车品牌健康度研究》报告显示,问界M9以85.2的NPS高分,不仅位列中大型及以上SUV车型净推荐值第一,更荣获车型NPS总榜冠军,用户推荐度领跑行业。此前,其更荣膺2025上半年中

2025-07-15