ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

DeepSeek假期“上新”:V3.2-Exp携稀疏注意力与TileLang,开启大模型新探索

时间:2025-10-01 00:35:57来源:互联网编辑:快讯

国庆假期前夕,人工智能领域迎来重要突破——DeepSeek正式发布实验性版本V3.2-Exp,首次将细粒度稀疏注意力机制应用于大模型训练。这项技术革新使模型在处理超长文本时,计算效率显著提升,同时推理成本大幅下降,引发行业对大模型架构演进的深度讨论。

传统Transformer架构的局限性在长文本处理中日益凸显。当对话上下文长度倍增时,模型需计算的关联性呈平方级增长,导致计算量激增四倍。这种"指数级膨胀"不仅推高算力成本,更引发性能衰减问题。多数大模型通过设定窗口长度限制规避风险,用户需频繁开启新对话以维持服务。

DeepSeek研发团队提出的闪电索引器技术,通过动态识别关键信息单元,实现"选择性关注"。该机制模拟人类记忆特征——保留核心事件(如国庆旅行目的地),过滤次要细节(如早餐内容)。实验数据显示,在保持与V3.1-Terminus同等性能的前提下,V3.2-Exp的推理成本随文本长度增加保持稳定,突破传统架构的效率瓶颈。

技术白皮书披露,稀疏注意力机制通过三级过滤实现计算优化:局部注意力捕捉细粒度特征,全局注意力聚焦关键节点,跨模态注意力完成模态对齐。这种分层处理方式使模型在128K超长上下文场景下,仍能维持高效运算。对比测试表明,V3.2-Exp在处理50页PDF文档时,推理速度较前代提升3倍,而答案准确率保持不变。

伴随技术突破而来的是价格体系重构。DeepSeek同步宣布API服务降价超50%,每百万输入tokens费用降至1元(缓存命中)/4元(缓存未命中),输出tokens定价16元。这种"技术降本-价格让利"的双重策略,使中小企业获取顶级AI能力的门槛大幅降低。行业分析师指出,此举或将重塑大模型商业化格局。

在硬件生态层面,TileLang高级语言的推出引发芯片产业震动。该语言通过自动化解决数据调度、线程分配等底层问题,将算子开发代码量从千行级压缩至模块化指令。以昇腾芯片的卷积算子实现为例,开发者仅需描述数据需求,TileLang即可自动完成寄存器分配、显存优化等复杂操作,开发效率提升10倍以上。

这项技术突破得到国产芯片厂商快速响应。寒武纪同步开源vLLM-MLU推理引擎源代码,实现DeepSeek-V3.2-Exp的日级适配;华为昇腾基于CANN平台完成BF16模型部署,在128K长序列处理中达成TTFT低于2秒、TPOT低于30毫秒的行业领先指标。三方技术协同验证了国产AI生态的闭环可行性。

尽管V3.2-Exp仍属实验性质,但其验证的技术路径已显现战略价值。稀疏注意力机制的成功应用,为大模型突破"上下文长度-计算效率"的二元困境提供新思路;TileLang构建的软硬件桥梁,则开辟了绕过传统CUDA生态的可行路径。随着寒武纪、华为等企业的深度参与,国产AI技术栈的完整度正在快速提升。

更多热门内容
数贸会盛宴:AI领航科技前沿,文化出海绽放新姿
中南卡通股份有限公司副总经理沈杰表示:“苏东坡数字人是公司在制作苏东坡相关动画剧集时同步研发的,自诞生以来大受欢迎,在大模型的支持下,可以说是‘上知天文,下知地理’,不仅有很高的文学造诣,还是杭州文化的宣传推…

2025-09-30

未来GoldenDB数据生成技术:深度融合AI,应对复杂需求,驱动性能升级
利用深度学习模型对业务逻辑和用户行为进行建模,预测不同业务场景下可能出现的数据模式和查询需求,进而生成更具针对性和前瞻性的测试数据。在面对新兴的业务模式和技术应用时,如物联网、区块链与数据库的融合应用,Gol…

2025-09-30

国产算力如何落地生根?AI大赛搭台、“百校计划”助力产业新生态
对于参赛原因,高校组一等奖项目由云到端的AI语音交互引擎——“万物灵”项目负责人姜昊对集微网表示,“我们是一个以技术和产品为主导的学生研发团队,能够较早洞察到技术的最新突破和创新应用,这次‘飞翔杯’挑战赛给…

2025-09-30

荣耀全球首家阿尔法旗舰店深圳启幕 开启AI智慧生活新征程
IT之家 9 月 30 日消息,荣耀全球首家阿尔法旗舰店今日正式开业(地点:深圳湾万象城 D 区),官方表示这里将成为完全开放的 AI生态平台,汇聚全球最新的 AI 灵感。 IT之家注意到,荣耀终端股份有限…

2025-09-30

内控典范!科大讯飞获2025最佳实践案例,引领智能科技行业规范发展
作为深耕智能科技领域的头部企业,科大讯飞始终将规范运作与内部控制置于战略高度,从企业发展全局出发构建完善的内控体系,为企业稳健运营奠定了坚实基础。此次获评“中国上市公司内部控制最佳实践案例”,既体现了监管机构…

2025-09-30

谷歌十年来首度大更新:全新渐变色“G”形Logo亮相,同步焕新Google Home标识
IT之家 9 月 30 日消息,据谷歌于当地时间周一发布的公告,该公司正将渐变色“G”标志定为全公司新标识。该新标识于今年 5月首次在安卓(Android)和 iOS 系统的谷歌应用中亮相,很快将全面应用于…

2025-09-30