【ITBEAR】科技界迎来一项重大进展,英伟达在AI模型训练领域取得了突破性成就。该公司最新发布的Normalized Transformer(nGPT)架构,在保持模型稳定性和准确性的同时,大幅缩短了训练时间,最高可达原来的二十分之一。
nGPT架构的核心在于“超球面学习”概念,通过将关键组件映射到超球面表面,确保模型各层在训练中的平衡,从而创造更稳定高效的学习过程。
与传统的GPT模型相比,nGPT在速度和效率上均表现出色。在OpenWebText数据集测试中,nGPT对于长达4000个tokens的文本输入,所需训练轮次远少于传统模型。
nGPT还将归一化和表示学习结合成一个统一框架,简化了模型架构,便于扩展和适应更复杂的混合系统。这一创新设计有望为AI系统的发展带来新的突破。
高精地图逆境突围,泄密风波后何去何从?
面对智驾算法的快速进化和白热化的智驾进城竞赛,国内主流图商纷纷变阵,他们不约而同的选择“轻量级高精地图”,这也让“重感知轻地图”有了另外一层意思。毋庸置疑,图商们已经开始求变,至于高精地图会不会消失这个问题,…
2024-10-22
斯巴鲁新款WRX炫酷登场,新涂装最快下月发售!
目前斯巴鲁新款WRX车型已在海外市场首发亮相,新车预计最快将于今年年底前上市开售,市场起售价约为45,000美元(约为33万人民币)。同时新车也有望在今年年底或2025年初,继续以进口形式导入国内市场销售,同…
2024-10-22
全新别克GL8陆尊登场,高速性能是否再续传奇?
【懂车之道产品】近日,懂车之道获悉,别克GL8见证中国MPV市场的兴起,也给国产MPV引路。新车尾部是顶部配备了时下流行的高扰流板,尾窗更是后雨刮器,新车尾灯也是采用时下流行的贯穿式尾灯,尾部也是采用多线条,…
2024-10-22