【ITBEAR】9月28日消息，中国电信人工智能研究院近日取得了重大突破，成功完成了国内首个完全基于国产化万卡集群训练的万亿参数大模型，并将千亿参数的星辰语义大模型TeleChat2-115B对外开源。
这一里程碑式的成果显示，国产大模型训练已全面实现国产化替代，迈入了自主创新、安全可控的新阶段。TeleChat2-115B大模型依托于天翼云的“息壤一体化智算服务平台”及“星海AI平台”进行训练，不仅保证了训练精度，还通过多项优化技术显著提升了训练效率和稳定性。
在模型训练过程中，TeleAI团队创新性地采用了小模型Scaling策略，有效验证了不同模型结构的性能。同时，通过精细的数据配比和回归预测模型，实现了训练数据的优化配置。
后训练阶段，TeleAI合成了大量针对数学、代码和逻辑推理的问答数据，用于监督式微调。团队还采用迭代式更新和拒绝采样技术，进一步提升了模型生成的答案质量和数据代表性。
为便于业界同仁共同研究与进步，TeleChat2-115B大模型已在多个平台开源，包括GitHub、Gitee、ModelScope和Modelers，供全球开发者和研究者免费访问和使用。
