所谓基础模型,通常指在海量数据上完成预训练、能够迁移支撑多种下游任务的模型。此次问世的ProtCell正是瞄准单细胞蛋白组这一研究方向而构建的专用基础模型。
论文中还记录了一项训练层面的进展:ProtCell的全流程预训练复现工作,整体放在摩尔线程的旗舰级AI训推一体智算卡MTT S5000上进行,整套预训练环节均由这颗国产算力芯片支撑跑通。
从评测数据来看,在这款国产智算卡上得到的各项主要定量指标,与国际主流GPU平台的结果相比仅有约0.2%的偏差,两者表现高度接近。
摩尔线程于11月13日通过官方渠道对外发布了上述消息,介绍了其自研算力产品在该基础模型训练过程中所发挥的作用。