ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

基石智算CoresHub升级:第三方模型一键部署,推理服务更便捷!

时间:2025-06-10 18:30:00来源:ITBEAR编辑:快讯团队

基石智算CoresHub近期对其模型推理服务进行了全面革新,为用户带来了更加便捷高效的模型部署与推理体验。现在,用户可以在魔搭、Hugging Face等平台轻松下载模型,并直接通过基石智算的推理服务进行一键部署,快速对外提供API接口能力。用户还可以选择利用基石智算的模型调优服务进行二次训练,进一步提升模型性能后再进行部署。

在推理服务过程中,基石智算凭借其强大的弹性扩缩容能力,能够根据业务并发量的实际需求,灵活调整推理服务的规模。这一特性不仅显著提升了业务的运行效率,还有效降低了算力成本,为用户带来了实实在在的经济效益。

以下是一个以从魔搭下载模型为例,通过基石智算模型推理服务一键部署模型的详细操作流程:

首先,用户需要在魔搭平台上选择并下载所需的模型文件,然后将这些文件存储到指定的存储目录中。为了完成这一步骤,用户可以创建一个无卡启动实例,并挂载文件存储,以便在Web连接窗口中执行相关命令。

在Web连接窗口中,用户可以查看魔搭平台提供的模型下载命令,并使用Git工具进行下载。如果遇到大文件下载失败的情况,用户还可以执行相应的代码来解决这一问题。

接下来,用户需要进入基石智算的“模型管理”界面,添加已下载的模型。在这一步骤中,用户需要选择模型文件、输入模型名称等相关信息,并选择适合的部署方式。基石智算支持单节点和多节点部署,用户可以根据实际需求进行选择。

在选择部署方式后,用户还需要选择资源类型,如GPU等,以满足模型的推理需求。部署成功后,用户可以在服务信息界面查看服务详情、监控信息和日志记录,以便随时了解模型的运行状态。

当业务并发量增加时,用户可以通过增加推理实例的数量来扩展推理服务的规模,以满足更高的并发需求。例如,当一张4090显卡无法满足DeepSeek-R1-1.5B模型的最高100并发量时,用户可以增加到两张4090显卡的实例进行部署。

最后,用户可以使用第三方客户端如Cherry Studio来调用已部署的模型。用户只需在Cherry Studio中添加模型服务提供商,并配置相应的API密钥和API路径,即可在平台上轻松切换并使用已添加的模型进行对话等操作。

更多热门内容
林清轩冲刺港交所,高端护肤路能否越走越宽?
对比来看,2022年至2024年,林清轩营业收入由6.91亿元增至12.10亿元,年复合增长率为32.33%,这一增速在国产同行中可圈可点,但相较成为国际巨头的体量相差甚远。 虽林清轩在招股书中表示,目前品…

2025-06-10

计算机专业还值得报考吗?高考后的深思
我还要补充一句:学计算机专业是这条出路的最佳分岔路口,不但质量高,而且容量大——仅仅在互联网大厂及中厂工作过的码农,恐怕就有几十万乃至上百万之多。上文提到过,计算机专业(以及软件工程等相关专业)在过去二十年贡…

2025-06-10

百度文库、网盘发布行业首个全模态输入、处理、输出系统,率先实现端到端完整交付
6月10日,在百度AI Day开放日上,百度网盘、文库联合发布行业首个全模态输入、处理、输出的系统化完整交付AI能力,推出行业首个“拍存管一体”的“AI相机”,成为覆盖最全场景、拥有最全功能的全模态超级入口。百度副总裁,文库事业部、网盘事业部负责人 王颖作为全模态

2025-06-10