ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

GPUStack正式发布: 为大模型而生的开源GPU集群管理器

时间:2024-07-29 09:15:33来源:ITBEAR编辑:茹茹

7月26日,数澈软件Seal(以下简称“Seal”)宣布正式发布并开源最新产品 GPUStack,GPUStack 是一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理器

尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使用,但对企业来说,部署托管自己私有的 LLM 供企业和组织在私有环境使用仍然非常复杂。

企业需要安装和管理复杂的集群软件,如 Kubernetes,然后还需要研究清楚如何在上层安装和管理 AI 相关的工具栈。而目前流行的能在本地环境运行 LLM 的方法,如 LMStudio 和 LocalAI,却大都只支持在单台机器上运行,而没有提供多节点复杂集群环境的支持能力。

Seal 联合创始人及 CTO 梁胜博士介绍道,“GPUStack 支持基于任何品牌的异构 GPU 构建统一管理的算力集群,无论目标 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上, GPUStack 都能统一纳管并形成统一算力集群。GPUStack 管理员可以从诸如 Hugging Face 等流行的大语言模型仓库中轻松部署任意 LLM。进而,开发人员则可以像访问 OpenAI 或 Microsoft Azure 等供应商提供的公有 LLM 服务的 API 一样,非常简便地调用 OpenAI 兼容的 API 访问部署就绪的私有 LLM。”

帮助企业简单快速地开启 LLM 创新

当前,企业如果想要在 GPU 集群上托管大模型,必须要做大量的工作来集成复杂的技术栈。通过使用 GPUStack,企业不再需要担心如何管理 GPU 集群、推理引擎和推理加速、租户和配额管理、使用和计量、性能度量、统一认证授权和访问控制,以及仪表板。

如下图所示,GPUStack 是一个构建企业私有的大模型即服务(LLMaaS)的完整平台,拥有构建大模型即服务所需的各项功能。管理员可以将模型从 Hugging Face 等模型仓库部署到 GPUStack 中,然后开发人员可以连接到 GPUStack 提供的私有大模型 API,在他们的应用中集成和使用私有大模型服务。

如图片无法显示,请刷新页面

“随着大语言模型能力的逐渐提高,企业和组织一方面对快速进入 AI 时代充满了信心并满怀期待,希望大语言模型能尽快为自己的企业和组织带来生产效能的提高,而另一方面,对于能否有效地把如火如荼的大语言模型技术进一步与实际业务进行有机结合,是否能因此产生相应的效益,企业及团队又同时充满了疑问。我们希望通过简单易用的 GPUStack 平台,部署和运行各种开源大语言模型,提供 OpenAI 兼容的 API 接口,使得开发人员简单方便地访问任何的 LLM。” Seal 联合创始人及 CEO 秦小康介绍道,“最重要的是,我们支持 Nvidia,Intel,AMD 及众多品牌的 GPU,在支持异构 GPU 集群的同时能为企业节省更多成本。帮助企业简单快速地开启 LLM 创新是 GPUStack 团队的初心和使命。”

整合GPU资源运行大模型

组建 GPU 集群整合资源

GPUStack 可以聚合集群内的所有 GPU 资源。它旨在支持所有的 GPU 厂商,包括英伟达,苹果,AMD,英特尔,高通,华为等。GPUStack 兼容运行 MacOS、Windows 和 Linux 操作系统的笔记本电脑、台式机、工作站和服务器。

模型部署和推理

GPUStack 为在不同 GPU 上部署不同大模型选择最佳的推理引擎,支持的首个推理引擎是 LLaMA.cpp其他推理引擎(如vLLM)的支持也在路线图中。

在资源充足的情况下,GPUStack 默认将模型全部卸载到 GPU,以实现最佳性能的推理加速。如果 GPU 资源相对不足,GPUStack 会同时使用 GPU 和 CPU 进行混合推理,以最大限度地利用资源。而在没有 GPU 资源的场景下,GPUStack 也支持纯 CPU 推理。这样的设计使 GPUStack 能够更广泛地适配各种边缘或资源有限的环境

快速与现有应用集成

GPUStack 提供了与 OpenAI 兼容的 API,并提供了大模型试验场。开发人员可以调试大模型并将其快速集成到自己的应用中。此外,开发人员还可以通过观测指标来了解应用对各种大模型的使用情况。这也有助于管理员有效地管理 GPU 资源利用

GPU 和 LLM 的观测指标

GPUStack 提供全面的性能、利用率和状态监控指标。对于 GPU,管理员可以使用 GPUStack 实时监控资源利用率和系统状态。对于 LLM,相关指标则可以帮助开发人员评估模型的性能并优化应用

认证和访问控制

GPUStack 为企业提供身份验证和RBAC(Role-based Access Control)功能。这保证了只有授权的管理员可以部署和管理大模型,只有授权的开发人员可以使用大模型,应用也可以通过统一的 API 认证授权访问各种大模型。

加入社区,参与开源共创

GPUStack 项目正在快速迭代,计划引入对多模态模型的支持,更多的 GPU 厂商支持,以及更多的推理引擎支持。我们十分欢迎您一起参与开源项目的贡献,也欢迎在我们的 GitHub 仓库 gpustack/gpustack 上点亮 Star 关注我们的最新动态。

更多热门内容
重构健康洗护标准:三星AI神 黑钻热泵洗烘旗舰带来洁净守护
在快节奏生活里,家人的穿衣健康藏着看不见的细节——孩子校服上的汗渍、老人贴身衣物的细菌、通勤外套沾染的异味,都可能成为健康隐患。三星AI神 黑钻热泵洗烘旗舰以创新AI科技重塑家庭洗护健康标准,让每一次洗涤都加固健康的防线,把安心注入生活的每一寸触感里。一

2025-08-21

国补手机哪些适合大学生:联想razr60与edge 60精选
开学季来临,换新手机是许多大学生的刚需。作为学生党,既追求时尚外观和实用功能,又对价格敏感,有国补又能叠加学生优惠的手机无疑是双赢的选择。即使预算不多也可拿下主流直屏手机,还可考虑时尚潮流的折叠屏,比如联想moto razr 60系列。以下就给学生朋友们分享折叠

2025-08-21

国补加持下的平板电脑推荐:从百元助学到旗舰AI
在当前国补政策的红利下,平板电脑市场的价格变动使得消费者迎来了难得的入手良机。联想作为国内平板市场的主流品牌,旗下多款产品均纳入国补范围,从百元级助学神器到旗舰级AI生产力工具,形成了完整的价格梯度覆盖。这里我将分享其中六款热门的平板型号,从性能解析、

2025-08-21

2025国补尾巴,笔记本电脑值得推荐的三大系列
2025 年笔记本国补政策进入最后三个月冲刺期,截至12月31日,购买联想指定机型可享双重福利:直接补贴最高2000元+学生认证额外9折,综合优惠力度创年内新高。本次聚焦拯救者、小新、YOGA三大系列八款核心机型,按游戏电竞、移动办公、创意设计三大场景分类推荐,结合国

2025-08-21

从“手动挡”进入“AI智能挡”:亚数TrustAsia 开启证书管理「服务化」新时代
在数字化转型加速推进的当下,TLS/SSL证书作为网络安全体系的关键基础设施,通过实现端到端加密传输、身份验证,为保障企业关键业务数据安全和构建可信网络环境发挥着至关重要的作用。随着密码学技术向抗量子计算范式演进,行业对加密敏捷性(Cryptographic Agility)要求

2025-08-21

科隆游戏展:纯血进化 ROGXBOX掌机X正式发布
核心亮点:l 全新软件生态体验:ROG联手XBOX共同打造,融合XBOX全新前端、奥创智控中心SE、Windows开放式体验优势,便携式游戏体验全面跃升l 握持体验大升级:全新手柄设计优化人体工学曲线,引入XBOX标志性的脉冲扳机,媲美专业XBOX手柄舒适握持l 次世代性能:首发搭载

2025-08-21

不止能干活!新能源汽车排行爆款上汽大通大拿V1重新定义轻客角色
说实话,要不是亲身体验过,我真不会相信我们家开得最多的车,竟然是一台轻客。以前一直觉得轻客就是干活用的,拉货、送快递那类,和家用根本不搭边。但生活总有些现实需求:家里有人做小本生意,有孩子要接送,还有老爸喜欢自驾游。原来的小轿车早就不够用了,换来换去

2025-08-21

声态+AI |2026中国国际音频产业大会(GAS)明年3月举办
随着生成式AI的快速发展声音已成为人机交互、虚拟现实和情感体验的核心纽带GAS 2026将共同探讨AI如何重塑音频创作、传输与消费的全链条2026中国国际音频产业大会(GAS 2026)时间:2026年3月25—26日地点:上海张江科学会堂主题:声态+AI主办单位:中国电子音响行业协会

2025-08-21

益生菌对增肥哪个牌子好看完这篇不再纠结
你有没有过这样的经历:明明吃得不多,体重却一直上不去,甚至有点“喝凉水都难胖”的无奈?我就是这样一个肠胃敏感、代谢快得像开了挂的人。试过增肌粉、蛋白棒、高热量饮食,效果微乎其微。直到三年前,一位营养师朋友提醒我:“你是不是忽略了肠道环境?吸收不好,吃再多也没

2025-08-21

深耕垂类大模型!中关村科金入选2025年《财富》中国科技50强
2025年8月21日,全球最具影响力的商业媒体之一《财富》(FORTUNE)正式发布“2025年中国科技50强”榜单。中关村科金凭借在垂类大模型领域从技术研发、平台应用到产业落地的全链条能力,成功登榜。《财富》系列榜单一直被视为全球商业发展趋势的风向标,具有极高的权威性和

2025-08-21