ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

律师用二手V100搭建本地集群运行DeepSeek模型

时间:2026-11-21 15:07:44来源:互联网编辑:快讯

11月21日消息,Reddit社区用户u/TumbleweedNew6515在11月20日发帖称,其花费约9450美元(按现汇率约合63239元人民币),用12张二手英伟达Tesla V100 SXM2 32GB显卡搭建了一套私人AI服务器,并在本地运行DeepSeek-V4.1-Flash。

该集群通过NVLink和PCIe实现协同推理,采用3个流水线阶段与每阶段4卡张量并行的组合,即PP3乘TP4。软件侧使用4-bit NVFP4量化,发帖者称每个专家被压缩到约15360个参数,使12张V100能够承载模型中的专家分片。

性能测试中,单请求、单流场景下,1K上下文冷启动首token耗时0.7秒,预填充速度为每秒1567个词元;8K、32K、64K、128K和256K上下文下,冷启动首token分别约2.5秒、7.3秒、13.9秒、28.1秒和58.0秒,预填充速度约在每秒3267到4697个词元之间,256K时约为每秒4518个词元。

生成速度方面,代码场景在1K到256K上下文中约为每秒153到184个词元,法律场景约每秒92到102个词元,普通文本约每秒83到95个词元。文档缓存后,首token延迟可降至0.2秒到0.6秒。

该用户表示,在单请求单流条件下,这套12张V100的配置表现超过已公开的四台英伟达DGX Spark组合,代码生成快约15%到45%,普通文本生成也更高。多请求场景下,系统并非批量解码引擎,3个流时速度约为每秒344到443个词元。

成本上,整套硬件采购价约9450美元,约为三台DGX Spark组合价格的一半。代价是最高功耗约2100W,噪音较大,不适合普通办公环境。

更多热门内容
Anthropic技术成员预计AI约1.3年后比肩多领域专家
IT之家查询公开资料,Tao Lin 在 Anthropic担任技术团队成员(MTS)岗位,目前已在该公司工作了约一年半,涉及自动化对齐研究(Automated Alignment Research)、A…

2026-11-21

脑机接口大会首度落地北京 青年参赛者成创新主力
华脑安全(北京)科技有限公司副总经理宋思沐在接受北青报记者采访时表示,“一说起脑机接口,更多人知道的是医疗端,其实工业端的非植入式脑机接口落地更快,现在很多企业已经在实际场景中应用,部分已进入试点阶段。” …

2026-11-21

OpenAI 扩大协作空间覆盖范围,Plus 用户可创建共享项目
该功能此前仅面向 Pro、Business 和 Enterprise 等付费方案用户提供,现在每月支付 20 美元(IT之家注:现汇率约合133.8 元人民币)的 Plus 用户也可以创建自己的空间,与其他…

2026-11-21