大型数据中心运营商正面临内存持续短缺的严峻挑战，这迫使它们不得不采取非常规措施来应对。谷歌供应链基础设施高级总监Nikhil Cherian透露，为突破内存瓶颈，谷歌正从软件和硬件两个方向同时发力，甚至开始拆解退役服务器以回收可再利用的组件，构建起一套内部回收供应链。
谷歌的具体做法十分直接：公司设计了专用硬件适配器，使上一代内存（如DDR4）能够连接到新一代人工智能服务器上。Cherian还承认，谷歌正在进口退役服务器，拆除其中的DDR4内存模块进行回收复用。他指出，AI行业的核心约束已经从“计算受限”迅速转变为“内存受限”——在典型的AI服务器物料清单中，高性能内存的成本占比已高达约75%。
内存价格持续攀升，进一步加剧了这一困境。高盛在最新报告中预测，第三季度内存价格将继续上涨，预计PC DRAM价格将上涨18%至23%，服务器DRAM价格上涨13%至18%。TrendForce数据显示，8月现货市场上，DDR4 8GB和DDR5 8GB价格分别涨至142美元和133美元；DDR5相对DDR4的折扣仍为6%，与7月持平。
面对内存价格的不断上涨，AI行业不得不采取“降低单位算力所需内存容量”的措施。谷歌今年推出的两款TPU ASIC就对内存进行了优化设计，有望将内存需求降至原来的六分之一。其中，TPU 8i芯片采用专用分层内存设计，依靠高速DDR5内存架构执行主机级任务；每颗TPU 8i芯片还搭载288GB的HBM3e高带宽内存，兼顾容量与带宽需求。
然而，从谷歌开始回收DDR4的举动来看，DDR5和HBM3e仍不足以满足其AI芯片的内存需求。这表明，内存仍然是限制谷歌算力增长的关键瓶颈，迫使公司不得不利用上一代的内存解决方案来缓解当前压力。
