天价内存把大厂逼成垃圾佬！拆退役服务器抠DDR4用

算力焦虑之后，内存成为新的“卡脖子”环节

过去两年，AI行业的叙事重心几乎全部押注在“算力不足”上。英伟达GPU一卡难求、数据中心排队装机，业界一度默认只要搞定GPU就能解决AI的一切问题。但谷歌供应链基础设施高级总监Nikhil Cherian的披露揭开了另一层残酷现实：高性能内存已占单台AI服务器物料成本的约75%，AI行业正以比“算力荒”更快的速度跌入“内存荒”。

这一转变的底层逻辑并不难理解。大模型推理过程本质上是把权重参数和KV Cache在内存与计算单元之间反复搬运。模型参数动辄千亿级，序列长度还在不断拉长，Transformer架构对内存带宽的需求几乎是几何级膨胀。当模型能力迭代越来越依赖“喂”给它的数据和上下文，内存子系统——而非GPU本身的算力——反而成了限制天花板延伸的瓶颈。Cherian直接点出“AI已从算力受限快速转向内存受限”，这并非个案的危言耸听，而是整个技术栈重心迁移的信号。

更值得警惕的是供应端的结构性缺口。DRAM属于典型的重资本、长周期产业，从建厂到产能爬坡往往需要两三年时间。而AI带动的内存消耗速度远超原厂扩产节奏——HBM产能争抢、标准型DRAM价格飙升、连DDR5都时常缺货，这使得即便是账面现金流充沛的云巨头，也无法靠“加钱”来解决一切供应链问题。当钱解决不了问题的时候，就是考验工程狠活儿的时候。

DDR4转接器、拆机供应链：谷歌被迫做“垃圾佬”

谷歌的解题思路相当硬核且反直觉。Cherian表示，谷歌在硬件层面专门设计了转接器，让上一代DDR4内存模块能够物理接入新一代AI服务器——听起来简单，但背后牵扯到通道映射、功耗管理和信号完整性等一连串工程问题。DDR4与DDR5在电气规格上不兼容，接口定义、工作电压均有差异，要用转换方案硬撑着让上一代内存跑在新平台，对主板设计和固件层都是额外的技术债。

更狠的操作是重建内部回收供应链。谷歌正在把退役服务器专门重新导入拆解流程，从中逐条回收可用的DDR4模块，再通过自己的质检体系回到生产序列。虽然回收DDR4的容量、频率都落后新内存一到两个代际，但“免费内存”就意味着更低的边际成本。在单台AI服务器内存成本占物料75%的行情下，节省下来的资金可能是数千万美元级的运营杠杆。做惯了尖端技术尝鲜者的谷歌，如今不得不向现实低头，用“垃圾佬”的玩法降低成本结构。

这种降级操作也折射出AI服务器“吃内存”的夸张程度。原本应使用DDR5的新一代AI服务器，在部分非最核心场景中用回收DDR4顶替，本质上是用“冷数据近内存”的传统失效转移思维来对抗供应链危机。谷歌不会在水冷散热、HBM互连这些关键环节省成本，却愿意在主机端DDR5的采购上砍一刀——这种“能省则省、好钢用在刀刃上”的成本策略，反映出即便是顶级科技公司，在面对内存紧缺时也只能放低姿态。

软硬双管齐下：自研TPU、Arm处理器与KV Cache的博弈

谷歌并非只靠“捡破烂”续命。今年推出的TPU8t和TPU8i代表了自研AI加速器的最新进度，其中面向推理的TPU8i在内存架构上堆料明显——每颗芯片配备288GB HBM3e，内存带宽高达8.6TB/s，还额外集成384MB片上SRAM专门缓存活跃的KV Cache。这个设计选择其实非常聪明：Hot KV Cache对推理延迟和数据搬运功耗影响极大，把它放进片内高速缓存，相当于给模型推理建了一条“记忆快速通道”，显著降低对外部系统内存的依赖和延迟开销。

同时谷歌使用自研Arm架构Axion处理器替换传统x86主机CPU，这不仅是技术自主的又一步棋，也是对内存资源精细化管理的重要算力底座。Arm平台在内存子系统的一致性互联和能效比上能够更紧密地与TPU架构深度定制协同——对于内存缺口时代，让每个字节的读写效率都尽可能提高，就是最大的效率策略。

而软件层面的优化，则是在用算法思维消解硬件荒。谷歌持续投入底层函数库、模型架构调整和KV Cache压缩算法——简单来说，就是用更聪明的记忆方式来占用更少空间、更少带宽。如果模型对每个token的记忆只需过去十分之一的比特数，那么同样容量下的内存能支撑更长的上下文、更大的并发。把硬件压力转移到软件弹性上，这才是长期抵御内存“卡脖子”的底层解。

不过最值得玩味的是，即便拥有如此完整的自研生态，从TPU到Arm处理器到KV Cache优化，谷歌仍被迫在部分场景用回收DDR4替代DDR5——这说明写软件的优化速度，暂时跑不赢硬件供应链的恶化速度。换言之，在DRAM产业链出现实质性扩产之前，即便强如谷歌，也不得不接受“锦衣夜行、旧衣新穿”的现实。这种大厂“沦落”为“垃圾佬”的黑色幽默背后，是整个AI行业生态对底层硬件供应前所未有的敏感与脆弱。