内存何去何从？

当我从消息源处听闻Rubin Ultra可能降级至HBM4，或从12层降至8层HBM时，我一度以为这是个恶劣的玩笑。

从16层削减至12层，我尚能理解。良率始终未能达标，这是制造环节的问题。但再次削弱，降至8层或改用HBM4，则直接与AI对更高、更大容量HBM的需求信念相悖，这被视为克服当前内存墙的唯一途径。

因此，当我听说像Anthropic和OpenAI这样的模型开发商竟已向Nvidia请求4层HBM4E时，我陷入了更深的困惑。

如果如此低层数的HBM已足够，那么HBM的护城河是否已然崩塌？若护城河崩塌，我们又该如何抵御即将涌来的中国供应潮？这是否预示着内存下行周期的开端？种种负面念头纷至沓来，我一度惊慌失措。

但通过与行业专家及消息源的深入交流，我找到了答案。这个答案甚至说服了我这个自诩在内存领域投入大量时间的人，因此我愿在此与你分享。

1. 为何HBM如此关键

对于内存制造商而言，这一轮周期与以往任何一次的不同之处，就在于HBM。

毫不夸张地说，当前DRAM短缺的根源正是HBM，它吸纳了大量通用DRAM晶圆产能。

今年早些时候，当Rubin Ultra仍预期搭载1TB的HBM4E时，一些预测显示，即便DRAM资本支出上升，有效DRAM供应增长也仅约1%，这一切皆因HBM所致。

换言之，正是HBM在逐步推动DRAM脱离大宗商品化。

HBM面临三大与良率相关的工程瓶颈。

首先是垂直堆叠芯片带来的封装阶段良率挑战。

其次是HBM相较于通用DRAM芯片拥有更大的裸片面积，导致每片晶圆上的已知良好裸片（KGD）数量减少。

第三是晶圆制造过程中的良率损失，因为TSV（硅通孔）在堆叠前就已形成。

第二和第三点是制造HBM不可避免的成本。第一点则不同。堆叠4层或8层远比堆叠12层或16层工艺成熟，因此仅降低堆叠高度就能提高HBM产出。

这直接转化为更多的加速器出货量，也是近期HBM降规的原因之一。

2. 内存成本过高，占据预算大头

假设削弱前的Rubin Ultra采用12层高堆叠HBM4E，考虑到HBM4价格上涨，内存成本竟占到整个Rubin Ultra物料清单的惊人70%。英伟达的客户们恐怕难以接受如此高昂的价格。

英伟达后来确实将HBM的利润率从75%下调至50%，但即便如此，Rubin Ultra的成本依然过高。

于是，包括OpenAI和Anthropic在内的客户开始积极推动降低HBM规格——这是物料清单中最大的一项开支——以期降低GPU的价格。

部分客户更进一步，坚持认为4层高堆叠的HBM对他们而言已足够。据我目前了解，内存制造商拒绝了这一要求，降规格最终止步于8层高堆叠。

回顾来看，包括超大规模云服务商在内的内存买家，自7月起便开始抵制内存价格上涨。

Meta对SanDisk的举措便是一例。如今，针对Rubin Ultra内存涨价的抵制又添一例。

业界流传的看法是，本应用于推动AI发展的预算，正被过度倾注于内存之上。

3. 提升HBM容量已无空间与预算

在Hot Chips大会上，我学到的一点是，对于HBM而言，引脚速度如今比容量本身更为关键。

HBM正成为内存中最炙手可热的层级。

将所有数据都保存在HBM中的需求正在缩减。模型分布在众多GPU上，预填充与解码过程被分离，相对冷门的KV缓存和模型状态正迁移至LPDDR、CXL及NAND层级。

留在HBM中的，仅是计算当前所需的活跃工作集。

模型开发者带来的软件改进同样超乎想象。

量化、MLA等技术让算法能够抵消模型权重和KV缓存的容量增长。一旦为最小工作集确保了足够的容量，问题便从能存储多少转向了如何快速获取每个令牌所需的数据。

这并不意味着高容量已变得无关紧要。关键在于，软件持续降低所需的最小容量，而超过这一阈值后，额外价值更多来自带宽而非容量。

此外，更高带宽的HBM需要更多晶圆来制造。

晶圆上仅有有限比例的裸片能通过速度分级，因此要求的速度越高，每片晶圆能产出的合格裸片就越少。

这加剧了上述HBM对DRAM裸片的巨大消耗，并可能使当前的DRAM短缺问题恶化。

因此，HBM买家别无选择，只能在容量与带宽之间权衡。他们即便牺牲容量也需要更高的带宽，而在追求更高带宽的同时，显然没有余力再确保更高的容量。

这对内存制造商意味着什么？

个人而言，我认为这实际上对他们是有利的。

如今，内存制造商将前端或封装过程中不符合标准的缺陷裸片报废，或将状态较好的裸片以并不理想的价格出售给中国。

但若放弃高容量意味着以8-High出售HBM4和HBM4E，也意味着确保更高的封装良率。这意味着更多的HBM，从更广的角度看，更多的机架出货，因此总HBM需求实际上比每个人都坚持高容量HBM的世界有所增加。

结论：未来两年将决定存储厂商的命运

HBM并非完美无缺。

散热问题。对DRAM晶圆的先天需求长期制约着DRAM供应。分配优先级随资本优势持有者而转移。

相较于DRAM在计算架构和产业历史中的地位，对HBM的抱怨完全可以理解。HBM的创造者SK海力士自己也承认，HBM并非完美的架构。

但不可否认，HBM是迄今为止诞生的最佳存储架构。

得益于HBM，存储行业的周期性有所减弱。

即使经济下行来临，HBM需求也不会萎缩。当DRAM价格下跌时，厂商可以提高HBM产量，抵御DRAM价格下滑。这是与以往所有周期最大的不同。即使在经济低迷时期，存储价格也不会像过去那样暴跌70%。

但我们不能止步于此。行业需要专注于构建HBM之后的架构。

我也不能排除出现优于HBM的架构的可能性，这种架构可能使用更少的DRAM晶圆，或改用NAND，或走完全不同的路线。

我相信这种架构将朝着存储与逻辑结合的方向出现。

我们正在进入一个改良的冯·诺依曼时代，存储与逻辑相互侵入对方的领域。

对于存储厂商而言，未来两年将是决定未来几十年的分岔点。

如果他们在此抓住逻辑方向，就能尝试进入比存储大得多的逻辑市场。他们也能巩固自己在存储领域拥有的护城河。

如果他们反而逐步退让，从HBM基础裸片这类环节开始，就可能失去HBM好不容易为他们赢得的去商品化机会。

那样的话，他们将永远无法摆脱分包商的角色，而如果在这里交付不力，我认为内存制造商的利润很可能回落到HBM出现之前的水平。

我相信内存制造商明白这一点。这正是三星宣扬其晶圆代工与内存结合优势的原因，也是SK海力士探索与英特尔合作的原因。

逻辑阵营，包括英伟达在内，并不希望内存制造商的角色扩大。

这就是他们反对HBF的原因。他们想避免在NAND领域重演HBM的情况——失去主动权，被牵着鼻子走。

我不知道内存与逻辑之间的实力较量谁会胜出。我现在确信的是以下几点。

我们显然正站在自冯·诺依曼架构以来最重要的分岔点上。

未来五年，别倒下。我们怎么可能在见证这场变革之前就倒下呢？