1. 四层或八层是否足够的问题
📌💡在 9 月 18 日于美国举行的 SK 海力士全球论坛下午的封装圆桌会议上，HBM 堆叠层数在问答环节的后半段被提及。一位观众询问，小组成员如何看待近期关于四层或八层 HBM 是最优方案的说法。
📌💡发言者回答说，上周 SemiAnalysis 的一篇文章对此做了很好的阐述。其分析是，随着 token 数量的增长，带宽和容量之间的最佳平衡点会向更低的堆叠高度移动，发言者同意这一分析，并表示该公司的内存系统人员已经知道这一点。发言者补充说，堆叠数量的稳步上升应该被视为已经略有放缓，这只是目前的现状，但这可能不会永久持续。
📌💡同一回答接着谈到了 3D 堆叠，即将 DRAM 放在逻辑芯片之上。
📌💡我将这个回答理解为问题已经转移的信号。既然演讲者承认了放缓，又否认这是永久性的，那么剩下的问题与其说是要把 HBM 堆得多高，不如说是要在哪里堆叠 DRAM。
📌💡官方措辞略有不同。9 月 28 日，SK 海力士新闻室在关于台积电活动的帖子中写道，HBM 每一代都在不断提升堆叠层数和带宽，这使得与封装的紧密联系至关重要。将公司的公开措辞与圆桌会议的回答放在一起，大致可以看出，这家公司并未放弃堆叠层数的竞赛，而是在另辟蹊径，寻找下一步的方向。
📌💡这次活动是仅限受邀者参加的会议，同时兼有招聘性质，所以我没有拿到幻灯片。与第一部分和第二部分一样，每一条带有来源编号的事实都对照了公开资料进行核实，而我只在会场听到的内容则标注为仅会场所得。在第一部分中，我写道第三部分将讨论谁负责堆叠、谁购买键合设备。如果 DRAM 堆叠在逻辑芯片之上，那么谁来购买键合设备？即便存储厂商提供 DRAM，也不能保证它同时完成最终键合，而追踪公开的堆叠案例能发现一些线索。
📌💡第二部分讨论的 2.5D 之后，这是关于向上堆叠的 3D 故事。
2. 堆叠高度是否正在停滞？
📌💡让我们再次从第二部分《SK 海力士的四种封装路径：HBM 之后的战场在哪里？》中所述的 SK 海力士公开路线图开始。8 月 23 日 Hot Chips 2024 演讲中再次展示的路线图幻灯片，页脚注明来源为 ISMP MR-2024，显示：8 层和 12 层已量产，16 层正以改进的 MR-MUF 和混合键合并行开发，20 层及以上则仅以混合键合处于研究阶段。MR-MUF 是 SK 海力士目前采用的方法：在芯片之间用微小凸块堆叠，然后用液态保护材料填充间隙。混合键合则直接连接铜焊盘，无需凸块。
📌💡关于采用更低堆叠的论据，SemiAnalysis 在 9 月 13 日的一篇文章中提出。从免费部分来看，要点是在解码，也就是推理中逐个生成 token 的部分，单位带宽成本和每 token 成本在 4 层堆叠时最低。每个 HBM4E 堆叠的带宽与堆叠高度无关，而根据他们自己的模型，在系统层面，8 层和 12 层分别比 4 层贵高于 10% 和约 26%，而吞吐量最多只提升 10%。这些是针对特定机架和模型的计算，因此我会谨慎对待将其推广。
📌💡NVIDIA 迄今公布的官方数字很少。NVIDIA 直接声明的只有 Rubin 每个 GPU 使用高达 288GB 的 12 层 HBM4。对于下一代 Rubin Ultra，TrendForce 在 8 月初报道称，NVIDIA 已将其评估范围扩大到包括 8 层 HBM4E 以及 12 层和 8 层 HBM4，并且最终规格尚未确定。台湾《工商时报》援引摩根士丹利的一项供应链调查，预计规格将在第三季度末之前确定，但截至 9 月 28 日，我没有发现已确认的公告或报道。每 GPU 192GB 的数字也在流传，但这是 SemiAnalysis 自己的报道，NVIDIA 从未证实过。
📌💡在圆桌讨论中，厚度问题首先被提及。解释是，在当今的厚度规格内，16 层和 20 层已接近极限；要达到 20 层或 24 层可能需要新技术，另一条路径是大面积封装，通过每个封装内更多的 HBM 堆叠来填充容量。这位发言人表示，单纯提高堆叠数量只需设定内部工艺基线并加以验证即可。然而，采用大面积封装时，小封装中从未出现的问题会在大封装中浮现，而台积电的方法与其他公司不同，因此每种方案都必须单独匹配。我们还了解到，MR-MUF 堆叠中的 DRAM 裸片厚度最初为 50 微米，当时连公司内部人士都对此表示怀疑，如今已接近 30 微米。如果第一部分中芯片厚度缩减 0.9 倍是从 12 层到 16 层这一代的一步，那么这是历经几代 HBM 积累的进步。
📌💡以下是我的看法。SemiAnalysis 的 4-high 逻辑是一种针对推理的计算，具体来说是针对解码中每 token 成本的计算，而且原文本身一开始就承认预训练对容量的敏感度要高得多。发言人也说过带宽和容量之间存在权衡，因此某个时候会需要大容量。所以我认为，单就解码的单位成本而言，更低的堆叠层数胜出，但那些渴求容量的工作负载可能会拆分到使用更高堆叠层数的独立产品线中。对照第 1 部分中铺出的路径来衡量，用现有方法转向 16-high 已经略有放缓，这与 20-high 及以上被提前正好相反。
3. 对照上一张地图进行检查
📌💡9 月 17 日，当我在《混合键合价值链中的 22 家上市公司》段落地图中用之前的对混合键合设备公司进行排序时，我判断上一段落采用的权重，即键合和延迟。仅仅过去了十一天，所以没有任何带日期的检查点已到期，但当我再次汇总这一判断的时间记录时，它们都归入了一张表。
📌💡从 2024 年的记录开始：据报道，SK 海力士一位负责封装的高管在 2024 年 11 月的一次会议上表示，混合键合将从 2026 年开始使用，而当时 HBM4E 的大规模生产计划于 2026 年开启。此外 10 月的一份路线图，计划将混合键合应用于 HBM4，并于 2026 年实现大规模生产。键合设备制造商 BESI 在 2024 年投资者日演示文稿中写道，存储领域的采用，该公司将 16 层堆叠的 HBM4E 列为首个引入该技术的世代，并写道一家领先客户正准备于 2027 年进行大批量生产。
📌💡目前情况就是这样。Tom's Hardware 报道了 8 月 Hot Chips 大会上的演讲，称混合键合很难进入 HBM4E，但根据同一篇文章，Hot Chips 的演讲者并未指明目标世代，该公司也尚未决定哪个产品会率先采用该技术。两天后，一篇大学教授在 SK 海力士新闻室发表的专栏判断，全面采用最有可能随 HBM4E 或 HBM5 到来。市场研究机构 Counterpoint 预计，SK 海力士将在 2029-2030 年 HBM5 问世时实现全面混合键合量产。三星在 1 月财报电话会议上表示，计划在 HBM4 阶段实现部分商业化；7 月的一份报告称，该公司内部认为 2030 年有望实现大规模生产。
📌💡记录显示，两家存储制造商在 2024 年放进表格的 2026 年在 BESI 的估算中已经变成了一家延后至 2027 年的产量。BESI 人员的演示文稿保留了那句话，只是在其首次插入幻灯片的标题上加上了预计一词。2029 至 2030 年更广泛采用的日期是来自 Counterpoint 等市场研究机构的预测。由于这两个数字来自不同的预测机构和不同的产品，很难把它们对应到单一的生产时间表上，但它们指向了同一个方向：首次使用与广泛采用之间的间隔正在拉长。我花了相当一段时间翻查 2024 年的会议报道填进这张表，结果发现两家公司同时提及 2024 和 2026 年的窗口比我预想的要短。
📌💡在我 9 月 17 日的文章中，我把 Hot Chips 的演讲解读为现有方法将延续到 HBM4E。SK 海力士新闻室的专栏则认为 HBM4E/HBM5 可能是 2027 年，而 BESI 谈到的是一家领先客户将在 2027 年生产 16 层堆叠的 HBM4E。BESI 于 10 月 22 日发布的第三季度业绩应该会初步揭示这两者如何对应。我发布时保留的权重不变。当我再次把这两者加起来时，随着官方采用的间隔正在拉长，这一次判断变得更加确凿，所以我会说，关于延迟期很长这一判断，在某种程度上是正确的。
4. DRAM 重新回到逻辑之上
📌💡圆桌会议的发言者回忆说，第一代 HBM 开发时，客户最初带来的结构是 3D 的，但发热太严重，所以设计退回到了 2.5D。我在第一部分提到过能耗。在那篇 SemiAnalysis 2023 主题演讲中展示的一张幻灯片上，移动比特数据的成本，对于内存模块也就是 DIMM 大约是 12 皮焦，对于置于中介层，也就是将芯片与 HBM 并排放置的中间金属板上的 HBM 大约是 0.5 皮焦。在小组讨论中，我们听到一旦削减 DRAM 与逻辑之间按照约定规范交换信号所用的接口电路 PHY，所消耗的能量会提高效率。自客户方面，如第一部分所详细讲解的那样，客户说自今年春天以来，客户几乎像是约好了一样，开始要求这种结构。
📌💡在台积电 4 月的研讨会上，SK 海力士将 3D 堆叠 DRAM on Logic，也就是将 DRAM 垂直堆叠在逻辑芯片上列入了其路线图，并写道该技术特别适合端侧 AI。我查阅了截至 9 月 28 日的该公司公开材料来给出这种结构的年份。7 月美国向 SEC 提交的最终招股说明书以及此后的 21 份文件中，没有一句完整的话，关于投资于定制基础裸片和面向下一代 HBM 的先进堆叠技术。
📌💡关于 DRAM on Logic 为何困难，圆桌会议的解释比公开材料更为具体。从 HBM4 开始，SK 海力士采用台积电的逻辑工艺制造基础裸片，并用其自有的堆叠技术 MR-MUF 将核心 DRAM 堆叠在上面。发言人称，这更接近一次小改动，即把公司过去自行设计的基础裸片改为由代工厂设计。
📌💡DRAM 堆叠在逻辑芯片上是另一回事。据演讲者称，DRAM 迄今尚未用到逻辑布线所用的低介电常数介质，这种介质比通常逻辑芯片中所用的更低的绝缘膜，工艺设计完全取决于逻辑裸片是朝上还是朝下，两者截然不同，铝焊盘和采用低介电常数材料背后的概念也不一样，因此无法预知会出现什么问题。我们还听说，这只有在与合作伙伴公开信息细化到工艺底层时才可行。
作者声明： 本文转载自第三方，旨在提供资讯参考，并非证券推荐或投资建议。作者对内容的真实性、准确性不承担保证责任。本文不构成任何投资建议或证券推荐。截至发文日，作者与文中提及的标的不存在持仓关系。