高带宽内存的技术演变与未来展望

在Hot Chips大会上，三星与SK海力士达成共识，认为GPU、内存、晶圆代工及封装应以系统化的方式进行设计。这一决定使得两家公司的发展路径开始出现分歧。三星正在积极将其基础芯片改造为系统中更加动态的组成部分，计划将内存控制器移至逻辑基础芯片上，这样可以释放出5%至10%的GPU面积，从而为更多的计算功能提供空间，并有望提升10%到20%的性能。基础芯片上也可以选择性地执行AI运算，进而减少数据的移动。长期来看，三星正在推进一种新技术——zHBM，其优势在于能够直接堆叠GPU与DRAM，预计能将DRAM的功耗减少约70%，同时带宽增加超过一倍。相比之下，SK海力士则致力于更高堆叠的设计，并应对由此带来的热量及翘曲问题。目前，HBM4的12层堆叠已进入生产，而16层版本正在客户验证中。混合键合技术为超过20层的堆叠提供了可能，这种方法使用了更厚的芯片和更紧凑的间隔。同时，SK海力士在堆叠热区内部引入了专用的热传导路径，说明这场竞争已不仅仅是带宽和容量的较量，基础芯片架构和高级封装正在成为核心竞争领域。

在2026年的Hot Chips演讲中，三星电子首次展示了zHBM，标志着高带宽内存的重大进化。这一新概念舍弃了中介层，将DRAM垂直堆叠于GPU等计算芯片之上，形成真正的3D集成结构，目标是将DRAM功耗降低70%，而带宽比HBM4E提高2.3倍。三星规划了一个三阶段的开发路线图，旨在将基础芯片从被动的数据传输通道转变为主动的计算合作伙伴。在第一阶段，内存控制器将从xPU迁移至基础芯片，以优化硅片的面积；第二阶段将对基础芯片增添内存扩展及注意力计算功能；最终，第三阶段将实现zHBM的全面应用。

接下来，我们来探讨三星的具体方案。在演讲期间，他们展示了一些图表，描绘了HBM5的规格趋势。尽管尚未最终确定，但右上角的图表显示，容量达60GB、带宽为6TB/s的HBM5固态硬盘设计相当惊人。通过简单计算，6TB/s的带宽对应2048条通道，意味着每个引脚的传输速率可达到23.5Gbps，而当前的先进速度为16Gbps，显示出一个巨大的飞跃；利用先进的逻辑节点技术，达到这一目标的可能性很大。如果每个芯片的容量为3GB，那么整体的堆叠高度将为20层。在另一张幻灯片中，三星确认HBM4E的单引脚传输速率确实为16Gbps，进一步验证了对HBM5的预测和计算结果。

三星显而易见的优势在于其自主研发的逻辑芯片，而美光和SK海力士则需依赖外部合作伙伴。三星强调了这一自身优势，并指出定制芯片的重要性。通过采用1C工艺制造内存和4nm工艺制造逻辑芯片，三星显著降低了芯片的功耗。值得注意的是，三星在展示中略带讽刺地提到，美光在HBM4内存芯片中使用的逻辑芯片是在DRAM工艺下制造的。

更有趣的是，三星将其产品的开发路线图清晰地划分为三个阶段。第一阶段是取得容易实现的成果，当基片内存使用逻辑节点时，HBM PHY模块的物理面积会减小，从而提升能效。这将使得连接HBM与XPU的芯片间模块尺寸变小，带来两个主要优势：增加XPU中的计算面积，以及提升HBM基片的功能空间。同时，尽管尺寸变小，热密度却可能变高。三星还展示了不同代HBM中PHY模块的实际尺寸，以此进行对比。

三星还指出，他们不倾向于在D2D链路上使用UCIe，因为其尺寸相对较大且每比特的能耗更高。他们坚信自己定制的PHY实现方案在性能上具有更为优越的表现。在向HBM5过渡的过程中，展示了集成热路径块（HPB）的概念，用于冷却D2D PHY区域。另一个显著的优势是内存控制器的卸载，可以将其从XPU转移到定制的基础芯片上，这样便释放了XPU上的空间，以容纳更多的浮点运算处理器。

在第二阶段，利用逻辑节点作为基片的好处在于，当晶体管尺寸减小时，较小硅面积能够支持多种功能，包括提升可修复性、可用性、可维护性（RAS）、测试以及收集有关HBM内存堆栈健康状况的数据。由于HBM遥测数据常导致训练失败，相关遥测数据无疑具有重要价值。如果还有冗余的硅面积，则可以新增一个内存扩展控制器，以在第一个HBM堆栈后接入另一个堆栈或额外的DRAM芯片，完成内存的扩展。最后，既然逻辑晶体管已可利用，为何不在基片上集成一些计算功能呢？