HBM（High Bandwidth Memory，高頻寬記憶體）是以TSV（矽穿孔）將多顆DRAM晶粒垂直堆疊，實現超寬頻記憶體介面的次世代記憶體規格。專為AI GPU與HPC開發，搭載於NVIDIA H100/H200/B100等主要AI處理晶片。與DDR5相比，記憶體頻寬達10倍以上，每單位功耗的頻寬也大幅領先。
本文重點
HBM＝以超寬匯流排（1024bit以上）連接TSV堆疊DRAM晶粒的高頻寬記憶體
針對AI GPU與HPC最佳化—NVIDIA H100搭載80GB HBM3，B100搭載192GB HBM3E
頻寬是DDR5的10倍以上（HBM3E最高1.2TB/s）—大型模型訓練不可或缺
透過TSV與CoWoS或混合鍵合，與GPU晶粒進行2.5D/3D構裝
主要廠商：SK海力士（SK Hynix，領先）、三星（Samsung）、美光（Micron）—其供應左右人工智慧晶片的供需
HBM的原理—以TSV堆疊的DRAM是什麼
HBM的世代比較（HBM2E・HBM3・HBM3E）
HBM2E每1個堆疊的頻寬最高460GB/s，容量16GB。HBM3每1個堆疊最高665GB/s，容量24GB。HBM3E每1個堆疊最高1.2TB/s，容量36GB（NVIDIA H200搭載141GB＝HBM3E×6個堆疊）。次世代HBM4將進一步提升頻寬，並朝在基底晶粒採用先進邏輯製程、使其也具備運算能力的方向開發。
SK海力士・三星・美光的競爭
HBM市場由SK海力士（SK Hynix）領先，在HBM3E世代也是NVIDIA的主要供應商。三星（Samsung）在HBM3E雖屬後進，但正急起直追，美光（Micron）也已開始量產HBM3E。由於AI半導體需求爆發，HBM持續處於慢性供不應求，各公司正加緊擴充產能。