HBM帯域幅計算ツール（GPUのメモリ帯域・容量）
要点
HBMの1スタック帯域は「ピン速度 × I/F幅 ÷ 8」で、HBM3E（9.6Gbps・1024bit）なら約1.2TB/s、HBM4（8Gbps・2048bit）なら約2TB/sです。GPUの総帯域はこれにスタック数を掛けた値になります。バッチ1のLLM推論では1トークンごとに全重みを読むため、生成速度の上限はほぼ「帯域 ÷ 重みサイズ」で決まります。
HBM構成の入力
総メモリ帯域9.83 TB/s
1スタックの帯域1.23 TB/s
総容量（物理）288GB
1スタックの容量36GB
製品プリセットは各社が公表している総帯域と容量から、1スタックあたりのピン速度を逆算して入れています。H200の141GBのように、製品の公称容量は物理容量より少し小さくなることがあります。
LLM推論のトークン生成速度（理論上限）
1ユーザーあたりの生成速度の上限49.2トークン/秒
重みのサイズ140GB
HBM容量に収まるか収まる
バッチサイズ1の推論では、1トークンを出すたびに全重みをHBMから1回読み出すため、速度の上限はほぼ「帯域 ÷ 重みサイズ」で決まります。KVキャッシュの読み出しや演算時間は含まない概算です。バッチを大きくすると同じ読み出しで複数ユーザー分を処理できるので、全体のスループットは上がります。
HBM世代別の帯域早見表
| 世代 | ピン速度 | I/F幅 | 1スタック帯域 | 8スタック搭載時 |
|---|---|---|---|---|
| HBM2E | 3.6 Gbps | 1024 bit | 461 GB/s | 3.69 TB/s |
| HBM3 | 6.4 Gbps | 1024 bit | 819 GB/s | 6.55 TB/s |
| HBM3E | 9.6 Gbps | 1024 bit | 1.23 TB/s | 9.83 TB/s |
| HBM4 | 8 Gbps | 2048 bit | 2.05 TB/s | 16.38 TB/s |
HBMの帯域はどう決まるか
HBMは、DRAMダイを縦に積んでTSVで貫通配線し、GPUの横にインターポーザ経由で並べるメモリです。1スタックあたり1024本（HBM4では2048本）という非常に広いI/Fを持つのが特徴で、ピン1本の速度はGDDRより遅くても、本数の多さで桁違いの帯域を得ています。GDDR6Xは1チップ32bitで、21Gbpsで動かしても1チップ84GB/sです。
帯域を増やす手段は、ピン速度を上げる・I/Fを広げる・スタック数を増やすの3つです。スタック数はGPUの外周の長さとインターポーザの大きさで上限が決まるため、HBM4ではI/F幅を2倍にする方向が選ばれました。
関連する用語
- HBM（高帯域幅メモリ）High Bandwidth Memory
- HBM3E（第3.5世代高帯域幅メモリ）High Bandwidth Memory 3E
- HBM4（第4世代高帯域幅メモリ）High Bandwidth Memory 4
- DRAM（ダイナミックRAM）DRAM (Dynamic Random-Access Memory)
- TSV（貫通シリコンビア）Through-Silicon Via
- インターポーザーInterposer
- GPU（グラフィックス処理ユニット）Graphics Processing Unit
- AIアクセラレータAI Accelerator
- 2.5Dパッケージング2.5D Packaging
- 先進パッケージングAdvanced Packaging