配合 SEMICON Japan 2026(12/9–11),我們正在受理參展企業的廣告刊登洽詢。SEMICON Japan 2026 廣告招募了解詳情

Calculator

HBM 頻寬・容量計算工具

IC 設計・記憶體|所有計算都在瀏覽器內完成,輸入值不會傳送到伺服器。

重點

HBM 靠「極寬的 I/F」而不是腳位速度取得頻寬:每堆疊 1024bit(HBM4 為 2048bit)。而 LLM 推論在批次 1 時的速度上限幾乎就是「頻寬 ÷ 權重大小」。

HBM 組態輸入

總記憶體頻寬9.83 TB/s
每個堆疊的頻寬1.23 TB/s
總容量(物理)288GB
每個堆疊的容量36GB

產品預設組合是從各家公開的總頻寬與容量,反推每個堆疊的腳位速度填進去的。像 H200 的 141GB 一樣,產品的標稱容量有時會比物理容量略小。

LLM 推論的 token 生成速度(理論上限)

單一使用者的生成速度上限49.2token/秒
權重的大小140GB
是否放得進 HBM 容量放得進

批次大小 1 的推論,每產生一個 token 都要把全部權重從 HBM 讀一次,所以速度上限幾乎等於「頻寬 ÷ 權重大小」。這是不含 KV cache 讀取與運算時間的概估。把批次加大後,同一次讀取能處理多位使用者,整體產出會提高。

HBM 各世代頻寬速查表

各世代以代表性的最高腳位速度計算。HBM4 採 JEDEC 規格值(2048bit・8Gbps),各家廠商正在開發超過這個速度的產品
世代腳位速度I/F 寬度每堆疊頻寬搭載 8 堆疊時
HBM2E3.6 Gbps1024 bit461 GB/s3.69 TB/s
HBM36.4 Gbps1024 bit819 GB/s6.55 TB/s
HBM3E9.6 Gbps1024 bit1.23 TB/s9.83 TB/s
HBM48 Gbps2048 bit2.05 TB/s16.38 TB/s

HBM 的頻寬是怎麼決定的

HBM 是把 DRAM 晶粒垂直堆疊、用 TSV 貫穿佈線,再透過中介層排在 GPU 旁邊的記憶體。特徵是每個堆疊有 1024 條(HBM4 是 2048 條)極寬的 I/F,即使單腳速度比 GDDR 慢,靠條數也能取得完全不同量級的頻寬。GDDR6X 單顆 32bit,即使跑到 21Gbps,單顆也只有 84GB/s。

要增加頻寬有三個手段:提高腳位速度、加寬 I/F、增加堆疊數。堆疊數受 GPU 外周長度與中介層尺寸限制,所以 HBM4 選擇把 I/F 寬度加倍的方向。

常見問題

為什麼 HBM 的腳位速度比 GDDR 慢?
靠 1024/2048bit 的寬度取勝,所以不必把單腳拉到極限,功耗效率反而更好。GDDR6X 單顆只有 32bit。
HBM4 為什麼加寬到 2048bit?
堆疊數受 GPU 外周長度與中介層尺寸限制,再加堆疊有物理上限,所以改走加寬 I/F 的路。
token 生成速度為什麼由頻寬決定?
批次 1 的推論每出一個 token 都要把全部權重讀一遍,所以是記憶體頻寬受限而不是算力受限。

相關用語


所屬主題


其他IC 設計・記憶體工具


其他計算工具


最後更新:2026年11月15日