Calculator
HBM 頻寬・容量計算工具
IC 設計・記憶體|所有計算都在瀏覽器內完成,輸入值不會傳送到伺服器。
重點
HBM 靠「極寬的 I/F」而不是腳位速度取得頻寬:每堆疊 1024bit(HBM4 為 2048bit)。而 LLM 推論在批次 1 時的速度上限幾乎就是「頻寬 ÷ 權重大小」。
HBM 組態輸入
總記憶體頻寬9.83 TB/s
每個堆疊的頻寬1.23 TB/s
總容量(物理)288GB
每個堆疊的容量36GB
產品預設組合是從各家公開的總頻寬與容量,反推每個堆疊的腳位速度填進去的。像 H200 的 141GB 一樣,產品的標稱容量有時會比物理容量略小。
LLM 推論的 token 生成速度(理論上限)
單一使用者的生成速度上限49.2token/秒
權重的大小140GB
是否放得進 HBM 容量放得進
批次大小 1 的推論,每產生一個 token 都要把全部權重從 HBM 讀一次,所以速度上限幾乎等於「頻寬 ÷ 權重大小」。這是不含 KV cache 讀取與運算時間的概估。把批次加大後,同一次讀取能處理多位使用者,整體產出會提高。
HBM 各世代頻寬速查表
| 世代 | 腳位速度 | I/F 寬度 | 每堆疊頻寬 | 搭載 8 堆疊時 |
|---|---|---|---|---|
| HBM2E | 3.6 Gbps | 1024 bit | 461 GB/s | 3.69 TB/s |
| HBM3 | 6.4 Gbps | 1024 bit | 819 GB/s | 6.55 TB/s |
| HBM3E | 9.6 Gbps | 1024 bit | 1.23 TB/s | 9.83 TB/s |
| HBM4 | 8 Gbps | 2048 bit | 2.05 TB/s | 16.38 TB/s |
HBM 的頻寬是怎麼決定的
HBM 是把 DRAM 晶粒垂直堆疊、用 TSV 貫穿佈線,再透過中介層排在 GPU 旁邊的記憶體。特徵是每個堆疊有 1024 條(HBM4 是 2048 條)極寬的 I/F,即使單腳速度比 GDDR 慢,靠條數也能取得完全不同量級的頻寬。GDDR6X 單顆 32bit,即使跑到 21Gbps,單顆也只有 84GB/s。
要增加頻寬有三個手段:提高腳位速度、加寬 I/F、增加堆疊數。堆疊數受 GPU 外周長度與中介層尺寸限制,所以 HBM4 選擇把 I/F 寬度加倍的方向。
常見問題
為什麼 HBM 的腳位速度比 GDDR 慢?
靠 1024/2048bit 的寬度取勝,所以不必把單腳拉到極限,功耗效率反而更好。GDDR6X 單顆只有 32bit。
HBM4 為什麼加寬到 2048bit?
堆疊數受 GPU 外周長度與中介層尺寸限制,再加堆疊有物理上限,所以改走加寬 I/F 的路。
token 生成速度為什麼由頻寬決定?
批次 1 的推論每出一個 token 都要把全部權重讀一遍,所以是記憶體頻寬受限而不是算力受限。
相關用語
所屬主題
其他IC 設計・記憶體工具
其他計算工具
- 製程能力指數 Cp・Cpk 計算工具
- 晶圓可取晶粒數(Die Per Wafer)計算工具
- 良率計算工具(缺陷密度模型)
- MOSFET 臨界電壓(Vth)計算工具
- 米勒指數・晶面間距・晶面夾角計算工具
- 電漿參數計算工具(德拜長度・鞘層)
- 帕邢定律(放電起始電壓)計算工具
- 薄膜應力・晶圓翹曲計算工具(Stoney 公式)
- 晶圓重量・面積・厚度計算工具
- 露點 ⇔ 水分濃度(ppm)換算工具
- 平均自由徑(真空)計算工具
- 可靠度試驗樣本數・LTPD 計算工具
- 無塵室潔淨度等級計算工具(ISO 14644-1)
- Torr⇄Pa 換算工具(壓力・真空度單位)
- 波長⇄能量(eV)換算工具
- 矽晶圓間隙氧濃度(Oi)換算工具
- dBm 換算與 VSWR 計算工具
- 載子遷移率計算工具(Arora 模型)
- 霍爾效應・凡德堡法計算工具
- 本質載子濃度・費米能階計算工具
- 矽的光吸收係數・穿透深度計算工具
- 接面溫度・熱阻計算工具
- LED 限流電阻計算工具
- 加速係數・故障率(FIT)計算工具
- 空乏層寬度・接面電容計算工具
- 片電阻・電阻率計算工具(四點探針・濃度換算)
- 電鍍膜厚・析出速率計算工具
- 出貨不良率(DPPM)・故障覆蓋率計算工具
- 功率元件的理論極限計算工具(漂移層・Ron,sp)
- 曝光解析度・焦深計算工具(雷利公式)
- 蝕刻時間・過蝕・選擇比計算工具
- 設備 OEE(整體設備效率)計算工具
- ADC 的 SNR・ENOB 計算工具
- 晶圓產能換算工具(8 吋・12 吋換算)
- CMOS 功耗計算工具(動態・漏電・DVFS)
- 疊對・EPE 誤差預算計算工具
- ALD 循環數・成膜時間計算工具
- ALD 階梯覆蓋・曝露量計算工具
- ALD 方式產出率比較工具
- 週期時間・X factor 計算工具
- 旋塗(spin coat)膜厚計算工具
- 光二極體響應度・畫素 S/N 計算工具
- 韋布爾分析工具(β・η・B 壽命)
- MOSFET 汲極電流(ID–VDS)計算工具
- DC-DC 轉換器(Buck・Boost)計算工具
- 閘極驅動(Qg・Rg)計算工具
- 二極體順向電壓(I–V)計算工具
- 熱氧化膜厚計算工具(Deal-Grove)
- MOS 電容 EOT・C–V 計算工具
- 洗淨藥液調配(體積比→濃度)計算工具
- 真空抽氣時間・管路導流計算工具
- 太陽電池變換效率計算工具
- 晶片單價(每顆良品成本)計算工具
- MFC 氣體換算係數(GCF)計算工具
- 功率半導體損耗計算工具(導通・切換)
- 晶格不匹配・臨界厚度計算工具
- 雜質擴散・接面深度計算工具
- CMP 移除速率・均勻性計算工具(Preston)
- 氧化層干涉色・膜厚計算工具
- 半導體單位換算工具(總合)
- 離子佈植分布(Rp・ΔRp)計算工具
最後更新:2026年11月15日