HBM 대역폭·용량 계산기
IC 설계·메모리|모든 계산은 브라우저 안에서 끝나며 입력값은 서버로 전송되지 않습니다.
요점
HBM은 핀 속도가 아니라 '매우 넓은 I/F'로 대역폭을 얻습니다. 스택당 1024bit(HBM4는 2048bit)입니다. 그리고 배치 1의 LLM 추론 속도 상한은 거의 '대역폭 ÷ 가중치 크기'입니다.
HBM 구성 입력
제품 프리셋은 각 사가 공표한 총대역폭과 용량에서 1스택당 핀 속도를 역산해 넣은 것입니다. H200의 141GB처럼 제품의 공칭 용량은 물리 용량보다 조금 작아지는 경우가 있습니다.
LLM 추론의 토큰 생성 속도 (이론 상한)
배치 크기 1의 추론에서는 토큰 1개를 낼 때마다 전체 가중치를 HBM에서 한 번 읽어야 하므로, 속도의 상한은 거의 '대역폭 ÷ 가중치 크기'로 정해집니다. KV 캐시의 읽기나 연산 시간은 포함하지 않은 개산입니다. 배치를 크게 하면 같은 읽기로 여러 사용자 분을 처리할 수 있어 전체 처리량은 올라갑니다.
HBM 세대별 대역폭 빠른 표
| 세대 | 핀 속도 | I/F 폭 | 1스택 대역폭 | 8스택 탑재 시 |
|---|---|---|---|---|
| HBM2E | 3.6 Gbps | 1024 bit | 461 GB/s | 3.69 TB/s |
| HBM3 | 6.4 Gbps | 1024 bit | 819 GB/s | 6.55 TB/s |
| HBM3E | 9.6 Gbps | 1024 bit | 1.23 TB/s | 9.83 TB/s |
| HBM4 | 8 Gbps | 2048 bit | 2.05 TB/s | 16.38 TB/s |
HBM의 대역폭은 어떻게 정해지는가
HBM은 DRAM 다이를 수직으로 쌓고 TSV로 관통 배선해, GPU 옆에 인터포저를 통해 배치하는 메모리입니다. 1스택당 1024개(HBM4는 2048개)라는 매우 넓은 I/F를 가지는 것이 특징이고, 핀 1개의 속도는 GDDR보다 느려도 개수로 자릿수가 다른 대역폭을 얻습니다. GDDR6X는 1칩 32bit로, 21Gbps로 돌려도 1칩당 84GB/s입니다.
대역폭을 늘리는 수단은 핀 속도를 올리기·I/F를 넓히기·스택 수를 늘리기의 세 가지입니다. 스택 수는 GPU 외주의 길이와 인터포저의 크기로 상한이 정해지므로, HBM4에서는 I/F 폭을 2배로 하는 방향이 선택되었습니다.
자주 묻는 질문
HBM의 핀 속도는 왜 GDDR보다 느린가요?
HBM4는 왜 2048bit로 넓혔나요?
토큰 생성 속도가 왜 대역폭으로 정해지나요?
관련 용어
- HBMDRAM 칩을 TSV로 수직 적층해 대역폭을 크게 높인 AI 가속기용 메모리
- HBM3EHBM3를 개량해 2024년 양산이 시작된 고대역폭 메모리로 AI 가속기의 주력 메모리
- HBM4인터페이스를 2048비트로 넓힌 차세대 HBM. 베이스 다이의 로직화가 핵심
- DRAM커패시터에 전하를 저장하는 휘발성 메모리. PC·서버·스마트폰의 작업 메모리
- 3D DRAMDRAM 셀을 수직으로 여러 층 쌓아 용량을 늘리는 차세대 DRAM
- 인터포저여러 칩을 나란히 올려 촘촘한 배선으로 잇는 중간 기판
- CoWoSTSMC의 2.5D 패키징. GPU와 HBM을 인터포저 위에 함께 올린다
- GPU수많은 코어로 행렬 연산을 병렬 처리하는 칩. AI 학습·추론의 핵심 연산 장치
- AI 가속기머신러닝의 학습·추론을 빠르고 효율적으로 처리하도록 설계된 전용 반도체 칩
- GDDR6GPU·AI 가속기용으로 최적화된 그래픽 메모리 규격
- 2.5D 패키징인터포저 위에 여러 다이를 나란히 올려 고밀도로 연결하는 패키징
- 칩렛기능별 작은 칩을 따로 만들어 한 패키지로 묶는 설계 방식
관련 비교
다른 계산기
- Torr⇄Pa 변환 계산기 (압력·진공도 단위)
- 파장⇄에너지(eV) 변환 계산기
- 실리콘 웨이퍼 격자간 산소 농도(Oi) 변환 계산기
- dBm 변환과 VSWR 계산기
- 캐리어 이동도 계산기 (Arora 모델)
- 홀 효과·반 데르 파우법 계산기
- 진성 캐리어 농도·페르미 준위 계산기
- 실리콘 광흡수계수·침투 깊이 계산기
- 접합 온도·열저항 계산기
- LED 전류 제한 저항 계산기
- 가속계수·고장률(FIT) 계산기
- 공핍층 폭·접합 용량 계산기
- 면저항·비저항 계산기 (4점 탐침·농도 환산)
- 전기도금 막두께·석출 속도 계산기
- 웨이퍼 취득 수(Die Per Wafer) 계산기
- 출하 불량률(DPPM)·고장 커버리지 계산기
- 전력 소자의 이론 한계 계산기 (드리프트층·Ron,sp)
- PCIe·CXL 대역폭 계산기 (GT/s ⇄ GB/s)
- 노광 해상도·초점 심도 계산기 (레일리 식)
- 3D NAND 용량·비트 밀도 계산기
- 에칭 시간·오버에치·선택비 계산기
- 타이밍 슬랙 계산기 (셋업·홀드)
- 파셴의 법칙 계산기 (방전 개시 전압)
- 웨이퍼 치수·무게 계산기 (SEMI 공칭값)
- 장비 OEE(종합 효율) 계산기
- 수율 계산기 (Poisson·Murphy·Seeds)
- ADC의 SNR·ENOB 계산기
- 웨이퍼 생산 능력 환산기 (8인치·12인치 환산)
- 메모리 대역폭 계산기 (DDR·LPDDR·GDDR)
- 트랜지스터 밀도 계산기 (MTr/mm²)
- 플라즈마 파라미터 계산기 (디바이 길이·시스)
- 노점·수분 농도 변환기 (ppmv·ppmw)
- CMOS 소비 전력 계산기 (동적·누설·DVFS)
- 클린룸 청정도 계산기 (ISO 14644-1)
- 오버레이·EPE 오차 버짓 계산기
- ALD 사이클 수·성막 시간 계산기
- ALD 단차 피복·노출량 계산기
- ALD 방식별 처리량 비교 계산기
- 사이클 타임·X 팩터 계산기
- 스핀 코트 막두께 계산기
- 포토다이오드 수광 감도·픽셀 S/N 계산기
- MOSFET 문턱 전압 계산기
- 와이블 분석 계산기 (β·η·B 수명)
- MOSFET 드레인 전류(ID–VDS) 계산기
- DC-DC 컨버터(Buck·Boost) 계산기
- 게이트 구동(Qg·Rg) 계산기
- 공정 능력 지수 Cp·Cpk 계산기
- 다이오드 순방향 전압(I–V) 계산기
- 열산화 막두께 계산기 (Deal-Grove)
- 박막 응력·웨이퍼 휨 계산기 (Stoney)
- MOS 커패시터 EOT·C–V 계산기
- 세정 약액 조합(체적비→농도) 계산기
- 진공 배기 시간·배관 컨덕턴스 계산기
- 평균 자유 행정·크누센 수 계산기
- 태양전지 변환 효율 계산기
- 칩 단가(양품 1개당 비용) 계산기
- MFC 가스 환산 계수(GCF) 계산기
- 신뢰성 시험 샘플 수·LTPD 계산기
- 전력 반도체 손실 계산기 (도통·스위칭)
- 격자 부정합·임계 막두께 계산기
- 밀러 지수 계산기 (면간격·회절각)
- 불순물 확산·접합 깊이 계산기
- CMP 제거 속도·균일성 계산기 (Preston)
- 산화막 간섭색·막두께 계산기
- 반도체 단위 환산기 (종합)
- 이온 주입 프로파일(Rp·ΔRp) 계산기
- 배선 RC 지연 계산기 (사이즈 효과 포함)
최종 업데이트: 2026년 11월 15일