SEMICON Japan 2026(12/9~11)에 맞춰 참가 기업의 광고 게재 문의를 받고 있습니다.SEMICON Japan 2026 광고 모집자세히 보기

계산기

HBM 대역폭·용량 계산기

IC 설계·메모리|모든 계산은 브라우저 안에서 끝나며 입력값은 서버로 전송되지 않습니다.

요점

HBM은 핀 속도가 아니라 '매우 넓은 I/F'로 대역폭을 얻습니다. 스택당 1024bit(HBM4는 2048bit)입니다. 그리고 배치 1의 LLM 추론 속도 상한은 거의 '대역폭 ÷ 가중치 크기'입니다.

HBM 구성 입력

총 메모리 대역폭9.83 TB/s
1스택의 대역폭1.23 TB/s
총용량 (물리)288GB
1스택의 용량36GB

제품 프리셋은 각 사가 공표한 총대역폭과 용량에서 1스택당 핀 속도를 역산해 넣은 것입니다. H200의 141GB처럼 제품의 공칭 용량은 물리 용량보다 조금 작아지는 경우가 있습니다.

LLM 추론의 토큰 생성 속도 (이론 상한)

사용자 1명당 생성 속도의 상한49.2토큰/초
가중치의 크기140GB
HBM 용량에 들어가는가들어간다

배치 크기 1의 추론에서는 토큰 1개를 낼 때마다 전체 가중치를 HBM에서 한 번 읽어야 하므로, 속도의 상한은 거의 '대역폭 ÷ 가중치 크기'로 정해집니다. KV 캐시의 읽기나 연산 시간은 포함하지 않은 개산입니다. 배치를 크게 하면 같은 읽기로 여러 사용자 분을 처리할 수 있어 전체 처리량은 올라갑니다.

HBM 세대별 대역폭 빠른 표

각 세대의 대표적인 최대 핀 속도로 계산한 값. HBM4는 JEDEC 규격값(2048bit·8Gbps)이며, 제조사들은 이를 넘는 속도를 개발하고 있다
세대핀 속도I/F 폭1스택 대역폭8스택 탑재 시
HBM2E3.6 Gbps1024 bit461 GB/s3.69 TB/s
HBM36.4 Gbps1024 bit819 GB/s6.55 TB/s
HBM3E9.6 Gbps1024 bit1.23 TB/s9.83 TB/s
HBM48 Gbps2048 bit2.05 TB/s16.38 TB/s

HBM의 대역폭은 어떻게 정해지는가

HBM은 DRAM 다이를 수직으로 쌓고 TSV로 관통 배선해, GPU 옆에 인터포저를 통해 배치하는 메모리입니다. 1스택당 1024개(HBM4는 2048개)라는 매우 넓은 I/F를 가지는 것이 특징이고, 핀 1개의 속도는 GDDR보다 느려도 개수로 자릿수가 다른 대역폭을 얻습니다. GDDR6X는 1칩 32bit로, 21Gbps로 돌려도 1칩당 84GB/s입니다.

대역폭을 늘리는 수단은 핀 속도를 올리기·I/F를 넓히기·스택 수를 늘리기의 세 가지입니다. 스택 수는 GPU 외주의 길이와 인터포저의 크기로 상한이 정해지므로, HBM4에서는 I/F 폭을 2배로 하는 방향이 선택되었습니다.

자주 묻는 질문

HBM의 핀 속도는 왜 GDDR보다 느린가요?
1024/2048bit의 폭으로 승부하므로 핀 하나를 극한까지 밀 필요가 없고, 전력 효율도 오히려 좋습니다. GDDR6X는 1칩 32bit뿐입니다.
HBM4는 왜 2048bit로 넓혔나요?
스택 수는 GPU 외주 길이와 인터포저 크기로 물리적 상한이 있어, 더 쌓는 대신 I/F를 넓히는 길을 택했습니다.
토큰 생성 속도가 왜 대역폭으로 정해지나요?
배치 1의 추론은 토큰 하나를 낼 때마다 전체 가중치를 한 번 읽으므로, 연산이 아니라 메모리 대역폭에 묶이기 때문입니다.

관련 용어


  • HBM
    DRAM 칩을 TSV로 수직 적층해 대역폭을 크게 높인 AI 가속기용 메모리
  • HBM3E
    HBM3를 개량해 2024년 양산이 시작된 고대역폭 메모리로 AI 가속기의 주력 메모리
  • HBM4
    인터페이스를 2048비트로 넓힌 차세대 HBM. 베이스 다이의 로직화가 핵심
  • DRAM
    커패시터에 전하를 저장하는 휘발성 메모리. PC·서버·스마트폰의 작업 메모리
  • 3D DRAM
    DRAM 셀을 수직으로 여러 층 쌓아 용량을 늘리는 차세대 DRAM
  • 인터포저
    여러 칩을 나란히 올려 촘촘한 배선으로 잇는 중간 기판
  • CoWoS
    TSMC의 2.5D 패키징. GPU와 HBM을 인터포저 위에 함께 올린다
  • GPU
    수많은 코어로 행렬 연산을 병렬 처리하는 칩. AI 학습·추론의 핵심 연산 장치
  • AI 가속기
    머신러닝의 학습·추론을 빠르고 효율적으로 처리하도록 설계된 전용 반도체 칩
  • GDDR6
    GPU·AI 가속기용으로 최적화된 그래픽 메모리 규격
  • 2.5D 패키징
    인터포저 위에 여러 다이를 나란히 올려 고밀도로 연결하는 패키징
  • 칩렛
    기능별 작은 칩을 따로 만들어 한 패키지로 묶는 설계 방식

관련 비교


다른 계산기


최종 업데이트: 2026년 11월 15일