AI 가속기
AI Accelerator, AI 반도체, NPU
뜻
AI 가속기란 머신러닝·딥러닝의 학습(Training)과 추론(Inference)을 빠르고 적은 전력으로 처리하도록 설계된 전용 반도체 칩을 통틀어 이르는 말입니다. 범용 CPU·GPU에 비해 행렬 연산·텐서 연산·희소 연산에 특화된 연산 유닛과 광대역 메모리 인터페이스를 결합해 AI 워크로드의 처리 효율을 크게 높입니다. GPU(NVIDIA H100/B200), 클라우드용 ASIC(Google TPU, AWS Trainium, Microsoft Azure Maia), 엣지용 NPU(Apple Neural Engine, Qualcomm Hexagon)가 주요 분류입니다.
그림 해설
시장 구도와 HBM
AI 가속기 시장은 엔비디아가 압도적인 점유율을 가진 가운데, 구글·아마존·마이크로소프트·메타 등 하이퍼스케일러가 자체 ASIC으로 독자 노선을 넓히고 있습니다. 학습 용도에서는 HBM(고대역폭 메모리)과의 조합이 필수로, NVIDIA H100은 HBM3를 80GB 탑재합니다. 추론 용도에서는 저전력과 소형화가 중요해 엣지 기기에 NPU를 통합하는 것이 주류입니다. 연산 다이와 I/O 다이를 분리하는 칩렛 설계도 확산되고 있습니다.
첨단 패키징과 제조
AI 가속기 제조는 TSMC의 CoWoS(2.5D 실장)·InFO 같은 첨단 패키징 기술과 함께 진화하고 있습니다. TSMC N4/N3 노드로 제조한 GPU 다이를 실리콘 인터포저 위에 HBM과 나란히 배치하는 CoWoS 실장이 고성능 AI 서버의 표준 구성이 되었습니다. 2025~2026년에 걸쳐 Blackwell(엔비디아), Trainium3(AWS), TPU v6(구글)의 대량 생산이 진행되며 TSMC·삼성 파운드리에 대한 수요를 끌어올리고 있습니다.
관련 장비·소재 분류
차이 비교
관련 기업
- 삼성전자한국 · 메모리·파운드리·시스템 반도체
자주 묻는 질문
AI 가속기에는 어떤 종류가 있나요?
NVIDIA H100/B200 같은 GPU, Google TPU·AWS Trainium·Microsoft Azure Maia 같은 클라우드용 ASIC, Apple Neural Engine·Qualcomm Hexagon 같은 엣지용 NPU가 주요 분류입니다.
AI 가속기에 HBM이 필요한 이유는 무엇인가요?
학습 용도에서는 대량의 데이터를 연산 유닛에 빠르게 공급해야 하므로 HBM(고대역폭 메모리)과의 조합이 필수입니다. GPU 다이와 HBM을 실리콘 인터포저 위에 나란히 배치하는 CoWoS 실장이 고성능 AI 서버의 표준 구성입니다.
관련 계산기
관련 용어
- NPU딥러닝 추론에 특화된 전용 프로세서. 스마트폰·PC·차량용 SoC에 내장
- TPU구글이 자체 개발한 AI 학습·추론 전용 ASIC
- GPU수많은 코어로 행렬 연산을 병렬 처리하는 칩. AI 학습·추론의 핵심 연산 장치
- ASIC특정 용도에 특화해 설계·제조한 집적회로. AI 가속기·스마트폰 SoC 등
- HBMDRAM 칩을 TSV로 수직 적층해 대역폭을 크게 높인 AI 가속기용 메모리
- 칩렛기능별 작은 칩을 따로 만들어 한 패키지로 묶는 설계 방식
- CoWoSTSMC의 2.5D 패키징. GPU와 HBM을 인터포저 위에 함께 올린다
- 첨단 패키징여러 칩을 고밀도로 묶어 성능을 끌어올리는 후공정 기술
출처
- What is an AI Accelerator?(Synopsys)
최종 업데이트: 2026년 11월 1일