SEMICON Japan 2026(12/9~11)에 맞춰 참가 기업의 광고 게재 문의를 받고 있습니다.SEMICON Japan 2026 광고 모집자세히 보기

반도체 용어 · 로직·파운드리

AI 가속기

AI Accelerator, AI 반도체, NPU

뜻


AI 가속기란 머신러닝·딥러닝의 학습(Training)과 추론(Inference)을 빠르고 적은 전력으로 처리하도록 설계된 전용 반도체 칩을 통틀어 이르는 말입니다. 범용 CPU·GPU에 비해 행렬 연산·텐서 연산·희소 연산에 특화된 연산 유닛과 광대역 메모리 인터페이스를 결합해 AI 워크로드의 처리 효율을 크게 높입니다. GPU(NVIDIA H100/B200), 클라우드용 ASIC(Google TPU, AWS Trainium, Microsoft Azure Maia), 엣지용 NPU(Apple Neural Engine, Qualcomm Hexagon)가 주요 분류입니다.

그림 해설


AI 가속기의 종류(GPU·클라우드 ASIC·NPU·FPGA·신방식)
새 탭에서 열기

그림을 클릭하면 그 위치를 확대합니다. 휠로 확대·축소, 드래그로 이동

AI 모델이 커질수록 계산보다 메모리 대역이 성능을 좌우하기 쉽다.

시장 구도와 HBM


AI 가속기 시장은 엔비디아가 압도적인 점유율을 가진 가운데, 구글·아마존·마이크로소프트·메타 등 하이퍼스케일러가 자체 ASIC으로 독자 노선을 넓히고 있습니다. 학습 용도에서는 HBM(고대역폭 메모리)과의 조합이 필수로, NVIDIA H100은 HBM3를 80GB 탑재합니다. 추론 용도에서는 저전력과 소형화가 중요해 엣지 기기에 NPU를 통합하는 것이 주류입니다. 연산 다이와 I/O 다이를 분리하는 칩렛 설계도 확산되고 있습니다.

첨단 패키징과 제조


AI 가속기 제조는 TSMC의 CoWoS(2.5D 실장)·InFO 같은 첨단 패키징 기술과 함께 진화하고 있습니다. TSMC N4/N3 노드로 제조한 GPU 다이를 실리콘 인터포저 위에 HBM과 나란히 배치하는 CoWoS 실장이 고성능 AI 서버의 표준 구성이 되었습니다. 2025~2026년에 걸쳐 Blackwell(엔비디아), Trainium3(AWS), TPU v6(구글)의 대량 생산이 진행되며 TSMC·삼성 파운드리에 대한 수요를 끌어올리고 있습니다.

관련 장비·소재 분류


차이 비교


관련 기업


  • 삼성전자
    한국 · 메모리·파운드리·시스템 반도체

자주 묻는 질문


AI 가속기에는 어떤 종류가 있나요?

NVIDIA H100/B200 같은 GPU, Google TPU·AWS Trainium·Microsoft Azure Maia 같은 클라우드용 ASIC, Apple Neural Engine·Qualcomm Hexagon 같은 엣지용 NPU가 주요 분류입니다.

AI 가속기에 HBM이 필요한 이유는 무엇인가요?

학습 용도에서는 대량의 데이터를 연산 유닛에 빠르게 공급해야 하므로 HBM(고대역폭 메모리)과의 조합이 필수입니다. GPU 다이와 HBM을 실리콘 인터포저 위에 나란히 배치하는 CoWoS 실장이 고성능 AI 서버의 표준 구성입니다.

관련 계산기


관련 용어


  • NPU
    딥러닝 추론에 특화된 전용 프로세서. 스마트폰·PC·차량용 SoC에 내장
  • TPU
    구글이 자체 개발한 AI 학습·추론 전용 ASIC
  • GPU
    수많은 코어로 행렬 연산을 병렬 처리하는 칩. AI 학습·추론의 핵심 연산 장치
  • ASIC
    특정 용도에 특화해 설계·제조한 집적회로. AI 가속기·스마트폰 SoC 등
  • HBM
    DRAM 칩을 TSV로 수직 적층해 대역폭을 크게 높인 AI 가속기용 메모리
  • 칩렛
    기능별 작은 칩을 따로 만들어 한 패키지로 묶는 설계 방식
  • CoWoS
    TSMC의 2.5D 패키징. GPU와 HBM을 인터포저 위에 함께 올린다
  • 첨단 패키징
    여러 칩을 고밀도로 묶어 성능을 끌어올리는 후공정 기술

출처


  1. What is an AI Accelerator?(Synopsys)

최종 업데이트: 2026년 11월 1일