TPU
Tensor Processing Unit, 텐서 처리 장치
뜻
TPU(Tensor Processing Unit)는 구글이 2016년에 발표한 자체 개발 AI 학습·추론 전용 ASIC(특정 용도용 집적회로)입니다. 텐서 연산(다차원 배열의 행렬 곱셈)에 최적화된 설계로, GPU보다 높은 전력 효율로 딥러닝 워크로드를 처리합니다. Google Cloud에서 세대 교체를 거듭하며 제공되고 있습니다.
그림 해설
아키텍처
TPU의 아키텍처는 대규모 행렬 곱셈 유닛(MXU: Matrix Multiply Unit)과 고대역폭 메모리(HBM)를 조합한 것입니다. TPU v4는 칩 1개당 약 275TFLOPS의 연산 성능을 가지며, 4096개 칩을 상호 연결한 TPU Pod 시스템에서는 1엑사FLOPS를 넘는 성능을 냅니다. BFloat16(brain floating point) 형식을 채택해 정확도를 유지하면서 연산 효율을 높였습니다. 제조는 TSMC가 맡고 있습니다.
구글의 수직 통합
TPU는 구글 자체 수직 통합 전략의 핵심으로, Gemini·PaLM 같은 대규모 언어 모델(LLM)의 학습·추론에 쓰입니다. 주로 클라우드 서비스로 제공되며, AWS Trainium·Microsoft Azure Maia와 마찬가지로 클라우드 기업이 자체 개발한 ASIC에 속합니다.
관련 장비·소재 분류
차이 비교
관련 기업
- 삼성전자한국 · 메모리·파운드리·시스템 반도체
자주 묻는 질문
TPU와 GPU는 무엇이 다른가요?
GPU는 범용 병렬 연산 프로세서인 반면, TPU는 구글이 텐서 연산(행렬 곱셈)에 최적화해 만든 AI 전용 ASIC입니다. 대규모 행렬 곱셈 유닛(MXU)을 중심으로 설계해, 딥러닝 워크로드를 GPU보다 높은 전력 효율로 처리합니다.
TPU는 어디에서 쓸 수 있나요?
주로 Google Cloud의 클라우드 서비스로 제공됩니다. 구글 내부에서는 Gemini·PaLM 같은 대규모 언어 모델의 학습·추론에 쓰이며, 제조는 TSMC가 맡고 있습니다.
관련 용어
- AI 가속기머신러닝의 학습·추론을 빠르고 효율적으로 처리하도록 설계된 전용 반도체 칩
- NPU딥러닝 추론에 특화된 전용 프로세서. 스마트폰·PC·차량용 SoC에 내장
- GPU수많은 코어로 행렬 연산을 병렬 처리하는 칩. AI 학습·추론의 핵심 연산 장치
- ASIC특정 용도에 특화해 설계·제조한 집적회로. AI 가속기·스마트폰 SoC 등
- HBMDRAM 칩을 TSV로 수직 적층해 대역폭을 크게 높인 AI 가속기용 메모리
- 머신러닝명시적 프로그램 없이 데이터에서 패턴을 학습해 예측·분류·생성을 하는 AI 기법
- 칩렛기능별 작은 칩을 따로 만들어 한 패키지로 묶는 설계 방식
- FLOPS1초에 처리하는 부동소수점 연산 횟수로 나타낸 성능 지표
출처
- Cloud TPU の概要(Google Cloud)
최종 업데이트: 2026년 11월 1일