CPU와 GPU의 차이
CPU(Central Processing Unit)는 소수의 고성능 코어로 복잡한 순차 처리를 맡는 범용 연산의 사령탑이고, GPU(Graphics Processing Unit)는 많은 작은 코어로 단순 연산을 대규모 병렬로 실행하는 대량 데이터 처리의 전문가입니다. AI의 보급으로 GPU의 역할이 그래픽을 넘어 데이터센터 AI 학습의 중심으로 커졌습니다.
결론
CPU와 GPU의 가장 큰 차이는 코어의 수와 설계 사상입니다. CPU는 크고 복잡한 제어 회로를 가진 고성능 코어를 수 개~100여 개 갖추고 순차 처리, 조건 분기, OS와 애플리케이션 전반의 범용 작업을 맡으며, 대용량 캐시로 지연을 줄입니다. GPU는 수천 개 이상의 작은 코어로 행렬·텐서 연산을 대규모 병렬로 실행하고, HBM이나 GDDR로 넓은 메모리 대역을 확보합니다. AI 학습의 중심은 GPU입니다.
비교표
| 항목 | CPU | GPU |
|---|---|---|
| 코어 구성 | 크고 복잡한 고성능 코어 수 개~100여 개 | 수천 개 이상의 작은 코어 |
| 잘하는 처리 | 순차 처리·조건 분기·OS와 앱 전반의 범용 작업 | 행렬·텐서 연산, 영상 처리 등 대규모 병렬 연산 |
| 캐시 | 대용량 L1·L2·L3 캐시(지연 최소화) | 작지만 대역이 넓은 공유 메모리와 L2 캐시 |
| 메모리 접속 | DDR5·LPDDR5 등 | HBM·GDDR(AI 서버용은 HBM) |
| AI 학습에서의 역할 | 보조(데이터 전처리·스케줄링) | 주역 |
| 다이 크기 | 상대적으로 작음 | 데이터센터용은 매우 큰 다이가 많고 CoWoS 등 첨단 패키징과 조합 |
| 대표 제품 | 인텔 Core·Xeon, AMD Ryzen·EPYC, 애플 M 시리즈 | NVIDIA H100·B200, AMD Instinct |
CPU와 GPU의 역할 분담: 이종 컴퓨팅
현대 컴퓨터는 CPU와 GPU를 조합한 이종(헤테로지니어스) 컴퓨팅이 표준입니다. CPU는 OS 관리, 작업 스케줄링, 복잡한 로직을 맡고, GPU·NPU는 AI 추론·영상 처리·과학 계산처럼 병렬성이 높은 작업을 넘겨받아 처리합니다. 스마트폰 SoC에서는 CPU·GPU·NPU·DSP를 한 칩에 집적합니다.
AI 시대의 GPU와 NPU·ASIC
딥러닝의 확산으로 GPU의 중요성이 크게 높아졌습니다. 한편 구글(TPU), 아마존(Trainium), 마이크로소프트(Maia) 등 주요 클라우드 기업은 GPU 의존을 줄이기 위해 AI 전용 ASIC을 자체 개발하고 있습니다. 스마트폰에서는 GPU와 별도로 NPU를 AI 전용 코어로 탑재하는 것이 표준이 되었습니다.
자주 묻는 질문
AI 추론에는 CPU와 GPU 중 어느 쪽이 맞나요?
대규모 AI 모델의 추론에는 GPU나 전용 AI 가속기(NPU·ASIC)가 맞습니다. CPU로도 가벼운 모델은 추론할 수 있지만, 전력당 성능에서 크게 뒤집니다.
CPU와 GPU는 같은 공장에서 만들어지나요?
많은 경우 같은 파운드리의 선단 노드를 쓰지만, 다이 크기와 제조 비용이 크게 다릅니다. 데이터센터용 GPU는 다이가 매우 커서 CoWoS 같은 첨단 패키징과 HBM을 함께 씁니다.
CPU와 GPU를 한 칩에 넣을 수 있나요?
네. 스마트폰 SoC나 PC용 프로세서처럼 CPU와 GPU를 한 칩에 집적한 제품이 많습니다. 데이터센터에서는 CPU와 GPU를 별도 칩으로 두고 고속 인터커넥트로 연결하는 구성이 일반적입니다.
관련 용어
로직·파운드리 비교 더 보기
- TSMC와 삼성 파운드리의 차이
- FinFET과 GAA의 차이
- HKMG와 폴리실리콘 게이트의 차이
- 3nm 공정과 5nm 공정의 차이
- CFET와 GAA의 차이
- 인텔 18A와 TSMC N2의 차이
- 후면 전력 공급과 전면 전력 배선의 차이
- 팹리스와 파운드리의 차이
- LOCOS와 STI(소자 분리)의 차이
- 쇼트키 배리어 다이오드와 pn 접합 다이오드의 차이
- 애벌랜치 포토다이오드(APD)와 포토다이오드의 차이
- LED(발광 다이오드)와 레이저 다이오드의 차이
- BiCMOS와 CMOS의 차이
- MPW(멀티 프로젝트 웨이퍼)와 전용 마스크의 차이
- 바이폴라와 유니폴라의 차이(바이폴라 트랜지스터와 MOSFET)
- 집적 회로(IC)와 반도체의 차이
- 사이리스터와 트랜지스터의 차이
- 터널 FET과 MOSFET의 차이
- 로직 공정과 메모리 공정의 차이
- FinFET과 FD-SOI의 차이
- ASIC과 FPGA의 차이
- TSMC와 인텔 파운드리의 차이
- RISC-V와 ARM의 차이
- GPU와 NPU의 차이
- GPU와 ASIC의 차이
- CMOS 이미지 센서와 CCD의 차이
- DRC와 LVS의 차이
- 엔티티 리스트와 해외 직접 제품 규칙(FDPR)의 차이
- LDO와 DC-DC 컨버터의 차이
출처
- 半導体用語集:CPU(東京エレクトロン nanotec museum)
- What is a GPU?(Arm)
최종 업데이트: 2026년 11월 12일