結論：CPUとGPUの違いは？
CPUとGPUの最大の違いは「コアの数と設計思想」です。CPUは大型で複雑な制御回路を持つ高性能コアを4〜128個備え、逐次処理・条件分岐・OSやアプリ全般の汎用タスクを担い、大容量のL1/L2/L3キャッシュで遅延を最小化します。GPUは数千〜数万の小型コアで行列・テンソル演算を超並列実行し、HBM3やGDDR6Xで1〜3TB/sの帯域を確保します。AI学習の中核を担うのはGPUです。
比較表
| 観点 | CPU | GPU |
|---|---|---|
| コア数・構成 | 高性能コア4〜128個（大型・複雑な制御回路付き） | 数千〜数万の小型コア（CUDA Core・Streaming Multiprocessor等） |
| 得意な処理 | 逐次処理・条件分岐・OS/アプリ全般の汎用タスク | 行列演算・テンソル演算・画像処理などの超並列演算 |
| キャッシュ構成 | 大容量L1/L2/L3キャッシュ（遅延最小化重視） | 小容量だが高帯域のShared Memory・L2キャッシュ |
| メモリ接続 | DDR5・LPDDR5（帯域幅：100〜200GB/s級） | HBM3/GDDR6X（帯域幅：1〜3TB/s、AIサーバー向け） |
| TDP（熱設計電力） | 65〜350W程度（サーバー向け最大350W） | 300〜700W（NVIDIA H100 SXM：700W、B200：1000W超） |
| AI学習性能 | 補助的役割（データ前処理・スケジューリング） | 主役（H100：2000TOPS、B200：4500TOPS） |
| 製造プロセス例 | Intel Core Ultra（Intel 4nm）、AMD Ryzen（TSMC 4nm） | NVIDIA H100（TSMC 4nm）、AMD MI300X（TSMC 5nm） |
| 代表製品 | Intel Core Ultra・Xeon、AMD Ryzen・EPYC、Apple M-series | NVIDIA H100/B200、AMD Instinct MI300X、Intel Gaudi3 |
CPUとGPUの役割分担：ヘテロジニアスコンピューティング
現代のコンピューティングシステムでは、CPUとGPUを組み合わせた「ヘテロジニアス（異種）コンピューティング」が標準となっています。CPUはOSの管理・タスクスケジューリング・複雑なビジネスロジックを担い、GPU/NPUはAI推論・画像処理・科学計算など並列性の高いワークロードをオフロードして処理します。AIサーバーでは1台のサーバーにCPU×2＋GPU×8という構成が一般的で、CPUとGPUをNVLink・PCIeで接続します。SoC（スマートフォン・組み込み）ではCPU・GPU・NPU・DSPを一体集積したヘテロジニアスSoCが主流です。
AI時代のGPUとNPU・ASICへの進化
ディープラーニングの台頭でGPUの市場価値が急騰し、NVIDIAの時価総額はIntelを大幅に上回る規模になりました。一方、Google（TPU）・Amazon（Trainium）・Microsoft（Maia）など主要クラウド企業は、GPU依存を減らしAI専用ASIC（AIアクセラレータ）の内製化を進めています。スマートフォンではGPUとは別にNPU（Neural Processing Unit）を専用AIコアとして搭載するSoCが標準化しており、Apple Neural Engine・Qualcomm HexagonがGPUより高いAI処理効率を実現しています。GPUとNPUの比較はgpu-vs-npuの記事、GPUとASICの比較はgpu-vs-asicの記事も参照してください。