結論：GPUとNPUの違いは？
GPUとNPUの最大の違いは「消費電力と担当する役割」です。GPUは汎用並列プロセッサでデータセンター向けは200〜700Wを消費し、大規模なAI学習と推論を担当します。NPUはニューラルネット演算に特化したMACアレイで0.1〜5Wと桁違いに低消費電力のため、スマートフォンやIoT機器での常時推論に向きます（Apple A17 Proは約2Wで35TOPS）。「学習はGPU、エッジ推論はNPU」という役割分担が2020年代の標準です。
比較表
| 観点 | GPU | NPU |
|---|---|---|
| 設計目的 | 汎用並列演算（グラフィックス・AI学習・科学計算） | AI推論専用（NN演算の特定オペレーターを高効率実行） |
| コア構成 | 数千〜数万のShader/CUDAコア＋TensorCore | MAC（乗算累算）アレイ特化・小型専用回路 |
| 消費電力 | 200〜700W（データセンター向け）、10〜25W（モバイル向け） | 0.1〜5W（モバイル用NPU、常時推論可能） |
| AI推論性能/W | データセンター用途では高性能（H100：2000TOPS） | エッジ用途でGPU比10〜50倍の電力効率（Apple A17 Pro：35TOPS、約2W） |
| プログラマビリティ | 高い（CUDA・ROCmで柔軟に任意の演算を記述可能） | 限定的（特定演算子ライブラリ経由が基本、新オペレータ対応に時間がかかる場合も） |
| 主な搭載デバイス | AIサーバー・ワークステーション・ゲーミングPC・自動車 | スマートフォンSoC・ウェアラブル・スマートカメラ・車載ECU |
| 代表製品 | NVIDIA H100/B200、AMD Instinct MI300X、Intel Arc | Apple Neural Engine（A/M-series）、Qualcomm Hexagon、MediaTek APU |
NPUが必要になった背景：エッジAIの台頭
2017年のApple A11 BiognicへのNeural Engine初搭載以降、主要スマートフォンSoCへのNPU統合が急速に標準化しました。常時起動のカメラAI（顔認識・シーン判定）・音声認識（Siri・Googleアシスタント）・生体認証・リアルタイム翻訳をバッテリー消費を抑えて処理するには、GPUより電力効率の高いNPUが不可欠です。生成AI（LLM）の端末ローカル推論需要の拡大（Apple Intelligence・Gemini Nano等）により、2024年以降はNPUのTOPS性能競争が激化しています。
ヘテロジニアスAI：GPUとNPUの協調動作
最先端のAIシステムでは「学習はクラウドGPU、推論はエッジNPU」という協調モデルが確立しています。大規模LLMの学習はNVIDIA H100クラスタで実施し、量子化・蒸留・プルーニングで軽量化したモデルをスマートフォンNPUで推論する構造です。SoCレベルでは同一チップ内のGPU・NPU・CPU・DSPがワークロードに応じてタスクを分担し、OS（iOS・Android）のAIフレームワーク（Core ML・NNAPI）がオーケストレーションします。AIアクセラレータ全般の解説はai-acceleratorを、CPUとGPUの比較はcpu-vs-gpuを参照してください。