TPU(Tensor Processing Unit:テンソル処理ユニット)は、Googleが2016年に独自開発・発表したAI学習・推論専用のASIC(特定用途向け集積回路)です。TensorFlowフレームワークのテンソル演算(多次元配列の行列乗算)に最適化された設計で、GPUより高い電力効率でディープラーニングのワークロードを処理します。Google Cloud Platform(GCP)上でTPU v2〜v5まで世代更新が続けられ、2024年現在はTPU v5eとTPU v5pが提供されています。
TPUのアーキテクチャは、大規模な行列乗算ユニット(MXU:Matrix Multiply Unit)とオンチップメモリ(HBM)を組み合わせたものです。TPU v4は1チップあたり275TOPSの演算性能を持ち、4096チップを相互接続した「TPU Podシステム」では1エクサFLOPSを超える性能を実現しています。BFloat16(脳浮動小数点形式)の採用により、精度を保ちながら演算効率を高めています。製造はTSMCが担っています。
TPUはGoogle独自の垂直統合戦略の中核で、GeminiやPaLMなどの大規模言語モデル(LLM)の学習・推論に使用されています。クラウドでの提供に特化しており、外販はしていません(AWS Trainium・Microsoft Azure Maiaと同様の内製ASIC)。NPU(スマートフォン向けエッジ推論)やGPU(汎用AI)との違いについてはai-acceleratorの用語も参照してください。ASICとFPGAの設計アーキテクチャ比較はasic-vs-fpgaの記事で解説しています。