エッジAIとは、AIの処理を、遠くのデータセンター(クラウド)ではなく、スマートフォン、カメラ、自動車、工場の機械など、データが生まれる現場の機器(エッジ)の中で行うことです。
クラウドでAIを処理すると、データを送って結果を受け取るまでに時間がかかり、通信ができないと使えません。また、映像などの大量のデータを送り続けると、通信の費用もかかります。エッジAIでは、機器の中で処理するため、すぐに結果が得られ(低遅延)、個人の情報を外に出さずに済み(プライバシー)、通信が途切れても動きます。
機器の中では、使える電力と熱に限りがあるため、AIの計算を少ない電力で速く行う専用の回路(NPU)を持つプロセッサや、AIの機能を加えたマイコンが使われます。AIのモデルも、計算の量を減らしたり、数値を少ないビット数で表したり(量子化)して、軽くして使います。
スマートフォンの写真の処理や音声の認識、運転支援、工場の検査、監視カメラ、家電など、用途は広がっています。最近は、大規模言語モデル(LLM)を、パソコンやスマートフォンの中で動かす取り組みも進んでおり、エッジの機器のプロセッサやメモリの性能を押し上げる要因になっています。