ISP(画像信号プロセッサ)とは、カメラのイメージセンサが出力した生のデータを、人が見てきれいな写真や映像に仕上げるための処理を行う、専用のプロセッサや回路のことです。
イメージセンサの各画素は、赤・緑・青のどれか1色の明るさしか測っていません(ベイヤー配列)。ISPは、周りの画素の情報から各画素の3色を補って、色の付いた画像を作ります(デモザイク)。さらに、雑音の除去、明るさや色の補正(ホワイトバランス)、レンズによるゆがみの補正、明るい部分と暗い部分を両立させる処理(HDR)、輪郭の強調などを、高速に順番に行います。
スマートフォンでは、ISPはプロセッサのSoCの中に組み込まれており、AIの処理と組み合わせて、暗い場所での撮影や、背景をぼかした写真などを実現しています。自動車や監視カメラでは、人の目に見せるためだけでなく、AIが物体を認識しやすい画像を作るためにも使われます。
1秒間に数十枚の大きな画像を処理するため、汎用のプロセッサではなく、処理ごとに専用の回路を並べた構成で作られ、少ない電力で高速に処理します。