量子化誤差とは、連続的に変わるアナログの値を、決まった刻みのデジタルの値に変換するときに、どうしても生じる、元の値と変換後の値の差のことです。アナログ・デジタル変換器(ADC)の性能を考えるうえで基本となる誤差です。
たとえば、0〜1ボルトを8ビット(256段階)で表すADCでは、1段階の幅は約3.9ミリボルトです。入力が0.5013ボルトでも0.5022ボルトでも、同じ段階のデジタルの値になるため、最大で1段階の半分(約2ミリボルト)の誤差が生じます。これが量子化誤差で、ビット数を増やして段階を細かくするほど小さくなります。
量子化誤差は、信号に雑音(量子化雑音)が加わったように振る舞います。理想的なADCの信号と雑音の比(SN比)は、ビット数をNとすると、およそ6.02N+1.76デシベルで表されます。実際のADCでは、ほかの雑音やひずみも加わるため、測ったSN比から逆算した実効のビット数(ENOB)で性能を表します。
ADCやDACを試験する装置(ミックスドシグナルテスタ)では、正確な正弦波を入力して出力のデジタルの値を集め、周波数の成分を分析して、SN比、ひずみ、実効のビット数などを求めます。また、電子ビーム描画などのデジタルで制御する装置でも、位置の刻みによる量子化誤差が精度の制約になります。