最小二乗法とモデル（観測方程式）

いま説明変数（独立変数）に対して個の測定値が得られているものとします。ここで、目的変数（従属変数）の測定誤差は正規分布で、標準誤差はであるとします。この測定値を説明するモデル（観測方程式）としてなる関数を定義します。すなわち、このモデルには個の未知パラメータが含まれているものとします。たとえば１次式回帰直線（）の場合は、このモデル関数は

となります。すると、パラメータの最確値（推定値あるいは計算値）は

で定義される回帰残差平方和を最小にするとなります。これが最小二乗法の基本式です。ただし、は母分散の逆数

で定義される値で測定データの重みと呼ばれます。

　これは座標に不確かさがなく（重み）、座標にのみ正規分布に従う不確かさ（標準誤差）がある場合の最小二乗法であり、もしそのモデル（観測方程式）が１次式回帰直線（）の場合には、そのパラメータ（回帰係数）の最確値とその分散および共分散は

となります。ただし、はモデル（観測方程式）の正規方程式

すなわち

の係数行列

の値である係数行列式（ヤコビアンJacobian）の値

です。

　もし説明変数にも正規分布に従う不確かさ（標準誤差）がある場合には、目的変数の不確かさ（標準誤差）をと定義し直して、これらの不確かさをすべて座標にのみ押し付けた新しい不確かさ（標準誤差）をとすれば、誤差伝搬則から、座標に不確かさがなく（重み）、座標にのみ正規分布に従う不確かさ（標準誤差）に相当する誤差分散は

となるので、この新しいの逆数を新しい重みとした正規方程式

から、観測方程式についてのパラメータ（回帰係数）の最確値とその分散および共分散は上と全く同様の式で求められます。

（参考文献）J. R. Talor, “An Introduction to Error Analysis”, University Science Books, 2^nd Ed., p. 188(1997).

小柳義夫・中川　徹，”SALS入門　実験データの解析”，東京大学出版会，初版，p. 57(1990).