Demingの方法（重み付き１次式の回帰分析）

 

　Demingの方法により重み付き１次式（一般的な回帰直線）についての解析を行ってみることにします。題意より観測方程式は

 

               

 

となります。求めようとする未知数の近似値を、変数の最確値に対する観測値の残差をとすると

 

               

 

のような関係式（残差＝観測値−最確値）が得られます。これを上の観測方程式に代入し、テーラー展開（２次以上の項は無視）すれば

 

   

 

あるいは

 

               

 

のような式が得られます。ここで、簡単のために

 

               

 

のように置くと、観測方程式は

 

               

 

のように書けます。観測値の重みをとすれば、の残差平方和は

 

               

 

のようになります。そこで、未定乗数を用いて新しい関数

 

               

 

を考え、この無条件極限を求めます。

 

　さて、無条件極値をもつことから、変数に関して

 

               

 

が得られ、未知数に関しては

 

               

 

のようになります。変数に関する上式を観測方程式に代入すれば

 

               

 

が得られます。ここで

 

               

 

と置けば

 

               

 

となります。は重みに相当するので重み関数と呼ぶことにします。次に、この式を未知数に関する上式に代入すれば

 

               

 

のような未知数の残差に関する連立１次方程式が得られるので、未知数の残差を容易に求めることができます。すなわち

 

               

 

となります。また、重み関数は

 

               

 

のようになります。この行列式から算出される残差を

 

               

 

に代入することにより、最確値を求めることができます。

 

　このようにして求めた最確値の誤差分散を見積もるためには、残差を予め求めておく必要があるので

 

 

を

 

               

 

に代入することにより、残差は

 

   

 

のようになります。

 

 

したがって、

 

               

 

に上述の残差を入力すれば、残差平方和が得られるので、誤差分散は

 

   

 

として得られます。また、最確値の誤差分散はの誤差分散と等価とみなせるから、誤差分散をから求めるための正規方程式の係数行列の各要素（重みの逆数）は係数行列式の値と各要素の小行列式である余因子を使うことにより

 

               

 

となるので、求める最確値の誤差分散は

 

               

 

となります。同様に、パラメータとの共分散は

 

               

 

であるから

 

               

 

となります。

 

　もし、上のようにして求められた残差が推定値に対して大きすぎる場合には、ここで得られた推定値を新たな近似値として正規方程式に代入して、新たな正規方程式を作り、よい推定値が得られるまで解を求めるという操作を繰り返します。Demingの方法は優れた方法であるため収束はよく通常その反復操作は１〜2回程度で済む場合が多い。

 

（参考文献：今井秀孝，「付録[最小二乗法によるパラメータの最確値の推定方法]」，計量研究所報告，Vol. 36 Supplement(No. 36)，112(1987)、この文献にはいくつかの卑近な応用例の紹介などもあるDemingの方法に関する優れた解説です）

 

 

（参考１）テーラー展開（Taylor Expansion）

 

　ある区間において、が弟階まで微分可能とします。いま、その区間において、は任意の点、は定点であるとするとき

 

     

 

のように、関数は多項式に展開できます。

 

 

（参考２）「ラグランジュの未定乗数法」（Lagrange Method of Undetermined Multipliers）

 

　ある関数を拘束条件付きで最大化（あるいは最小化）する場合の関数の解を簡単に見いだす方法に「ラグランジュの未定乗数法」（Lagrange Method of Undetermined Multipliers）というものがあります。たとえば、周囲がの長さである長方形の面積を最大化する各辺の長さを求める場合には、拘束条件は

 

               

 

であり、最大化したい面積を表す関数は

 

               

 

ですが、これを普通の方法で解けば、拘束条件より求められる

 

               

 

の式を関数に代入すると

 

               

 

の１変数の関数形が得られますので、このを最大化する極値は

 

               

 

の微分式を解くことにより、求める解が得られます。このような簡単な例では上述のような通常の微分法により簡単に解が得られますが、もっと複雑な一般的な場合（たとえば、という拘束条件で関数を最大化する変数の解を求めたい場合など）には、このような逐次代入法による微分法ではそう簡単に解を求めることはできません。

 

　そこで、このような難しい拘束条件付き関数の極値を求める問題をより易しい無条件極値を求める問題にすり替えて簡単に解を求める方法が「ラグランジュの未定乗数法」（Lagrange Method of Undetermined Multipliers）です。それでは、上述の例を未定乗数法によって解を求めてみることにします。

 

　まず、幅（）と高さ（）の関数を作ります。次に、最初の関数と拘束条件（）を変数（未定乗数）で乗じた拘束の和の新しい関数を導入します。最後にこの新しい関数をそれぞれの変数で偏微分したものをと置くことにより極値を求めることになります。すなわち、題意より関数と拘束条件は

 

               

 

であるので、ラグランジュの未定乗数法による新しい関数は

 

               

 

となります。そこで、この関数をとで偏微分したものをと置くことにより

 

               

 

のようにして得られる連立１次方程式の解から

 

               

 

という関係式が得られるので、これを拘束条件（）に代入することにより、極値解

 

               

 

が簡単に得られます。

 

 

（参考３）「重み」の定義

 

　ある確率変数の実現値の組が個あり、その各々の組の中には（）個の観測値（）があったとき、それら観測値の各組の平均の重みは

 

               

 

のように定義することができます。すなわち、母分散を各組の平均値の標準偏差すなわち各組の観測値の標準誤差（）の二乗で除したものとなります。回帰分析を行うときのパラメータの計算には重みは相対値としてしか取り扱われないため、はどんな値であっても差し支えなく、その値をあらかじめ知っておく必要はありません。また、各組の標準偏差がほとんど等しい場合（たとえば、）には、重みは

 

               

 

のように、各組の観測データの数だけの関数となります。すなわち、観測データの数が多いほど重みは大きくなります。一方、各組の観測データ数がほとんど同じ場合（）には、重みは

 

               

 

のように、各組の標準誤差の二乗の逆数となります。すなわち、観測精度がよいほど重みは大きくなり、観測精度が悪いほど重みは小さくなります。

 

 

（参考４）最短距離の傾き

 

　観測値と回帰曲線上の計算値（推測値）を結ぶ距離の傾きは回帰曲線上の計算値の点における接線の傾きの負の逆数に座標の重み比を掛けたものになります。したがって、座標の重みが等しい場合（）には、距離の線分は回帰曲線上の計算値の点における接線に垂直となり、いわゆる「最短距離」に相当します。