期待値・分散の定義および演算

平均値（期待値）

英大文字記号で表した変数などを確率変数と呼ぶことにします。またその実現値は英子文字などで表すことにし、ギリシャ文字で表したなどは標本などの母集団の母数（パラメータとも言う）であると定義することにします。すると、確率変数の平均値すなわち期待値はという記号で表され、次のような「（スチルチェス）積分」で定義されます。

ここで、は確率変数の実現値の確率分布であり、は確率密度関数です。

分散・標準偏差

確率変数の平均値をとしたときのの分散はという記号で表され

と定義されます。また、これの平方根をとったものはの標準偏差と呼ばれ、という記号で表せば

で定義されます。

が離散的確率変数のときは

であり、が連続的確率変数のときは

となります。

共分散・相関係数

としたときの確率変数の共分散は

で定義されます。また、としたときの

で定義される量（標本の場合はと書くことが多い）のことを（母）相関係数と言います。このときが必ず成り立ち、のとき確率変数との間には強い正あるいは負の相関があると言い、のときは確率変数とは無相関であると言います。

また、確率変数をベクトルと見なせば、相関係数はベクトルとの内積をそのスカラー量（ノルムとも言い、ベクトルの長さに相当します）で割ったものとなり、そのベクトルのなす角度の関数であるに相当する量になります。すなわち

となります。あるいは偏差平方和を使って

と表現する場合もあります。ここでは

です。

平均値（期待値）・分散の演算

などが確率変数で、平均値、分散が存在するときは

また、は定数であるとすれば

となります。

確率変数とが「独立」であるときには

となります。

分散と共分散については

となり、特に確率変数が独立な場合は

が成り立ち、これが一般的な「誤差伝搬則」に相当するものとなります。

とくにのときは

という関係があります。

また、を任意の定数とすれば

という確率についての関係式が成り立ち、これを「（チェビシェフ）の不等式」と呼びます。

条件付き平均値

を確率事象、をなる実現値をとる確率変数とするとき

を事象なる条件の下での確率変数の「条件付き平均値」と言います。また、確率変数が連続的な場合は

で定義されます。

さらに、確率変数が結合確率分布をもつ離散的確率変数で、の確率分布がであるときは

であるから、その条件付き平均値は

となります。

回帰関数

また、確率変数が連続的で、結合確率密度関数をもち、の確率密度関数がであるときは

であるから

でなる条件の下でのの条件付き平均値が定義されます。これをの関数と見て、のに対する回帰関数と言います。

（注１）確率変数が２変量正規分布に従うときの条件の下でのの確率密度関数は下記のようになります。まず、の結合確率密度関数は

のようになり、またの確率密度関数は

であるので、結局求める「条件の下でのの確率密度関数」は

となります。

（注２）のに対する回帰関数

の値（平均値あるいは期待値）を、（注１）の結果を使って、表現して見ることにします。なる条件の下でのの確率密度関数は

と変形できるので、はの関数と見たとき正規分布の確率密度関数と見なせるので、結局求める平均値は

となります。

（注３）を連続的確率ベクトルとし、条件の下でのの条件付き確率密度関数をとしたとき、と定義すれば

のことをのに対する回帰関数のまわりのの分散と呼び、確率変数が２変量正規分布に従うならば、その値は（注２）の結果を使って、

となります。