一致推定量・不偏推定量とは【平均や分散、不偏分散の一致性・普遍性は？】

（証明）

まずは普通の標本分散が不偏性をもたないことを示していきます。

もう一度押さえておきますが、「推定量の期待値が真の値と一致する」ときにその推定量は不偏性をもつ、といいます。

つまり、「標本分散の期待値や不偏分散の期待値が母分散と一致するか？」を確認すればよい、ということになります。

せんせ

ということで、まずは\(E[(標本分散)]\)を計算していきます。

面倒なので、標本分散を\(\displaystyle \frac{1}{n}\sum{(x_i-\bar{x})^2}\)と書きます。また、母平均を\(\mu\)、母分散を\(\sigma^2\)（←一致してほしい値）とします。

\(\displaystyle E \left[ \frac{1}{n}\sum{(x_i-\bar{x})^2} \right] = E \left[ \frac{1}{n} \sum{ \{(x_i-\mu)-(\bar{x}-\mu) \}^2 } \right]\)

\(\displaystyle \quad = E \left[ \frac{1}{n} \sum{ \{(x_i-\mu)^2-2(x_i-\mu)(\bar{x}-\mu)+(\bar{x}-\mu)^2 \} } \right] \)

\(\displaystyle \quad = E \left[ \frac{1}{n}\sum{ (x_i-\mu)^2 } \right] -2(\bar{x}-\mu) E \left[ \frac{1}{n}\sum{(x_i-\mu)} \right] + E\left[ \frac{1}{n}\sum{(\bar{x}-\mu)^2} \right] \)

\(\displaystyle \quad = E \left[ \frac{1}{n}\sum{ (x_i-\mu)^2 } \right] -2(\bar{x}-\mu)E \left[ \frac{1}{n}(x_i+\cdots + x_n) – \frac{1}{n} \cdot n\mu \right] + E\left[ \frac{1}{n} \cdot n ( \bar{x}-\mu )^2 \right] \)

\(\displaystyle \quad = E \left[ \frac{1}{n}\sum{ (x_i-\mu)^2 } \right] -2(\bar{x}-\mu)E \left[ \bar{x} -\mu \right] + E\left[ (\bar{x}-\mu)^2 \right] \)

\(\displaystyle \quad = E \left[ \frac{1}{n}\sum{ (x_i-\mu)^2 } \right] – E\left[ (\bar{x}-\mu)^2 \right] \)

（↑第２、３項の\(-2(\bar{x}-\mu)E \left[ \bar{x} -\mu \right]+ E\left[ (\bar{x}-\mu)^2 \right]=-2E \left[ ( \bar{x} -\mu )^2 \right]+ E\left[ (\bar{x}-\mu)^2 \right]=- E\left[ (\bar{x}-\mu)^2 \right]\)だから）

ここで、一つずつ見ていくと、第１項は

\(\displaystyle E \left[ \sum{ \frac{1}{n} (x_i-\mu)^2 } \right] = \frac{1}{n} \left\{ E [ (x_1-\mu)^2 ] + \cdots + E [ (x_n-\mu)^2 ] \right\} \)…①

と分けることができますが、

\(\displaystyle E [ (x_1-\mu)^2 ] \cdots\)は標本一つの分散なので（偏差の二乗の期待値＝分散）、母分散と一致します。

\(\displaystyle E [ (x_1-\mu)^2 ] = V[x_1] = \sigma^2 \cdots\)

よって、

\(\displaystyle (①)= \frac{1}{n} (\sigma^2 + \cdots + \sigma^2 ) = \frac{1}{n} \cdot n\sigma^2 = \sigma^2 \)

第２項は、

\( E\left[ (\bar{x}-\mu)^2 \right] = V \left[ \bar{x} \right] \)

\(\displaystyle \quad = V\left[ \frac{x_1 + \cdots + x_n}{n} \right] \)

\(\displaystyle \quad = \frac{1}{n^2} (V[x_1] + \cdots + V[x_n]) \)（←分散の変数変換参照）

\(\displaystyle \quad = \frac{1}{n^2} \cdot n \sigma^2 = \frac{1}{n}\sigma^2\)

以上より、

\(\displaystyle E \left[ \frac{1}{n}\sum{(x_i-\bar{x})^2} \right] = \sigma^2 – \frac{1}{n}\sigma^2 = \frac{n-1}{n}\sigma^2\)

せんせ

ということで、単純な標本分散の期待値は\(\displaystyle \frac{n-1}{n}\sigma^2\)になっちゃうので、母分散とズレるんですね。\(n\)が大きければ精度が上がりますが、不偏性（\(n\)が大きくても小さくても期待値が真の値と一致する）はもっていません。

ということで、期待値が\(\sigma^2\)と一致するためには、\(\displaystyle \frac{n}{n-1}\)で割ってやればいい、ということになります。

\(\displaystyle \frac{n}{n-1} E \left[ \frac{1}{n}\sum{(x_i-\bar{x})^2} \right] = \frac{n}{n-1} \cdot \frac{n-1}{n}\sigma^2 = \sigma^2 \)

ここで、出だしの\(\displaystyle \frac{n}{n-1} E \left[ \frac{1}{n}\sum{(x_i-\bar{x})^2} \right]\)は期待値の変数変換の性質を使うと、

\(\displaystyle \frac{n}{n-1} E \left[ \frac{1}{n}\sum{(x_i-\bar{x})^2} \right] = E \left[ \frac{n}{n-1} \cdot \frac{1}{n}\sum{(x_i-\bar{x})^2} \right]\)

\(\displaystyle \quad = E \left[ \frac{1}{n-1}\sum{(x_i-\bar{x})^2} \right]\)

よって、「\(\displaystyle \frac{1}{n-1}\sum{(x_i-\bar{x})^2}\)の期待値が\(\sigma^2\)と一致する」という不偏性を持つので、これを不偏分散としましょう、というお話です。

せんせ

なので、正確には\(n-1\)で割るんじゃなくて、「分散を\(\displaystyle \frac{n}{n-1}\)で割る」の方が正しいですね。