統計⑧ 中心極限定理
中心極限定理とは?その証明
中心極限定理とは?
中心極限定理
平均$\mu$,分散$\sigma^2$の分布から抽出した$n$個の標本を表す確率変数$X_1$,$X_2$,$\cdots$,$X_n$の標本平均$\bar{X}_n$を考えます。このとき、$n$を増やせば$\bar{X}_n$は平均$\mu$,分散$\sigma^2/n$の正規分布に近づきます。
中心極限定理の証明の方針
新たに導入する確率変数
母平均を$\mu$,母分散(母集団の分散)を$\sigma^2$として以下のような確率変数を考えます。\begin{align}
Z\stackrel{def}{=}\dfrac{\bar{X}_n-\mu}{\frac{\sigma}{\sqrt{n}}}=\dfrac{\sqrt{n}(\bar{X}_n-\mu)}{\sigma} \label{eq:1}
\end{align}
この時、$Z$は平均0、分散1の正規分布(つまり、標準正規分布)に近づくことを示します。どう示すか、というとモーメント母関数が$n\to\infty$の極限で標準正規分布のモーメント母関数に近づくことを示します。
モーメント母関数で証明する欠点(?)
この定理の仮定としては、母平均や母分散が存在すること(発散する等存在しない場合は考えていないということ)だけしか考えていません。確率変数$Z$のモーメント母関数$M_Z(\theta)$は以下のように定義されました。\begin{align*}
M_Z(\theta)\stackrel{def}{=}\int_{-\infty}^\infty e^{\theta x}f(x)dx
\end{align*}
ただし、$f(x)$は確率密度関数です。この確率密度関数の形によってはモーメント母関数が存在しない場合もあります。というわけで、代わりに、いつでも存在する特性関数を使うほうが適用範囲が広がりそうですね。ただ、そのときに複素数が混じって積分の計算が難しくなるので、今回はモーメント母関数で証明を進めます。
正規分布のモーメント母関数
平均$\mu$,分散$\sigma^2$の正規分布のモーメント母関数$M(\theta)$を導出してみます。正規分布のモーメント母関数
平均$\mu$、分散$\sigma^2$の正規分布のモーメント母関数$M(\theta)$は以下のように計算できます。
\begin{align*}
M(\theta)=e^{\frac{1}{2}\sigma^2\theta^2+\mu\theta}
\end{align*}
\begin{align*}
M(\theta)
&=\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{\theta x}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \\
&=\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{\theta x-\frac{(x-\mu)^2}{2\sigma^2}}dx \\
&=\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{x^2-2(\mu+\sigma^2\theta)x+\mu^2}{2\sigma^2}}dx \\
&=\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{\{x-(\mu+\sigma^2\theta)\}^2+\mu^2-(\mu+\sigma^2\theta)^2}{2\sigma^2}} \\
&=\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{\{x-(\mu+\sigma^2\theta)\}^2-2\sigma^2\mu\theta-\sigma^4\theta^2}{2\sigma^2}}dx \\
&=\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{\{x-(\mu+\sigma^2\theta)\}^2}{2\sigma^2}+\frac{1}{2}\sigma^2\theta^2+\mu\theta}dx \\
&=e^{\frac{1}{2}\sigma^2\theta^2+\mu\theta }\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{\{x-(\mu+\sigma^2\theta)\}^2}{2\sigma^2}}dx
\end{align*}
ここで、後半の部分は$x$$-(\mu+\sigma^2\theta)$$=s$とおきかえることで、ガウス積分の形になり、(参考：ガウス積分)
\begin{align*}
\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{\{x-(\mu+\sigma^2\theta)\}^2}{2\sigma^2}}dx=1
\end{align*}
が計算できます。すなわち、
\begin{align*}
M(\theta)=e^{\frac{1}{2}\sigma^2\theta^2+\mu\theta}
\end{align*}
となります。特に、$\mu$$=0$,$\sigma^2$$=1$とした標準正規分布では、
\begin{align}
M(\theta)=e^\frac{\theta^2}{2} \label{eq:2}
\end{align}
確率変数Zの平均と分散を計算してみる。(標準化)
Zの定義の確認
共通の分布に従う標本を表す確率変数$X_1$,$X_2$,$\cdots$,$\bar{X}_n$の平均(標本平均)$X_n$は以下のように定められます。\begin{align*}
\bar{X}_n=\dfrac{X_1+X_2+\cdots+X_n}{n}
\end{align*}
このとき、\eqref{eq:1}で導入した以下の確率変数$Z$を考えます。
\begin{align*}
Z=\dfrac{\sqrt{n}(\bar{X}_n-\mu)}{\sigma}
\end{align*}
ただし、$\mu$と$\sigma^2$はそれぞれ$X_i$($i=1$,$2$,$\cdots$,$n$)が従う確率分布の平均と分散です。($\sigma\gt 0$)
この新たに導入した確率変数$Z$が平均0、分散1になることを示します。
Zの平均(期待値)が0になる理由
$Z$の平均(期待値)は以下のように計算できます。ここでは、期待値の線形性$E[aX+bY]$$=aE[X]$$+bE[Y]$となること、また、$\mu$はただ一つの決まった値としているので、$E[\mu]$$=\mu$とできることを用いています。\begin{align*}
E[Z]
&=\dfrac{\sqrt{n}}{\sigma}(E[\bar{X}_n]-\mu) \\
&=\dfrac{\sqrt{n}}{\sigma}\left(E\left[\dfrac{X_1+X_2+\cdots+X_n}{n}\right]-\mu\right) \\
&=\dfrac{\sqrt{n}}{\sigma}\left(\dfrac{1}{n}(E[X_1]+E[X_2]+\cdots+E[X_n])-\mu\right)
\end{align*}
ここで、各標本$X_i$はすべて平均$\mu$,分散$\sigma^2$の母集団に従っているので、$E[X_i]$$=\mu$となります。よって、
\begin{align*}
&=\dfrac{\sqrt{n}}{\sigma}\left(\dfrac{1}{n}n\mu-\mu\right) \\
&=0
\end{align*}
となります。
Zの分散が1となる理由
つぎに$Z$の分散です。期待値と違って線形性は成り立ちませんが、$V[aX+bY]$$=a^2V[X]+b^2V[Y]$が成り立ちます。\begin{align*}
V[Z]
&=V\left[\dfrac{\sqrt{n}}{\sigma}(\bar{X}_n-\mu)\right] \\
&=\dfrac{n}{\sigma^2}(V[\bar{X}_n]+V[\mu])
\end{align*}
$\mu$というのは一つの決まった数(母集団の平均、つまり母平均)なので、その分散は0,すなわち、$V[\mu]$$=0$なので、
\begin{align*}
&=\dfrac{n}{\sigma^2}V[\bar{X}_n] \\
&=\dfrac{n}{\sigma^2}\dfrac{1}{n^2}\left(V[X_1]+V[X_2]+\cdots+V[X_n]\right)
\end{align*}
となります。各$X_i$について、$V[X_i]$$=\sigma^2$なので、
\begin{align*}
&=\dfrac{n}{\sigma^2}\dfrac{1}{n^2}\cdot n\sigma^2 \\
&=1
\end{align*}
となります。
Zのモーメント母関数
\eqref{eq:1}で定義されている確率変数$Z$のモーメント母関数$N_Z(\theta)$を計算します。 その前に、$Z$を計算しやすいように書き直しておくと、\begin{align*}
Z
&=\dfrac{\sqrt{n}}{\sigma}(\bar{X}_n-\mu) \\
&=\dfrac{\sqrt{n}}{\sigma}\dfrac{1}{n}\{(X_1+X_2+\cdots+X_n)-n\mu\} \\
&=\dfrac{1}{\sqrt{n}}\left\{\left(\dfrac{X_1-\mu}{\sigma}\right)+\cdots+\left(\dfrac{X_n-\mu}{\sigma}\right)\right\} \\
&=\dfrac{1}{\sqrt{n}}\sum_{i=1}^n\dfrac{X_i-\mu}{\sigma}
\end{align*}
ここで、見やすいように
\begin{align*}
Z_i\stackrel{def}{=}\dfrac{(X_i-\mu)}{\sigma}
\end{align*}
とおくと、
\begin{align*}
Z=\dfrac{1}{\sqrt{n}}\sum_{i=1}^n Z_i
\end{align*}
となります。モーメント母関数は、
\begin{align*}
M_Z(\theta)
&=E[e^{\theta Z}] \\
&=E\left[e^{\frac{\theta}{\sqrt{n}}\sum_{i=1}^n Z_i}\right] \\
&=E\left[\prod_{i=1}^n e^{frac{\theta}{\sqrt{n}}Z_i}\right]
\end{align*}
期待値の性質から、独立な確率変数$X$,$Y$について、
\begin{align*}
E[XY]=E[X]E[Y]
\end{align*}
が言えます。つまり、独立な確率変数の積の期待値はそれぞれの期待値の積に分けられるということです。各$X_i$は独立なので、$Z_i$も独立で、
\begin{align*}
M_Z(\theta)
&=E\left[\prod_{i=1}^n e^{\frac{\theta}{\sqrt{n}}Z_i}\right] \\
&=\prod_{i=1}^n E\left[e^{\frac{\theta}{\sqrt{n}}Z_i}\right]
\end{align*}
と分けられます。各$X_i$は、同じ母集団分布から抽出した標本で、同じ分布に従っているということになります。つまり、各$Z_i$もそれぞれ同じ分布に従っています。この各$Z_i$が従うモーメント母関数を$M_{Z_i}(\theta)$とすると、
\begin{align*}
M_Z(\theta)=\left\{M_{Z_i}\left(\frac{\theta}{\sqrt{n}}\right)\right\}^n
\end{align*}
さて、$M_{Z_i}$をマクローリン展開してみます。
\begin{align*}
M_{Z_i}(\theta)=M_{Z_i}(0)+\dfrac{dM_{Z_i}}{d\theta}(0)\theta+\dfrac{1}{2}\dfrac{d^2M_{Z_i}}{d\theta^2}(0)\theta^2+O(\theta^3)
\end{align*}
ここで、$d^nM_{Z_i}(0)/d\theta^n$というのは、$M_{Z_i}(\theta)$の原点での$n$階の微分係数を表しています。モーメント母関数の性質
\begin{align*}
\dfrac{d^nM_{Z_i}(\theta)}{d\theta}(0)=E[Z_i^n]
\end{align*}
をもちいると、
\begin{align*}
M_{Z_i}(\theta)=1+E[Z_i]\theta+\dfrac{E[Z_i^2]}{2}\theta^2+O(\theta^3)
\end{align*}
ちなみに、さきほど$Z$の期待値は0、分散は1と求められましたが、それと同様に$Z_i$についても、$E[Z_i]$$=0$,$V[Z_i]$$=1$と求められます。ここで、一般の確率変数$X$について、$V[X]$$=E[X^2]$$-E[X]$が成り立つことから、$E[Z_i^2]$$=1$となります。よって、
\begin{align*}
M_{Z_i}(\theta)=1+\dfrac{1}{2}\theta^2+O(\theta^3)
\end{align*}
ここで、$\theta$を$\theta/\sqrt{n}$で置き換えると、
\begin{align*}
M_{Z_i}\left(\dfrac{\theta}{\sqrt{n}}\right)=1+\dfrac{1}{2}\left(\dfrac{\theta}{\sqrt{n}}\right)^2+O\left(\left(\dfrac{\theta}{\sqrt{n}}\right)^3\right)
\end{align*}
となります。よって、$n$が十分大きいときを考えれば、
\begin{align*}
M_Z(\theta)&=\left\{M_{Z_i}\left(\dfrac{\theta}{\sqrt{n}}\right)\right\}^n \\
&=\left\{1+\dfrac{\theta^2}{2n}+O\left(\left(\dfrac{\theta}{\sqrt{n}}\right)^3\right)\right\}^n \\
&\approx\left\{\left(1+\dfrac{\theta^2}{2n}\right)^{\frac{2n}{\theta^2}}\right\}^\frac{\theta^2}{2}\to e^{\frac{\theta^2}{2}}
\end{align*}
これが\eqref{eq:2}と一致しています。今回は証明しませんが、モーメント母関数が一致すればその分布が一致するということが言えるので、$Z$は$n$が十分大きな極限で標準正規分布に従うことが言えることになります。