統計⑥ チェビシェフの不等式と大数の法則
チェビシェフの不等式と大数の法則の証明
この記事では、確率変数$X$の期待値を$\mu$,(有限の)分散を$\sigma^2$として計算を進めます。これらの定理を中心極限定理の証明に使おうと思っているので一足先に紹介します。
チェビシェフの不等式
チェビシェフの不等式の内容
チェビシェフの不等式
任意の実数$k$に対して、
\begin{align*}
P(|X-\mu|\geq k\sigma)\leq \dfrac{1}{k^2}
\end{align*}
チェビシェフの不等式の証明
証明をするにあたって、まずは確率変数が連続型の場合を考えます。まずは分散を確率密度関数で表して、それを不等号で抑え込みながら確率に直していきます。\begin{align*}
\sigma^2
&=\int_{-\infty}^\infty (x-\mu)^2f(x)dx \\
&\geq \int_{|x-\mu|\geq k\sigma} (x-\mu)^2f(x)dx \\
&\geq \int_{|x-\mu|\geq k\sigma} (k\sigma)^2f(x)dx \\
&=(k\sigma)^2\int_{|x-\mu|\geq k\sigma}f(x)dx \\
&=(k\sigma)^2P(|X-\mu|\geq k\sigma)
\end{align*}
最左辺と最右辺を$k^2\sigma^2$$(\gt 0)$で割ると、
\begin{align*}
P(|X-\mu|\geq k\sigma)\leq \dfrac{1}{k}
\end{align*}
が得られます。離散型でも全く同様です。
大数の法則
大数の法則の内容
大数の法則
母平均$\mu$,分散$\sigma^2$の分布に従う確率変数$X_1$,$X_2$,$\cdots$,$X_n$の標本平均を$\bar{X}_n$とします。任意の$\varepsilon$$\gt 0$について、
\begin{align*}
\lim_{n\to \infty}P(|\bar{X}_n-\mu|\gt \varepsilon)=0
\end{align*}
大数の法則の証明
標本平均の平均(期待値)
標本平均$\bar{X}_n$は、以下のような式で表されます。\begin{align*}
\bar{X}_n=\dfrac{X_1+X_2+\cdots +X_n}{n}
\end{align*}
各$X_i$は確率変数なので、この標本平均$\bar{X}_n$も確率変数になります。期待値の線形性
\begin{align*}
E[aX+bY]=aE[X]+bE[Y]
\end{align*}
($a$,$b$は定数)を利用します。(この式は期待値の定義から簡単に示すことができます。)
ちなみにこの式は確率変数$X,Y$が独立かどうかは関係なく成り立ちます。つまり、
\begin{align*}
E[\bar{X}_n]=\dfrac{1}{n}\left(E[X_1]+E[X_2]+\cdots+E[X_n]\right)=\dfrac{1}{n}\cdot n\mu=\mu
\end{align*}
となります。
標本平均の分散
分散については、\begin{align*}
V[aX+bY]=a^2V[X]+b^2V[Y]
\end{align*}
が、$X$と$Y$が無相関の場合のみ成り立ちます。ちなみに、各$X_i$は、同じ分布に従いますが、独立です。よって、
\begin{align*}
V[\bar{X}_n]
&=\dfrac{1}{n^2}\left(V[X_1]+V[X_2]+\cdots+V[X_n]\right) \\
&=\dfrac{1}{n^2}\left(\sigma^2+\sigma^2+\cdots+\sigma^2\right) \\
&=\dfrac{1}{n^2}n\sigma^2 \\
&=\dfrac{\sigma^2}{n}
\end{align*}
チェビシェフの不等式を用いる
チェビシェフの不等式で、期待値$\mu$,分散$\sigma^2$,($\sigma\geq0$)の確率変数$X$に対して、\begin{align*}
P(|X-\mu|\geq k\sigma)\leq \dfrac{1}{k^2}
\end{align*}
が成り立つのでした。いま、$X$の代わりに標本平均$\bar{X}_n$とすると、期待値$\mu$,分散$\sigma^2/n$なので、
\begin{align*}
P\left(|\bar{X}_n-\mu|\geq \dfrac{k\sigma}{\sqrt{n}}\right)\leq \dfrac{1}{k^2}
\end{align*}
さて、ここで導きたい大数の法則
\begin{align*}
\lim_{n\to \infty} P(|\bar{X}_n-\mu|\gt \varepsilon)=0
\end{align*}
と見比べます。(この式はあくまで示したいゴールの式であってまだ成り立っているとは言えていません。)見比べると、
\begin{align*}
\dfrac{k\sigma}{\sqrt{n}}=\varepsilon
\end{align*}
とおけばよいでしょう。このとき、$k$$=\varepsilon\sqrt{n}/\sigma$であり、チェビシェフの不等式は、以下の様に書き直すことができます。
\begin{align*}
P(|\bar{X}_n-\mu|\geq \varepsilon)\leq \dfrac{\sigma^2}{\varepsilon^2 n}
\end{align*}
よって、
\begin{align*}
0
&\leq P(|\bar{X}_n-\mu|\gt\varepsilon) \\
&\leq P(|\bar{X}_n-\mu|\geq \varepsilon) \\
&\leq \dfrac{\sigma^2}{\varepsilon^2n}
\end{align*}
となり、最右辺は$n$$\to\infty$で0になります。すなわちはさみうちの原理より、
\begin{align*}
\lim_{n\to \infty}P(|\bar{X}_n-\mu|\gt\varepsilon)=0
\end{align*}
が示せました。