らむねの物理法則

中心極限定理とは?その証明 中心極限定理とは? 中心極限定理 平均$\mu$,分散$\sigma^2$の分布から抽出した$n$個の標本を表す確率変数$X_1$,$X_2$,$\cdots$,$X_n$の標本平均$\bar{X}_n$を考えます。このとき、$n$を増やせば$\bar{X}_n$は平均$\mu$,分散$\sigma^2/n$の正規分布に近づきます。 いま、もともとの分布を母集団といい、母集団の平均値を母平均といいます。 中心極限定理の証明の方針 新たに導入する確率変数 母平均を$\mu$,母分散(母集団の分散)を$\sigma^2$として以下のような確率変数を考えます。 \begin{align} Z\stackrel{def}{=}\dfrac{\bar{X}_n-\mu}{\frac{\sigma}{\sqrt{n}}}=\dfrac{\sqrt{n}(\bar{X}_n-\mu)}{\sigma} \label{eq:1} \end{align} この時、$Z$は平均0、分散1の正規分布(つまり、標準正規分布)に近づくことを示します。どう示すか、というとモーメント母関数が$n\to\infty$の極限で標準正規分布のモーメント母関数に近づくことを示します。 モーメント母関数で証明する欠点(?) この定理の仮定としては、母平均や母分散が存在すること(発散する等存在しない場合は考えていないということ)だけしか考えていません。確率変数$Z$のモーメント母関数$M_Z(\theta)$は以下のように定義されました。 \begin{align*} M_Z(\theta)\stackrel{def}{=}\int_{-\infty}^\infty e^{\theta x}f(x)dx \end{align*} ただし、$f(x)$は確率密度関数です。この 確率密度関数の形によってはモーメント母関数が存在しない場合もあります。 というわけで、代わりに、いつでも存在する特性関数を使うほうが適用範囲が広がりそうですね。ただ、そのときに複素数が混じって積分の計算が難しくなるので、今回はモーメント母関数で証明を進めます。 正規分布のモーメント母関数 平均$\mu$,分散$\sigma^2$の正規分布のモーメント母

正規分布とは? 正規分布について紹介します。 正規分布の確率密度関数 正規分布の確率密度関数 正規分布の確率密度関数$f(x)$は平均値を$\mu$、分散を$\sigma^2$として、以下のようにあらわされます。 \begin{align*} f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \end{align*} 先頭についている$1/\sqrt{2\pi}\sigma$は全範囲で積分して1になるための規格化因子です。 以下で、本当に確率密度関数として適切かどうか確かめていきましょう。 確率密度関数を積分して1になるか? 確率密度関数を全範囲で積分します。 \begin{align*} \int_{-\infty}^\infty f(x)dx &=\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx \end{align*} さて、この右辺の計算ですが、これはガウス積分を用いて計算します。まず、$x-\mu=s$と置換すると、$dx=ds$であり、積分範囲は元の範囲と同じように、$-\infty$から$\infty$になります。 \begin{align*} =\dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{s^2}{2\sigma^2}}ds \end{align*} ここで、ガウス積分の公式 \begin{align*} \int_{-\infty}^\infty e^{-ax^2}dx=\sqrt{\dfrac{\pi}{a}} \end{align*} をもちいると、(参考: ガウス積分 ) \begin{align*} \dfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty e^{-\frac{s^2}{2\sigma^2}}ds =\dfrac{1}{\sqrt{2\pi}\sigma}\sqrt{2\pi\sigma^2}=1 \end{al

特性関数の定義とは? 特性関数の定義を紹介します。モーメント母関数は定義できない場合もあるのですが、特性関数は、いつでも存在します。 特性関数の定義 特性関数 特性関数$\varphi(t)$を以下のように定義します。確率密度関数を$f(x)$として、 \begin{align*} \varphi(t)\stackrel{def}{=}\int_{-\infty}^\infty e^{itx}f(x)dx \end{align*} モーメント母関数$M(\theta)$は以下のように定義されていました。 \begin{align*} M(\theta)\stackrel{def}{=}\int_{-\infty}^\infty e^{\theta x}f(x)dx \end{align*} $\theta$を$it$で置き換えただけです。さて、置き換えただけなのですが、特性関数のほうは、定義式の積分が収束することを示すことができます。密度関数が非負であること、$|e^{itx}|$$=1$を用いて、 \begin{align*} \left|\int_{-\infty}^\infty e^{itx}f(x)dx\right| &\leq \int_{-\infty}^\infty |e^{itx}f(x)|dx \\ &=\int_{-\infty}^\infty |e^{itx}||f(x)|dx \\ &=\int_{-\infty}^\infty f(x)dx \\ &=1 \end{align*} となります。(最左辺の絶対値がご利用の機器によっては見えていないかもしれませんが、式全体に絶対値を付けています。) つまり、特性関数は必ず存在するということになります。 特性関数と期待値の関係 特性関数の性質は以下のようになります。 特性関数と期待値の関係 \begin{align*} E[X^n]=\left.\dfrac{1}{i^n}\dfrac{d^n\varphi(t)}{dt^n}\right|_{t=0} \end{align*} モーメント母関数よりは複雑な結果になってしましました。モーメント母関数は原点での微分係数がそのまま

キュムラント母関数とは? 前回定義したモーメント母関数をもとにしてキュムラント母関数を定義します。 ※連続型確率変数を前提として、書いていますが、離散型に対しても同様にできます。 キュムラント母関数の定義 キュムラント母関数 モーメント母関数$M(\theta)$に対して、キュムラント母関数$C(\theta)$を、 \begin{align*} C(\theta)\stackrel{def}{=}\ln{M(\theta)} \end{align*} と定義します。 つまり、モーメント母関数の対数をとったものです。ただし、モーメント母関数は、(連続型の)確率密度関数$f(x)$に対して、 \begin{align*} M(\theta)\stackrel{def}{=}\int_{-\infty}^\infty e^{\theta x}f(x)dx \end{align*} と定義されていました。(もちろん離散型の確率変数に対しても定義できますが、今回は連続型の確率変数を前提として扱っています。) キュムラント母関数の性質とその証明 キュムラント母関数の性質一覧 キュムラント母関数には以下のような性質があります。 キュムラント母関数の性質 確率変数$X$の期待値を$E[X]$,分散を$V[X]$で表すと、 \begin{align} E[X]&=\left. \dfrac{d C(\theta)}{d\theta}\right|_{\theta=0} \label{eq:1}\\ V[X]&=\left.\dfrac{d^2 C(\theta)}{d\theta^2}\right|_{\theta=0} \label{eq:2} \end{align} 期待値とキュムラント母関数の関係の証明 \eqref{eq:1}の右辺を計算します。まずは普通に導関数を計算すると、 \begin{align*} (\eqref{eq:1}\text{の右辺}) &=\left.\dfrac{d}{d\theta}\left(\ln{M(\theta)}\right)\right|_{\theta=0} \\ &a

チェビシェフの不等式と大数の法則の証明 この記事では、確率変数$X$の期待値を$\mu$,(有限の)分散を$\sigma^2$として計算を進めます。 これらの定理を中心極限定理の証明に使おうと思っているので一足先に紹介します。 チェビシェフの不等式 チェビシェフの不等式の内容 チェビシェフの不等式 任意の実数$k$に対して、 \begin{align*} P(|X-\mu|\geq k\sigma)\leq \dfrac{1}{k^2} \end{align*} この式を証明します。 チェビシェフの不等式の証明 証明をするにあたって、まずは確率変数が連続型の場合を考えます。まずは分散を確率密度関数で表して、それを不等号で抑え込みながら確率に直していきます。 \begin{align*} \sigma^2 &=\int_{-\infty}^\infty (x-\mu)^2f(x)dx \\ &\geq \int_{|x-\mu|\geq k\sigma} (x-\mu)^2f(x)dx \\ &\geq \int_{|x-\mu|\geq k\sigma} (k\sigma)^2f(x)dx \\ &=(k\sigma)^2\int_{|x-\mu|\geq k\sigma}f(x)dx \\ &=(k\sigma)^2P(|X-\mu|\geq k\sigma) \end{align*} 最左辺と最右辺を$k^2\sigma^2$$(\gt 0)$で割ると、 \begin{align*} P(|X-\mu|\geq k\sigma)\leq \dfrac{1}{k} \end{align*} が得られます。離散型でも全く同様です。 大数の法則 大数の法則の内容 大数の法則 母平均$\mu$,分散$\sigma^2$の分布に従う確率変数$X_1$,$X_2$,$\cdots$,$X_n$の標本平均を$\bar{X}_n$とします。任意の$\varepsilon$$\gt 0$について、 \begin{align*} \lim_{n\to \infty}P(|\bar{X

ポアソン分布の導出と期待値の計算 ポアソン分布は離散的だった二項分布の延長として計算されます。 ポアソン分布 ポアソン分布とは? ポアソン分布 パラメータ$\lambda$に対して、ある期間に平均$\lambda$回起こる事象が実際に起こる回数を表す確率変数を$X$とします。$X$$=k$となる確率は、 \begin{align*} P(X=k)=\dfrac{e^{-\lambda}\lambda^k}{k!} \end{align*} となります。 ポアソン分布の導出 前提：二項分布 確率$p$で成功する試行を$n$回繰り返した時に成功する階数を表す確率変数$X$に対して、$X$$=k$となる確率は、 \begin{align*} P(X=k)={}_nC_kp^k(1-p)^{n-k} \end{align*} となります。これを前提に、以下、進めていきます。 二項分布からポアソン分布を導出する考え方 二項分布の期待値(以下、$\lambda$とおきます。)は、 \begin{align*} E[X]=np(=\lambda) \end{align*} と表されたのでした。(参考: 一様分布・ベルヌーイ分布・二項分布 ) この$\lambda$を一定に保ったまま、試行回数$n$$\to \infty$とします。このとき、$\lambda$$=np$が有限の値であるためには、$p\to 0$であることが必要になります。 二項分布からポアソン分布を導出する計算 $p$を$\lambda/n$で置き換えます。 \begin{align*} P(X=k) &=\dfrac{n!}{(n-k)!k!}\left(\dfrac{\lambda}{n}\right)^k\left(1-\dfrac{\lambda}{n}\right)^{n-k} \nonumber \\ &=\dfrac{n!}{(n-k)!k!}\left(\dfrac{\lambda}{n}\right)^k\left(1-\dfrac{\lambda}{n}\right)^{-\frac{n-k}{\lambda}\cdot (-\lambda)} \nonumber \\ &

一様分布・ベルヌーイ分布・二項分布とは? すべての分布の紹介で、離散型確率変数の場合には取りうる値に番号を付けて、$0$から$n$まで、連続型確率変数の場合は定義域を$[a,b]$にします。 一様分布とは? 一様分布とはどの値に関しても取る値が等しいということです。 一様分布・連続型変数の場合 密度関数の表式 確率変数密度関数が以下のようになります。 \begin{align*} f(x)=\dfrac{1}{b-a} \end{align*} これを全定義域で積分すれば、 \begin{align*} \int_a^bf(x)dx=1 \end{align*} となります。 期待値の計算 期待値は密度関数に$x$をかけて積分すればよくて、 \begin{align*} E[X] &=\int_a^b xf(x)dx \\ &=\left[\dfrac{1}{2(b-a)}x^2\right]^b_a \\ &=\dfrac{a+b}{2} \end{align*} となります。 分散の計算 分散$V[X]$を計算します。上で計算した期待値の結果を利用して、 \begin{align*} V[X] &=E[X^2]-\{E[X]\}^2 \\ &=\int_a^b x^2f(x)dx-\left(\int_a^b xf(x)dx\right)^2 \\ &=\dfrac{1}{b-a}\int_a^b x^2 dx-\left(\dfrac{a+b}{2}\right)^2 \\ &=\dfrac{1}{b-a}\dfrac{b^3-a^3}{3}-\dfrac{(a+b)^2}{4} \\ &=\dfrac{1}{b-a}\dfrac{(b-a)(a^2+ab+b^2)}{3}-\dfrac{(a+b)^2}{4} \\ &=\dfrac{a^2+ab+b^2}{3}-\dfrac{a^2+2ab+b^2}{4} \\ &=\dfrac{a^2-2ab+b^2}{12} \\ &=\dfrac{(b-a)^2}{12} \end{align*} 一様分布・離

ベイズの定理の証明とは? ここではベイズの定理の証明を行います。 ベイズの定理の内容 ベイズの定理 事象$A$が起こる確率を$P(A)$のように、事象$A$が起こったときに事象$B$が起こる条件付き確率を$P(B|A)$あらわします。このとき、 \begin{align*} P(A|B)=\dfrac{P(B|A)P(A)}{P(B)} \end{align*} という式が成り立ちます。 条件付き確率とは? 条件付き確率 事象$A$が起こったときに、事象$B$が起こる条件付き確率$P(B|A)$は、 \begin{align*} P(B|A)=\dfrac{P(A\cap B)}{P(A)} \end{align*} と計算できます。 ベイズの定理の導出 先ほど紹介した事象$A$が起こったときに事象$B$が起こる条件付き確率の式を以下のように変形しておきます。 \begin{align} P(A\cap B)=P(A)P(B|A) \label{eq:1} \end{align} また、同様に、事象$B$が起こった時に事象$A$が起こる条件付き確率は、 \begin{align*} P(A|B)=\dfrac{P(A\cap B)}{P(B)} \end{align*} となります。これも先ほどと同様に分母を払えば、 \begin{align} P(A\cap B)=P(A|B)P(B) \label{eq:2} \end{align} ここで、\eqref{eq:1},\eqref{eq:2}を考えると、 \begin{align*} P(A|B)P(B)=P(B|A)P(A) \end{align*} となります。これを変形すると、 \begin{align*} P(A|B)=\dfrac{P(B|A)P(A)}{P(B)} \end{align*} となり、ベイズの定理が導かれます。 [ 前の記事へ ] [ 次の記事へ ]

モーメント母関数でなにができるか? モーメント母関数というものがあります。深堀するときりがないので簡単な応用先となる期待値や分散への応用だけ紹介することにします。 モーメント母関数の定義と性質 モーメント母関数(積率母関数)$M(\theta)$ $X$を確率変数として、 \begin{align*} M(\theta)=E[e^{\theta X}] \end{align*} この式はよくわからない式ですが、以下のような性質があります。 期待値 \begin{align*} E[X^n]=\dfrac{d^nM}{d\theta^n}(0) \end{align*} この期待値の性質は簡単に導出できます。 モーメント母関数から期待値の導出 連続型確率変数を考える 先ほどの式は離散型でも成り立ちますが、今は連続型で導出しようと思います。確率密度関数を$f(x)$とすると、その確率変数$e^{\theta X}$の期待値、つまりモーメント母関数は、 \begin{align*} M(\theta)=E[e^{\theta X}]=\int_{-\infty}^\infty e^{\theta x}f(x)dx \end{align*} さて、この辺々を$\theta$で微分しましょう。このとき、$x$は定数として考えることができます。 \begin{align*} \dfrac{dM}{d\theta}(\theta)=\int_{-\infty}^\infty xe^{\theta x}f(x)dx \end{align*} ここで、$\theta=0$とすれば、$e^{0\cdot x}=1$で \begin{align*} \dfrac{dM}{d\theta}(0)=\int_{-\infty}^\infty xf(x)dx=E[X] \end{align*} となります。ここから以下のことが推測できます。 \begin{align*} \dfrac{d^nM}{d\theta^n}(\theta)=\int_{-\infty}^\infty x^n e^{x\theta}

期待値や分散と密度関数との関係、分布関数? 連続型と離散型の確率変数について期待値と分散の定義を紹介します。 確率変数とは?連続型と離散型 たとえばさいころをふったときに出る値は1から6の間の整数になり、さらにそれらには出る確率もさだまっています。このような場合の変数を一般に$X$,$Y$など大文字でかいてあらわします。 また、その確率変数がとる値はさいころのような整数しかとらない離散型、または連続した範囲の任意の数をとる連続型とあって、これらで扱いが変わってきます。 連続型の確率密度関数の定義 確率密度関数の性質 確率密度関数$f(x)$について、 \begin{align*} f(x)&\geq 0 \\ \int_{-\infty}^\infty f(x)\ dx&=1 \\ P(a\leq X \leq b)&=\int_a^b f(x)\ dx \end{align*} ただし、$P(a\leq X \leq b)$は確率変数$X$が$a\leq X \leq b$を満たす確率です。 以上のような性質を満たすのが確率密度関数なのですが、ここでややこしいのが区間の端点です。連続型の場合には \begin{align*} P(a\lt X \leq b)&=P(a\leq X \leq b) \\ P(a\leq X \lt b)&=P(a\leq X \leq b) \end{align*} というように 端点を含むか含まないかで確率は変わらない ということになっています。 連続型に関して分布関数の定義 確率分布関数の定義 確率分布関数$F(x)$を以下のように定義します。 \begin{align*} F(x)\stackrel{def}{=}\int_{-\infty}^x f(x^\prime)\ dx^\prime \end{align*} このとき、以下のような性質が言えます。 \begin{align*} F(x)&\geq 0 \\ P(X \leq a)&=F(a) \end{align*} これらは確率密度関数の定義から明らかですね。