確率分布の期待値や分散をどのように推定するか?パラメータ推定のお話。

植物の種子数や工場の不良品数などのデータが与えられていて、「そのデータは何かしらの分布になっているのではないか」と考えたくなるような場合、まずその分布の期待値や分散が分かると非常にうれしいです。その際に用いられる手法に「モーメント法」と「最尤推定法」というのがあります。

 

1.モーメント法とは?

モーメント法とは、以前、二項定理の期待値を計算するときに用いたモーメントを使って確率分布の未知のパラメータを推定する手法です。一般的に定式化すると以下のようになります。

 

母集団が未知の母数{\theta_1,...,\theta_n}を持つ母集団分布に従うとする。この分布に従う確率変数をXとし、{\mu_j =E(X^j)}(これがモーメント)を考える。

 

       {\mu_j=g_j(\theta_1,...,\theta_k), 1≦j≦k}

 

として表せる。つまり各モーメントは未知の母数(期待値や分散など)を用いて表す。

 また、標本{X_j(1≦j≦n)}から求めた標本モーメントを

                                    

                         {\hat{\mu_j}= \sum_{i=1}^n {X_i}^j}

 

とし、母モーメント=標本モーメントとして未知の母数を含む方程式を解く。(基礎統計学統計学入門p216を参考にした。)

このままでは一般的すぎるので具体例を示してみます。

 

1.1母集団分布が正規分布{N(\mu,{\sigma}^2)}のとき 

 二項分布の母モーメントは、

                                  {\mu_1=\mu,\mu_2={\sigma}^2+{\mu}^2}

である。また標本から、

               {\hat{\mu_j}= \sum_{i=1}^n {X_i}^j, j=1,2}

で、推定する。母モーメント=標本モーメントとすれば、

{\hat{\mu_1}= \sum_{i=1}^n {X_i}= \mu}

{\hat{\sigma} }

={ \hat{\mu_2}-{\mu}^2 }

={ \sum_{i=1}^n \frac{{X_i}^2} {n}-{\overline X}^2 }

={ \sum_{i=1}^n \frac{(X_i-\overline{X})^2}{n}}

 となります。

 2.最尤推定法とはどのような手法か?

n:標本の大きさ、{\theta:母集団の母数}、f:確率密度関数、として、

                            {L(\theta)=\prod_{i=1}^n f(x_i,\theta)}

{L(\theta)}を定義しこれを尤度関数(likelihood function)といいます。この尤度関数を最大にする{\theta}求める手法を最尤推定といいます。さらに、母集団の母数がk個のときも同様にして尤度関数を

                {L(\theta_1,...,\theta_k)=\prod_{i=1}^n f(x_i;\theta_1,...,\theta_k)}

と定めます。最尤推定法を通して得られた母数のことを最尤推定値、その時の尤度関数を最尤推定量といいます。

 ところが、尤度関数をそのまま最大にしようとすると数学的な処理が面倒な場合が多いので対数をとることがしばしばあります。尤度関数の対数をとったものを対数尤度関数と言います。

2.1 最尤推定法の計算法は

では最尤推定法とはどのように使えばよいのでしょうか?今回も正規分布{N(\mu,{\sigma}^2)}を用いて最尤推定値を求めてみます。サンプルの数はn個で同一の正規分布に従う独立なものとします。すると尤度関数は、

 {L(\mu,{\sigma}^2) }

={(\frac{1}{\sqrt{2\pi} \sigma}) ^ne^{-\frac{1}{2{\sigma}^2} \sum_{i=1}^n (x_i-\mu)^2 }}

となるので両辺の対数をとり各母数で偏微分します。すると、

 {\frac{\partial logL(\mu,{\sigma}^2)} {\partial {\mu}}}

=\sum_{i=1}^n {\frac {x_i-\mu}{{\sigma}^2} }…① 

 {\frac{\partial logL(\mu,{\sigma}^2)} {\partial {(\sigma)}^2}}

={ \sum_{i=1}^n \frac{(X_i-\mu)^2}{2 {\sigma}^4 } - \frac {n}{2{\sigma}^2} }…②

 となる。あとは①②の右辺を0と置いて{\mu,{\sigma}^2}について解けば、期待値や分散の最尤推定量は、 

{ \hat{\mu}= \sum_{i=1}^n X_i/n, {\hat{\sigma}}^2=  \sum_{i=1}^n (X_i - {\overline X})^2/n}

となります。