確率分布の期待値や分散をどのように推定するか?パラメータ推定のお話。
植物の種子数や工場の不良品数などのデータが与えられていて、「そのデータは何かしらの分布になっているのではないか」と考えたくなるような場合、まずその分布の期待値や分散が分かると非常にうれしいです。その際に用いられる手法に「モーメント法」と「最尤推定法」というのがあります。
1.モーメント法とは?
モーメント法とは、以前、二項定理の期待値を計算するときに用いたモーメントを使って確率分布の未知のパラメータを推定する手法です。一般的に定式化すると以下のようになります。
母集団が未知の母数を持つ母集団分布に従うとする。この分布に従う確率変数をXとし、(これがモーメント)を考える。
として表せる。つまり各モーメントは未知の母数(期待値や分散など)を用いて表す。
また、標本から求めた標本モーメントを
このままでは一般的すぎるので具体例を示してみます。
1.1母集団分布が正規分布のとき
二項分布の母モーメントは、
である。また標本から、
で、推定する。母モーメント=標本モーメントとすれば、
=
=
=
となります。
2.最尤推定法とはどのような手法か?
n:標本の大きさ、、f:確率密度関数、として、
を定義しこれを尤度関数(likelihood function)といいます。この尤度関数を最大にする求める手法を最尤推定法といいます。さらに、母集団の母数がk個のときも同様にして尤度関数を
と定めます。最尤推定法を通して得られた母数のことを最尤推定値、その時の尤度関数を最尤推定量といいます。
ところが、尤度関数をそのまま最大にしようとすると数学的な処理が面倒な場合が多いので対数をとることがしばしばあります。尤度関数の対数をとったものを対数尤度関数と言います。
2.1 最尤推定法の計算法は?
では最尤推定法とはどのように使えばよいのでしょうか?今回も正規分布を用いて最尤推定値を求めてみます。サンプルの数はn個で同一の正規分布に従う独立なものとします。すると尤度関数は、
=
=…①
=…②
となる。あとは①②の右辺を0と置いてについて解けば、期待値や分散の最尤推定量は、
となります。