ベイズ推定

この記事の目的

ベイズ推定について学習し、まとめていきます。

参考書は、
ベイズ推定入門モデル選択からベイズ的最適化までです。
ストーリー仕立てで、分かりやすいです。
数式ばっか、文字ばっかの本が嫌いな方にオススメです。
私は、こんな理由でこの本を選びました。

事前情報を活かした推定をする技術
それがベイズ推定です。
ベイズ推定は、分布推定

予測分布を積分したものをベイズ予測分布という。
データと事前情報から推測することをベイズ推測という

データとうまく合うことを確認しながら尤度関数と事前分布を積分した周辺尤度関数を計算して、これが大きくなるようなハイパーパラメータを採用する。

事前情報に頼らず、実際に調べた結果のみに基づいて、推定をする技術
それが最尤推定です。
最尤推定は、一つの推定結果を提示する点推定

尤度関数と事前分布を組み合わせたものを事後確率分布

確率分布を用意して、不確実性を説明しようとする方法を統計的モデリングという。
その説明に用いる確率分布をモデルという。

原因Xと結果Y
条件付き確率は、原因Xで、結果がYの確率である。
表記は

$$P(Y|X)$$

条件付き確率の逆
結果Yで、原因がXの確率
表記は、
$$P(X|Y)$$
逆の条件付き確率は、条件付き確率と前提条件の確率の積である。
前提条件の確率は、事前分布を用いる。

いくつか可能性があるモデルの中で適切なものを選ぶことをモデル選択という。
予測精度を上げるには、パラメータの数を少なめにする

事実（データ）と、事前情報を取り入れ、バランスを取ることを正則化という。
事前情報を利用して最尤法とは異なる最適化を実行する

スパースとは、「疎」、「ほとんどない」という意味
スパース性を利用した正則化を、スパース正則化という

このスパース正則化はデータが少ない時に非常に有効な方法

スパースであるという事前情報を加味して、方程式やニューラルネットワークの重みなどで、重要な要素を見出す技術をスパースモデリングという。