画像処理とOpenCV
LoGフィルタ
統計学
統計学 Mann-Kendallのトレンド検定
Mann-Kendallのトレンド検定
$$
S=\sum_{k=1}^{n-1} \sum_{j=k+1}^{n} sgn\left(X_{j}-X_{k}\right)
$$
$$
\sigma^{2}=\frac...
統計学 多重比較補正-多重比較の問題への対処-
多重比較の問題
検定回数を増やすと、検定全体としての第1種の誤り(Type I error)が起こる確率が高くなる問題。
FWER(FamilyWise Error Rate)は、検定全体で少なくとも１回はType Ⅰ erro...
統計学 HAC標準誤差によるt検定
HAC標準誤差によるt検定
回帰分析における最小２乗法の推定量は、誤差項が次の過程を満たす時に最小分散線形不偏量推定(BLUE)になる。
\(E = 0\)
\(V = \sigma^2\)
\(Cov = 0\)
H...
統計学 不均一分散一致標準誤差(HC Standard Error)によるt検定
回帰分析のロバストなt検定
線形回帰分析では、誤差項が均一分散であることが仮定されている。
誤差項が不均一分散であるとき、標準誤差に誤りが生じる。
誤差項が不均一分散の線形回帰分析では、誤った標準誤差から、回帰係数のt値を求めるこ...
統計学 Breusch-Pagan(BP)検定[不均一分散の検定]
Heteroskedasticityの検定-Breusch-Pagan(BP)検定
Heteroskedasticity(不均一分散性)は、線形回帰分析の誤差項において、度々問題が生じる。
この不均一分散性を評価するときに、不均一分...
統計学 パラメトリック検定とノンパラメトリック検定
パラメトリック検定とノンパラメトリック検定
パラメトリック検定とノンパラメトリック検定の違いは、母集団が正規分布に従っていると仮定できる(する)か否かです。
パラメトリック検定は、母集団が正規分布
ノンパラメトリック検定は、母集団...
統計学 ジャック・ベラ検定[正規性の検定]
ジャック・ベラ検定
標本データが正規分布に従う尖度と歪度を有しているかを調べる適合度検定である。
python
参考
ジャック–ベラ検定
統計学 コルモゴロフ-スミルノフ検定(KS検定)[正規性の検定]
コルモゴロフ-スミルノフ検定
2つの標本が同じ確率分布からサンプリングしたものかを調べるための検定である。
ここでは、正規分布に関する検定を試す
Python
有意水準を0.05とすると
標準正規分布からの...
統計学 シャピロ-ウィルク検定[正規性の検定]
シャピロ-ウィルク検定
シャピロ-ウィルク検定は、標本が正規母集団からサンプリングされたものであるかを検定する。
帰無仮説\(H_0:\)正規母集団からのサンプリングである
有意水準が\(\alpha=0.05\)と設定すると...
統計学 正規Q-Qプロット[正規性]
正規Q-Qプロット
正規Q-Qプロットは、データが正規分布から得られたかどうかを視覚的に捉えることができる。
データが正規分布に従う場合の期待値をy軸にとる。
データそのものをx軸にとる
プロットがほぼ一直線上に整列している...
統計学 t分布における有意確率pの確率変数をPythonで求める
t分布における有意確率pの確率変数をPythonで求める
t検定で、有意な範囲を求めるときに、有意確率pの確率変数を求める必要があります。
t分布
有意確率pの確率変数
ppf(p)を使うと求められる。
p...
統計学 勾配降下法で重回帰分析してみた
勾配降下法で重回帰分析してみた
Pythonで勾配降下法では、単回帰(回帰直線)で実験しました。
今回は、単回帰含め、重回帰分析まで広げてみます。
使うデータセットは、skleanのボストン住宅価格です。
モデルの説明
...
統計学 データの種類・分類
データの種類
質的データと量的データ
質的データ
定性的データ
カテゴリ・属性
量的データ
定量的データ
測定値・数量
データと...
統計学 相関分析とデータの種類
相関分析
相関分析では、変数間の関連性の強さを調べる。
相関係数などの統計量を使って、変数間の関連性を分析する。
データの種類によって、扱う統計量が変わる。
量的データ×量的データ
量的データ×質的データ
質...
統計学 P値(有意確率)
統計学 逆行列の求め方 PythonとC++
統計学 特異値分解 with Python
統計学 F値の求め方|重回帰分析
統計学 平方和の分解|重回帰分析
統計学 標本分布と誤差分散
統計学 てこ比|重回帰分析
統計学 回帰分析のt値の求め方:Pythonで実装
t検定とt値とは
t値は、モデルの説明変数のそれぞれについて、計算されます。
このｔ値が「2」以上なら、その説明変数は、「統計学的に、モデルに組み込むのは良い」または、「統計学的に支持される」ことを意味する。
逆に、t値が「1」未満な...
統計学 多重共線性を回避する：メモ書き
統計学 因子分析
因子分析とは
因子分析とは、様々なデータに影響を与えていると考えられる潜在的な要素を因子として取り出し、その構造を明らかにする分析手法です。
因子分析を使うと、変数の背後にある、共通した概念（共通因子）を抽出することができる...
統計学 部分的最小２乗法（PLS）のメモ
部分的最小２乗法：PLS
部分的最小２乗法(Partial Least Squares Regression)は、PLSと略されます。
または、PLSRやPLS回帰とも呼ばれます。
ここでは、PLSと呼びます。
PLSは...