てこ比|重回帰分析

データに外れ値があると、回帰式の推定値が大きく変わってしまう可能性がある。

重回帰分析での、推定偏回帰係数は次のように求められる。

$$
\hat{\beta} = (X^TX)^{-1}X^Ty
$$

予測値は次のようになる。
$$
\hat{y} = X\hat{\beta} = X(X^TX)^{-1}X^Ty
$$

ここで、\(X(X^TX)^{-1}X^T\)を\(H\)とおくと、予測値は次の式で表せられる。
$$
\hat{y} = Hy
$$

\(H\)はハット行列と呼ばれ、この対角成分がてこ比\(h_i\)である。

Hは、説明変数のみから計算されていることがわかる。

$$
h_i = \frac{1}{n} + \frac{D_i^2}{n-1}
$$
\(D_i\)とは、マハラノビス距離のことである。

おすすめ