部分的最小2乗法(PLS)のメモ

統計学




部分的最小2乗法:PLS

部分的最小2乗法(Partial Least Squares Regression)は、PLSと略されます。
または、PLSRやPLS回帰とも呼ばれます。

ここでは、PLSと呼びます。

PLSは、データを直に使わずにスコアを計算し、そのスコアへの回帰を行う点が通常の重回帰と異なる。

PLSは、主成分と被説明変数との共分散が最大になるように主成分を抽出する。

PLSを利用することにより、多重共線性の問題を回避し、線型回帰モデルを構築することができる。

  1. 主要な主成分が出力変数の推定に寄与するとは限らない
  2. 出力変数との相関が強い潜在変数を入力変数として採用すべき

PLSは、これらの問題を解決する

sklearnでPLS

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import load_boston

#説明変数データを取得
data_x =  load_boston().data 
# 被説明変数データを取得
data_y = load_boston().target

from sklearn.model_selection import train_test_split

X_train, X_val, y_train, y_val = train_test_split(data_x, data_y, test_size=.03, random_state=0)

from sklearn.cross_decomposition import PLSRegression
from sklearn.metrics import mean_squared_error
pls = PLSRegression(n_components=2)
pls.fit(X_train, y_train)

y_pred = pls.predict(X_val)

print(mean_squared_error(y_val, y_pred))

参考

部分的最小二乗回帰(Partial Least Squares Regression, PLS)~回帰分析は最初にこれ!~
...

http://www.st.nanzan-u.ac.jp/info/gr-thesis/ms/2007/03mm012.pdf

http://www-pse.cheme.kyoto-u.ac.jp/members/kim/lecture/pdf/data_analysis_resume_7_2017_1121.pdf

https://datachemeng.com/wp-content/uploads/2017/06/partialleastsauares.pdf

タイトルとURLをコピーしました