部分的最小２乗法（PLS）のメモ

部分的最小２乗法：PLS
sklearnでPLS
参考

部分的最小２乗法：PLS

部分的最小２乗法(Partial Least Squares Regression)は、PLSと略されます。
または、PLSRやPLS回帰とも呼ばれます。

ここでは、PLSと呼びます。

PLSは、データを直に使わずにスコアを計算し、そのスコアへの回帰を行う点が通常の重回帰と異なる。

PLSは、主成分と被説明変数との共分散が最大になるように主成分を抽出する。

PLSを利用することにより、多重共線性の問題を回避し、線型回帰モデルを構築することができる。

主要な主成分が出力変数の推定に寄与するとは限らない
出力変数との相関が強い潜在変数を入力変数として採用すべき

PLSは、これらの問題を解決する

sklearnでPLS

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import load_boston

#説明変数データを取得
data_x =  load_boston().data 
# 被説明変数データを取得
data_y = load_boston().target

from sklearn.model_selection import train_test_split

X_train, X_val, y_train, y_val = train_test_split(data_x, data_y, test_size=.03, random_state=0)

from sklearn.cross_decomposition import PLSRegression
from sklearn.metrics import mean_squared_error
pls = PLSRegression(n_components=2)
pls.fit(X_train, y_train)

y_pred = pls.predict(X_val)

print(mean_squared_error(y_val, y_pred))