サポートベクター回帰(SVR)のメモ

Suport Vector Regression

RBFカーネル法を用いたSVMをモデルとした回帰

特徴量に対して明示的な変換を行わなくても、多項式回帰と同じような複雑な予測をすることができる。

結果(グラフ)

他の回帰と比較

Linearモデル(単回帰)と、多項式回帰を比較した。

サポートベクター回帰が柔軟なことがわかる。

ソースコード

import numpy as np
from sklearn.svm import SVR
import matplotlib.pyplot as plt
import math
import time

np.random.seed(0)

#データを作る
X = np.linspace(0, 2*math.pi, 40)
y = np.sin(X)

#サイズを合わせる
X = X.reshape(40,1)

#ノイズの入れる
y[::2] += np.random.rand(20)

#予測用データ
X_pre = np.linspace(0,4*math.pi,40)
y_pre = np.sin(X_pre)
X_pre = X_pre.reshape(40,1)

#サポートベクター回帰(SVR)
svr_rbf = SVR(kernel='rbf', C=1e3, gamma=0.05)
y_rbf = svr_rbf.fit(X, y)
y_rbf = y_rbf.predict(X_pre)



#プロット
lw = 2
plt.scatter(X_pre, y_pre, color='darkorange', label='predict')
plt.scatter(X, y, color="red", label='data')
plt.plot(X_pre, y_rbf, color='navy', lw=lw, label='RBF model')
plt.xlabel('data')
plt.ylabel('target')
plt.title('Support Vector Regression')
plt.legend()
plt.show()

参考

http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html#sklearn.svm.SVR

http://scikit-learn.org/stable/auto_examples/svm/plot_svm_regression.html#sphx-glr-auto-examples-svm-plot-svm-regression-py