一. SVR原理简述

在前面的文章中详细讨论过关于线性回归的公式推导，线性回归传送站。线性回归的基本模型为：

，从某方面说这和超平面的的表达式：

有很大的相似性。但SVR认为只要

与

不要偏离太大即算预测正确，

为拟合精度控制参数。如图所示：SVR 示意图

从图例中分析，支持向量机回归与线性回归相比，支持向量回归表示只要在虚线内部的值都可认为是预测正确，只要计算虚线外部的值的损失即可。考虑到SVM中线性不可分的情形，在引入松弛变量

最终得出支持向量机回归的最优化问题：

s.t

;

;

;

。

引入拉格朗日乘数，经过一系列求解与对偶，求的线性拟合函数为：

;

为拉格朗日朗日乘子。

引入核函数，则得：

二. python函数介绍

这里面涉及到的核函数等其它知识可参考：svm通俗讲解。

sklearn.svm.SVR(

kernel =’rbf’，

degree = 3，

gamma =’auto_deprecated’，

coef0 = 0.0，

tol = 0.001，

C = 1.0，

epsilon = 0.1，

shrinking = True，

cache_size = 200，

verbose = False，

max_iter = -1

)

”’kernel:指定要在算法中使用的内核类型。它必须是’linear’，’poly’，’rbf’， ‘sigmoid’，’precomputed’或者callable之一。degree： int，可选(默认= 3)多项式核函数的次数(‘poly’)。被所有其他内核忽略。gamma ： float，(默认=’auto’),’rbf’，’poly’和’sigmoid’的核系数。当前默认值为’auto’，它使用1 / n_features。coef0 ： float，(默认值= 0.0)核函数中的独立项。它只在’poly’和’sigmoid’中很重要。tol ： float，(默认值= 1e-3)容忍停止标准。C ： float，可选(默认= 1.0)错误术语的惩罚参数C.epsilon ： float，optional(默认值= 0.1)epsilon在epsilon-SVR模型中。它指定了epsilon-tube，其中训练损失函数中没有惩罚与在实际值的距离epsilon内预测的点。shrinking ： 布尔值，可选(默认= True)是否使用收缩启发式。cache_size ： float，可选，指定内核缓存的大小(以MB为单位)。verbose ： bool，默认值：False 启用详细输出。请注意，此设置利用libsvm中的每进程运行时设置，如果启用，则可能无法在多线程上下文中正常运行。max_iter ： int，optional(默认值= -1) 求解器内迭代的硬限制，或无限制的-1”’

三. 示例代码https://github.com/zx3305/tennis/blob/master/svm/svr_test.py​github.com

import matplotlib.pyplot as plt

import numpy as np

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.svm import SVR

from sklearn.metrics import r2_score

np.random.seed(0)

x = np.random.randn(80, 2)

y = x[:, 0] + 2*x[:, 1] + np.random.randn(80)

clf = SVR(kernel=’linear’, C=1.25)

x_tran,x_test,y_train,y_test = train_test_split(x, y, test_size=0.25)

clf.fit(x_tran, y_train)

y_hat = clf.predict(x_test)

print(“得分:”, r2_score(y_test, y_hat))

r = len(x_test) + 1

print(y_test)

plt.plot(np.arange(1,r), y_hat, ‘go-‘, label=”predict”)

plt.plot(np.arange(1,r), y_test, ‘co-‘, label=”real”)

plt.legend()

plt.show()结果示意图