# 11.05记录
拟合
欠拟合
简单地说，就是模型学不会，模型太简单。例如，一个学生只会背公式，但是不会运用，题目稍微变形，就做不出来了。欠拟合说明模型只学会了表层的规律。
现象：
在训练集和测试集上表现都很差
解决方案：
提升模型复杂度，例如增加特征，加深网络等
过拟合
过拟合说明模型学的太死，甚至会把噪声样本当成规律。例如一个学生能熟练的做出一张卷子上面所有的题目，甚至能把卷子的印刷错误都吸收了，但是这并非真实规律。
现象：
在训练集上表现极佳，但是在测试集上表现很差
解决方案：
降低复杂度，例如剪枝，正则化等
线性回归：
线性回归用于预测回归类问题，例如，我们要预测连续型数据，那么，我们就要找到一个函数，使得
用线性函数表示，就是
所以我们的目的就是找到最优的omega，怎么判断是否最优？可以用预测值和真实值的差来估算，但是这样正差值和负差值会抵消，所以我们用平方误差，公式：
这个函数就是线性回归的损失函数
下面，就有两种求解方式了，一种是正规方程解法，一种是梯度下降法。
正规方程
先展开
对omega求导，可以得到
令其为0,可以得出
这个omega即为最优解，但是要保证样本数大于特征数，不然X^TX的逆是不能直接算的。
梯度下降法
梯度就是函数值增加最快的方向，负梯度就是减少最快的方向。我们可以通过这个方法来寻找最小损失。
例如，我们站在山上，梯度下降就是从最陡峭的地方下滑山，这样可以最快到达山脚。但是我们也可能到达的是山谷之类的地方， 所以梯度下降只能求解局部最优解。
梯度公式
然后用步长乘以这个公式，得到的就是下降的距离
检查梯度下降的距离是否小于设定的阈值epsilon,如果小于，那就停止，否则更新omega
梯度下降的方式
批量梯度下降：每次用所有样本来更新参数（计算量大，训练慢）
随机梯度下降：每次只用一个样本来更新参数（迭代方向变化大，函数收敛较慢）
mini-batch:综合上面两种方法
模型评估
均方误差：
其中，N为样本数量，y和p分别表示真实值和预测值
用线性回归来预测波士顿房价
sklearn
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
# 从原始网站读取 Boston 房价数据
data_url = "http://lib.stat.cmu.edu/datasets/boston"
raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
# 构造 X 和 y
X = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
y = raw_df.values[1::2, 2]
# 训练集 / 测试集划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=8)
# 建立线性回归模型
lr = LinearRegression()
lr.fit(X_train, y_train)
# 预测并计算 MSE
y_pred = lr.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print("MSE:", mse)xgboost
xgboost内置了线性回归的API
import xgboost as xgb
from 线性回归.boston import X_train, y_train, X_testtrian_xgb=xgb.DMatrix(X_train,y_train)
params={'objective': 'reg:linear','booster': 'gblinear' }
model=xgb.train(dtrain=trian_xgb,params=params)
y_pred=model.predict(xgb.DMatrix(X_test))