1.多元线性回归解决了什么问题？
多元线性回归，解决了多个特征变量和目标变量之间的相关性问题，并根据结论进行预测。 在加州房价数据集的例子中，解决了平均房间数、平均收入和户主平均年龄这三个特征变量和平均房价之间的关系，并以此进行房价的预测，最后用误差分析系数，对模型的表现进行评估。
2.多元线性回归的过程：
- 导入数据分析和模型预测相关的库，加载加州房价数据集。
- 绘制热力图，查看各变量之间的相关性。
- 根据图像，确定特征变量和目标变量，有时需要对变量进行数据处理得到特征变量。
- 对特征变量进行标准化处理，消除量纲。
- 对线性回归模型进行训练和预测。
- 对模型的预测表现进行评估，用R2,MSE,RMSE这些指标。
- 绘制预测房价与真实房价的对比图，以散点图的形式。
- 也可以绘制残差分析散点图和残差分布直方图，对预测值进行进一步分析。
- 采用5折交叉验证法对R2系数进行评估。
- 最后，将得到的结果以文件的形式保存。
3.代码块解释：
导入数据分析和模型预测相关的库，加载加州房价数据集
import os
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import fetch_california_housing #加载加州房价数据集
from sklearn.linear_model import LinearRegression #多元线性回归模型
from sklearn.preprocessing import StandardScaler #标准化处理
from sklearn.metrics import mean_squared_error,r2_score
from sklearn.model_selection import cross_val_score #交叉验证模块
#正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']
#正常显示负号
plt.rcParams['axes.unicode_minus'] = False
df = pd.read_csv("./cal_housing.csv")
df.head()
绘制热力图，查看各变量之间的相关性 用变量间的相关性系数作为指标，显示相关系数数值，规定热力图的色彩风格和系数显示方式。
plt.figure(figsize=(12,8))
sns.heatmap(df.corr(),annot=True,cmap='coolwarm',fmt=".2f")
plt.title("特征与房价(MedHouseVal)相关性热力图")
plt.show()
根据图像，确定特征变量和目标变量，有时需要对变量进行数据处理得到特征变量 在这里，我选择avgRooms,medianIncome和housingMedianAge作为特征变量，因为这三个特征变量的相关性最高，用medianHouseValue作为目标变量。
df['avgRooms'] = df['totalRooms']/df['households']
features = ['medianIncome','avgRooms','housingMedianAge']
X = df[features]
y = df["medianHouseValue"]
特征标准化处理,消除量纲
scaled = StandardScaler()
X_scaled = scaled.fit_transform(X)
对线性回归模型进行训练和预测
model = LinearRegression()
model.fit(X_scaled, y)
predictions = model.predict(X_scaled)
对模型的预测表现进行评估，用R2,MSE,RMSE这些指标,打印模型的斜率和截距
mse = mean_squared_error(y,predictions)
rmse = np.sqrt(mse)
r2 = r2_score(y,predictions)
print("模型系数:",model.coef_)
print("模型截距:",model.intercept_)
print("均方误差:",mse)
print("均方根误差:",rmse)
print("决定系数:",r2)
模型系数: [84115.11433906 -6718.06656196 21171.01321494]
模型截距: 206855.81690891474
均方误差: 6496608827.746702
均方根误差: 80601.54358166289
决定系数: 0.5121018839958533
可以从结果看出，决定系数R2约51%，在50%~70%之间，可以接受。
绘制预测结果与真实房价的对比图，以散点图的形式
plt.figure(figsize = (8,5))
plt.scatter(range(len(y)),y,label='实际价格',alpha=0.7)
plt.scatter(range(len(y)),predictions,label='预测价格',alpha=0.7)
plt.title('房价预测对比图')
plt.xlabel('样本编号')
plt.ylabel('价格')
plt.legend()
plt.show()
从图像看出，预测价格在真实价格之间波动
绘制残差分析散点图和残差分布直方图，对预测值进行进一步分析
residuals = y - predictions
plt.figure(figsize = (8,5))
plt.scatter(predictions,residuals,alpha=0.6)
plt.hlines(y=0,xmin = predictions.min(),xmax = predictions.max(),colors = 'red')
plt.title('残差图')
plt.xlabel('预测值')
plt.ylabel('残差')
plt.grid(True)
plt.show()
从残差图看，大部分残差点在横轴附近对称分布。
plt.figure(figsize = (8,5))
sns.histplot(residuals,kde=True,bins=30,color = 'purple')
plt.title('残差分布图')
plt.xlabel('残差值')
plt.ylabel('频率')
plt.grid(True)
plt.show()
从残差分布直方图看出，残差分布呈现正态分布形式。
采用5折交叉验证法对R2系数进行评估
cross_val_scores = cross_val_score(model,X_scaled,y,cv = 5,scoring = 'r2')
print("5折交叉验证 R2 分数:",cross_val_scores)
print("平均交叉验证得分:",cross_val_scores.mean())
5折交叉验证 R2 分数: [0.460717 0.39491883 0.48956221 0.40375787 0.54777794]
平均交叉验证得分: 0.4593467712230394
从交叉验证得分看出，0.45得分偏低，但考虑到在房价预测这种多元线性回归模型中，0.45较为常见。
将结果以文件形式保存
results_df = pd.DataFrame({
'特征名称':features,
'回归系数':model.coef_
})
summary_df = pd.DataFrame({
'项':['截距','MSE','RMSE','R2','交叉验证均值R2'],
'值':[model.intercept_,mse,rmse,r2,cross_val_scores.mean()]
})
full_results_df = pd.concat([results_df,pd.DataFrame([{}]),summary_df],ignore_index=True)
full_results_df.to_csv('regression_results.csv',index = False,encoding = 'utf-8-sig')
print('回归分析结果已保存至 regression_results.csv')
pred_df = pd.DataFrame({
'实际房价':y,
'预测房价':predictions,
'残差':residuals
})
pred_df.to_csv('predictions_residuals.csv',index = False,encoding = 'utf-8-sig')
print('预测值与残差数据已保存至 predictions_residuals.csv')
将特征名称、回归系数和一系列模型预测评估指标保存至csv文件中；将预测结果、实际房价和残差保存至另一个csv文件中。
4. 总结：
用加州房价数据集作为样本，分析了多个特征变量与目标变量之间的关系，用多元线性回归模型进行预测，并对其表现进行评估，以指标系数得分的形式，将预测结果和残差可视化分析，综合评估模型的性能，最后将结果保存至文件中。