Scikit-learn 1.4.2 逻辑回归实战：鸢尾花二分类准确度 95%+ 调优指南

Scikit-learn 1.4.2 逻辑回归实战：鸢尾花二分类准确度 95%+ 调优指南

1. 理解逻辑回归的核心机制

逻辑回归作为经典的分类算法，其核心在于通过Sigmoid函数将线性预测结果映射为概率。在Scikit-learn 1.4.2版本中，算法的底层实现经过优化，特别在处理中小规模数据集时展现出更高的效率。

Sigmoid函数的数学表达：

def sigmoid(z): return 1 / (1 + np.exp(-z))

该函数将线性组合 $z = w^Tx + b$ 转换为(0,1)区间的概率值。当$z=0$时，概率为0.5，这正是决策边界的位置。

关键参数解析：

• penalty: 正则化类型（'l2'或'l1'）
• C: 正则化强度的倒数（值越小正则化越强）
• solver: 优化算法选择（'lbfgs'、'liblinear'等）

2. 数据准备与特征工程

鸢尾花数据集包含三类样本，我们首先将其转换为二分类问题：

from sklearn.datasets import load_iris import numpy as np iris = load_iris() X = iris.data[:, :2] # 仅使用前两个特征便于可视化 y = (iris.target != 0).astype(int) # 将类别1和2合并为1类

特征标准化的重要性： 虽然逻辑回归不需要严格的正态分布输入，但标准化能显著提升优化效率：

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X_scaled = scaler.fit_transform(X)

3. 基础模型构建与评估

建立基线模型是调优的起点：

from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42) base_model = LogisticRegression(penalty='l2', C=1.0, solver='lbfgs', max_iter=100) base_model.fit(X_train, y_train)

评估指标对比：

提示：当类别不平衡时，准确度可能产生误导，应优先关注ROC AUC和F1 Score

4. 三阶段调优策略

4.1 特征选择优化

通过分析特征重要性，可以精简模型并提升泛化能力：

coef_df = pd.DataFrame({ 'feature': iris.feature_names[:2], 'coefficient': base_model.coef_[0], 'abs_coef': np.abs(base_model.coef_[0]) }).sort_values('abs_coef', ascending=False)

特征组合实验： 尝试不同特征组合对模型性能的影响：

4.2 正则化参数C的调优

正则化强度是影响模型复杂度的关键参数：

from sklearn.model_selection import GridSearchCV param_grid = {'C': np.logspace(-3, 3, 7)} grid_search = GridSearchCV(LogisticRegression(penalty='l2', solver='lbfgs'), param_grid, cv=5, scoring='accuracy') grid_search.fit(X_scaled, y)

C值影响规律：

• 过小（如0.001）：欠拟合，决策边界过于平滑
• 适中（0.1-1）：最佳平衡点
• 过大（100+）：可能过拟合

4.3 求解器(solver)对比测试

不同优化算法对结果的影响：

性能对比代码：

solvers = ['liblinear', 'lbfgs', 'sag'] for solver in solvers: model = LogisticRegression(solver=solver, max_iter=1000) scores = cross_val_score(model, X_scaled, y, cv=5) print(f"{solver}: 平均准确度{scores.mean():.3f}")

5. 高级调优技巧

5.1 类别权重调整

处理不平衡数据的两种方法：

方法一：class_weight参数

balanced_model = LogisticRegression(class_weight='balanced', C=0.1)

方法二：样本重采样

from imblearn.over_sampling import SMOTE smote = SMOTE(random_state=42) X_res, y_res = smote.fit_resample(X_train, y_train)

5.2 多项式特征扩展

通过特征工程突破线性限制：

from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(degree=2, include_bias=False) X_poly = poly.fit_transform(X_scaled) poly_model = LogisticRegression(C=0.1, max_iter=1000) poly_model.fit(X_poly, y)

6. 完整优化代码示例

from sklearn.pipeline import make_pipeline from sklearn.metrics import classification_report # 构建完整管道 pipeline = make_pipeline( StandardScaler(), PolynomialFeatures(degree=2), LogisticRegression(penalty='l2', C=0.1, class_weight='balanced', solver='lbfgs') ) # 训练与评估 pipeline.fit(X_train, y_train) y_pred = pipeline.predict(X_test) print(classification_report(y_test, y_pred)) # 获取最终模型参数 final_model = pipeline.named_steps['logisticregression'] print(f"模型系数: {final_model.coef_}")

7. 决策边界可视化

理解模型如何划分特征空间：

def plot_decision_boundary(model, X, y): x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1 y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1 xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100)) Z = model.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape) plt.contourf(xx, yy, Z, alpha=0.3) plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k') plt.xlabel('标准化花萼长度') plt.ylabel('标准化花萼宽度') plt.title('逻辑回归决策边界')

8. 生产环境部署建议

1. 模型持久化：

import joblib joblib.dump(pipeline, 'iris_lr_model.pkl')

2. 性能监控指标：

• 实时准确率
• 预测延迟
• 输入特征分布偏移检测

3. 定期再训练机制： 设置自动化流水线，当性能下降超过阈值时触发再训练