Scikit-learn 1.4 集成学习 Stacking 实战：融合3类基模型提升分类准确率5%

Scikit-learn 1.4 Stacking实战：用异构模型融合提升分类性能的5个关键步骤

当单一机器学习模型遇到性能瓶颈时，Stacking（堆叠泛化）提供了一种优雅的解决方案。不同于简单的模型平均，Stacking通过构建多层级预测体系，让不同类型的模型相互补充，最终实现1+1>2的效果。本文将基于Scikit-learn 1.4版本，带您从零构建一个完整的Stacking分类管道。

1. Stacking核心原理与设计考量

Stacking的本质是分层学习。第一层（初级学习器）由多个异构模型组成，它们从不同角度学习数据特征；第二层（次级学习器或元模型）则学习如何最优地组合这些初级预测。这种结构解决了三个关键问题：

• 模型多样性：不同算法捕捉数据不同方面的特征（如线性关系、局部模式等）
• 误差补偿：单个模型的预测偏差可能被其他模型纠正
• 非线性组合：元模型学习初级预测间的复杂交互关系

在设计Stacking时需要考虑以下要素：

# 典型Stacking架构要素 stacking_params = { 'base_models': [LogisticRegression(), SVC(probability=True), KNeighborsClassifier()], 'meta_model': LogisticRegression(), 'cv_strategy': 5, # 交叉验证折数 'use_proba': True # 是否使用类别概率而非硬标签 }

为什么交叉验证在Stacking中至关重要？直接使用训练集生成初级预测会导致元模型过拟合，因为相同的样本被用于训练初级模型和次级模型。通过交叉验证，我们确保每个样本的初级预测都是由未见过该样本的模型生成的。

2. 数据准备与特征工程

我们使用Scikit-learn内置的乳腺癌数据集作为示例，但所有技术同样适用于自定义数据集。关键的数据预处理步骤包括：

1. 特征标准化：特别是对SVM和KNN等距离敏感的算法
2. 类别平衡检查：必要时采用过采样/欠采样
3. 特征相关性分析：移除高度相关的特征

from sklearn.datasets import load_breast_cancer from sklearn.preprocessing import StandardScaler data = load_breast_cancer() X, y = data.data, data.target # 特征标准化 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 训练测试分割 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)

下表展示了数据关键统计特征：

3. 构建初级学习器层

选择互补性强的基模型是Stacking成功的关键。我们的示例组合包括：

1. 逻辑回归：捕捉线性关系
2. 支持向量机：处理非线性决策边界
3. K近邻：利用局部模式信息

from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.neighbors import KNeighborsClassifier # 定义基模型 base_models = [ ('lr', LogisticRegression(C=0.1, max_iter=1000)), ('svc', SVC(C=1, kernel='rbf', probability=True, gamma='auto')), ('knn', KNeighborsClassifier(n_neighbors=5, weights='distance')) ]

每个模型都应进行独立的超参数调优。以下是使用GridSearchCV优化SVM的示例：

from sklearn.model_selection import GridSearchCV svc_params = { 'C': [0.1, 1, 10], 'kernel': ['linear', 'rbf'], 'gamma': ['scale', 'auto'] } svc_grid = GridSearchCV(SVC(probability=True), svc_params, cv=5) svc_grid.fit(X_train, y_train) best_svc = svc_grid.best_estimator_

4. 实现Stacking分类器

Scikit-learn 1.4提供了StackingClassifier，大大简化了实现过程。关键参数包括：

• estimators：初级学习器列表
• final_estimator：元模型（默认为LogisticRegression）
• cv：交叉验证策略
• stack_method：预测方法（auto/predict/predict_proba）

from sklearn.ensemble import StackingClassifier from sklearn.model_selection import cross_val_score # 构建Stacking模型 stacking_clf = StackingClassifier( estimators=base_models, final_estimator=LogisticRegression(), cv=5, stack_method='predict_proba', passthrough=False ) # 交叉验证评估 cv_scores = cross_val_score(stacking_clf, X_train, y_train, cv=5, scoring='accuracy') print(f"CV Accuracy: {np.mean(cv_scores):.3f} ± {np.std(cv_scores):.3f}")

提示：设置passthrough=True可以让元模型同时接收原始特征和初级预测，有时能提升性能但增加过拟合风险。

5. 模型评估与结果分析

训练完成后，我们需要全面评估Stacking模型的性能：

5.1 准确率与混淆矩阵

from sklearn.metrics import confusion_matrix, classification_report stacking_clf.fit(X_train, y_train) y_pred = stacking_clf.predict(X_test) print(classification_report(y_test, y_pred)) cm = confusion_matrix(y_test, y_pred)

5.2 基模型与Stacking对比

5.3 特征重要性分析

虽然Stacking不像随机森林那样直接提供特征重要性，我们可以通过以下方式理解模型行为：

# 分析元模型的系数 meta_model = stacking_clf.final_estimator_ print("Meta model coefficients for base models:") for coef, (name, _) in zip(meta_model.coef_[0], base_models): print(f"{name}: {coef:.3f}")

在实际项目中，Stacking通常能带来1-5%的性能提升。虽然看似不大，但在竞赛或关键业务场景中，这种提升可能价值巨大。