数据分析中的模型评估与选择
一、分类模型评估
| 方法 | 说明 | 适用场景 |
|---|---|---|
| 准确率 (Accuracy) | 正确预测占总样本比例 | 类别均衡时 |
| 精确率 (Precision) | 预测为正中真正为正的比例 | 关注误报成本时（如垃圾邮件） |
| 召回率 (Recall) | 真正为正中被正确预测的比例 | 关注漏报成本时（如疾病筛查） |
| F1-Score | 精确率和召回率的调和平均 | 需要平衡两者时 |
| AUC-ROC | ROC曲线下面积，衡量排序能力 | 类别不均衡、阈值敏感场景 |
| PR曲线 | 精确率-召回率曲线 | 正样本稀少时优于ROC |
| 混淆矩阵 | 展示各类预测详情 | 多分类、需细粒度分析 |
二、回归模型评估
- MAE（平均绝对误差）：对异常值不敏感，直观可解释
- MSE / RMSE：对大误差惩罚更重，常用于优化目标
- R²（决定系数）：解释方差占比，1为完美拟合
- MAPE：百分比误差，适合业务汇报
三、聚类模型评估
- 轮廓系数 (Silhouette Score)：衡量簇内紧密度与簇间分离度
- 肘部法则 (Elbow Method)：观察SSE随k变化的拐点
- Calinski-Harabasz Index：簇间/簇内方差比，越大越好
- Davies-Bouldin Index：簇内离散度/簇间距离比，越小越好
四、模型选择方法
1. 交叉验证（核心手段）
- K折交叉验证：最常用，K=5或10
- 留一法 (LOO)：小数据集适用，计算量大
- 分层K折：类别不均衡时保证每折分布一致
- 时间序列CV：时序数据用前滚验证，避免未来信息泄露
2. 超参数调优
- 网格搜索 (Grid Search)：穷举所有组合，计算量大
- 随机搜索 (Random Search)：采样搜索，效率更高
- 贝叶斯优化：基于概率模型迭代搜索，适合高成本评估
3. 信息准则
- AIC（赤池信息量）：偏好复杂度较低的模型
- BIC（贝叶斯信息量）：对模型复杂度惩罚更重
4. 学习曲线与验证曲线
- 学习曲线：诊断欠拟合/过拟合（训练vs验证误差随样本量变化）
- 验证曲线：观察某超参数对性能的影响趋势
五、实践建议
- 先定评估指标再选模型——指标应与业务目标对齐（如疾病筛查优先召回率）
- 类别不均衡时：避免用准确率，优先AUC或F1
- 数据量不足时：用交叉验证而非简单train/test split
- 多指标综合判断：单一指标可能掩盖问题（如高精确但低召回）
- 警惕数据泄露：交叉验证中预处理（标准化、特征选择）必须在每折内部完成
如果你需要针对某个具体场景（比如你之前做的高价值用户识别）深入讨论某类评估方法，可以继续聊。