多任务NLP评测的公平性设计：从数据采样到指标选择的全链路拆解
一、当公平性被忽略时，评测结果为何不可信
多任务NLP评测并非简单地在多个数据集上跑一轮推理然后取平均值。实际工程中，评测结果受数据采样方式、任务权重分配、指标聚合方法三重因素叠加影响。忽略其中任何一个环节，都可能导致横评结论与实际性能产生系统性偏差。
一个常见的场景是：团队在GLUE基准上对比两个模型，模型A在MNLI上多跑了一个epoch，模型B在QQP上用了更大的batch size。最终报告的"平均分"差异不到0.5个百分点，但没有人能说清楚这0.5个百分点的差距究竟是模型能力的真实差异，还是实验条件不一致带来的噪声。
本文从数据采样、任务权重、指标选择三个维度，拆解多任务NLP评测公平性设计的核心问题，并提供可复现的实验框架。
flowchart TB A[多任务NLP评测公平性] --> B[数据采样层] A --> C[任务权重层] A --> D[指标聚合层] B --> B1[分层采样 vs 随机采样] B --> B2[训练/测试分布一致性] B --> B3[少样本任务的数据增强策略] C --> C1[等权聚合的隐性假设] C --> C2[基于任务难度的动态权重] C --> C3[方差归一化处理] D --> D1[宏平均 vs 微平均] D --> D2[指标间的互补性验证] D --> D3[统计显著性检验]二、数据采样：随机切分为什么不够
标准的train_test_split在单任务场景下通常可以接受，但在多任务评测中，随机采样存在两个隐蔽风险。
第一个风险是标签分布漂移。不同任务的类别分布差异很大：SST-2是二分类且正负样本大致均衡，而MNLI是三分类且存在明显的中性类别偏少现象。如果在切分时不做分层处理，验证集中某些类别可能完全不出现，导致该类别上的性能无法评估。
第二个风险是任务间数据量差异的放大效应。多任务评测场景中，各任务的数据量可能相差一个数量级（例如某个任务只有1000条测试样本，另一个有10000条）。随机采样时，小数据集的采样方差远大于大数据集。如果不通过bootstrap重采样来估计置信区间，小数据集上的得分波动会直接污染最终的聚合分数。
以下是分层采样与bootstrap置信区间估计的实现：
import numpy as np from sklearn.model_selection import StratifiedKFold from typing import List, Tuple, Dict def stratified_multitask_split( texts: List[str], labels: List[int], task_ids: List[str], n_splits: int = 5 ) -> List[Tuple[np.ndarray, np.ndarray]]: """多任务分层采样：保证每个任务的每个类别在每折中都有代表样本。 为什么不用简单的 train_test_split： 当某个任务存在长尾类别时，随机切分可能导致验证集中 该类别样本数为零，使该维度的评估完全失效。 """ splits = [] unique_tasks = set(task_ids) for task in unique_tasks: # 提取当前任务的样本索引 task_mask = np.array([t == task for t in task_ids]) task_indices = np.where(task_mask)[0] task_labels = np.array(labels)[task_mask] # StratifiedKFold 保证每折中类别比例与原始分布一致 skf = StratifiedKFold( n_splits=n_splits, shuffle=True, random_state=42 # 固定随机种子，保证可复现 ) for fold_idx, (train_idx, val_idx) in enumerate( skf.split(task_indices, task_labels) ): if len(splits) <= fold_idx: splits.append(([], [])) # 将任务内索引映射回全局索引 splits[fold_idx][0].extend(task_indices[train_idx]) splits[fold_idx][1].extend(task_indices[val_idx]) return [(np.array(t), np.array(v)) for t, v in splits] def bootstrap_confidence_interval( scores: List[float], n_bootstrap: int = 1000, alpha: float = 0.05 ) -> Dict[str, float]: """Bootstrap估计评测分数的置信区间。 小数据集上的单次评测分数具有高方差。Bootstrap通过 有放回重采样，估计分数的经验分布，从而给出置信区间。 这是多任务横评中判断差异是否显著的必备工具。 """ rng = np.random.RandomState(42) n = len(scores) boot_means = [] for _ in range(n_bootstrap): # 有放回采样，样本量等于原始数据量 sample = rng.choice(scores, size=n, replace=True) boot_means.append(np.mean(sample)) boot_means = np.sort(boot_means) lower = boot_means[int(alpha / 2 * n_bootstrap)] upper = boot_means[int((1 - alpha / 2) * n_bootstrap)] return { "mean": np.mean(scores), "ci_lower": lower, "ci_upper": upper, "std": np.std(boot_means) }三、指标聚合：算术平均的隐性假设及其代价
多任务评测中最常见的聚合方式是对各任务的指标取算术平均。这个操作看似中立，实则隐含了一个强假设：所有任务同等重要，且指标数值跨任务可比。
这个假设在两种情况下会失效：
任务难度差异导致指标量纲不一致。例如，SST-2（二分类情感分析）上的准确率通常在92%以上，而MNLI（三分类推理）上的准确率往往只有85%左右。直接取均值时，SST-2贡献的绝对分值更大——但没有人会认为SST-2比MNLI更重要。
指标敏感性差异。某些任务的指标对模型改进更敏感（例如CoLA的Matthews相关系数波动远大于SST-2的准确率），直接取均值会使得这些高方差任务主导整体排名。
工程上的改进方案是对每个任务进行Z-score归一化后聚合：
def normalized_aggregation( task_scores: Dict[str, List[float]], baseline_scores: Dict[str, float], baseline_stds: Dict[str, float] ) -> Dict[str, float]: """基于Z-score的多任务分数聚合。 为什么用Z-score而非直接平均： - 不同任务的指标量纲和方差差异很大 - Z-score将每个任务的分数映射到同一尺度（以标准差为单位） - 避免了高方差任务主导聚合结果 前提条件：baseline_scores 和 baseline_stds 必须来自 同一基线模型在足够多次独立运行中的统计结果。 """ normalized = {} for task, scores in task_scores.items(): if task not in baseline_scores or task not in baseline_stds: raise KeyError( f"任务 {task} 缺少基线统计量，请先运行基线评估" ) baseline_mean = baseline_scores[task] baseline_std = baseline_stds[task] if baseline_std < 1e-8: # 方差为零意味着该任务的基线分数完全不变， # 此时Z-score无意义，退化为原始差异 normalized[task] = np.mean(scores) - baseline_mean else: normalized[task] = ( (np.mean(scores) - baseline_mean) / baseline_std ) return { "per_task_zscore": normalized, "macro_zscore": np.mean(list(normalized.values())), # 同时报告原始宏平均作为对照 "raw_macro_avg": np.mean([ np.mean(v) for v in task_scores.values() ]) }四、边界分析：这一套方法在什么情况下不够用
上述方法论存在三个明确的边界条件：
第一，任务间存在本质冲突时，聚合分数失去意义。某些多任务学习场景中，任务A的最优方向与任务B的最优方向完全正交（例如情感分类与语义相似度）。此时无论用何种聚合方式，一个"总分"都无法反映真实的多维能力画像。更合理的做法是使用雷达图做多维展示，而非强行压缩为一维排名。
第二，Z-score归一化依赖于基线模型的稳定性。如果基线模型本身的运行方差很大（例如某些RL-based方法），那么Z-score的分母噪声会直接污染归一化结果。这种情况下应优先选择非参数方法（如基于排名的聚合），而非均值归一化。
第三，数据集本身的质量问题无法通过评测框架修正。如果测试集存在标注噪声或构建偏差（详见0708第1篇关于数据集偏差的讨论），那么再精巧的评测框架也只是在噪声上做精确计算。评测公平性的上限由数据质量决定。
五、总结
多任务NLP评测的公平性不是一个"调调参数就能解决"的问题，而是一个需要从数据采样、任务权重、指标聚合三个层面系统性设计的工程问题。核心要点：
- 数据采样阶段：使用分层采样替代随机切分，对小数据集任务使用Bootstrap估计置信区间。
- 任务权重阶段：避免直接算术平均的隐性假设，使用Z-score归一化或基于排名的非参数聚合。
- 指标选择阶段：选择与任务目标对齐的指标，避免指标之间的信息冗余。
- 所有评测结果都应报告置信区间和统计显著性，而非仅报告点估计。
- 当任务间存在本质冲突时，放弃一维排名的执念，转向多维能力画像。