1. 项目概述从检索到校准检索的范式演进最近在跟几个做智能体Agent和检索增强生成RAG的朋友聊天大家普遍有个痛点我们费尽心思搭建的检索系统召回率Recall和准确率Precision指标看着都不错但一旦把检索到的信息喂给下游的LLM去做决策或生成最终输出的结果还是时不时会“翻车”。问题出在哪很多时候不是LLM本身不行也不是检索到的文档不相关而是我们对检索结果本身的“置信度”缺乏一个可靠、可量化的评估。系统告诉你“我找到了5篇相关文档”但你不知道这“相关”背后有多大把握如果基于这些文档做关键决策比如医疗诊断辅助、金融风险评估这种不确定性就是悬在头顶的达摩克利斯之剑。这正是“From Retrieval to Calibrated Retrieval: Conformal Prediction on Agent Base Rates”这个标题直指的核心问题。它描述了一种范式转变从传统的、只输出相关性排序或分数的“检索”升级为能够为每次检索结果提供校准过的、具有统计保证的置信度的“校准检索”。而实现这一升级的关键技术就是保形预测Conformal Prediction, CP特别是将其应用于智能体的基础速率Base Rates上。简单来说它想解决的是如何让我们的检索系统不仅能“找到”答案还能明确地告诉我们“我找到的这个答案在95%的情况下是靠谱的”并且这个95%的承诺是经过数学严格校准的不是随便拍脑袋说的。这背后的驱动力是智能体系统正从“玩具演示”走向“生产级关键应用”。当智能体需要自主调用工具、查询知识库并做出行动时每一步的不确定性都会累积和放大。一个检索步骤的误判可能导致整个任务链的失败。因此为检索环节披上“校准”的外衣提供具有统计意义的可靠性保证就成了提升智能体鲁棒性和可信度的必经之路。这篇文章我就结合自己的一些实验和思考来拆解一下如何将保形预测这套理论框架实实在在地应用到智能体的检索系统中实现从“检索”到“校准检索”的跨越。2. 核心概念拆解保形预测与智能体基础速率在深入实操之前我们必须先打好地基理解两个核心概念保形预测Conformal Prediction和智能体基础速率Agent Base Rates。很多人一听“保形预测”就觉得头大其实它的核心思想非常直观我们可以用一个生活化的例子来理解。2.1 保形预测给预测穿上“置信区间”的外衣想象一下天气预报。传统的天气预报可能会说“明天降水概率70%”。这个70%是怎么来的是模型内部计算的一个分数但这个分数本身可能是不准的——可能历史上所有被模型预测为70%概率下雨的日子实际下雨的只有50%。这就叫未校准。保形预测要做的事情是它不直接相信模型输出的原始分数比如70%而是利用一部分已知结果的“校准数据”对模型的输出进行后处理从而产生一个具有统计保证的预测集合。具体来说对于一个分类任务比如判断一篇文档是否相关保形预测的输出不是一个单一的标签“相关”或“不相关”而是一个可能标签的集合比如 {“相关”} 或者 {“相关”, “不相关”}。关键之处在于我们可以控制这个集合的“大小”。我们可以要求在预设的误差水平α下比如α0.05这个预测集合以至少1-α的概率即95%覆盖住真实的标签。也就是说如果我做100次这样的预测那么至少有95次真实答案会落在我给出的预测集合里。如果我的集合只包含一个答案那意味着我非常确信如果包含了所有可能的答案那意味着我完全不确定但即使如此这个“全集”也依然能以100%的概率覆盖真实答案只是它没有提供任何信息量。保形预测实现这一点的魔法在于“非 conformal 分数”和“分位数计算”。我们为每个样本如查询-文档对计算一个“非 conformal 分数”这个分数衡量了模型认为该样本不属于某个标签的“奇怪”程度例如对于真实标签分数应该较小。然后我们在校准集上计算这些分数的分位数。对于一个新的测试样本我们将其分数与这个分位数比较所有分数小于等于该分位数的标签就构成了最终的预测集合。这个过程保证了频率派意义上的覆盖概率。2.2 智能体基础速率上下文中的先验不确定性现在来看“Agent Base Rates”。在智能体的语境下这指的是智能体在执行某个特定任务或处于某个特定上下文时其检索行为成功找到真正相关文档的长期平均概率。这不是一个全局固定的值而是与任务类型、查询难度、知识库状态强相关的。例如一个处理公司内部IT工单的智能体在查询“如何重置员工邮箱密码”时其基础成功率可能很高比如98%因为知识库里有清晰的SOP文档。但当它处理一个模糊的、描述不清的故障报告如“系统偶尔很慢”时基础成功率可能骤降到60%。基础速率刻画了智能体在某个“上下文槽”内的先验能力水平。将保形预测应用到智能体基础速率上其精妙之处在于我们不是为所有检索请求设置一个统一的、僵化的置信度阈值而是让置信度的“松紧”根据当前任务的基础成功率进行动态调整。当智能体处理其擅长的高基础速率任务时保形预测可以产出更紧致信息量更大的预测集合比如只输出一个最相关的文档ID当处理低基础速率的困难任务时系统会“自知之明”地输出一个更宽松的集合比如返回Top 5的文档并声明其中很可能包含相关文档以此来维持整体的覆盖概率保证。这相当于为智能体装上了“情境感知”的置信度调节器。3. 校准检索系统的整体架构设计理解了核心概念后我们来设计一个可实现“校准检索”的智能体子系统架构。这个架构需要无缝嵌入到现有的RAG或工具调用流程中同时提供校准后的置信度输出。3.1 系统组件与数据流一个完整的校准检索系统通常包含以下核心组件检索器可以是双编码器如Sentence-BERT、交叉编码器或现在流行的大模型嵌入模型。它负责将用户查询和知识库文档映射到向量空间并进行相似度计算。评分函数为每一对查询候选文档产生一个原始相关性分数。这通常是检索器内生的如余弦相似度也可以是一个额外的重排模型输出的分数。校准模块这是系统的核心。它接收来自评分函数的原始分数以及一个带有真实标签的校准集计算保形预测所需的分位数阈值。预测集合生成器对于新的查询利用校准模块产出的阈值将原始分数转换为一个符合覆盖保证的预测文档集合。智能体上下文管理器负责维护和提供当前任务的“基础速率”估计这个估计值将作为校准模块的一个输入参数。系统的运行时数据流如下离线阶段收集一个校准数据集其中包含历史查询、检索到的候选文档集合以及人工或强监督信号标注的“是否真正相关”的二元标签。在线阶段 a. 智能体接收到新查询上下文管理器判断当前任务类型并估计或查找对应的基础速率β。 b. 检索器从知识库中召回Top K个候选文档并给出原始相关性分数s_i。 c. 对于每个候选文档根据其标签假设相关/不相关计算非 conformal 分数。一个常见定义是非conformal分数 1 - s_i如果假设标签是“相关”非conformal分数 s_i如果假设标签是“不相关”。这意味着如果文档确实相关我们希望它的相关性分数s_i高那么1-s_i就小反之亦然。 d. 校准模块根据预设的误差容忍度α和当前任务的基础速率β计算出一个动态阈值τ(α, β)。β越高意味着任务越简单我们可以设定一个更严格的τ从而得到更精确的预测集。 e. 预测集合生成器将所有非conformal分数 τ(α, β)的候选文档在其假设标签下纳入最终集合。这个集合就是校准后的检索结果系统可以附言“以至少95%的置信度相关文档包含在此集合中。” f. 智能体可以将这个经过校准的、带有置信保证的文档集合安全地传递给下游的LLM进行内容生成或决策。3.2 基础速率感知的动态阈值计算这是架构中最关键的一环。传统的保形预测使用一个固定的分位数阈值τ 分位数(校准集非conformal分数, ceil((n1)(1-α))/n)。而在基础速率感知的版本中我们需要让阈值τ随β变化。一种实用的方法是分层保形预测。我们将校准集按照不同的任务类型或查询难度这隐式对应了不同的基础速率β进行分组。对于一个新的查询我们首先判断它属于哪个组然后仅使用该组内的校准数据来计算分位数阈值。这样对于高成功率的组阈值会更紧对于低成功率的组阈值会更松从而实现了动态校准。另一种更连续的方法是建立τ与β的经验函数关系。我们可以用校准集模拟不同β值下的任务通过采样并观察为达到目标覆盖概率1-α所需的τ值拟合出一个简单的映射关系如线性或分段函数。在线应用时根据估计的β查表或计算得到τ。注意基础速率β的估计本身是一个挑战。在初期可以基于任务分类器来设定随着系统运行可以收集每个任务类型的历史成功率作为β的估计值。关键是要确保用于估计β的数据与用于校准的数据尽可能独立以避免过拟合。4. 核心实现步骤与实操要点理论说再多不如一行代码。下面我将以一个基于文本嵌入模型和简单分类标签的校准检索场景为例拆解具体的实现步骤。我们假设使用sentence-transformers库获取嵌入和相似度分数任务是对检索到的文档进行二分类相关/不相关。4.1 步骤一准备校准数据集这是所有工作的基础。你需要一个数据集包含queries: 查询文本列表。candidate_docs: 每个查询对应的候选文档文本列表通常是检索器返回的Top K。true_labels: 与candidate_docs对应的真实二元标签列表1表示相关0表示不相关。task_types(可选): 每个查询对应的任务类型标识用于估计基础速率。# 示例数据结构 calibration_data [ { query: 如何配置Python虚拟环境, candidates: [doc1: 使用venv模块..., doc2: Anaconda环境管理..., doc3: 机器学习简介...], labels: [1, 1, 0], # doc1, doc2相关doc3不相关 task_type: technical_howto }, # ... 更多数据 ]实操要点数据量校准集不需要像训练集那样庞大但需要数百到数千个高质量的标注样本且其分布应尽可能与线上真实查询分布一致。标签质量这是校准有效性的生命线。尽量使用人工标注或高精度的自动化规则如点击率、后续任务成功率来生成“真实标签”。任务分组如果采用分层保形预测需要提前定义好清晰的任务类型体系并确保每个组内有足够的数据至少几十个样本。4.2 步骤二定义非 Conformal 分数函数非 Conformal 分数衡量了“观察值相对于假设的异常程度”。对于基于相似度分数的检索任务一个常用且有效的定义是def nonconformity_score(similarity_score, hypothesized_label): 计算非conformal分数。 similarity_score: 检索模型给出的查询-文档相似度分数假设已归一化到[0,1]。 hypothesized_label: 假设的标签1表示相关0表示不相关。 if hypothesized_label 1: # 假设文档相关那么相似度越高越好异常程度越低。 # 用 1 - similarity_score 表示相似度越高分数越小越不异常。 return 1.0 - similarity_score else: # hypothesized_label 0 # 假设文档不相关那么相似度越低越好异常程度越低。 # 直接用 similarity_score 表示相似度越低分数越小。 return similarity_score这个函数的核心思想是如果假设的标签是正确的我们期望模型给出的分数支持这个假设。假设相关时高相似度是支持的所以异常分数低假设不相关时低相似度是支持的所以异常分数低。4.3 步骤三计算基础速率感知的分位数阈值这是校准的核心计算。我们演示分层保形预测的方法。import numpy as np from typing import List, Dict def compute_group_conformal_threshold( calibration_data_group: List[Dict], alpha: float 0.05 ) - float: 计算单个任务分组的保形预测阈值。 calibration_data_group: 同一任务类型的校准数据列表。 alpha: 目标错误率例如0.05对应95%置信度。 nonconformity_scores [] for item in calibration_data_group: query item[query] candidates item[candidates] true_labels item[labels] # 假设我们已经有了一个函数 get_similarity_scores(query, candidates) sim_scores get_similarity_scores(query, candidates) for sim_score, true_label in zip(sim_scores, true_labels): # 关键对于校准集中的每个样本我们使用其 TRUE LABEL 作为假设 # 来计算非conformal分数。这衡量了“在真实情况下这个样本的异常程度”。 score nonconformity_score(sim_score, true_label) nonconformity_scores.append(score) # 将分数排序 scores_sorted np.sort(nonconformity_scores) n len(scores_sorted) # 计算保形预测的分位数索引 # 公式ceil((n1)*(1-alpha)) / n # 使用 (1-alpha) 因为我们关心覆盖概率 p np.ceil((n 1) * (1 - alpha)) / n # 确保p在[0,1]范围内并计算分位数 p min(max(p, 0), 1) # 使用线性插值获取分位数 index p * (n - 1) index_int int(np.floor(index)) index_frac index - index_int if index_int 1 n: threshold (1 - index_frac) * scores_sorted[index_int] index_frac * scores_sorted[index_int 1] else: threshold scores_sorted[index_int] return threshold # 假设我们有一个按任务类型分组的校准数据字典 grouped_calibration_data { technical_howto: [...], # 列表包含该类型的所有校准样本 troubleshooting: [...], conceptual_explanation: [...], } # 为每个组计算阈值 group_thresholds {} for task_type, data_list in grouped_calibration_data.items(): group_thresholds[task_type] compute_group_conformal_threshold(data_list, alpha0.05) print(f各任务组阈值: {group_thresholds}) # 输出可能类似: {technical_howto: 0.15, troubleshooting: 0.35, conceptual_explanation: 0.25}结果解读阈值越低意味着筛选条件越严格。technical_howto组的阈值是0.15说明对于这类任务模型判断相关标签为1的文档其1 - similarity_score必须小于0.15即相似度大于0.85才被认为足够“正常”而被纳入预测集。而troubleshooting组的阈值是0.35条件宽松得多因为这类任务本身不确定性高需要更大的集合来保证覆盖概率。4.4 步骤四在线预测与集合生成当新查询到来时我们进行在线校准检索。def calibrated_retrieval( query: str, task_type: str, top_k_candidates: int 10, alpha: float 0.05 ) - Dict: 执行校准检索。 返回包含校准后预测集合和原始结果的字典。 # 1. 获取任务对应的阈值 tau group_thresholds.get(task_type) if tau is None: # 如果没有该任务类型的阈值回退到全局阈值或最保守的阈值 tau max(group_thresholds.values()) # 保守策略使用最宽松的阈值 print(f警告未知任务类型 {task_type}使用保守阈值 {tau}) # 2. 传统检索获取候选文档及其相似度分数 candidate_docs, similarity_scores retrieve_top_k(query, ktop_k_candidates) # 3. 为每个候选文档生成预测标签集合 prediction_sets [] for doc, sim_score in zip(candidate_docs, similarity_scores): # 对于一个文档我们需要检查两种假设标签 # 假设标签为1相关计算分数 s1 nonconformity_score(sim_score, 1) 1 - sim_score # 假设标签为0不相关计算分数 s0 nonconformity_score(sim_score, 0) sim_score s1 1.0 - sim_score s0 sim_score # 初始化该文档的预测集合 doc_pred_set [] # 如果 s1 tau说明“假设该文档相关”这个命题不算太异常可以接受 if s1 tau: doc_pred_set.append(1) # 将“相关”标签加入集合 # 如果 s0 tau说明“假设该文档不相关”这个命题不算太异常可以接受 if s0 tau: doc_pred_set.append(0) # 将“不相关”标签加入集合 # 如果集合为空理论上应该包含所有可能标签{0,1}但这里我们简化处理 # 实际上保形预测保证至少有一个标签会被包含因为tau是校准集分数的分位数 prediction_sets.append(doc_pred_set) # 4. 生成最终输出 # 通常我们关心的是“相关”文档的集合。所以我们可以定义 # “校准后的相关文档”是那些预测集合中包含标签1的文档。 calibrated_relevant_indices [i for i, ps in enumerate(prediction_sets) if 1 in ps] calibrated_relevant_docs [candidate_docs[i] for i in calibrated_relevant_indices] calibrated_relevant_scores [similarity_scores[i] for i in calibrated_relevant_indices] return { query: query, task_type: task_type, confidence_level: 1 - alpha, conformal_threshold_tau: tau, original_candidates: candidate_docs, original_scores: similarity_scores, prediction_sets: prediction_sets, # 每个候选文档的预测标签集合 calibrated_relevant_docs: calibrated_relevant_docs, # 校准后被认为“可能相关”的文档 calibrated_relevant_scores: calibrated_relevant_scores, # 一个有用的元信息预测集合的大小基数 set_sizes: [len(ps) for ps in prediction_sets], } # 使用示例 result calibrated_retrieval( query我的Python程序报错ImportError怎么办, task_typetroubleshooting, top_k_candidates5 ) print(f查询: {result[query]}) print(f置信水平: {result[confidence_level]*100:.1f}%) print(f原始检索Top 5文档数: {len(result[original_candidates])}) print(f校准后相关文档数: {len(result[calibrated_relevant_docs])}) print(f预测集合大小示例: {result[set_sizes]}) # 输出可能 # 查询: 我的Python程序报错ImportError怎么办 # 置信水平: 95.0% # 原始检索Top 5文档数: 5 # 校准后相关文档数: 3 # 预测集合大小示例: [1, 2, 1, 2, 1]解读输出set_sizes显示了每个候选文档预测集合的大小。1表示模型非常确定要么确定相关要么确定不相关2表示模型不确定认为该文档既可能相关也可能不相关。对于troubleshooting这类困难任务出现2的概率会更高系统通过输出更大的集合即更模糊的结论来兑现其95%的覆盖保证。5. 高级话题与优化策略基础的实现框架搭建好后我们可以从以下几个方向进行优化和深入以应对更复杂的生产环境需求。5.1 处理多标签与连续分数上述例子是二分类相关/不相关。在实际的RAG中相关性可能是一个连续值如相似度分数本身或者我们有更细粒度的标签如“高度相关”、“部分相关”、“不相关”。连续分数/回归保形预测可以输出预测区间。例如我们可以预测文档相似度分数的区间[lower, upper]并保证真实分数以一定概率落在此区间内。此时非conformal分数可以定义为预测误差的绝对值|预测分数 - 真实分数|。多分类假设有C个相关等级。对于每个候选文档我们需要计算C个非conformal分数每个对应一个假设的等级。预测集合则由那些非conformal分数低于阈值τ的等级组成。这可能会产生包含多个等级的集合例如 {“高度相关”, “部分相关”}这比单一的“相关”标签提供了更丰富的置信信息。5.2 在线学习与阈值自适应静态的校准集和阈值可能无法适应数据分布的缓慢变化概念漂移。我们可以引入在线学习机制滑动窗口维护一个固定大小的最近查询标注数据窗口作为校准集。每隔一段时间或每收到N个新标注样本就重新计算一次阈值。增量分位数估计使用在线算法如P²算法或其变种来动态更新分位数阈值无需存储全部校准数据计算效率更高。基础速率动态更新智能体每个任务类型的历史成功率β应随着经验积累而动态更新。可以定期如每天用过去一段时间的成功/失败统计来刷新β的估计值并触发阈值的重新校准。5.3 与下游LLM的协同校准检索的最终价值体现在下游LLM的使用上。我们可以设计更智能的提示词将校准信息传递给LLM你是一个专业的助手。请基于以下文档片段来回答问题。 注意系统以95%的置信度保证正确答案所依据的文档**包含在**以下提供的片段中。但并非所有片段都同样相关有些可能不相关。 问题{用户查询} 文档片段按系统置信度降序排列 1. [片段A] (系统评估高度确信相关) 2. [片段B] (系统评估不确定是否相关) 3. [片段C] (系统评估高度确信相关) ...通过提示词告知LLM哪些信息是高度可信的哪些是存疑的可以引导LLM更审慎地对待检索结果优先采信高置信度内容并对低置信度内容进行批判性验证或明确标注不确定性。6. 常见问题、陷阱与排查实录在实际部署校准检索系统的过程中我踩过不少坑。这里把一些典型问题和解决方案记录下来希望能帮你省点时间。6.1 覆盖概率不达标问题线上监控发现系统声称的95%置信度下真实相关文档被包含在预测集合中的实际概率只有85%远低于承诺。排查思路校准集与测试集分布不一致这是最常见的原因。检查你的校准数据是否过于“干净”或来自特定渠道而线上数据则更多样、更嘈杂。确保校准数据的查询类型、难度、文档来源与线上流量匹配。数据泄露确保校准集和用于评估的测试集完全独立没有重叠的查询或文档。非conformal分数函数定义不合理你定义的分数可能无法有效区分“正常”和“异常”样本。尝试其他分数函数例如基于模型输出的概率如果使用分类器或者使用更复杂的、基于模型内部表征的距离度量。分组不当分层保形预测任务分组太粗或太细。太粗则组内异质性高一个阈值无法适应所有情况太细则每个组数据量太少分位数估计不准。需要根据数据量权衡或者考虑使用更平滑的、基于基础速率连续函数的阈值调整方法。解决收集一个更具代表性的校准数据集并重新校准。可以考虑使用更鲁棒的分位数估计方法或引入温和的平滑处理如对分数进行轻微的缩放。6.2 预测集合过大信息量低问题系统输出的预测集合经常包含几乎所有候选文档例如对于二分类很多文档的预测集是{0,1}虽然覆盖概率达标了但对下游任务几乎没有筛选价值。原因与对策原因对策任务本身难度极高基础速率β低这是系统正常行为。对于“难题”系统通过输出大集合来维持置信度。应对接受这种不确定性并向下游传递。或者考虑设置一个最大集合大小并允许置信度略有下降可容忍误差α略增。阈值τ计算过高检查校准集分数的分布。如果校准集中有很多“困难样本”其真实标签下的非conformal分数也很高那么计算出的分位数τ就会偏高。应对审视校准数据的标签质量是否将很多其实不相关的样本误标为相关导致其分数异常高。清理校准数据。检索模型能力不足如果检索模型本身无法很好地区分相关与不相关文档那么所有文档的分数都会聚集在中间区域导致非conformal分数差异小难以通过阈值筛选。应对升级检索模型如使用更强大的嵌入模型或引入交叉编码器重排这是根本性提升。非conformal分数函数不敏感当前分数函数未能充分拉开相关与不相关样本的距离。应对尝试更复杂的分数函数例如基于K近邻的分数、基于模型预测概率的似然比等。实操心得预测集合大小是一个非常重要的监控指标。可以为其设置警报如果某个任务类型的平均预测集合大小连续上升可能意味着该任务领域的数据分布发生了变化或者检索模型在该领域性能下降需要及时干预。6.3 计算延迟与性能开销问题在线计算每个候选文档在两种假设下的非conformal分数并与阈值比较对于大规模候选集如K100或复杂分数函数可能引入不可忽略的延迟。优化策略预计算与缓存对于固定的知识库文档可以预计算其嵌入向量。对于非conformal分数计算中不变的部分可以尝试预计算。近似计算如果使用KNN类的分数函数可以考虑使用近似最近邻搜索ANN库如FAISS、HNSW来加速。阈值提前终止对于排序靠后的低分文档其s1(1 - sim_score) 会很大很可能超过阈值τ因此其预测集合很可能为空或只包含“不相关”。可以设定一个提前终止的分数界限避免对明显不相关的文档进行完整计算。异步校准阈值计算校准过程可以离线异步进行。在线服务只需加载最新的阈值查找表开销极小。6.4 基础速率估计不准问题对当前查询任务的基础速率β估计错误导致使用了不合适的阈值要么过于保守集合过大要么过于激进覆盖概率下降。缓解方案多粒度回退设计一个层次化的任务分类体系。如果最细粒度的类别数据不足则回退到其父类别使用父类别的阈值和基础速率。不确定性感知的β估计不仅估计β的点估计还估计其置信区间。当区间很宽时即估计不准自动切换到更保守的全局或父类阈值。在线学习如前所述持续用新标注的数据更新β的估计使其能跟踪任务成功率的变化。将保形预测应用于智能体检索本质上是在系统的“感知”层检索注入统计严谨性。它不能直接提升检索模型的能力上限但能可靠地刻画其能力下限并将这种不确定性明确地、可量化的暴露出来。对于构建高可靠、可信的智能体系统而言这种从“黑盒感觉”到“透明置信”的转变其价值不亚于模型精度本身的提升。在实际操作中从小规模、关键的任务场景开始试点仔细设计校准集持续监控覆盖概率和集合大小这两个核心指标你会逐渐体会到这种“校准思维”为整个系统带来的稳健与从容。
