如何教会小型大语言模型舍弃68%的RAG上下文
2026年7月2日的研究聚焦于如何教会小型大语言模型（LLM）舍弃68%的检索增强生成（RAG）上下文，同时保留96%的召回率，将代理上下文精简至回答实际所需的内容。
Kapa致力于构建AI助手，借助大型产品知识库回答复杂问题，知识库涵盖技术文档、API参考、PDF文件、论坛以及支持线程等。开发者可用检索API为代理提供产品上下文信息，检索层也为端到端助手提供支持。尽管2026年关于代理是否仍需RAG存在争议，但在该领域，当知识库庞大复杂时，RAG无可替代。检索方式多样，遵循相同模式：检索器找出相关文档片段，生成器（LLM）依据片段撰写答案。
本文核心是在检索器和生成器之间增加第三个步骤，让小型且成本低的LLM读取问题和检索片段，在昂贵模型处理前舍弃不需要的片段。这能减少约68%的上下文，保留约96%的召回率，扣除自身成本后降低查询成本三分之一。
被忽略的片段仍会产生成本
检索器如漏斗，通过嵌入和关键词搜索筛选知识库，重排器对候选片段排序，前15左右的片段送生成器。但生成器读取的大部分内容非问题必需，虽检索器目标是最大召回率，相信生成器能忽略无关信息，但生成器会为忽略的片段付费。在助手中，检索片段占查询成本约三分之二，超过答案、对话历史和系统提示成本总和。每减少一个片段，查询成本约降4%。在代理中，工具调用输出添加到上下文，上下文迅速增长，精准检索结果能为其他信息留空间，减少无用上下文。关键在于召回率，舍弃回答所需片段可能换得错误答案，精简器优劣取决于召回率和压缩率的权衡。
显而易见的解决方案并不奏效
有人要求直接公开重排分数筛选片段，如保留高于0.7分的片段，但此方法行不通。一是重排分数只是排序，非衡量标准，不同查询间未校准，无固定筛选阈值，排序支持的筛选只能按位置选前N个，会舍弃无关或答案片段；二是相关性非单个片段属性，重排器逐点交叉编码，单独评分不考虑片段关联。如一个实际示例中，第二个片段与第一个结合才有相关性，但逐点评分无法发现。真正问题是片段是否属能共同回答问题的一组。
一个巧妙但同样失败的解决方案
曾尝试锚定文档的方法，在排名中插入已知相关性的合成片段，使重排器评分尺度有绝对性，针对不同级别编写合成片段，舍弃排名低于最低级别锚定片段的真实片段。这在已有重排基础上增加一次LLM调用，设计巧妙，但仍失败，原因与前相同。锚定片段可解决校准问题，但无法修正评分，重排器仍将部分相关和间接相关片段排在无关片段之下，为保留这些片段，锚定片段位置需设很低，几乎无法精简。这次失败启示：精简操作需同时考虑问题和所有片段。
因此，让LLM对片段进行评分
最终方法是在重排器和生成器间进行列表式LLM调用，获取问题和片段，按五级评分标准评分：5分（ESSENTIAL，至关重要），无此片段无法生成答案；4分（CONTRIBUTING，有贡献），单独不能回答问题，但与其他片段结合提供必要信息；3分（SUPPORTING，有支持作用），与主题相关可能有用，无它答案也可能完整；2分（TANGENTIAL，有一定关联），属同一领域或用相同术语，但无具体贡献；1分（UNRELATED，无关），与问题无有意义关联。高于或等于阈值的片段保留，此设计解决了之前的两个问题，固定筛选阈值可发挥作用，模型能评判整个片段集合，处理部分相关和间接相关片段。
有三个关键因素需考虑：一是模型，精简器成本从节省费用支出，排除旗舰级模型，选低推理成本下最快最便宜的小型快速层级模型；二是阈值，控制压缩率和召回率的主要参数；三是保留前K个，排名靠前的重排片段无论评分如何都保留，防止评分错误舍弃重要片段。还测试了两种简单设计，预算选择法保留前几个片段，让LLM最多再添加N个，输出大小可预测，但预算用完会舍弃相关片段；最简单的精简器直接让LLM选保留片段，不使用评分标准。若方案无法胜过直接询问法，则不值得采用。
实验结果
在标注好的真实问题上测量召回率，通过在随机一个月的生产对话中重新运行配置，验证压缩率、成本和延迟，用实际发送给生成器的片段。每个点代表一种配置，x轴表示压缩率，y轴表示保留的召回率。所有方法远超基线，召回率保持98%时，截断法只能减少一个片段，压缩率约7%，基于LLM的策略能达30%以上压缩率，相关性评分法能减少近一半片段，评分法在各压缩级别都更优，选择接近激进端的点，保留约96%召回率，舍弃约68%片段，每25个问题有一个丢失所需片段，扣除精简器成本后查询成本降低约34%。
延迟成本
精简器在检索和生成关键路径上运行，每次查询增加一次模型调用，速度决定延迟成本。生产环境中，所选配置每个查询运行约0.7秒，复杂设置会使延迟迅速增加，用低推理成本小型模型可将额外延迟控制在1秒以内。生成过程速度提升不明显，较少片段使生成器输入令牌减少，响应稍提前，但远不足以抵消精简器调用时间。精简操作以少量固定延迟换取压缩率，所选配置下延迟远低于1秒，对延迟敏感的单次查询需权衡，在代理中增加一次轻量级调用影响较小。
应用场景
首先在检索是众多工具之一的场景部署该功能，为基于检索服务构建代理的客户提供支持。代理携带多种工具，每次调用输出添加到上下文，文档搜索结果减少三分之二可为其他操作留空间，且此场景召回率损失风险低，代理可再次搜索。在产品代理SDK的知识库搜索中，精简功能默认开启，在检索API和MCP服务器中为可选功能。
超过200家拥有复杂产品的行业领先企业信赖
超过200家拥有复杂产品的行业领先企业信赖Kapa，如Silicon Labs、Logitech、n8n、monday.com等。
此外，Kapa还可将技术文档转化为面向客户的AI助手，提供免费试用。
产品方面，包括连接、部署、答案引擎、分析等；行业涉及开发工具、半导体、软件、硬件与工业等；资源有数据安全、信任中心、服务条款、隐私政策等；社交平台涵盖Twitter、LinkedIn、Y Combinator等；解决方案针对客户、团队、代理分别有不同内容。
新功能Kapa for AI Agents可为AI代理提供完整的产品知识，还可使用我的内容试用。