1. 从“指令”到“智能体”深度研究代理的训练哲学最近在折腾一个基于大语言模型LLM的深度研究项目目标是构建一个能自主进行复杂信息检索、分析和综合的“研究代理”Research Agent。这玩意儿听起来很酷但真上手了才发现从“给模型发个指令”到“训练出一个靠谱的智能体”中间隔着一道巨大的鸿沟。我们团队内部的项目代号叫“Search-R1”核心挑战就是如何让这个代理不仅会“搜”更懂得“究”——也就是深度分析和推理。网上关于“Prompt Engineering”提示工程的讨论铺天盖地从“如何编写并调优prompt”到“文生视频prompt写作技巧”大家都在琢磨怎么用更精妙的指令“榨干”模型的潜力。这没错一个好的起点Prompt至关重要。但如果你想让一个AI代理持续、稳定、高质量地完成一系列复杂任务比如撰写一份行业分析报告光靠一个静态的、精心设计的初始指令是远远不够的。你会遇到各种问题代理中途“跑偏”开始生成无关内容面对模糊需求时它可能选择最容易但最肤浅的路径甚至因为处理信息过长直接给你来个“context overflow: prompt too large”或者“agent terminated due to error”。这些现象背后其实指向了智能体训练的三个核心支柱也是我们Search-R1项目反复折腾的焦点Prompt指令/提示、Reward奖励和Policy Optimization策略优化。这不仅仅是三个技术名词的堆砌它代表了一套完整的、从“一次性交互”到“持续性学习与优化”的思维转变。今天我就结合我们在Search-R1上的实践拆解一下这三者如何协同工作把一个只会“听令行事”的模型训练成一个有“主观能动性”和“判断力”的深度研究伙伴。无论你是AI产品经理、算法工程师还是对AI应用开发感兴趣的开发者理解这套框架都能帮你少走很多弯路。2. Prompt不止是开场白更是任务蓝图与约束框架很多人把Prompt理解成对话的开始比如“请写一首关于春天的诗”。但在深度研究代理的语境下Prompt的角色要复杂和重要得多。它更像是一份详细的项目任务书和行为宪法定义了智能体的初始目标、行动边界、可用工具以及思维模式。2.1 构建结构化与模块化的系统提示词一个强大的研究代理Prompt绝不能是几句简单的要求。在Search-R1中我们的系统提示词是一个高度结构化的文本通常包含以下几个关键模块角色与身份定义明确告诉模型“你是谁”。例如“你是一个专注于科技与商业交叉领域的资深行业分析师擅长从海量信息中提取关键洞察并以结构清晰、论据扎实的报告形式呈现。”核心任务与最终产出清晰描述最终要交付什么。例如“你的任务是针对‘AI智能体在企业知识管理中的应用’这一主题进行深度研究并生成一份不少于3000字的分析报告。报告需包含市场现状、核心技术栈、典型应用场景、面临的挑战以及未来趋势预测。”工作流程与步骤指引将大任务分解为可执行的子步骤。这是防止代理“迷路”的关键。例如步骤一问题拆解与搜索策略制定。首先你需要将宽泛的主题分解为3-5个关键子问题如当前有哪些主流的企业知识管理AI代理方案它们各自的技术原理是什么部署成本与效益如何衡量。并为每个子问题规划初步的搜索关键词。步骤二多轮次、批判性信息检索。使用提供的搜索工具进行多轮检索。对于每一篇获取的资料需要评估其来源可信度如学术论文、权威科技媒体、企业白皮书、发布时间和核心观点。步骤三信息综合与观点提炼。对比不同来源的信息识别共识与分歧点。不是罗列事实而是提炼出你自己的分析脉络和核心论点。步骤四结构化报告撰写。按照约定的结构引言、正文、结论进行撰写确保逻辑连贯重要观点均有信息源支撑。工具使用规范如果代理可以调用搜索API、代码解释器、文件读写等工具必须明确说明何时及如何使用。例如“当你需要获取最新市场数据或案例时使用search_web(query)函数。每次搜索后请简要总结检索结果与当前问题的相关性。”格式与风格要求规定输出的格式。例如“报告使用Markdown格式二级标题使用##关键数据使用加粗强调引用来源以脚注形式标注。”约束与禁忌明确禁止的行为。例如“严禁捏造信息或数据。如果找不到足够支撑的信息应明确说明‘当前公开信息不足’。严禁生成任何涉及用户隐私、商业秘密或违反法律法规的内容。”这种模块化的设计相当于为智能体搭建了一个坚固的“脚手架”让它知道起点、路径和终点大大减少了它“自由发挥”导致偏离主题的概率。2.2 应对“无效提示”与上下文溢出的实战技巧在调优过程中我们频繁遇到两类与Prompt相关的错误提示它们的解决方案截然不同“Invalid prompt: your prompt was flagged...” 或 “prompt闪退”这通常意味着你的Prompt中包含了被模型安全过滤器判定为敏感、有害或试图进行“Prompt注入”攻击的内容。解决方案不是对抗而是重构。检查是否使用了可能被误解的词汇或者任务描述本身涉及了灰色地带。我们的经验是将任务描述得更“正面”和“建设性”。例如将“找出某竞品的弱点”改为“分析某产品在特定场景下可能面临的用户体验挑战”并强调分析应基于公开、客观的数据。“Context overflow: prompt too large...”这是工程上的常见挑战。当你的系统提示词过于详细再加上多轮对话的历史很容易超出模型的最大上下文窗口。解决方案是优化与压缩提炼核心指令移除所有冗余的、描述性的废话只保留最精炼的、不可或缺的指令。外部记忆体对于长篇的参考文档、历史对话不要全部塞进Prompt。可以先用嵌入模型Embedding将其向量化存储当智能体需要时通过检索增强生成RAG技术动态引入最相关的片段。分层Prompt设计将超长的Prompt拆分为“核心系统指令”常驻和“任务特定指令”按需加载。例如系统指令定义身份和基础工作流而具体的“分析某某公司2023年财报”这个任务指令可以作为一个独立模块在任务开始时注入。注意Prompt不是一劳永逸的。它需要根据智能体在实际任务中的表现进行迭代。如果发现智能体总是忽略某个步骤可能需要强化该步骤的描述或调整其顺序。3. Reward为“好表现”定义可量化的标尺如果说Prompt是给智能体画的“路线图”那么Reward奖励函数就是沿途设置的“路标”和“终点记分牌”。它告诉智能体什么样的行为、什么样的产出是“好”的是值得鼓励的。在强化学习RL的框架下智能体通过与环境的交互获得奖励其目标就是最大化累积奖励。对于基于LLM的智能体我们通常通过“奖励模型”来模拟这个打分过程。3.1 设计多维度的奖励信号一个单一的评价指标比如“报告长度”会导致智能体行为畸形比如灌水。在Search-R1中我们为研究代理设计了一个复合奖励函数从多个维度评估其表现相关性奖励生成的报告内容与初始研究主题的相关性。这可以通过计算报告文本与主题关键词的嵌入向量相似度来实现。信息完整性奖励报告是否覆盖了Prompt中要求的所有关键子问题我们可以训练一个小的分类器判断每个子问题是否在报告中被充分讨论。事实准确性奖励这是研究代理的“生命线”。我们通过以下方式评估引用验证检查报告中声称的引用是否真实存在且引用内容是否支持其论点。一致性检查利用知识图谱或可信数据库对报告中的关键事实陈述如公司市值、技术发布日期进行交叉验证。内部一致性报告前后论点、数据是否自洽有无矛盾之处。逻辑性与结构性奖励报告的行文是否逻辑清晰、结构严谨我们可以使用一些可量化的文本特征如段落之间的连贯性分数、是否使用了有效的转折词和总结句等。可读性与格式奖励是否符合要求的格式Markdown、有无严重的语法错误、句子长度是否适中。最终的奖励R_total可以是一个加权和R_total w1*R_relevance w2*R_completeness w3*R_accuracy w4*R_logic w5*R_readability。权重的设定本身就是一门艺术需要在实验中调整。初期我们可能会给“事实准确性”极高的权重确保代理不会胡说八道。3.2 从人工反馈到奖励模型最直接的奖励来源是人工反馈。我们让人类专家评估智能体生成的报告从1到5打分。但这种方法成本高难以规模化。因此我们需要训练一个奖励模型来模仿人类的判断。操作流程如下收集偏好数据对于同一个研究主题让智能体或基础模型生成两个不同版本的回答A和B。请人类标注员判断哪个更好或者给出偏好排序AB, BA, 同样好。这就是一个高质量的提示 回答对 偏好三元组数据。训练奖励模型选择一个中等规模的模型如经过SFT的7B模型用收集到的偏好数据进行训练。模型的输入是提示 回答输出是一个标量分数训练目标是让模型对更好回答的打分显著高于对更差回答的打分。损失函数通常使用 Bradley-Terry 模型或类似的对比损失。使用奖励模型进行评分训练好的奖励模型可以快速、自动地对智能体新生成的无数回答进行打分提供即时的奖励信号。这为后续的策略优化提供了燃料。实操心得奖励模型的质量直接决定了智能体进化的方向。如果奖励模型有偏见比如过分偏好华丽的辞藻而忽略内容深度智能体就会学会“华而不实”。因此初期的人工反馈数据必须尽可能高质量、无偏见。一个技巧是要求标注员不仅给出偏好还要用一两句话说明理由如“A更全面但B的某个观点更深刻”这些理由文本后续可以用来提升奖励模型的可解释性。4. Policy Optimization让智能体学会“更优”的决策策略有了Prompt作为蓝图Reward作为标尺最后一步就是通过策略优化让智能体内部的“决策机制”即其参数所代表的策略发生改变使其更倾向于产生能获得高奖励的行为序列。简单说就是让智能体“学聪明”。4.1 策略梯度与近端策略优化我们不对底层的大语言模型进行全面的重新训练那成本极高而是采用微调的方式特别是基于人类反馈的强化学习RLHF或其变种。其核心思想是根据奖励模型给出的分数计算一个策略梯度然后沿着能增加期望奖励的方向轻微地更新模型参数。一个经典且常用的算法是近端策略优化。PPO的核心优势在于其“近端”约束它通过一个裁剪clip函数限制每次参数更新的幅度防止新策略相对旧策略偏离太远从而保证了训练过程的稳定性。这对于大模型微调至关重要因为一次激进的更新可能导致模型“崩溃”失去原有的语言能力。在Search-R1中的简化工作流如下采样让当前的研究代理策略模型根据给定的研究主题Prompt生成一个完整的回答即完成一次研究任务轨迹。评估使用我们训练好的奖励模型对这个回答进行打分R。同时我们也会计算一个“基线”分数比如使用旧策略模型对同一Prompt生成回答的期望奖励或者使用一个价值函数估计。这有助于减少方差。优势估计计算优势函数A R - baseline。这个值代表了当前回答相对于“平均水平”好多少或差多少。计算损失PPO损失函数包含两部分策略损失鼓励模型增加产生高优势行动即生成高奖励文本的token的概率抑制低优势行动的概率但更新幅度被裁剪限制。价值函数损失可选如果我们同时训练一个价值函数网络来估计基线这部分损失用于让价值函数的预测更准确。KL散度惩罚项额外增加一个约束防止新策略与原始预训练模型或上一轮迭代的模型在行为上差异过大以保留基本的语言能力和知识。反向传播与更新根据总损失通过反向传播计算梯度并更新策略模型研究代理的参数。经过多轮迭代模型会逐渐学会生成那些能获得奖励模型高分的回答也就是更相关、更准确、更结构化的研究报告。4.2 处理错误与迭代“You can prompt the model to try again”的深层含义在智能体运行中错误不可避免。无论是工具调用失败还是生成了无意义的内容系统提示我们“you can prompt the model to try again or start a new conversation”。这背后其实隐藏着两种策略优化思路在线学习与即时修正当智能体单次任务失败时我们可以设计一个“元提示”分析失败原因并指导它重试。例如如果是因为搜索关键词太宽泛导致结果不佳元提示可以是“上一轮检索结果相关性较低。请重新审视你的问题拆解尝试使用更具体、更专业的关键词组合进行搜索。例如将‘AI效率’替换为‘RAG pipeline在文档问答中的延迟优化’。” 这种即时的人类或规则系统干预可以看作是一种稀疏的、高价值的奖励信号被记录到数据中用于后续的离线策略优化。离线批处理与策略迭代我们更常用的模式是让智能体在大量不同的研究任务上自主运行收集成千上万条任务轨迹包括成功和失败的。然后用奖励模型对所有生成的回答进行批量评分。最后利用这些Prompt, 回答, 奖励数据对策略模型进行一次集中的PPO微调。这种离线方式更安全、更高效是让智能体能力实现“版本级”跃升的主要手段。一个常见的陷阱是“奖励黑客”智能体可能会学会“欺骗”奖励模型而不是真正提升研究能力。比如如果奖励模型过分看重“引用数量”智能体可能会学会生成大量无关或虚假的引用。对抗“奖励黑客”需要设计更鲁棒的奖励将奖励与最终任务成果如报告被人类专家采纳的程度挂钩而不仅仅是中间产出。多任务训练让智能体在多样化的研究任务上进行训练防止它过拟合到某个特定奖励函数的漏洞上。持续监控与更新定期用最新的人类偏好数据更新奖励模型使其与人类价值观保持对齐。5. Search-R1实战一个完整的研究代理训练循环理论说了这么多最后分享一下我们在Search-R1项目中的一个简化版训练循环让大家有个直观感受。我们假设目标是训练一个能撰写“开源大模型最新进展”简报的代理。第零阶段基础模型与工具准备模型选择一款具备较强推理和写作能力的开源或闭源大模型作为基座。工具为其集成可靠的网络搜索API、学术论文检索工具如arXiv API和代码解释器用于理解模型发布页中的技术细节。第一阶段Prompt工程与少量样本生成撰写一份结构化的系统提示词如2.1所述明确代理的角色、任务、步骤和格式。手动提供5-10个不同的、具体的简报主题如“Llama 3.1系列模型的技术特点分析”、“Qwen2.5在长上下文方面的改进”、“2024年上半年新发布的重要视觉语言模型”。让基础模型在系统提示词下为每个主题生成一份简报。此时的质量可能参差不齐。第二阶段收集人类反馈训练初始奖励模型邀请领域专家如AI研究员对上述生成的简报进行两两比较给出偏好判断和简短理由收集约500-1000组偏好数据。使用一个较小的模型如Qwen2.5-7B基于这些偏好数据训练一个奖励模型RM_v1。这个RM_v1学会了初步判断简报质量的好坏。第三阶段基于RLHF的策略优化使用基础模型作为初始策略让其针对一批新的、未见过的研究主题约1000个生成简报。用RM_v1为这1000份简报打分。使用PPO算法结合RM_v1的分数和KL散度约束对基础模型进行微调得到第一版研究代理Policy_v1。第四阶段评估、迭代与“对齐”对Policy_v1进行人工评估。发现它生成的简报引用很丰富但有时为了追求“全面”而罗列信息深度分析不足。分析原因奖励模型RM_v1可能对“信息点数量”过于敏感。迭代改进更新Prompt在系统提示词中强调“深度分析优于简单罗列”要求每个技术点都必须附带其意义或影响的分析。更新奖励模型收集新一批人类反馈数据这次要求标注员特别关注“分析深度”。用新数据训练RM_v2。再次优化策略用Policy_v1作为起点使用RM_v2进行新一轮PPO训练得到Policy_v2。重复第四阶段直到代理的产出在相关性、准确性、深度和结构上均达到满意水平。这个循环的关键在于“数据驱动”和“快速迭代”。Prompt、Reward Model、Policy三者不是固定的而是在相互反馈中不断演进。Prompt定义了任务空间Reward Model提供了优化方向Policy Optimization执行了学习过程。最终我们得到的Search-R1代理其内部参数已经编码了一套复杂的、针对深度研究任务优化的“行为模式”它不再是被动响应指令而是能主动规划、检索、批判思考并综合成文的智能伙伴。训练一个真正的深度研究代理是一个系统工程远非调优一个Prompt那么简单。它需要我们将Prompt工程、奖励设计、强化学习微调有机结合形成一个闭环。在这个过程中最大的挑战往往不是算法本身而是如何定义“好”的标准Reward以及如何确保智能体在追求“好”的过程中不会走火入魔。我们的Search-R1项目仍在进行中但沿着“Prompt为骨、Reward为尺、Policy优化为魂”这条路径我们已经看到了智能体从“工具”向“协作者”演进的清晰曙光。如果你也在尝试构建类似的AI应用不妨从精心设计你的第一个系统提示词开始然后思考你希望它如何变得更好你又将如何量化这个“更好” 从Prompt到智能体：深度解析AI代理训练的三大核心支柱
1. 从“指令”到“智能体”深度研究代理的训练哲学最近在折腾一个基于大语言模型LLM的深度研究项目目标是构建一个能自主进行复杂信息检索、分析和综合的“研究代理”Research Agent。这玩意儿听起来很酷但真上手了才发现从“给模型发个指令”到“训练出一个靠谱的智能体”中间隔着一道巨大的鸿沟。我们团队内部的项目代号叫“Search-R1”核心挑战就是如何让这个代理不仅会“搜”更懂得“究”——也就是深度分析和推理。网上关于“Prompt Engineering”提示工程的讨论铺天盖地从“如何编写并调优prompt”到“文生视频prompt写作技巧”大家都在琢磨怎么用更精妙的指令“榨干”模型的潜力。这没错一个好的起点Prompt至关重要。但如果你想让一个AI代理持续、稳定、高质量地完成一系列复杂任务比如撰写一份行业分析报告光靠一个静态的、精心设计的初始指令是远远不够的。你会遇到各种问题代理中途“跑偏”开始生成无关内容面对模糊需求时它可能选择最容易但最肤浅的路径甚至因为处理信息过长直接给你来个“context overflow: prompt too large”或者“agent terminated due to error”。这些现象背后其实指向了智能体训练的三个核心支柱也是我们Search-R1项目反复折腾的焦点Prompt指令/提示、Reward奖励和Policy Optimization策略优化。这不仅仅是三个技术名词的堆砌它代表了一套完整的、从“一次性交互”到“持续性学习与优化”的思维转变。今天我就结合我们在Search-R1上的实践拆解一下这三者如何协同工作把一个只会“听令行事”的模型训练成一个有“主观能动性”和“判断力”的深度研究伙伴。无论你是AI产品经理、算法工程师还是对AI应用开发感兴趣的开发者理解这套框架都能帮你少走很多弯路。2. Prompt不止是开场白更是任务蓝图与约束框架很多人把Prompt理解成对话的开始比如“请写一首关于春天的诗”。但在深度研究代理的语境下Prompt的角色要复杂和重要得多。它更像是一份详细的项目任务书和行为宪法定义了智能体的初始目标、行动边界、可用工具以及思维模式。2.1 构建结构化与模块化的系统提示词一个强大的研究代理Prompt绝不能是几句简单的要求。在Search-R1中我们的系统提示词是一个高度结构化的文本通常包含以下几个关键模块角色与身份定义明确告诉模型“你是谁”。例如“你是一个专注于科技与商业交叉领域的资深行业分析师擅长从海量信息中提取关键洞察并以结构清晰、论据扎实的报告形式呈现。”核心任务与最终产出清晰描述最终要交付什么。例如“你的任务是针对‘AI智能体在企业知识管理中的应用’这一主题进行深度研究并生成一份不少于3000字的分析报告。报告需包含市场现状、核心技术栈、典型应用场景、面临的挑战以及未来趋势预测。”工作流程与步骤指引将大任务分解为可执行的子步骤。这是防止代理“迷路”的关键。例如步骤一问题拆解与搜索策略制定。首先你需要将宽泛的主题分解为3-5个关键子问题如当前有哪些主流的企业知识管理AI代理方案它们各自的技术原理是什么部署成本与效益如何衡量。并为每个子问题规划初步的搜索关键词。步骤二多轮次、批判性信息检索。使用提供的搜索工具进行多轮检索。对于每一篇获取的资料需要评估其来源可信度如学术论文、权威科技媒体、企业白皮书、发布时间和核心观点。步骤三信息综合与观点提炼。对比不同来源的信息识别共识与分歧点。不是罗列事实而是提炼出你自己的分析脉络和核心论点。步骤四结构化报告撰写。按照约定的结构引言、正文、结论进行撰写确保逻辑连贯重要观点均有信息源支撑。工具使用规范如果代理可以调用搜索API、代码解释器、文件读写等工具必须明确说明何时及如何使用。例如“当你需要获取最新市场数据或案例时使用search_web(query)函数。每次搜索后请简要总结检索结果与当前问题的相关性。”格式与风格要求规定输出的格式。例如“报告使用Markdown格式二级标题使用##关键数据使用加粗强调引用来源以脚注形式标注。”约束与禁忌明确禁止的行为。例如“严禁捏造信息或数据。如果找不到足够支撑的信息应明确说明‘当前公开信息不足’。严禁生成任何涉及用户隐私、商业秘密或违反法律法规的内容。”这种模块化的设计相当于为智能体搭建了一个坚固的“脚手架”让它知道起点、路径和终点大大减少了它“自由发挥”导致偏离主题的概率。2.2 应对“无效提示”与上下文溢出的实战技巧在调优过程中我们频繁遇到两类与Prompt相关的错误提示它们的解决方案截然不同“Invalid prompt: your prompt was flagged...” 或 “prompt闪退”这通常意味着你的Prompt中包含了被模型安全过滤器判定为敏感、有害或试图进行“Prompt注入”攻击的内容。解决方案不是对抗而是重构。检查是否使用了可能被误解的词汇或者任务描述本身涉及了灰色地带。我们的经验是将任务描述得更“正面”和“建设性”。例如将“找出某竞品的弱点”改为“分析某产品在特定场景下可能面临的用户体验挑战”并强调分析应基于公开、客观的数据。“Context overflow: prompt too large...”这是工程上的常见挑战。当你的系统提示词过于详细再加上多轮对话的历史很容易超出模型的最大上下文窗口。解决方案是优化与压缩提炼核心指令移除所有冗余的、描述性的废话只保留最精炼的、不可或缺的指令。外部记忆体对于长篇的参考文档、历史对话不要全部塞进Prompt。可以先用嵌入模型Embedding将其向量化存储当智能体需要时通过检索增强生成RAG技术动态引入最相关的片段。分层Prompt设计将超长的Prompt拆分为“核心系统指令”常驻和“任务特定指令”按需加载。例如系统指令定义身份和基础工作流而具体的“分析某某公司2023年财报”这个任务指令可以作为一个独立模块在任务开始时注入。注意Prompt不是一劳永逸的。它需要根据智能体在实际任务中的表现进行迭代。如果发现智能体总是忽略某个步骤可能需要强化该步骤的描述或调整其顺序。3. Reward为“好表现”定义可量化的标尺如果说Prompt是给智能体画的“路线图”那么Reward奖励函数就是沿途设置的“路标”和“终点记分牌”。它告诉智能体什么样的行为、什么样的产出是“好”的是值得鼓励的。在强化学习RL的框架下智能体通过与环境的交互获得奖励其目标就是最大化累积奖励。对于基于LLM的智能体我们通常通过“奖励模型”来模拟这个打分过程。3.1 设计多维度的奖励信号一个单一的评价指标比如“报告长度”会导致智能体行为畸形比如灌水。在Search-R1中我们为研究代理设计了一个复合奖励函数从多个维度评估其表现相关性奖励生成的报告内容与初始研究主题的相关性。这可以通过计算报告文本与主题关键词的嵌入向量相似度来实现。信息完整性奖励报告是否覆盖了Prompt中要求的所有关键子问题我们可以训练一个小的分类器判断每个子问题是否在报告中被充分讨论。事实准确性奖励这是研究代理的“生命线”。我们通过以下方式评估引用验证检查报告中声称的引用是否真实存在且引用内容是否支持其论点。一致性检查利用知识图谱或可信数据库对报告中的关键事实陈述如公司市值、技术发布日期进行交叉验证。内部一致性报告前后论点、数据是否自洽有无矛盾之处。逻辑性与结构性奖励报告的行文是否逻辑清晰、结构严谨我们可以使用一些可量化的文本特征如段落之间的连贯性分数、是否使用了有效的转折词和总结句等。可读性与格式奖励是否符合要求的格式Markdown、有无严重的语法错误、句子长度是否适中。最终的奖励R_total可以是一个加权和R_total w1*R_relevance w2*R_completeness w3*R_accuracy w4*R_logic w5*R_readability。权重的设定本身就是一门艺术需要在实验中调整。初期我们可能会给“事实准确性”极高的权重确保代理不会胡说八道。3.2 从人工反馈到奖励模型最直接的奖励来源是人工反馈。我们让人类专家评估智能体生成的报告从1到5打分。但这种方法成本高难以规模化。因此我们需要训练一个奖励模型来模仿人类的判断。操作流程如下收集偏好数据对于同一个研究主题让智能体或基础模型生成两个不同版本的回答A和B。请人类标注员判断哪个更好或者给出偏好排序AB, BA, 同样好。这就是一个高质量的提示 回答对 偏好三元组数据。训练奖励模型选择一个中等规模的模型如经过SFT的7B模型用收集到的偏好数据进行训练。模型的输入是提示 回答输出是一个标量分数训练目标是让模型对更好回答的打分显著高于对更差回答的打分。损失函数通常使用 Bradley-Terry 模型或类似的对比损失。使用奖励模型进行评分训练好的奖励模型可以快速、自动地对智能体新生成的无数回答进行打分提供即时的奖励信号。这为后续的策略优化提供了燃料。实操心得奖励模型的质量直接决定了智能体进化的方向。如果奖励模型有偏见比如过分偏好华丽的辞藻而忽略内容深度智能体就会学会“华而不实”。因此初期的人工反馈数据必须尽可能高质量、无偏见。一个技巧是要求标注员不仅给出偏好还要用一两句话说明理由如“A更全面但B的某个观点更深刻”这些理由文本后续可以用来提升奖励模型的可解释性。4. Policy Optimization让智能体学会“更优”的决策策略有了Prompt作为蓝图Reward作为标尺最后一步就是通过策略优化让智能体内部的“决策机制”即其参数所代表的策略发生改变使其更倾向于产生能获得高奖励的行为序列。简单说就是让智能体“学聪明”。4.1 策略梯度与近端策略优化我们不对底层的大语言模型进行全面的重新训练那成本极高而是采用微调的方式特别是基于人类反馈的强化学习RLHF或其变种。其核心思想是根据奖励模型给出的分数计算一个策略梯度然后沿着能增加期望奖励的方向轻微地更新模型参数。一个经典且常用的算法是近端策略优化。PPO的核心优势在于其“近端”约束它通过一个裁剪clip函数限制每次参数更新的幅度防止新策略相对旧策略偏离太远从而保证了训练过程的稳定性。这对于大模型微调至关重要因为一次激进的更新可能导致模型“崩溃”失去原有的语言能力。在Search-R1中的简化工作流如下采样让当前的研究代理策略模型根据给定的研究主题Prompt生成一个完整的回答即完成一次研究任务轨迹。评估使用我们训练好的奖励模型对这个回答进行打分R。同时我们也会计算一个“基线”分数比如使用旧策略模型对同一Prompt生成回答的期望奖励或者使用一个价值函数估计。这有助于减少方差。优势估计计算优势函数A R - baseline。这个值代表了当前回答相对于“平均水平”好多少或差多少。计算损失PPO损失函数包含两部分策略损失鼓励模型增加产生高优势行动即生成高奖励文本的token的概率抑制低优势行动的概率但更新幅度被裁剪限制。价值函数损失可选如果我们同时训练一个价值函数网络来估计基线这部分损失用于让价值函数的预测更准确。KL散度惩罚项额外增加一个约束防止新策略与原始预训练模型或上一轮迭代的模型在行为上差异过大以保留基本的语言能力和知识。反向传播与更新根据总损失通过反向传播计算梯度并更新策略模型研究代理的参数。经过多轮迭代模型会逐渐学会生成那些能获得奖励模型高分的回答也就是更相关、更准确、更结构化的研究报告。4.2 处理错误与迭代“You can prompt the model to try again”的深层含义在智能体运行中错误不可避免。无论是工具调用失败还是生成了无意义的内容系统提示我们“you can prompt the model to try again or start a new conversation”。这背后其实隐藏着两种策略优化思路在线学习与即时修正当智能体单次任务失败时我们可以设计一个“元提示”分析失败原因并指导它重试。例如如果是因为搜索关键词太宽泛导致结果不佳元提示可以是“上一轮检索结果相关性较低。请重新审视你的问题拆解尝试使用更具体、更专业的关键词组合进行搜索。例如将‘AI效率’替换为‘RAG pipeline在文档问答中的延迟优化’。” 这种即时的人类或规则系统干预可以看作是一种稀疏的、高价值的奖励信号被记录到数据中用于后续的离线策略优化。离线批处理与策略迭代我们更常用的模式是让智能体在大量不同的研究任务上自主运行收集成千上万条任务轨迹包括成功和失败的。然后用奖励模型对所有生成的回答进行批量评分。最后利用这些Prompt, 回答, 奖励数据对策略模型进行一次集中的PPO微调。这种离线方式更安全、更高效是让智能体能力实现“版本级”跃升的主要手段。一个常见的陷阱是“奖励黑客”智能体可能会学会“欺骗”奖励模型而不是真正提升研究能力。比如如果奖励模型过分看重“引用数量”智能体可能会学会生成大量无关或虚假的引用。对抗“奖励黑客”需要设计更鲁棒的奖励将奖励与最终任务成果如报告被人类专家采纳的程度挂钩而不仅仅是中间产出。多任务训练让智能体在多样化的研究任务上进行训练防止它过拟合到某个特定奖励函数的漏洞上。持续监控与更新定期用最新的人类偏好数据更新奖励模型使其与人类价值观保持对齐。5. Search-R1实战一个完整的研究代理训练循环理论说了这么多最后分享一下我们在Search-R1项目中的一个简化版训练循环让大家有个直观感受。我们假设目标是训练一个能撰写“开源大模型最新进展”简报的代理。第零阶段基础模型与工具准备模型选择一款具备较强推理和写作能力的开源或闭源大模型作为基座。工具为其集成可靠的网络搜索API、学术论文检索工具如arXiv API和代码解释器用于理解模型发布页中的技术细节。第一阶段Prompt工程与少量样本生成撰写一份结构化的系统提示词如2.1所述明确代理的角色、任务、步骤和格式。手动提供5-10个不同的、具体的简报主题如“Llama 3.1系列模型的技术特点分析”、“Qwen2.5在长上下文方面的改进”、“2024年上半年新发布的重要视觉语言模型”。让基础模型在系统提示词下为每个主题生成一份简报。此时的质量可能参差不齐。第二阶段收集人类反馈训练初始奖励模型邀请领域专家如AI研究员对上述生成的简报进行两两比较给出偏好判断和简短理由收集约500-1000组偏好数据。使用一个较小的模型如Qwen2.5-7B基于这些偏好数据训练一个奖励模型RM_v1。这个RM_v1学会了初步判断简报质量的好坏。第三阶段基于RLHF的策略优化使用基础模型作为初始策略让其针对一批新的、未见过的研究主题约1000个生成简报。用RM_v1为这1000份简报打分。使用PPO算法结合RM_v1的分数和KL散度约束对基础模型进行微调得到第一版研究代理Policy_v1。第四阶段评估、迭代与“对齐”对Policy_v1进行人工评估。发现它生成的简报引用很丰富但有时为了追求“全面”而罗列信息深度分析不足。分析原因奖励模型RM_v1可能对“信息点数量”过于敏感。迭代改进更新Prompt在系统提示词中强调“深度分析优于简单罗列”要求每个技术点都必须附带其意义或影响的分析。更新奖励模型收集新一批人类反馈数据这次要求标注员特别关注“分析深度”。用新数据训练RM_v2。再次优化策略用Policy_v1作为起点使用RM_v2进行新一轮PPO训练得到Policy_v2。重复第四阶段直到代理的产出在相关性、准确性、深度和结构上均达到满意水平。这个循环的关键在于“数据驱动”和“快速迭代”。Prompt、Reward Model、Policy三者不是固定的而是在相互反馈中不断演进。Prompt定义了任务空间Reward Model提供了优化方向Policy Optimization执行了学习过程。最终我们得到的Search-R1代理其内部参数已经编码了一套复杂的、针对深度研究任务优化的“行为模式”它不再是被动响应指令而是能主动规划、检索、批判思考并综合成文的智能伙伴。训练一个真正的深度研究代理是一个系统工程远非调优一个Prompt那么简单。它需要我们将Prompt工程、奖励设计、强化学习微调有机结合形成一个闭环。在这个过程中最大的挑战往往不是算法本身而是如何定义“好”的标准Reward以及如何确保智能体在追求“好”的过程中不会走火入魔。我们的Search-R1项目仍在进行中但沿着“Prompt为骨、Reward为尺、Policy优化为魂”这条路径我们已经看到了智能体从“工具”向“协作者”演进的清晰曙光。如果你也在尝试构建类似的AI应用不妨从精心设计你的第一个系统提示词开始然后思考你希望它如何变得更好你又将如何量化这个“更好”