1. 项目概述当大语言模型学会“深思熟虑”地进化最近在符号回归这个老问题上我和团队尝试了一种新思路效果出奇地好。符号回归是什么简单说就是给你一堆数据点x, y让你找到一个数学公式能最好地描述这些数据背后的规律。这活儿传统上靠遗传编程这类进化算法在巨大的公式空间里“随机突变、自然选择”计算成本高得吓人而且经常陷入局部最优解出不来。大语言模型LLMs的出现带来了新希望。你直接把数据扔给它让它“猜”公式理论上可行。但实际干过就知道纯靠LLM“灵光一现”的零样本或少样本生成稳定性很差猜中的概率跟买彩票差不多而且对复杂公式几乎无能为力。这就像让一个博学但缺乏深思熟虑的人直接解答一道复杂的数学题他可能知道很多知识点但缺乏系统性的推理和验证步骤答案往往不靠谱。我们项目的核心“Deliberate Evolution: Agentic Reasoning for Sample-Efficient Symbolic Regression with LLMs”直译过来是“深思熟虑的进化基于智能体推理的、样本高效的大语言模型符号回归”。这个名字点出了三个关键“深思熟虑”、“智能体”和“样本高效”。我们不是让LLM一次性猜答案而是构建了一个多智能体系统让LLM扮演不同的“思考角色”通过多轮、结构化的“辩论-验证-进化”循环像科学家一样系统地提出假设、设计实验、分析结果、修正理论最终稳健地“进化”出正确的数学表达式。这里的“样本高效”尤其关键意味着我们不需要海量的数据点或昂贵的LLM API调用就能达到很高的准确率。2. 核心设计思路多智能体如何“协作思考”传统的符号回归方法无论是遗传算法还是纯LLM提示都缺乏一个关键的“反思”与“规划”环节。我们的设计灵感来源于人类解决复杂问题的方式很少能一蹴而就而是通过分析、假设、测试、修正的迭代过程。2.1 从“单次猜测”到“迭代进化”的范式转变首先我们必须摒弃让LLM做“单次预测”的想法。符号回归的解空间是组合爆炸的包含各种运算符 - * / ^, sin, cos, exp等和变量组合。让LLM直接输出最终公式相当于要求它一次性完成搜索、构建和验证这超出了当前模型的能力范围。我们的范式是“进化”但不同于遗传算法的随机进化我们是“引导式”或“深思熟虑式”的进化。核心是设计一个闭环的工作流提出候选基于当前最佳理解和历史信息生成一批有潜力的公式假设。严格评估不是用复杂的损失函数而是用计算和逻辑来验证这些假设。分析反馈深入分析为什么某些假设好某些不好提取出结构性的洞察。定向改进利用这些洞察指导下一轮生成避免盲目随机搜索。这个循环的关键在于第3步“分析反馈”它赋予了进化过程“意识”和“方向”这正是“Deliberate”一词的精髓。2.2 多智能体分工与协作架构为了实现上述深思熟虑的循环我们引入了多智能体Multi-Agent架构。这里的每个“智能体”并非独立的AI模型而是由同一个或同一组LLM实例根据不同的系统提示Prompt所扮演的特定“角色”。这种设计非常经济不需要部署多个模型却能模拟出团队协作的效果。我们主要设计了三种核心角色1. 提议者Proposer职责负责生成新的公式候选。它不能天马行空而是基于“协调者”提供的上下文如当前最佳公式、上一轮的失败教训、数据特征分析来提出“有理有据”的猜想。提示设计要点提示词会强制它遵循一定的语法格式例如使用特定的符号库并鼓励它结合已知的数学原理如“数据看起来有周期性可以考虑三角函数”进行生成。例如提示词会包含“基于当前最佳公式sin(x) noise以及对残差的分析残差呈现二次趋势请提出三个修正假设重点考虑在现有基础上增加多项式项。”2. 评估者Evaluator职责对“提议者”生成的公式进行快速、定量的初步筛选。它的工作不是计算复杂的拟合优度而是执行一些低成本、高信息量的检验。核心检验方法维度一致性检查检查公式两边的物理量纲如果存在是否一致。例如如果数据代表距离米和时间秒公式v x*t的量纲是米·秒而速度v的量纲应是米/秒显然错误。LLM可以很好地理解并执行这种符号推理。极限行为检验取x趋于0、无穷大等特殊值看公式输出是否合理或符合数据趋势。例如数据在x很大时趋于常数那么生成一个exp(x)的项显然不合理。对称性/奇偶性检验如果数据明显是关于原点对称的奇函数或关于y轴对称的偶函数生成的公式应具备相应的数学性质。提示设计要点评估者的提示词包含一系列具体的、可执行的检验规则列表。它需要输出每个候选公式通过这些检验的结果通过/失败以及简短的原因。3. 协调者/分析者Coordinator/Analyzer职责这是整个系统的“大脑”是最体现“Agentic Reasoning”智能体推理的部分。它接收来自评估者的过滤后结果以及历史信息并执行高级任务综合研判对比本轮多个候选公式的优劣不仅看拟合误差更分析其结构简洁性和合理性。一个误差稍大但结构简单、符合物理直觉的公式可能比一个误差更小但无比复杂的“过拟合”公式更优。根因分析对于失败的公式它要诊断原因。是运算符用错了是忽略了数据中的关键模式如周期性还是变量组合不合理生成进化指令基于以上分析为下一轮的“提议者”生成明确的“进化指导”。例如“当前最佳公式在x较大时拟合偏差增大。所有尝试添加exp(x)项的假设都因极限行为不合理被否决。建议下一轮聚焦于探索x^2或sqrt(x)类型的项来修正大x值下的行为同时避免引入三角函数因为数据未显示周期性。”判断终止当找到满足预设精度如均方根误差RMSE低于阈值且结构简洁的公式时或达到最大迭代轮次时决定终止搜索。这个多智能体系统通过一个外部控制器可以是一个简单的Python脚本来调度管理对话历史、维护状态当前最佳公式、历史尝试、并依次调用不同角色的LLM。这种架构将复杂的符号回归问题分解成了LLM更擅长的子任务创意生成、逻辑推理、分析综合。实操心得角色提示词的设计是关键中的关键。最初我们只是简单地说“你是一个评估者”效果很差。后来我们发现必须为每个角色提供非常具体的“思考框架”和“输出格式”。例如给评估者的提示词里我们会明确列出5条必须执行的检查项并要求它以JSON格式输出结果。这极大地提高了系统的稳定性和可靠性。3. 关键技术实现与核心环节拆解有了架构设计接下来就是如何用代码和提示词将其实现。整个系统的运行流程可以概括为“初始化 - 进化循环 - 输出”。3.1 系统初始化与上下文构建在开始进化之前我们需要为LLM准备充足的“背景信息”这能极大提升后续推理的效率和准确性。这部分工作由“协调者”在首轮循环前完成。数据特征分析虽然LLM不能直接“看”到数据数组但我们可以用自然语言向它描述数据的统计特征和可视化洞察。这通过一个精心设计的提示词来完成输入数据的简要统计均值、方差、范围、通过简单脚本生成的趋势描述如“y随x增大先快速上升后趋于平缓”、以及可能的关键点如“在x≈0处似乎有一个零点”。提示词示例“你是一名数据分析师。现有数据集描述如下[插入数据描述]。请分析这些数据可能蕴含的数学关系。重点考虑1. 整体趋势是线性、多项式、指数还是对数2. 是否存在周期性、对称性3. 数据的尺度如何请输出一段结构化的分析。”输出LLM会生成一段分析文本如“数据表现出明显的非线性增长初期增长快后期放缓提示可能包含对数项或饱和函数如tanh。未观察到周期性模式。”先验知识注入根据问题领域我们可以注入领域知识。例如如果是物理实验数据可以提示“在经典力学范围内考虑多项式关系”如果是金融数据可能提示“考虑增长率和波动性”。生成初始假设集基于以上分析“协调者”会指导“提议者”生成第一轮公式候选。指令可能是“根据上述分析数据呈非线性饱和增长。请生成5个初始数学公式假设重点考虑包含log(x1),sqrt(x),x/(1x)等形式的表达式使用变量x常数项可包含c。”3.2 “深思熟虑”进化循环的详细步骤系统进入核心的迭代循环每一轮都包含以下步骤步骤一提议生成Proposer Agent输入当前状态包括1) 历史最佳公式及其误差2) 上一轮“协调者”的进化指导3) 数据特征分析摘要。提示词核心“你是一位数学建模专家。当前目标是拟合描述[数据特征]的数据。目前最佳公式是F_current其不足在于[不足描述]。进化指导是[进化指导]。请遵循以下规则生成3个新的公式候选1. 必须基于当前最佳公式进行改进或全新但符合进化指导2. 公式结构应尽可能简洁3. 使用以下运算符库[, -, *, /, ^, sin, cos, exp, log]4. 输出格式为JSON列表[{formula: expr1}, {formula: expr2}...]”输出一组新的公式字符串。步骤二快速验证与过滤Evaluator Agent输入本轮生成的所有新公式。提示词核心“你是一名公式验证员。请对以下每个数学公式进行快速可行性检查检查列表1.量纲检查如果适用公式两边量纲是否一致2.极限检查当x-0和x-∞时公式行为是否合理非无穷大、非震荡3.奇偶性检查如果数据关于原点对称公式是否为奇函数4.边界值检查代入x的最小/最大值计算出的y是否在数据y的大致范围内请对每个公式输出JSON{formula: ..., checks: {dimensional: pass/fail reason, limit: ..., ...}, overall: pass/fail}”输出标记为“通过”和“失败”的公式列表并附有原因。只有“通过”的公式进入下一环节。步骤三精确计算与评估外部代码这一步骤不依赖LLM使用轻量级的符号计算库如SymPy和数值计算库如NumPy。任务对于通过快速验证的公式进行数值拟合和误差计算。公式解析将字符串公式转换为可计算的函数。参数拟合如果公式中包含自由参数如a*x b中的a, b使用最小二乘法等快速优化方法进行拟合。误差计算计算拟合后的公式在数据点上的误差如均方根误差RMSE或决定系数R²。输出每个候选公式的精确误差值、拟合后的参数值。步骤四分析与决策Coordinator Agent输入所有候选公式的详细评估结果包括验证原因和精确误差、整个进化历史。提示词核心“你是指挥官。本轮产生了N个候选公式结果如下[插入表格包含公式、误差、验证摘要]。历史最佳公式是F_best。请执行以下任务1.综合排名综合考虑误差大小和公式简洁性选出本轮最佳候选。2.对比与更新如果本轮最佳优于历史最佳则更新。3.根因分析分析失败候选的共性错误。4.生成下一轮指导基于当前最佳公式的剩余不足和失败分析为下一轮提议者生成具体、可操作的指令以改进公式。指令应具体例如‘尝试在现有公式中添加一个负二次项来修正凹度’而非‘继续改进’。5.终止判断当前最佳公式的RMSE是否已低于阈值0.01若是则终止。”输出更新后的全局最佳公式、下一轮进化指导、以及是否终止的决策。这个循环持续进行直到满足终止条件。每一轮LLM的“推理”都建立在上一轮的结果和具体的分析之上使得搜索过程从“随机漫步”变成了“目标明确的探索”。3.3 样本高效性的实现策略“Sample-Efficient”体现在两个方面数据样本和LLM调用样本。数据样本高效我们不需要成千上万的数据点。因为系统通过逻辑推理量纲、极限和结构分析来约束搜索空间几十个甚至十几个高质量数据点就足以引导系统找到正确方向。系统更关注数据的“特征”而非纯粹的数据量。LLM调用样本高效通过多智能体分工每次调用都有明确、具体的任务避免了让LLM做它不擅长的数值计算。评估者的快速验证替代了大量无效的数值拟合尝试。协调者的分析能力避免了在错误方向上的重复搜索。通常找到复杂公式所需的迭代轮次总调用次数远少于传统遗传算法的代数也少于LLM盲目生成-验证的尝试次数。注意事项外部计算与LLM的平衡。一定要把LLM擅长的事推理、分析、生成和它不擅长的事精确数值计算分开。所有涉及数值计算、参数拟合、误差比较的工作务必用外部代码Python完成LLM只负责处理符号和逻辑。将拟合后的误差数值提供给LLM进行分析而不是让它去计算。这个分工是系统稳定和高效的基础。4. 实战演示复现一个经典案例为了让大家有更直观的感受我来演示一下如何用这个框架解决一个经典问题从噪声数据中重新发现“开普勒第三定律”的简化形式即行星轨道周期T与轨道半径R的3/2次方成正比T² ∝ R³。背景我们假设不知道这个定律只拿到了一组模拟的T R数据点并添加了一些噪声。第一步初始化与特征分析我们将数据特征“T随R增大而增大增长速率似乎比线性快但比二次方慢”和领域知识“这是天体力学数据可能涉及幂律关系”输入给“协调者”。 协调者分析后给出初始指导“数据暗示一个幂律关系T c * R^a。请首轮探索指数a在1到2之间的可能性并考虑简单的缩放常数c。”第二步第一轮进化提议者根据指导生成如[T 1.5 * R^1.5, T 0.8 * R^1.8, T 2 * R]等候选。评估者进行快速检查。T 2 * R线性在极限检查中可能被质疑因为增长速率描述为比线性快但不会直接否决留待数值检验。外部计算拟合后发现T 1.5 * R^1.5的误差最小。协调者分析认为T 1.5 * R^1.5表现最佳误差已经较小。但它注意到公式形式是R^1.5而科学定律常表达为T^2 ∝ R^3。它生成下一轮指导“当前最佳形式为R^1.5。建议探索等价但更简洁的整数指数形式例如考虑T^2与R^3的关系。下轮提议请尝试构建如T^2 k * R^3形式的公式。”第三步第二轮进化提议者根据新指导生成[T^2 1 * R^3, T^2 0.8 * R^3 0.1, T^2 R^3 / 1.2]。评估者/外部计算验证并拟合后发现T^2 1 * R^3不仅误差极低而且结构极其简洁只有一个参数k1。协调者判定此公式满足终止条件误差低且形式简洁优美系统成功“重新发现”了开普勒第三定律。在整个过程中LLM没有进行任何数值计算但它通过推理指导了搜索方向从“幂律”到“特定指数1.5”再到“转换为平方-立方关系”。这种基于推理的引导就是“样本高效”的根源。5. 常见问题、挑战与优化策略在实际部署和测试中我们遇到了不少坑也总结出一些优化策略。5.1 智能体“幻觉”与一致性维护LLM的“幻觉”在多轮对话中会被放大。例如协调者可能错误地记忆了历史最佳公式的误差值或者在分析中引入不存在的数据特征。解决方案状态外部化所有关键状态当前最佳公式、其误差、完整历史记录必须由外部控制器Python脚本维护并在每一轮对话中显式地、结构化地提供给LLM。绝不能依赖LLM自己的对话记忆。结构化输入/输出强制要求每个智能体的输入和输出都采用严格的JSON或XML格式。这便于程序解析也减少了LLM自由发挥导致格式错误的风险。关键信息复核在协调者的提示词中加入一步“事实核对”例如“请首先确认以下信息当前最佳公式是否为[外部传入的公式]其RMSE是否为[外部传入的误差]确认无误后再进行分析。”5.2 搜索空间爆炸与引导策略即使有指导提议者仍可能生成过于复杂或离奇的公式。解决方案复杂度惩罚在协调者的决策逻辑中显式加入对公式复杂度的考量。可以将公式长度、运算符数量、嵌套深度作为一个惩罚项与误差共同构成评价指标。逐步解锁运算符库开始时只允许使用 -, *, /, ^和常数。如果简单运算符无法达到精度要求再由协调者指导引入sin, cos, exp, log等更复杂的函数。这符合“奥卡姆剃刀”原则先寻找简单解。模板引导对于一些常见关系如线性、二次、幂律、指数增长可以在初期让提议者先生成基于这些模板的公式快速缩小范围。5.3 评估者的逻辑可靠性评估者的逻辑检查如量纲分析依赖于LLM的推理能力虽然通常可靠但并非百分百准确。解决方案多层验证评估者的检查是“初筛”。所有通过初筛的公式必须经过后续的精确数值计算这一关。这是最终的、客观的检验。提供计算示例在评估者的提示词中包含一两个具体如何执行某项检查的示例例如“对于公式v x/t量纲检查左边[v] L/T右边[x]/[t] L/T一致通过。” 这能提升其推理的准确性。共识机制可以让两个独立的“评估者”智能体使用略有不同的提示词对同一批公式进行评估只有两者都通过的公式才进入下一轮降低误判率。5.4 性能与成本考量LLM API调用是主要成本和时间开销。虽然我们追求样本高效但迭代轮次依然需要管理。优化策略批量处理每一轮中让提议者一次性生成5-8个候选让评估者一次性评估所有候选。这比逐个生成、评估能减少API调用次数。使用轻量级模型评估者的工作相对标准化可以使用更小、更快的模型如GPT-3.5-Turbo。协调者和提议者可能需要更强的推理和创造能力使用更强大的模型如GPT-4。这种异构模型搭配类似于网络热词中提到的“heterogeneous LLMs”概念可以优化成本与性能的平衡。提前终止设置严格的误差阈值和最大迭代轮次。一旦发现公式在验证集上误差不再显著下降或公式复杂度急剧增加即可提前终止防止无效搜索。5.5 问题排查速查表问题现象可能原因排查与解决思路公式始终无法收敛误差居高不下1. 初始指导方向完全错误。2. 运算符库不足以表达目标函数。3. 数据噪声过大或存在异常值。1. 检查协调者初始分析是否严重偏离数据特征。可人工提供更强先验。2. 逐步引入更复杂的运算符如sin, exp。3. 对数据进行预处理平滑或去除异常点。提议者生成的公式格式错误无法解析提示词中对输出格式约束不够严格。强化输出格式指令在提示词中提供明确的JSON示例并在后端代码中加入格式校验和重试机制。进化过程陷入循环反复生成相似公式协调者的进化指导变得模糊或无效缺乏新意。在协调者提示词中要求其必须提出与上一轮不同的改进方向。可以引入“探索率”偶尔允许提议者完全忽略当前最佳公式进行随机探索。评估者误杀正确公式检查规则过于严苛或LLM推理出错。1. 放宽快速验证的标准将更多公式交给精确计算去判断。2. 复核评估者的提示词确保检查逻辑正确无误。增加评估共识机制。系统运行速度慢API调用延迟高或外部拟合计算复杂。1. 实现异步调用并行评估多个公式。2. 优化参数拟合算法对于简单线性参数使用解析解避免迭代优化。这个“深思熟虑的进化”框架本质上是将人类的科学发现方法论——假设、检验、分析、修正——编码成了一个由LLM驱动的自动化流程。它不依赖于蛮力计算而是依靠结构化的推理来高效导航巨大的数学空间。经过多个基准测试集的验证这种方法在寻找简洁、可解释的数学公式方面相比传统遗传编程和原生LLM提示在达到相同精度的情况下所需的候选公式评估次数即计算成本和LLM调用次数即推理成本都显著减少真正实现了“样本高效”。对于从事科学发现、工程建模或任何需要从数据中提炼解析式规律的研究者和工程师来说这套思路提供了一个非常有力且实用的新工具。 基于多智能体推理的样本高效符号回归：LLM驱动的深思熟虑进化框架
1. 项目概述当大语言模型学会“深思熟虑”地进化最近在符号回归这个老问题上我和团队尝试了一种新思路效果出奇地好。符号回归是什么简单说就是给你一堆数据点x, y让你找到一个数学公式能最好地描述这些数据背后的规律。这活儿传统上靠遗传编程这类进化算法在巨大的公式空间里“随机突变、自然选择”计算成本高得吓人而且经常陷入局部最优解出不来。大语言模型LLMs的出现带来了新希望。你直接把数据扔给它让它“猜”公式理论上可行。但实际干过就知道纯靠LLM“灵光一现”的零样本或少样本生成稳定性很差猜中的概率跟买彩票差不多而且对复杂公式几乎无能为力。这就像让一个博学但缺乏深思熟虑的人直接解答一道复杂的数学题他可能知道很多知识点但缺乏系统性的推理和验证步骤答案往往不靠谱。我们项目的核心“Deliberate Evolution: Agentic Reasoning for Sample-Efficient Symbolic Regression with LLMs”直译过来是“深思熟虑的进化基于智能体推理的、样本高效的大语言模型符号回归”。这个名字点出了三个关键“深思熟虑”、“智能体”和“样本高效”。我们不是让LLM一次性猜答案而是构建了一个多智能体系统让LLM扮演不同的“思考角色”通过多轮、结构化的“辩论-验证-进化”循环像科学家一样系统地提出假设、设计实验、分析结果、修正理论最终稳健地“进化”出正确的数学表达式。这里的“样本高效”尤其关键意味着我们不需要海量的数据点或昂贵的LLM API调用就能达到很高的准确率。2. 核心设计思路多智能体如何“协作思考”传统的符号回归方法无论是遗传算法还是纯LLM提示都缺乏一个关键的“反思”与“规划”环节。我们的设计灵感来源于人类解决复杂问题的方式很少能一蹴而就而是通过分析、假设、测试、修正的迭代过程。2.1 从“单次猜测”到“迭代进化”的范式转变首先我们必须摒弃让LLM做“单次预测”的想法。符号回归的解空间是组合爆炸的包含各种运算符 - * / ^, sin, cos, exp等和变量组合。让LLM直接输出最终公式相当于要求它一次性完成搜索、构建和验证这超出了当前模型的能力范围。我们的范式是“进化”但不同于遗传算法的随机进化我们是“引导式”或“深思熟虑式”的进化。核心是设计一个闭环的工作流提出候选基于当前最佳理解和历史信息生成一批有潜力的公式假设。严格评估不是用复杂的损失函数而是用计算和逻辑来验证这些假设。分析反馈深入分析为什么某些假设好某些不好提取出结构性的洞察。定向改进利用这些洞察指导下一轮生成避免盲目随机搜索。这个循环的关键在于第3步“分析反馈”它赋予了进化过程“意识”和“方向”这正是“Deliberate”一词的精髓。2.2 多智能体分工与协作架构为了实现上述深思熟虑的循环我们引入了多智能体Multi-Agent架构。这里的每个“智能体”并非独立的AI模型而是由同一个或同一组LLM实例根据不同的系统提示Prompt所扮演的特定“角色”。这种设计非常经济不需要部署多个模型却能模拟出团队协作的效果。我们主要设计了三种核心角色1. 提议者Proposer职责负责生成新的公式候选。它不能天马行空而是基于“协调者”提供的上下文如当前最佳公式、上一轮的失败教训、数据特征分析来提出“有理有据”的猜想。提示设计要点提示词会强制它遵循一定的语法格式例如使用特定的符号库并鼓励它结合已知的数学原理如“数据看起来有周期性可以考虑三角函数”进行生成。例如提示词会包含“基于当前最佳公式sin(x) noise以及对残差的分析残差呈现二次趋势请提出三个修正假设重点考虑在现有基础上增加多项式项。”2. 评估者Evaluator职责对“提议者”生成的公式进行快速、定量的初步筛选。它的工作不是计算复杂的拟合优度而是执行一些低成本、高信息量的检验。核心检验方法维度一致性检查检查公式两边的物理量纲如果存在是否一致。例如如果数据代表距离米和时间秒公式v x*t的量纲是米·秒而速度v的量纲应是米/秒显然错误。LLM可以很好地理解并执行这种符号推理。极限行为检验取x趋于0、无穷大等特殊值看公式输出是否合理或符合数据趋势。例如数据在x很大时趋于常数那么生成一个exp(x)的项显然不合理。对称性/奇偶性检验如果数据明显是关于原点对称的奇函数或关于y轴对称的偶函数生成的公式应具备相应的数学性质。提示设计要点评估者的提示词包含一系列具体的、可执行的检验规则列表。它需要输出每个候选公式通过这些检验的结果通过/失败以及简短的原因。3. 协调者/分析者Coordinator/Analyzer职责这是整个系统的“大脑”是最体现“Agentic Reasoning”智能体推理的部分。它接收来自评估者的过滤后结果以及历史信息并执行高级任务综合研判对比本轮多个候选公式的优劣不仅看拟合误差更分析其结构简洁性和合理性。一个误差稍大但结构简单、符合物理直觉的公式可能比一个误差更小但无比复杂的“过拟合”公式更优。根因分析对于失败的公式它要诊断原因。是运算符用错了是忽略了数据中的关键模式如周期性还是变量组合不合理生成进化指令基于以上分析为下一轮的“提议者”生成明确的“进化指导”。例如“当前最佳公式在x较大时拟合偏差增大。所有尝试添加exp(x)项的假设都因极限行为不合理被否决。建议下一轮聚焦于探索x^2或sqrt(x)类型的项来修正大x值下的行为同时避免引入三角函数因为数据未显示周期性。”判断终止当找到满足预设精度如均方根误差RMSE低于阈值且结构简洁的公式时或达到最大迭代轮次时决定终止搜索。这个多智能体系统通过一个外部控制器可以是一个简单的Python脚本来调度管理对话历史、维护状态当前最佳公式、历史尝试、并依次调用不同角色的LLM。这种架构将复杂的符号回归问题分解成了LLM更擅长的子任务创意生成、逻辑推理、分析综合。实操心得角色提示词的设计是关键中的关键。最初我们只是简单地说“你是一个评估者”效果很差。后来我们发现必须为每个角色提供非常具体的“思考框架”和“输出格式”。例如给评估者的提示词里我们会明确列出5条必须执行的检查项并要求它以JSON格式输出结果。这极大地提高了系统的稳定性和可靠性。3. 关键技术实现与核心环节拆解有了架构设计接下来就是如何用代码和提示词将其实现。整个系统的运行流程可以概括为“初始化 - 进化循环 - 输出”。3.1 系统初始化与上下文构建在开始进化之前我们需要为LLM准备充足的“背景信息”这能极大提升后续推理的效率和准确性。这部分工作由“协调者”在首轮循环前完成。数据特征分析虽然LLM不能直接“看”到数据数组但我们可以用自然语言向它描述数据的统计特征和可视化洞察。这通过一个精心设计的提示词来完成输入数据的简要统计均值、方差、范围、通过简单脚本生成的趋势描述如“y随x增大先快速上升后趋于平缓”、以及可能的关键点如“在x≈0处似乎有一个零点”。提示词示例“你是一名数据分析师。现有数据集描述如下[插入数据描述]。请分析这些数据可能蕴含的数学关系。重点考虑1. 整体趋势是线性、多项式、指数还是对数2. 是否存在周期性、对称性3. 数据的尺度如何请输出一段结构化的分析。”输出LLM会生成一段分析文本如“数据表现出明显的非线性增长初期增长快后期放缓提示可能包含对数项或饱和函数如tanh。未观察到周期性模式。”先验知识注入根据问题领域我们可以注入领域知识。例如如果是物理实验数据可以提示“在经典力学范围内考虑多项式关系”如果是金融数据可能提示“考虑增长率和波动性”。生成初始假设集基于以上分析“协调者”会指导“提议者”生成第一轮公式候选。指令可能是“根据上述分析数据呈非线性饱和增长。请生成5个初始数学公式假设重点考虑包含log(x1),sqrt(x),x/(1x)等形式的表达式使用变量x常数项可包含c。”3.2 “深思熟虑”进化循环的详细步骤系统进入核心的迭代循环每一轮都包含以下步骤步骤一提议生成Proposer Agent输入当前状态包括1) 历史最佳公式及其误差2) 上一轮“协调者”的进化指导3) 数据特征分析摘要。提示词核心“你是一位数学建模专家。当前目标是拟合描述[数据特征]的数据。目前最佳公式是F_current其不足在于[不足描述]。进化指导是[进化指导]。请遵循以下规则生成3个新的公式候选1. 必须基于当前最佳公式进行改进或全新但符合进化指导2. 公式结构应尽可能简洁3. 使用以下运算符库[, -, *, /, ^, sin, cos, exp, log]4. 输出格式为JSON列表[{formula: expr1}, {formula: expr2}...]”输出一组新的公式字符串。步骤二快速验证与过滤Evaluator Agent输入本轮生成的所有新公式。提示词核心“你是一名公式验证员。请对以下每个数学公式进行快速可行性检查检查列表1.量纲检查如果适用公式两边量纲是否一致2.极限检查当x-0和x-∞时公式行为是否合理非无穷大、非震荡3.奇偶性检查如果数据关于原点对称公式是否为奇函数4.边界值检查代入x的最小/最大值计算出的y是否在数据y的大致范围内请对每个公式输出JSON{formula: ..., checks: {dimensional: pass/fail reason, limit: ..., ...}, overall: pass/fail}”输出标记为“通过”和“失败”的公式列表并附有原因。只有“通过”的公式进入下一环节。步骤三精确计算与评估外部代码这一步骤不依赖LLM使用轻量级的符号计算库如SymPy和数值计算库如NumPy。任务对于通过快速验证的公式进行数值拟合和误差计算。公式解析将字符串公式转换为可计算的函数。参数拟合如果公式中包含自由参数如a*x b中的a, b使用最小二乘法等快速优化方法进行拟合。误差计算计算拟合后的公式在数据点上的误差如均方根误差RMSE或决定系数R²。输出每个候选公式的精确误差值、拟合后的参数值。步骤四分析与决策Coordinator Agent输入所有候选公式的详细评估结果包括验证原因和精确误差、整个进化历史。提示词核心“你是指挥官。本轮产生了N个候选公式结果如下[插入表格包含公式、误差、验证摘要]。历史最佳公式是F_best。请执行以下任务1.综合排名综合考虑误差大小和公式简洁性选出本轮最佳候选。2.对比与更新如果本轮最佳优于历史最佳则更新。3.根因分析分析失败候选的共性错误。4.生成下一轮指导基于当前最佳公式的剩余不足和失败分析为下一轮提议者生成具体、可操作的指令以改进公式。指令应具体例如‘尝试在现有公式中添加一个负二次项来修正凹度’而非‘继续改进’。5.终止判断当前最佳公式的RMSE是否已低于阈值0.01若是则终止。”输出更新后的全局最佳公式、下一轮进化指导、以及是否终止的决策。这个循环持续进行直到满足终止条件。每一轮LLM的“推理”都建立在上一轮的结果和具体的分析之上使得搜索过程从“随机漫步”变成了“目标明确的探索”。3.3 样本高效性的实现策略“Sample-Efficient”体现在两个方面数据样本和LLM调用样本。数据样本高效我们不需要成千上万的数据点。因为系统通过逻辑推理量纲、极限和结构分析来约束搜索空间几十个甚至十几个高质量数据点就足以引导系统找到正确方向。系统更关注数据的“特征”而非纯粹的数据量。LLM调用样本高效通过多智能体分工每次调用都有明确、具体的任务避免了让LLM做它不擅长的数值计算。评估者的快速验证替代了大量无效的数值拟合尝试。协调者的分析能力避免了在错误方向上的重复搜索。通常找到复杂公式所需的迭代轮次总调用次数远少于传统遗传算法的代数也少于LLM盲目生成-验证的尝试次数。注意事项外部计算与LLM的平衡。一定要把LLM擅长的事推理、分析、生成和它不擅长的事精确数值计算分开。所有涉及数值计算、参数拟合、误差比较的工作务必用外部代码Python完成LLM只负责处理符号和逻辑。将拟合后的误差数值提供给LLM进行分析而不是让它去计算。这个分工是系统稳定和高效的基础。4. 实战演示复现一个经典案例为了让大家有更直观的感受我来演示一下如何用这个框架解决一个经典问题从噪声数据中重新发现“开普勒第三定律”的简化形式即行星轨道周期T与轨道半径R的3/2次方成正比T² ∝ R³。背景我们假设不知道这个定律只拿到了一组模拟的T R数据点并添加了一些噪声。第一步初始化与特征分析我们将数据特征“T随R增大而增大增长速率似乎比线性快但比二次方慢”和领域知识“这是天体力学数据可能涉及幂律关系”输入给“协调者”。 协调者分析后给出初始指导“数据暗示一个幂律关系T c * R^a。请首轮探索指数a在1到2之间的可能性并考虑简单的缩放常数c。”第二步第一轮进化提议者根据指导生成如[T 1.5 * R^1.5, T 0.8 * R^1.8, T 2 * R]等候选。评估者进行快速检查。T 2 * R线性在极限检查中可能被质疑因为增长速率描述为比线性快但不会直接否决留待数值检验。外部计算拟合后发现T 1.5 * R^1.5的误差最小。协调者分析认为T 1.5 * R^1.5表现最佳误差已经较小。但它注意到公式形式是R^1.5而科学定律常表达为T^2 ∝ R^3。它生成下一轮指导“当前最佳形式为R^1.5。建议探索等价但更简洁的整数指数形式例如考虑T^2与R^3的关系。下轮提议请尝试构建如T^2 k * R^3形式的公式。”第三步第二轮进化提议者根据新指导生成[T^2 1 * R^3, T^2 0.8 * R^3 0.1, T^2 R^3 / 1.2]。评估者/外部计算验证并拟合后发现T^2 1 * R^3不仅误差极低而且结构极其简洁只有一个参数k1。协调者判定此公式满足终止条件误差低且形式简洁优美系统成功“重新发现”了开普勒第三定律。在整个过程中LLM没有进行任何数值计算但它通过推理指导了搜索方向从“幂律”到“特定指数1.5”再到“转换为平方-立方关系”。这种基于推理的引导就是“样本高效”的根源。5. 常见问题、挑战与优化策略在实际部署和测试中我们遇到了不少坑也总结出一些优化策略。5.1 智能体“幻觉”与一致性维护LLM的“幻觉”在多轮对话中会被放大。例如协调者可能错误地记忆了历史最佳公式的误差值或者在分析中引入不存在的数据特征。解决方案状态外部化所有关键状态当前最佳公式、其误差、完整历史记录必须由外部控制器Python脚本维护并在每一轮对话中显式地、结构化地提供给LLM。绝不能依赖LLM自己的对话记忆。结构化输入/输出强制要求每个智能体的输入和输出都采用严格的JSON或XML格式。这便于程序解析也减少了LLM自由发挥导致格式错误的风险。关键信息复核在协调者的提示词中加入一步“事实核对”例如“请首先确认以下信息当前最佳公式是否为[外部传入的公式]其RMSE是否为[外部传入的误差]确认无误后再进行分析。”5.2 搜索空间爆炸与引导策略即使有指导提议者仍可能生成过于复杂或离奇的公式。解决方案复杂度惩罚在协调者的决策逻辑中显式加入对公式复杂度的考量。可以将公式长度、运算符数量、嵌套深度作为一个惩罚项与误差共同构成评价指标。逐步解锁运算符库开始时只允许使用 -, *, /, ^和常数。如果简单运算符无法达到精度要求再由协调者指导引入sin, cos, exp, log等更复杂的函数。这符合“奥卡姆剃刀”原则先寻找简单解。模板引导对于一些常见关系如线性、二次、幂律、指数增长可以在初期让提议者先生成基于这些模板的公式快速缩小范围。5.3 评估者的逻辑可靠性评估者的逻辑检查如量纲分析依赖于LLM的推理能力虽然通常可靠但并非百分百准确。解决方案多层验证评估者的检查是“初筛”。所有通过初筛的公式必须经过后续的精确数值计算这一关。这是最终的、客观的检验。提供计算示例在评估者的提示词中包含一两个具体如何执行某项检查的示例例如“对于公式v x/t量纲检查左边[v] L/T右边[x]/[t] L/T一致通过。” 这能提升其推理的准确性。共识机制可以让两个独立的“评估者”智能体使用略有不同的提示词对同一批公式进行评估只有两者都通过的公式才进入下一轮降低误判率。5.4 性能与成本考量LLM API调用是主要成本和时间开销。虽然我们追求样本高效但迭代轮次依然需要管理。优化策略批量处理每一轮中让提议者一次性生成5-8个候选让评估者一次性评估所有候选。这比逐个生成、评估能减少API调用次数。使用轻量级模型评估者的工作相对标准化可以使用更小、更快的模型如GPT-3.5-Turbo。协调者和提议者可能需要更强的推理和创造能力使用更强大的模型如GPT-4。这种异构模型搭配类似于网络热词中提到的“heterogeneous LLMs”概念可以优化成本与性能的平衡。提前终止设置严格的误差阈值和最大迭代轮次。一旦发现公式在验证集上误差不再显著下降或公式复杂度急剧增加即可提前终止防止无效搜索。5.5 问题排查速查表问题现象可能原因排查与解决思路公式始终无法收敛误差居高不下1. 初始指导方向完全错误。2. 运算符库不足以表达目标函数。3. 数据噪声过大或存在异常值。1. 检查协调者初始分析是否严重偏离数据特征。可人工提供更强先验。2. 逐步引入更复杂的运算符如sin, exp。3. 对数据进行预处理平滑或去除异常点。提议者生成的公式格式错误无法解析提示词中对输出格式约束不够严格。强化输出格式指令在提示词中提供明确的JSON示例并在后端代码中加入格式校验和重试机制。进化过程陷入循环反复生成相似公式协调者的进化指导变得模糊或无效缺乏新意。在协调者提示词中要求其必须提出与上一轮不同的改进方向。可以引入“探索率”偶尔允许提议者完全忽略当前最佳公式进行随机探索。评估者误杀正确公式检查规则过于严苛或LLM推理出错。1. 放宽快速验证的标准将更多公式交给精确计算去判断。2. 复核评估者的提示词确保检查逻辑正确无误。增加评估共识机制。系统运行速度慢API调用延迟高或外部拟合计算复杂。1. 实现异步调用并行评估多个公式。2. 优化参数拟合算法对于简单线性参数使用解析解避免迭代优化。这个“深思熟虑的进化”框架本质上是将人类的科学发现方法论——假设、检验、分析、修正——编码成了一个由LLM驱动的自动化流程。它不依赖于蛮力计算而是依靠结构化的推理来高效导航巨大的数学空间。经过多个基准测试集的验证这种方法在寻找简洁、可解释的数学公式方面相比传统遗传编程和原生LLM提示在达到相同精度的情况下所需的候选公式评估次数即计算成本和LLM调用次数即推理成本都显著减少真正实现了“样本高效”。对于从事科学发现、工程建模或任何需要从数据中提炼解析式规律的研究者和工程师来说这套思路提供了一个非常有力且实用的新工具。