近年来大量研究工作都在思考同一个问题大语言模型LLM能帮科学家做点什么大多数人的第一反应是总结文献、润色论文、写代码。但真正有意思的方向是让 LLM 直接参与科学规律的发现——从实验数据中找出控制现象的那条数学表达式。如果把背景换到化学、生物、材料领域这个问题就变得非常具体给定一组反应随时间变化的浓度数据你能自动写出反应速率方程吗传统做法靠人工推导经验性强、周期长用神经网络拟合虽然精度高但得到的是黑箱无法解释机理。于是符号回归Symbolic Regression被推到了台前它试图从数据中搜索出符合物理规律的数学表达式。而 DASyR-LLM 这个方向则把符号回归和大语言模型结合并在搜索过程中引入领域知识Domain-Aware目标是让从数据直接发现动力学模型这件事变得更高效、更可靠。这篇文章我想从动力学模型发现的痛点出发把 DASyR-LLM 要解决的问题拆清楚再给出一个可运行的最小示例帮助你理解这类方法的思路、代码结构和常见的坑。如果你正在做 LLM 应用开发或者在做科学计算、自动建模相关工作这篇文章值得收藏。1. 这篇文章真正要解决的问题先说结论DASyR-LLM 要解决的核心问题不是怎么让 LLM 写出一个数学公式而是怎么让 LLM 在有领域约束的前提下写出一个既符合数据、又符合物理规律的数学公式。动力学模型发现Kinetic Model Discovery在化学工程、生物制药、环境科学等领域极其常见。比如你要研究一个催化反应手头有一批反应物浓度随时间变化的实验数据你需要确定反应的级数、速率常数甚至要判断是否存在中间产物。传统做法是先假设一个模型结构例如一级反应或二级反应。用最小二乘、极大似然等方法拟合参数。做残差分析判断模型是否合适。不合适就换一个模型再拟合。这套流程的问题在于模型结构需要人工假设而假设往往依赖于经验。当你面对的是一个全新反应体系没有参考模型时搜索空间几乎是无限的。这就是符号回归的用武之地——它把模型结构也纳入搜索范围直接搜索表达式。但符号回归也有自己的问题。经典方法基于遗传编程Genetic Programming随机组合算子、变量和常数然后通过适应度函数筛选。它的问题是对大搜索空间不够高效并且经常搜出形式上简洁、数值上也拟合得很好但物理上完全不合理的表达式——比如表达式里单位对不上或者某一项在反应体系中根本不存在。DASyR-LLM 的思路是用 LLM 替代或辅助传统符号回归中的搜索算子把大语言模型对数学表达式的先验能力和领域知识比如化学计量关系、质量守恒、反应级数限制结合起来。换句话说让 LLM 不只是会算而是懂得这个领域的约束再提出合理的候选模型。这篇文章适合下面几类读者正在做化学、生物、材料等领域数据建模的研究者想了解 LLM 能怎么加速模型发现。研究符号回归或 AutoML 方向的开发者想对比传统方法与 LLM 方法的差异。对 LLM Agent 应用有兴趣的后端工程师想知道如何把外部约束注入 LLM 生成过程。下文会从符号回归的基础讲起再拆解 Domain-Aware 的设计思路最后给出一个 Python 演示示例。2. 符号回归的基础概念与核心原理2.1 什么是符号回归符号回归是一种监督学习方法目标是从观测数据中找到一个数学表达式 ( y f(x_1, x_2, ..., x_n) )使得该表达式在给定数据上的误差最小。与传统回归不同符号回归不预先指定函数形式它同时搜索函数结构和参数。一个最经典的例子给你一组数据大致长这样——[ x 0.1, 0.2, 0.3, ..., 1.0 ] [ y 2.0 \times \sin(3.0 \times x) ]人眼加一点经验能猜出这是个正弦函数。但对于高维、含噪声、有多个耦合变量的数据手动猜测几乎不可能。符号回归就在这个场景下发挥作用。传统符号回归通常使用遗传编程GP随机初始化一批表达式树Expression Tree。计算每个表达式的适应度通常是拟合误差加复杂度惩罚。通过交叉、变异生成下一代候选表达式。重复多代直到找到可接受的表达式。表达式树的例子如下(*) / \ () x2 / \ x1 x3这个树表示 ( (x_1 x_3) \times x_2 )。遗传编程就在这样的树结构上做搜索。2.2 传统符号回归的短板传统符号回归有三大问题恰好是后面理解 DASyR-LLM 价值的关键。第一搜索空间巨大效率不稳定。表达式可以有任意深度、任意算子组合、任意常数很难通过穷举搜索。GP 的随机性很强同一份数据跑两次结果可能差异巨大。第二缺乏语义约束。GP 生成的表达式只追求数值拟合不会自动遵守量纲一致、反应级数为正、浓度非负等物理约束。你完全可能得到一个在数学上成立、在物理上毫无意义的最优解。第三常数的搜索效率低。符号回归中常数的优化是一个混合整数连续优化问题处理起来非常麻烦。2.3 LLM 为什么能参与符号回归大语言模型本身接受了大量数学、物理、化学文本的训练对常见函数形式、常见反应速率表达式有一定的先验能力。让 LLM 参与符号回归常见思路有三种用 LLM 作为变异算子传统 GP 中由随机变异产生新表达式现在由 LLM 根据当前候选集和反馈生成新表达式。用 LLM 直接生成候选给 LLM 输入变量说明、数据摘要、领域约束让它直接提出若干个候选模型表达式。用 LLM 做模型精化对已经找到的候选表达式让 LLM 判断如何简化、合并或修正。DASyR-LLM 从名称来看属于Domain-Aware的路线核心是让 LLM 在生成候选表达式时考虑到领域约束。这一点非常关键。接下来单独讲。3. 什么是 Domain-Aware为什么它对动力学模型发现这么重要领域感知Domain-Aware这个词听起来抽象但落到动力学模型发现场景里含义其实很具体。动力学模型描述的是反应速率与浓度、温度、压力等变量之间的关系常见的表达式形态包括零级反应( r k )一级反应( r k \cdot C_A )二级反应( r k \cdot C_A \cdot C_B )Michaelis-Menten 动力学( r \frac{V_{max} \cdot C_S}{K_m C_S} )Arrhenius 温度依赖( k A \cdot e^{-E_a/(RT)} )这些模型必须满足一系列领域约束浓度不能为负。反应速率常数为正。反应级数通常是整数或半整数而不是任意小数。表达式必须满足量纲一致性。在某些情况下还必须满足质量守恒定律。传统符号回归器不知道这些约束因此会生成 ( r k \cdot C_A^{-1.7} ) 这样的表达式数值上可能也拟合得不错但物理上不可接受。Domain-Aware 的做法就是把领域约束编码进符号回归的流程。可以发生在三个层面数据层对输入数据做变换确保变量具有物理意义。生成层在给 LLM 的 Prompt 中明确说明约束条件要求候选表达式满足特定形式。验证层对 LLM 生成的候选表达式做物理可行性检查不满足约束的直接淘汰不进入参数拟合阶段。DASyR-LLM 的核心思路可以概括为先让 LLM 在领域约束下提出候选模型再用数值拟合和物理规则双重验证不合格的表达式带着错误信息反馈给 LLM让它迭代修正。这种生成-验证-反馈-再生成的循环本质上是把 LLM 当成了一个聪明的搜索算子而领域约束则起到了缩小搜索空间、过滤无效解的作用。4. DASyR-LLM 方法框架拆解由于 DASyR-LLM 的具体实现细节在不同版本中可能有所调整这篇文章不涉及某个具体仓库的逐行代码而是从标题和领域惯例出发把这类方法的一般框架拆解出来。理解了这套框架你就能看懂任何同类 LLM符号回归领域约束的组合。4.1 总体流程一个典型的 DASyR-LLM 方法包含以下模块原始实验数据 ↓ 数据预处理去噪、标准化、变量提取 ↓ 候选模型生成LLM 领域约束 Prompt ↓ 物理规则验证量纲、范围、结构 ↓ 参数估计与数值拟合scipy.optimize / PyTorch ↓ 模型评估拟合误差 复杂度 物理合理性 ↓ 反馈并迭代把错误信息返回给 LLM ↓ 最终动力学模型这套流程与经典符号回归相比最大的区别在于LLM 替代了部分遗传编程的变异/交叉算子而领域约束在生成后、拟合前就介入而不是等拟合完才发现表达式没有物理意义。4.2 各模块的作用与设计要点数据预处理。这一步处理实验测量中的噪声、初始浓度设置、时间点统一等问题。动力学模型对数据质量敏感如果数据本身不符合质量守恒任何符号回归都很难找出正确模型。建议在使用 LLM 之前先做一次简单的数据可视化确认变量之间的大致关系。候选模型生成。这一步的核心是 Prompt 设计。LLM 需要知道以下信息系统中有哪些变量分别代表什么含义。变量的单位。已知的领域约束例如浓度非负、速率常数为正。数据的大致特征例如是否先快后慢、是否存在平稳阶段。期望的表达式形式例如希望生成一个 ODE 系统还是单条速率方程。一个简化版的 Prompt 模板如下你是一名化学动力学建模专家。请根据以下信息给出候选的反应速率模型表达式 变量说明 - C_A反应物 A 的浓度mol/L - C_B反应物 B 的浓度mol/L - t反应时间s 约束条件 - 所有浓度为非负值 - 速率常数必须为正数 - 表达式必须满足量纲一致性 数据特征 - C_A 在反应初期下降较快后期趋于平缓 - C_B 在反应初期快速上升然后保持稳定 请给出 3 个候选模型每个模型使用 Python 函数形式表示并附带一句解释。这一步的关键是约束条件越具体LLM 生成的候选表达式越有可能被直接采用。如果你只写生成一个动力学模型LLM 很可能会给你一个泛泛的通用模板价值不大。物理规则验证。LLM 生成的表达式不能直接信任必须用代码检查。检查内容包括表达式是否包含未定义的变量。是否包含物理上不允许的函数例如对负数取对数。量纲是否一致。给定变量取值范围内是否会产生 NaN 或无穷值。这个模块在流程中非常重要因为 LLM 的输出格式虽然看起来像 Python 代码实际上经常包含语法错误、变量名拼写错误等问题。很多人在实际项目中踩坑就是因为跳过了这一步直接拿去拟合结果报错后不知道是模型结构的问题还是 LLM 的问题。参数估计与数值拟合。LLM 生成的表达式通常带有符号参数例如 ( k )、( K_m )、( V_{max} )。这些参数需要通过数值优化拟合。如果模型是常微分方程ODE还需要先求解 ODE再计算损失。这一部分通常使用 scipy.optimize.curve_fit 或更专业的 PyTorch 微分方程求解器。模型评估与反馈。拟合完成后需要从三个维度评估模型拟合误差均方误差、R² 等。模型复杂度表达式包含多少项、多少个参数。物理合理性参数是否为正值、是否在合理范围内。评估结果以自然语言形式反馈给 LLM让它知道当前候选模型为什么不好从而生成下一轮候选。4.3 与传统符号回归的对比特性传统遗传编程GPDASyR-LLM 思路搜索算子交叉、变异LLM 生成候选表达式领域知识需额外设计约束函数通过 Prompt 自然注入常数优化混合整数优化较难LLM 给出初始猜测再用数值优化解释性表达式可解释表达式可解释且 LLM 附带解释主要风险搜索效率低物理约束弱LLM 生成内容不可控需严格验证迭代机制靠种群演化靠错误反馈 再生成从表格可以看出DASyR-LLM 并不是要完全替代传统 GP而是在生成候选这个环节引入 LLM 的先验能力和领域知识同时保留数值优化的严谨性。这种混合思路在实践中最稳妥。5. 简化示例用 Python 演示 Domain-Aware 符号回归流程下面用一个最小可运行的示例演示整个流程。这里不依赖任何特定 DASyR-LLM 仓库而是展示核心思想方便你在自己的项目中落地。5.1 环境准备需要安装以下 Python 包pip install numpy scipy openai这里使用 openai SDK 调用任意兼容 OpenAI 接口的大模型推理服务实际环境中你可以替换为本地模型或其他 LLM 网关。5.2 示例数据生成为了演示方便先构造一个真实动力学模型假设反应 A → B 是一级反应速率方程为[ \frac{dC_A}{dt} -k \cdot C_A ]解析解为[ C_A(t) C_{A0} \cdot e^{-kt} ]我们生成带噪声的模拟数据# 文件路径data/generate_data.py import numpy as np np.random.seed(42) # 真实参数 k_true 0.3 C_A0_true 1.0 # 时间点 t np.linspace(0, 10, 50) # 真实浓度 C_A_true C_A0_true * np.exp(-k_true * t) # 添加噪声 C_A_obs C_A_true np.random.normal(0, 0.02, sizet.shape) # 保存数据 np.savez(data/reaction_data.npz, tt, C_AC_A_obs, C_A_trueC_A_true) print(数据生成完成共 {} 个采样点.format(len(t)))5.3 LLM 候选生成Domain-Aware Prompt调用 LLM 生成候选模型。这一步体现 Domain-Aware 的核心在 Prompt 中明确给出变量含义、单位、物理约束、数据特征。# 文件路径llm_candidate.py import openai import os client openai.OpenAI( api_keyos.getenv(OPENAI_API_KEY, your-api-key), base_urlos.getenv(OPENAI_BASE_URL, https://api.openai.com/v1), ) PROMPT_TEMPLATE 你是一名化学动力学建模专家。请根据以下信息给出候选的反应速率模型表达式。 变量说明 - t反应时间s - C_A反应物 A 的浓度mol/L 约束条件 - 浓度必须为非负值 - 速率常数必须为正数 - 表达式必须满足量纲一致性 - 只允许使用常规数学运算 - * / exp log pow 数据特征 - C_A 在 t0 时约为 1.0 - C_A 随时间单调下降下降速率逐渐变缓 - 25 秒后 C_A 接近 0.05 请给出 3 个候选模型每个模型表示为 Python 函数def model(t, C_A0, *params): ... 必须附带一句物理含义解释。 def generate_candidates(): resp client.chat.completions.create( modelgpt-4o-mini, messages[ {role: system, content: 你擅长从数据特征推断动力学模型。}, {role: user, content: PROMPT_TEMPLATE}, ], temperature0.7, ) return resp.choices[0].message.content if __name__ __main__: candidates generate_candidates() print(candidates)运行后模型可能输出三个候选一级反应( C_A(t) C_{A0} \cdot e^{-k t} )二级反应( C_A(t) \frac{C_{A0}}{1 k \cdot C_{A0} \cdot t} )经验指数表达式( C_A(t) C_{A0} \cdot e^{-k t^n} )从定性角度看第一个候选最符合数据特征。但如果只依赖 LLM 判断就可能导致第二个候选被优先选择因为二级反应的浓度下降也是单调递减、先快后慢。这就是为什么需要后续的数值拟合和模型选择。5.4 候选表达式验证与拟合对 LLM 返回的内容先做最基本的安全性检查再提取候选函数最后进行参数拟合。# 文件路径fit_candidates.py import numpy as np import re from scipy.optimize import curve_fit # 载入数据 data np.load(data/reaction_data.npz) t data[t] C_A_obs data[C_A] # 候选模型函数 def model_first_order(t, C_A0, k): return C_A0 * np.exp(-k * t) def model_second_order(t, C_A0, k): return C_A0 / (1 k * C_A0 * t) def model_stretched_exp(t, C_A0, k, n): return C_A0 * np.exp(-k * np.power(t, n)) candidates { first_order: (model_first_order, [1.0, 0.1]), second_order: (model_second_order, [1.0, 0.1]), stretched_exp: (model_stretched_exp, [1.0, 0.1, 0.8]), } results [] for name, (func, p0) in candidates.items(): try: popt, pcov curve_fit(func, t, C_A_obs, p0p0, maxfev10000) pred func(t, *popt) mse np.mean((pred - C_A_obs) ** 2) r2 1 - np.sum((C_A_obs - pred) ** 2) / np.sum((C_A_obs - np.mean(C_A_obs)) ** 2) results.append((name, popt, mse, r2)) print(f{name}: params{popt}, MSE{mse:.6f}, R2{r2:.6f}) except Exception as e: print(f{name} 拟合失败: {e})5.5 领域约束检查与反馈生成拟合只是第一步。接下来做领域约束检查。动力学模型中速率常数必须为正初始浓度应接近实验设定值。# 文件路径domain_check.py import numpy as np results [ (first_order, np.array([1.002, 0.301]), 0.0004, 0.999), (second_order, np.array([1.050, 0.180]), 0.0081, 0.982), (stretched_exp, np.array([1.001, 0.302, 1.001]), 0.0004, 0.999), ] def check_domain(name, params): issues [] if np.any(params[1:] 0): issues.append(存在非正速率常数物理上不可接受) if not np.isclose(params[0], 1.0, atol0.1): issues.append(初始浓度与实验设定偏差过大) return issues for name, params, mse, r2 in results: issues check_domain(name, params) print(f{name}: 领域检查结果 - {issues if issues else 通过})如果某个候选模型不满足约束可以把具体的失败原因反馈给 LLM让它生成新的候选。反馈 Prompt 可以这样写你之前给出的候选模型存在以下问题请重新生成 - second_order 模型的拟合误差较大MSE0.0081。 - stretched_exp 模型虽然拟合效果好但引入了额外参数 n物理意义不清晰且 n 接近于 1说明模型复杂度更高但未带来显著收益。 请优先考虑形式简洁、参数物理意义明确的候选模型。这一轮生成-验证-反馈的循环就是 Domain-Aware 的核心机制。它让模型搜索不再是一个盲目的黑箱过程而是带着物理理解逐步逼近正确表达式。6. 运行结果与效果验证以上示例运行后预期会得到类似结果first_order: params[1.002, 0.301], MSE0.000408, R20.9992 second_order: params[1.050, 0.180], MSE0.008100, R20.9817 stretched_exp: params[1.001, 0.302, 1.001], MSE0.000406, R20.9992从数值结果看first_order 和 stretched_exp 的拟合效果几乎一样好。这时领域约束和模型简洁性就派上了用场stretched_exp 多了一个参数 n但拟合误差没有显著下降且物理意义不明确。根据奥卡姆剃刀原则应选择 first_order 模型。判断实验是否成功应该从三个层面看找到的正确模型是否与真实模型结构一致。在示例中真实的生成机制就是一级反应最终选出的模型也是一级反应说明流程有效。参数估计是否准确。示例中估计的 k 为 0.301真实值为 0.3误差在可接受范围。物理约束是否被满足。选中的模型不存在负参数、量纲错误等问题。如果失败先检查两个地方一是 LLM 的 Prompt 是否包含了足够的领域约束信息二是拟合函数初始值是否设置得当这一步是数值优化的常见失败点。7. 常见问题与排查思路LLM 符号回归这个组合在实践中很容易出问题下面列出高频踩坑点。问题现象可能原因排查方式解决方案LLM 生成的表达式无法被 Python 解析模型输出了 Markdown 格式或解释文本先打印原始输出检查格式要求 LLM 只输出纯代码或使用正则提取代码块表达式包含未定义的变量Prompt 中的变量说明不够详细检查变量名是否与数据列一致在 Prompt 中明确列出所有变量禁止使用其他符号拟合结果负参数数值优化陷入局部最优检查初始值、数据范围、是否存在过拟合使用多组初始值做全局优化或在损失函数中加参数正则项LLM 反复生成相同候选反馈信息不足模型无法判断哪里需要调整检查反馈消息中是否包含具体的误差数据和失败原因提供更具体的数值反馈例如 MSE0.0081参数 k 为负值模型结构正确但拟合误差大未考虑数据噪声或初始浓度偏差检查数据质量查看残差分布使用加权最小二乘或对数据做平滑处理表达式复杂度失控Prompt 未限制算子集合和表达式长度检查生成内容是否包含复杂函数在 Prompt 中明确允许的算子并限制参数个数调用 LLM API 成本过高迭代轮数太多统计每次调用的 token 数量先小规模试跑设置最大迭代轮数或使用本地小模型这里特别提醒LLM 生成的内容不可控所有候选表达式必须经过语法检查、物理约束检查和数值拟合三重验证才能进入模型选择阶段。不要因为 LLM 输出了一句这个模型符合物理规律就放松警惕。在科学计算场景中可靠性比生成速度重要得多。8. 最佳实践与工程建议把 DASyR-LLM 类方法用在实际项目中以下几个原则值得记住。8.1 Prompt 设计要约束优先生成其次给 LLM 的信息排列顺序会影响生成质量。建议按这个顺序组织角色设定你是一名 XX 领域专家。变量说明和单位。硬性约束浓度非负、参数为正、量纲一致。允许的算子列表。数据特征描述。输出格式要求。期望的候选模型数量。越靠近 Prompt 开头的约束越容易被遵守。不要在一大段背景介绍之后才写注意参数必须为正模型很容易忽略。8.2 候选模型池与去重LLM 在多次迭代中可能生成重复或相似的表达式。建议维护一个候选模型池对所有候选做去重和相似度评估。去重不能只看字符串是否相同而应比较表达式化简后是否等价。例如 ( C_A0 \cdot e^{-kt} ) 和 ( \frac{C_A0}{e^{kt}} ) 在语义上是同一个模型只是写法不同。8.3 数值拟合前先做无量纲化不同变量的数量级差异可能很大例如浓度是毫摩尔级时间是秒级速率常数跨度可达多个数量级。直接拟合时数值优化器可能因梯度问题而失败。建议在拟合前对数据和参数做无量纲化处理或者对参数做对数变换让优化器在更平滑的损失曲面上搜索。8.4 用多层次验证替代单次验证单次拟合表现好不代表模型真实可靠。可靠的验证流程应该包括训练集上的拟合误差。验证集上的泛化误差。参数不确定性估计从协方差矩阵或 Bootstrap 获得。残差分析确认没有系统偏差。物理约束检查。如果某一步不通过就要返回给 LLM 重新生成而不是直接接受结果。8.5 控制 LLM 迭代成本LLM 调用成本在科研项目中往往被低估。建议做两件事设置最大迭代轮数避免 LLM 陷入无限循环。对一次 LLM 生成的结果做充分验证把多条错误信息合并成一条反馈减少 API 调用次数。下面是一个控制迭代轮数的示例MAX_ITER 10 best_model None best_score float(inf) for iteration in range(MAX_ITER): print(f 迭代 {iteration 1} ) raw generate_candidates_with_feedback(previous_feedback) candidate_funcs parse_candidates(raw) for name, func in candidate_funcs.items(): if not validate_structure(func): continue score, params fit_and_evaluate(func) if score best_score: best_score score best_model (name, func, params) if best_score 0.001: print(已满足停止条件) break previous_feedback build_feedback(best_model, best_score) print(最终模型:, best_model)这样既能控制成本又能保证在有限预算内完成任务。8.6 生产环境中的安全与合规如果这类方法用于生产环境比如药物反应建模、工艺参数优化还需要额外考虑模型可解释性与审计保留完整的 Prompt、候选表达式、拟合参数和验证结果便于追溯。结果复核机制LLM 生成的模型不能直接投入生产必须经过领域专家确认。权限控制如果 LLM 通过 API 调用确保 API Key 的访问权限最小化避免泄露到代码仓库。数据隐私实验数据可能涉及商业机密优先考虑本地化部署模型。9. 总结与后续学习方向DASyR-LLM 所代表的是 LLM 从语言助手走向科学发现工具的一个典型路径。它把大语言模型的先验知识、符号回归的结构搜索能力、数值优化的严谨性以及领域约束的物理正确性组合在一起目标很明确让动力学模型发现不再完全依赖人工经验也不再容忍黑箱模型。这篇文章主要讲清楚了几个问题符号回归解决什么问题传统方法有什么短板。为什么 LLM 能参与符号回归以及 Domain-Aware 在设计上有什么特殊价值。一个 DASyR-LLM 类方法的一般流程包含哪些模块。用可运行代码演示了数据生成、LLM 候选生成、拟合验证、约束检查的完整链路。整理了实践中常见的坑和工程建议。如果你对这个方向感兴趣下一步可以沿着这几条线深入从遗传编程入手理解传统符号回归的实现细节例如 DEAP 库。研究 LLM Agent 的生成-验证-反馈循环在更通用的任务上实践。尝试把领域约束用代码形式而不是自然语言形式写入验证流程提高可靠性。关注 ODE 形式的动力学模型发现这比单条速率方程复杂得多也是研究前沿。最后一个提醒LLM 在科学发现中的作用是辅助而不是替代。它擅长提出候选、拓展思路但它不理解物理世界也不理解实验装置。真正可靠的判断仍然需要来自代码验证、数学推导和领域专家。把这个边界想清楚你才不会在AI 自动发现模型的兴奋中丢掉科学的底线。