MAC: Multi-Agent Constitution Learning论文重点本文提出了一种名为多智能体宪章学习MAC的全新框架通过一个由专业智能体组成的网络来自动学习、优化和维护LLM的结构化规则集宪章。实验表明MAC在PII标注任务上比现有提示优化方法提升超过50%且无需任何参数更新即可达到与监督微调和GRPO相当的性能同时生成人类可读、可审计的规则集。核心研究内容问题定义宪章AIConstitutional AI通过一组自然语言规则来监督和控制LLM行为。这些规则通常由人类专家手动编写但这一过程存在三个根本性困境第一编写有效规则极为困难——对人类清晰的自然语言表述LLM可能给出不一致的解读第二规则需要反复迭代测试和修订过程缓慢且昂贵第三现有自动提示优化方法要么需要大量标注数据要么生成难以解释的非结构化提示修改且随着提示长度增长效果递减。核心问题在于如何从有限的标注样本中自动推导出一组可解释、可审计且有效的规则集创新方法MAC的核心创新在于将宪章学习形式化为对结构化规则集的优化问题而非对单一提示文本的优化。具体而言MAC设计了一个由四个专职智能体组成的协作网络标注智能体Annotator使用当前宪章在训练批次上执行下游任务并对每个样本进行评分决策智能体Decision Agent分析错误模式决定是添加新规则还是编辑现有规则规则提议智能体Rule Proposer针对观察到的错误模式起草候选规则规则编辑智能体Rule Editor精炼现有规则以消除矛盾或提高针对性每个提议的更改都会在留出的验证批次上进行测试——如果分数提升规则被接受并进入下一版本如果未提升则更改被丢弃。这确保了宪章只向好的方向演进不会退化。此外论文还提出了MAC增强版本通过在成功轨迹上训练智能体强化那些带来更高奖励的规则更新。研究成果MAC在多个维度上取得了显着成果性能提升在PII个人可识别信息标注任务上MAC比APE、OPRO、EvoPrompt等近期提示优化方法提升超过50%参数效率在不更新任何模型参数的前提下达到与监督微调SFT和GRPO相当的性能可解释性生成人类可读、可审计的规则集而非黑箱式的数值表示泛化能力从PII标注少标签分类成功泛化到智能体工具调用等开放式任务样本效率相比GEPA和MIPRO等方法MAC在远更少的标注样本下即可收敛实际落地应用的可能性MAC的实际应用价值体现在多个层面合规与审计在企业部署中“模型遵守规则”并不够——你需要展示它遵循了哪些规则。MAC生成的结构化规则集天然可审计可大幅降低合规风险跨模型迁移在一个模型上学习到的宪章可以直接应用于另一个模型无需重新训练动态适应当任务定义变化或新领域出现时无需重新训练模型只需让MAC迭代更新规则集适用领域医疗、金融、法律合规等对透明性和可审计性要求极高的领域技术细节MAC工作流程MAC的完整工作流程可概括为五个步骤标注智能体在当前宪章指导下执行下游任务决策智能体分析错误并审查宪章决定添加、编辑或删除规则规则提议智能体创建新的候选规则规则编辑智能体更新现有规则生成候选宪章使用任务指标评估更新效果重复迭代k次直至性能提升核心设计原则MAC与传统提示优化方法的本质区别在于三个设计原则可解释性每条规则都是可读、可审计、可手动编辑的自然语言而非黑箱式的token混洗结构化优化对象是规则集而非单一的提示块——规则可独立添加、编辑或移除宪章在增长中保持整洁可审计性每条提议的规则都在验证批次上经过验证后才被接受你能看到发生了什么变化以及为什么实际学习的规则示例论文展示了MAC在三个监管领域为PII标注学到的真实规则法律领域“当特定日期出现在个人事件或行为如出生、死亡或重大生活事件的上下文中时标记为私密。不要标记一般性引用或叙述性文本。”示例标记“1975”、“2003年8月22日”不标记“在六月的一天”。医疗领域“当心力衰竭亚型如舒张性心力衰竭、收缩性心力衰竭在患者病史中被明确提及时标记为私密。不要标记没有明确亚型的一般性医疗状况。”金融领域“当特定财务时间范围如FY2022、YTD FY2021与可识别信息直接关联时标记为私密。不要标记没有特定标识符的孤立标签。”MAC增强机制MAC在基础MAC之上增加了基于成功轨迹的训练机制智能体从那些带来更高奖励的规则更新轨迹中学习从而在规则发现与规则质量之间形成闭环。研究设定评估任务论文主要在以下两类任务上评估MACPII标注一个标签有限的分类任务可解释性至关重要智能体工具调用验证MAC在更广泛的智能体任务上的泛化能力基线对比MAC与以下方法进行了对比APEAutomatic Prompt EngineeringOPROOptimization by PROmptingEvoPrompt硬件与软件论文提供了完整的开源实现GitHub仓库和PyPI包官方文档和模型配置详见 mac-prompt.com支持对任何任务的适配通过一个元模型meta-model组件实现任务层面的泛化扩展应用验证论文还验证了MAC在以下扩展场景中的有效性检索增强推理Retrieval-Augmented Inference智能体蒸馏Agent Distillation学生模型从教师演示中学习执行全部四个智能体角色工具调用Tool Calling在BFCL基准上获得**5.5%** 的提升证明宪章学习能泛化到结构化API调用生成综合分析核心洞察结构即优势MAC超越现有方法的根本原因在于其架构性优势。现有提示优化器缺乏优化提示中的结构——随着提示变长改进趋于平缓因为没有原则性的方法来组织或修剪积累的规则。MAC通过将宪章表示为离散的、可评估的规则集并用专职智能体来维护它们从根本上解决了这一问题。多智能体分工模仿人类规则制定MAC的Proposer/Evaluator/Acceptor分解镜像了人类规则制定的流程起草→审查→批准。这种结构化的分工是MAC与先前提示优化方法的关键区别。从治理角度看这一发现意味深长治理可以是学来的而不只是写出来的。对于任何大规模部署的智能体系统人类编写的规则永远是不完整的——MAC提供了从交互数据中经验性地推导系统实际需要的规则的路径。无参数更新的范式意义MAC在不更新任何模型参数的情况下达到与SFTGRPO相当的性能。这意味着行为控制可以从模型训练中解耦出来——你不需要为了改变模型行为而重新训练或微调整个模型。这对于生产环境中的快速迭代、A/B测试和合规响应具有重大意义。对智能体循环设计的启示论文对智能体系统设计提出了三个层面的启示治理可以学习从交互数据中经验推导规则多智能体专业化优于单一体优化结构化的分工是关键可审计宪章降低合规风险结构化规则集天然可审计实践应用1. 合规敏感型场景部署在金融、医疗、法律等领域建议将MAC作为模型行为治理层部署在现有LLM系统之上。MAC生成的规则集既可审计又可解释能够满足监管机构对“可解释AI”的要求。2. 快速迭代的行为调优当业务规则频繁变化时如新的隐私法规出台传统做法需要重新训练或微调模型。使用MAC只需在少量标注样本上重新运行宪章学习流程即可在几分钟内生成更新后的规则集。3. 跨模型的知识迁移在一个模型如GPT-4上通过MAC学到的宪章可以直接应用于另一个模型如Llama-3无需任何额外训练。这对于需要在不同模型间保持一致行为规范的组织尤为有价值。4. 少样本场景下的行为定义对于缺乏大规模标注数据的新任务MAC的样本效率使其成为理想选择——只需少量输入-输出示例MAC就能自动推导出有效的规则集。5. 生产环境中的持续治理建议将MAC集成到MLOps流水线中实现对模型行为的持续监控和治理。当部署的模型出现新的失败模式时MAC可以自动分析错误并提出规则更新形成自我完善的治理闭环。参考资料来源原始论文: MAC: Multi-Agent Constitution Learning (arXiv:2603.15968, Thareja et al., March 2026)