Meta：智能体自主发现高效混合架构

📖标题：Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design
🌐来源：arXiv, 2605.15871v1

🛎️文章简介
🔸研究问题：大型语言模型智能体能否在不依赖人类直觉的情况下，自主设计出超越标准 Transformer 范式的高效基础模型架构及训练策略？
🔸主要贡献：论文提出了 AIRA-Compose 和 AIRA-Design 双框架，成功发现了 14 种新型混合架构，其性能与扩展效率均优于 Llama 3.2 及现有神经架构搜索方法。

📝重点思路
🔸AIRA-Compose 框架利用由 11 个智能体组成的集群，在固定算力预算下，通过迭代设计并评估百万参数级的小规模模型，搜索注意力、MLP 和 Mamba 等计算原语的最佳排列组合，随后将最优设计外推至十亿参数规模。
🔸AIRA-Design 框架指派多达 20 个智能体直接编写代码，从零实现 novel 的长程依赖注意力机制以应对 LRA 基准测试，或优化训练脚本以在固定时间内最小化验证损失。
🔸研究采用分层评估策略，先在小规模代理数据集上快速筛选候选架构，再通过聚合技术提取鲁棒模式，最终在 350M、1B 及 3B 参数量级上进行大规模预训练验证。
🔸引入 AIRS-Bench 任务标准，将开放的机器学习研究问题转化为智能体可理解的模块化任务，支持从假设提出、代码生成、调试到评估的完整自动化科研闭环。

🔎分析总结
🔸实验显示，智能体发现的 AIRAformer 和 AIRAhybrid 架构在 1B 规模固定 token 预算下，下游任务准确率分别比 Llama 3.2 高出 2.4% 和 3.8%，且验证损失更低。
🔸在等 FLOP 扩展性分析中，智能体设计的架构展现出更陡峭的计算最优扩展前沿，其中部分模型比 Llama 3.2 快 54% 至 71% 达到同等性能水平。
🔸在长程 Arena 基准测试中，智能体设计的最佳模型在文档匹配和文本分类任务上的准确率仅比人类最先进水平低 2.3% 至 2.6%，证明了其在工程实现上的竞争力。
🔸在 Autoresearch 任务中，结合文献知识的智能体通过迭代优化训练脚本，实现了 0.968 的验证 bits-per-byte，超越了已发布的参考基线，表明智能体能有效利用外部知识改进训练效率。

💡个人观点
论文将神经架构搜索从传统的基于强化学习或进化算法的黑盒优化，转变为基于大模型智能体的语义驱动探索。