任务分解与小型语言模型如何让AI更经济
生成式AI应用的广泛使用增加了对准确、经济高效的大型语言模型需求。LLM的成本因其规模差异显著，通常以参数数量衡量：切换到更小规模的模型通常可节省70%-90%成本。然而，仅使用更小、更轻量级的LLM并非总是可行方案，因为与最先进的"前沿LLM"相比，它们的能力有所减弱。
专业化小模型的潜力
虽然参数减少通常会降低性能，但有证据表明，专门用于执行问答或文本摘要等任务的小型LLM，在这些相同任务上可以匹配未经修改的大型前沿LLM的性能。这为通过将复杂任务分解为更小、可管理的子任务来平衡成本和性能提供了可能性。
这种任务分解使得能够使用经济高效、更小、更专业的任务或领域适配LLM，同时提供控制、增强故障排除能力，并可能减少幻觉。然而，这种方法存在权衡：虽然可以带来显著的成本节约，但也会增加系统复杂性，可能抵消部分初始收益。
任务分解实践
理想情况下，任务将被分解为彼此独立的子任务。这允许为每个子任务创建有针对性的提示和上下文，通过将故障隔离到特定子任务来简化故障排除，而不需要分析单个大型黑盒过程。
然而，有时无法分解为独立子任务。在这些情况下，可能需要提示工程或信息检索来确保子任务间的连贯性。但应避免过度工程化，因为它可能不必要地复杂化工作流程，并可能牺牲LLM通过捕捉原始任务完整上下文中的隐藏关系所能提供的新颖性和上下文丰富性。
案例研究：个性化网站生成
在示例场景中，某机构希望创建一个网站构建器，为个体访问者生成定制化的网页体验，无需人工监督。生成式AI的创造性和在不确定性下工作的能力使其适合此任务。
该解决方案将整个过程分解为通常分配给人工代理类型的子任务，如个性化器（UX/UI设计师/产品经理）、艺术家（视觉艺术创作者）和网站构建器（前端开发人员）。
个性化器代理旨在通过考虑访问者个人资料以及公司政策、产品和服务、设计方法来提供定制化体验。这是一个具有推理能力的中等规模文本到文本LLM。该代理还结合了检索增强生成来利用经过审查的"公司研究"。
艺术家代理的角色是将视觉元素描述反映在明确定义的图像中，无论是背景图像还是图标。文本到图像提示更直接，以"创建[从个性化器响应中提取]"开始。
前端开发人员代理的唯一职责是创建前端网站工件。在这里可以包含设计系统、代码片段或其他相关信息。
复杂度权衡与过度工程陷阱
任务分解通常引入额外组件（新LLM、协调器），增加复杂性并带来开销。虽然小型LLM可能提供更快的性能，但增加的复杂性可能导致更高的延迟。
用O(n)表示任务复杂度，其中n是任务规模。使用单个LLM时，复杂度随任务规模线性增长。而在具有k个子任务和k个小型语言模型的并行任务分解中，初始分解具有恒定复杂度O(1)。假设均匀分布，每个k个语言模型处理其分配的子任务，复杂度为O(n/k)。
处理完成后，来自k个语言模型的结果需要协调和集成。此步骤的复杂度是O(km)，其中完全成对协调给出m=2，但实际上1<m≤2。
因此，使用多语言模型进行任务分解的整体复杂度可表示为：Ok-LLMs = O(1) + k(O(n/k)) + O(km) → O(n) + O(km)
虽然单语言模型方法的复杂度为O(n)，但多语言模型方法由于协调和集成开销引入了额外项O(km)，其中1<m≤2。
成本与复杂度的思维模型
决定是否使用任务分解的一个有用思维模型是考虑应用程序的估计总拥有成本。随着用户群的增长，基础设施成本变得主导，而任务分解等优化方法可以降低TCO，尽管存在前期工程和科学成本。
对于较小的应用程序，选择大型模型等更简单的方法可能更合适且更具成本效益。
平衡创新与简化
任务分解和使用小型LLM创建代理工作流可能以牺牲更强大模型通常展示的新颖性和创造性为代价。通过"手动"将任务分解为子任务并依赖专门模型，整体系统可能无法捕捉从更整体方法中出现的意外联系和新颖见解。
此外，为特定子任务制作复杂提示的过程可能导致过度复杂和繁琐的提示，这可能有助于降低准确性和增加幻觉。
使用多个、更小、精细调整的LLM进行任务分解为提高复杂AI应用的成本效率提供了一种有前景的方法，与使用单一大型前沿模型相比，可能提供显著的基础设施成本节约。然而，必须注意避免过度工程，因为过度分解可能增加复杂性和协调开销，导致收益递减。在成本、性能、简单性和保留AI创造性之间找到适当平衡将是释放这一有前景方法全部潜力的关键。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
