最近接了一个图像生成视频的需求一张产品图需要让产品在镜头里旋转、展示细节同时保持外观和原图完全一致。第一版生成出来静态帧还算接近但只要一开始运动颜色、轮廓、材质、光感就开始“漂”。于是我开始调 prompt、改采样步数、换随机种子、加负面提示……折腾了两个多小时终于找到一版可用的。但那个瞬间我很清楚这不是“完成”了只是“撞到了”一个结果。下一次换一张产品图、换一句 prompt同样的经验可能又要重来一遍。后来我慢慢意识到Image-to-Video 生成里真正难的不是“生成”而是“让生成结果稳定地跟随输入图”。我们习惯把这个词叫 Adherence。而要不要继续靠人工试错去追 Adherence其实是一个值得重新思考的问题。这也是为什么我看到 Agentic Optimization 这个概念时会特别在意——它不是某种新模型而是一种把试错过程变成“可评估、可迭代、可收敛”的自动化闭环的实践方式。这篇文章想围绕这件事展开Adherence 难在哪Agentic Optimization 是怎么解决问题的以及落地时到底应该注意什么。1. 先搞清楚 Image-to-Video 的 adherence 到底难在哪很多人在第一次接触图像到视频生成时会觉得“反正已经把一张图丢进去了生成出来的视频当然会和这张图一致”。真跑一次就知道事情远没有那么简单。1.1 生成结果不跟随往往是几类问题的叠加一次看起来“不跟随”的生成结果很少是单一原因造成的。实际落地时我一般会把问题拆成四类来观察首帧相似度问题视频第一帧是否保留了输入图中的主体、构图、色调和关键细节。如果首帧就跑偏后面基本不可能修正。时空一致性问题视频在运动过程中主体是否发生变形、闪烁、局部扭曲。这是 I2V 里最常见也最头疼的问题尤其是人物面部、手部、产品 logo 这类敏感区域。语义跟随问题动作、镜头运动、场景变化是否符合 prompt 描述。比如“缓慢推近”会不会变成了“快速缩放”。风格与氛围问题整体的光线、氛围、材质质感是否和参考图保持统一。这部分很主观但观众一眼就能感觉到“不像”。这四类问题经常同时出现。你调了 prompt 去修正动作结果主体一致性反而更差你降低图像引导权重让运动更自然结果首帧又不再是那张图。它们互相牵制所以很多人在调参时会进入一种“拆了东墙补西墙”的循环。1.2 传统 prompt 试错为什么只能凭感觉常见的调试路径是换关键词、给关键词加权重、调整表情或动作描述、改变 seed、增大和减小引导系数。这些动作看似在“优化”但本质上都是在猜。问题在于生成模型对输入的响应是非线性的。某个词从第 3 位挪到第 5 位可能结果就完全不一样一个看似无关的“4k”或“cinematic lighting”可能比真正描述主体的词影响更大。这种复杂的耦合关系让人很难建立一个稳定的因果直觉。另一个更本质的问题试错过程缺少一个可量化的目标。你判断“这版更好了”是靠肉眼但“好了多少”说不出来你又换了一个动作结果“好像差了”但不知道是随机性造成的还是动作本身有问题。没有数值、没有方向、没有历史记录最后只能靠经验和运气。所以传统试错并不完全是“不努力”而是它天然缺少闭环它最关键的决策也就是“下一步怎么改”完全依赖人的主观判断。这种判断在大脑里发生既不可记录也很难复制。1.3 有一个核心转变从“调参”到“定义目标”如果换一个角度看这个问题会发现真正需要改进的并不是某一个参数而是整个工作方式。传统方式里目标存在人的脑子里。你觉得画面“不够动感”就会去加运动词你觉得画面“不像原图”就会去提高图像引导强度。系统并不知道你想要什么它只是在被动接受你的每次输入。Agentic Optimization 的出发点正好相反你要先定义“什么叫做 Adherence 好”然后把这个问题翻译成一套可以计算、可以评估的信号。系统拿到这些信号后会自动尝试不同的动作根据反馈结果决定下一步怎么调整。这不是“要不要调参”的问题而是把调参这件事从“人的直觉判断”变成“系统化的闭环优化”。这个转变看起来很简单但它决定了后续所有步骤能不能规模化。2. Agentic Optimization把试错过程交给一个会自动观察和调整的决策系统“Agentic”这个词最近在技术圈出现频率很高。但在 I2V 这个上下文里它并不是指某一个模型突然有了“智能”而是一种更工程化的流程设计。2.1 不是单个模型而是一套带反馈的协作流程我理解下的 Agentic Optimization更像是一组角色在协作一个角色负责生成视频一个角色负责评估结果一个角色负责决定下一步动作还有一个循环机制让整个过程可以反复迭代。它和你手动调 prompt 的流程在逻辑上一模一样看到当前结果判断哪里不符合预期决定怎么修改再生成下一版。差别在于这些步骤不再完全依赖一个人在桌面前凭感觉执行而是由一套流程和数据自动完成。换个类比传统方式像一间只有摄影师和修图师的影棚每拍一张都要人肉眼查看、手动调整灯光和机位Agentic Optimization 则更像是给影棚加了一套“实时回放和自动调参系统”它能告诉你当前画面和参考样例差了多少然后自动尝试几种不同的布光方案再选出最接近目标的那一版。2.2 核心模块生成器、评估器、策略体、目标信号一个最小可用的 Agentic Optimization 流程通常需要四个部分模块作用常见实现思路生成器根据输入图和 prompt 生成视频I2V 模型通常是一个扩散模型评估器计算生成结果和参考图、prompt 的匹配程度图文对齐模型、首帧相似度、光流平滑度、规则检测策略体根据评估结果决定下一步修改什么动作可以是规则脚本也可以是多模态模型驱动的 prompt 重写器目标信号告诉系统“什么是最优”的那组评分或约束多维度分数的加权组合、阈值、人工偏好排序这四个部分不是必须一开始就全部做得很重。你可以先用一个脚本组合起来跑通一条样例再逐步做厚。2.3 它和 AutoML / 网格搜索的区别在哪里有些人会问这不就是自动化调参吗AutoML、网格搜索不是早就有了确实如果只把图像引导权重、CFG、采样步数做成一个搜索空间然后用一个评分函数去搜最优组合那本质上还是 AutoML。但 Agentic Optimization 的差异在于策略体的动作空间更接近“人可能会做的动作”。它不只是改几个数值它会去改写 prompt会判断“当前的问题是主题不突出”而不是单纯地“把 CFG 调到 7.5”。它能结合大模型对语义的理解生成新的描述比如把“一只手举起杯子”改成“一只手从桌子右侧缓缓举起陶瓷杯子保持杯身花纹与参考图一致”。这种动作空间是离散的、语义化的而且每个动作都可能改变生成过程的多个维度。它比网格搜索更灵活但也因此更难预测、更需要依赖评估器给出清晰反馈。3. 落地时怎么搭一个最小可用的 Agentic Optimization 流程如果你听完上面这些觉得这件事值得在自己的项目里试一下我建议你从“最小闭环”开始不要一上来就想着做一个完整平台。3.1 最小闭环一条样本先跑通第一步选一条有代表性的输入样本也就是一张参考图加一句 prompt。注意这条样本要能反映你真实场景里最常见的失败模式。第二步用你的 I2V 模型手动生成一版视频记录它在哪里不跟随。这个初始结果不一定差但你需要知道它的弱点。第三步写一个最简单的评估器。可以先用现成的多模态模型或图文对齐模型把生成视频抽帧后和参考图、prompt 做一个匹配打分。不用很复杂只要分数方向大致准确就行。第四步让策略体根据评估结果生成 3 到 5 个候选动作。这些动作可以是对 prompt 的重写也可以是对参数的修改。第五步对每个动作各生成一个候选视频用同一个评估器打分选择分数最高或最符合约束的结果作为下一轮的基础。下面是一个极简伪代码结构用来表达整个循环不代表具体实现# Agentic Optimization 最小闭环伪代码示例 for step in range(max_steps): video generator.generate( reference_imagestate.image, promptstate.prompt, paramsstate.params ) scores evaluator.score(video, state.image, state.prompt) if is_good_enough(scores): break feedback describe_failures(scores, video, state.prompt) state policy.update(state, feedback)跑通这一步的关键是先不要贪多。一次只在一个样本上闭环确认每个模块都能正常输出输入再做下一步。3.2 评估器设计决定优化质量的第一步评估器是整个闭环里最容易被低估的部分。它不只是用来“打分”它实际上决定了系统会朝哪个方向收敛。如果评估器只知道“视频首帧和参考图像不像”系统就会倾向于牺牲运动自然度去换取首帧相似度。如果评估器过度关注文本相关性系统可能生成一个和 prompt 对得很齐、但主体已经完全不像原图的视频。我建议在评估器里至少包含三个信号首帧和关键帧的相似度可以用常见图文匹配模型或图像相似度指标观察抽帧后与参考图是否接近。语义一致性生成视频是否执行了 prompt 里的动作这一步通常需要多模态模型理解“视频描述”。时间稳定性相邻帧之间是否存在剧烈闪烁或变形可以用光流、帧间差异等方式做粗判断。注意自动评估器不是一个可以一劳永逸的组件。它自己的判断也可能有偏差所以在开始优化前至少人工检查 20 到 50 条评估结果确认“高分确实是好结果低分确实是坏结果”。不要急着加复杂规则。先把评估器跑在一个小样本集上对照着人工判断修正它的标准再把它接入自动迭代。3.3 策略动作能改哪些东西怎么改策略体负责决定“下一步怎么改”。它可用的动作空间通常包括Prompt 改写增加动作、镜头、光线、材质的描述或者增加负面描述。生成参数调整修改采样步数、CFG、图像引导权重、随机种子。参考条件切换如果模型支持可以额外输入深度图、姿态图、边缘图等辅助条件。模型选择与微调在更复杂的流程中可以选择不同的 LoRA 或 adapter 来控制风格和主体一致性。但动作空间不是越大越好。每一轮如果同时改很多个地方就很难判断到底是哪个动作导致结果变好或变差。我一般会限制每次只改 2 到 3 个动作并且让策略体在输出时说明改了什么、为什么这样改。比如策略体给出一段 JSON 响应{ action: prompt_rewrite, reason: 当前生成结果中主体运动幅度过小且镜头缺少指定的推进感。, new_prompt: 一只金鱼在水草间缓慢游动摄像机从侧面平滑推进保持金鱼的颜色和纹理不变水面光线柔和 }这种结构有两个好处一是让迭代过程可解释二是后续可以根据原因分类统计看哪类问题被哪个动作修复得最有效。3.4 记录每一次迭代让优化过程可复现很多人做手动调参时最头疼的问题不是找不到好结果而是下次想复现却找不到当初的参数记录。Agentic Optimization 也不能重蹈这个覆辙。至少记录这些信息输入图的 hash 或路径prompt 的完整版本生成参数随机种子评估器每个维度的分数生成视频的路径策略体这次做了什么修改这一步有没有人工审核备注只有把这些历史数据留下来你才能回答更有价值的问题“到底哪种 prompt 结构对保持产品主体一致性最有效”“当时间一致性分数太低时调整图像引导权重是不是比改 prompt 更稳定”迭代日志既能让优化过程透明也可以成为团队协作的公共资产。请把失败动作也记录下来。成功案例证明“这条路走得通”失败案例才能告诉你“哪些路不要重复走”。4. 真正决定效果的不是动作空间而是反馈信号质量当最小闭环跑通以后很多人会把重心放在“扩展动作空间”“增加策略体能力”上。但长期看真正卡住效果上限的往往是反馈信号本身是否可靠。4.1 为什么“用模型当裁判”会引入新的偏差自动评估器本质上也是模型。它有自己的偏好和盲区。比如某些多模态模型可能对“是否提到了某个动作”很敏感但对“主体是否发生形变”不敏感又或者它对“颜色”的匹配判断过于粗糙导致系统认为颜色一致实际上已经明显偏色。更危险的情况是系统学会“钻空子”。优化流程会偏向那些“让评估器分数变高”的生成结果而不是“让真实质量变好”的结果。这在机器学习里叫 reward hacking。出现这个问题时评估分数一路走高但人眼看起来质量没有提升甚至下降。所以要时不时抽查系统的生成结果确认优化方向没有偏离真实需要。4.2 多信号融合规则、模型指标、人工反馈为了减少单一评估器带来的偏差我建议用多信号融合的方式规则信号在特定领域里非常有效。比如产品 logo 不能变形、文字不能乱码、主体必须保持在画面内。这些规则可以用检测模型或简单的像素比较实现。模型指标处理语义匹配、首帧相似度、运动平滑度这类更抽象的问题。人工反馈不需要每轮都做但要在关键节点介入。人工可以排序几组结果而不是给单一分数这样更容易捕捉偏好。刚开始时人工反馈的比例可以高一些用来校准自动信号等自动信号和人工判断足够吻合再逐步减少人工参与。4.3 需要警惕的过拟合和退化问题Agentic Optimization 在固定样本上跑很多轮后有可能会过拟合到这条样本。系统会发现一个特别适合这张图、这句 prompt 的组合但它换一张图就不灵了。我一般会在优化过程中引入“轮换样本”机制每几轮换一组参考图确保策略体的修改不是只对某一类图片有效。另一个信号是如果评估分数在持续上升但换到新样本后分数下降明显那就说明策略学和评估器可能过度适配了旧样本。保留几条“金标准”样本也很重要。它们不会参与每一轮迭代但会在系统更新后用来验证这个系统在新一轮调整后还能不能处理好这些标准场景。5. 适用场景、成本边界和工程化建议任何方法都有边界Agentic Optimization 也不是银弹。想要把它放进生产流程必须考虑适合场景、成本和排查方式。5.1 适合什么场景不适合什么场景我个人的判断是Agentic Optimization 适合以下几类场景需要频繁使用同一类输入做多轮迭代比如产品图转视频、角色一致性的视频生成。团队里有多个人协作做视频生成需要把个人经验固化成团队可复用的流程。生成结果有比较明确的成功标准至少可以定义出“哪些不能变、哪些必须发生”。不太适合的场景包括纯粹探索性的一次性创意生成你也不知道自己想要什么评估器就很难定义。对延迟极其敏感的单条生成请求每一次优化都要多轮生成不适合在线实时场景。没有清晰评价标准的任务如果你自己都无法判断“好还是不好”自动化优化就失去了方向。另外需要注意Agentic Optimization 不是“一键全自动”。它的价值是把人从反复调参中解放出来而不是把人的判断能力从流程中完全移除。5.2 先算账一次优化要跑多少轮、多少卡时落地之前先做一个成本估算。这里不需要具体价格只需要一个逻辑总耗时 ≈ 单次生成耗时 × 每轮候选数 × 优化轮数 评估耗时举个例子如果单次生成需要 30 秒每轮生成 3 个候选跑 50 轮那么生成部分大约需要 4500 秒也就是 75 分钟。如果再加上评估和策略体的推理时间可能还要往上走。这只是一个演示计算不代表所有环境但它提醒我们Agentic Optimization 会消耗不少算力和时间。因此我有两个建议先粗后细先在低分辨率、短视频长度下做优化等评估分数达到阈值再用最终分辨率生成一次验证。控制候选数量每一轮不要生成太多候选否则反馈信息多了策略体未必能处理好反而增加成本。先从 2 到 3 个候选开始观察效果。5.3 常见问题排查链路按生成器、评估器、策略体三层定位如果你已经搭了一个 Agentic Optimization 流程但效果不理想建议按这个顺序排查现象所有候选视频都不符合输入图。先不要怀疑优化流程先检查生成器本身。是不是参考图没有被正确加载有没有被自动裁剪或缩放生成器在单次生成时是否就已经不遵循输入图现象评估分数高但人看很糟糕。问题很可能在评估器。这时候要人工抽样看一下高分段结果确认评估器是否真正在衡量你需要的东西。现象分数不断上升但换一张新图效果立刻变差。这是过拟合信号。需要增加样本多样性减少在固定样本上的迭代轮数。现象策略体每次修改动作但生成结果几乎没变化。说明动作空间对生成器不敏感或者策略体没有正确理解反馈。可以手动执行一次它建议的修改看是否真的能影响结果。排查顺序就是先输入和生成器再评估器最后策略体。因为前面两层错了后面再努力也没用。6. 从试错走向系统化这个方向真正改变的是什么如果把 Agentic Optimization 只理解成“自动调参工具”会低估它带来的变化。它真正改变的是我们与生成模型之间的协作方式。6.1 价值不是省几分钟而是让流程可追踪、可复用手动试错最难受的地方是经验无法沉淀。每次都是“这次我感觉这样调比较好”但这种感觉换个人、换个项目、换个时间就完全失效。Agentic Optimization 把一次次的生成结果、评估分数、修改动作和失败记录都保留下来形成一条可以被回顾、被分析、被分享的路径。哪怕最终没有找到最优结果这条路径本身也有参考价值。团队协作时新人不必从零踩坑个人使用时也能快速回到某个时间点重新开始。这种“可追踪”比“省时间”更重要。因为省一次时间只是单次收益而可追踪的流程会在每一次迭代里慢慢积累成你自己的生产方法论。6.2 人和系统的关系会发生变化过去做图像到视频生成人更像是“操作员”负责把 prompt 和参数调到某个玄学组合现在做 Agentic Optimization人更像“导演”负责定义目标、审核结果、设置边界。你不再需要每张图都亲手调参但你需要更清楚地回答对这条视频来说什么是最不能丢的是产品颜色、主体轮廓、运动方式还是整体氛围当评估器给出矛盾信号时你要决定哪边优先。也就是说这门技术并没有降低对审美和判断力的要求而是把人的能力用在了更关键的位置上。6.3 下一步最该先做什么如果你真想在自己的项目里实践我的建议很简单别一开始就做一个庞大的平台。先挑一个失败的生成样条写一个最简单的评估器用脚本跑一轮“生成 — 评分 — 修 prompt — 再生成”。先看能不能得到比手动尝试更好的结果再谈扩大范围。等到最小闭环稳定了再逐步增加评估维度、扩展动作空间、加入更多样本。更重要的是要持续记录日志并人工抽检确保系统优化的方向和真实需求没有偏离。Adherence 问题不会因为有了 Agentic Optimization 就消失它依然会存在于生成结果的每一个细节里。但至少我们不用再靠一次次的盲试来寻找答案。把试错变成可以复盘、可以收敛、可以复用的闭环这件事本身就是从“碰运气”走向“做工程”的关键一步。