试答思维链长确实能提升复杂问题的准确率但也容易“想太多”带来高延迟和高成本思维链太短虽快却在复杂任务上掉点明显。我的做法是把它做成动态可调的问题从三层去平衡第一模型层面做渐进式微调让模型在长/短 CoT 混合数据上删除冗余保留要点SFT/LoRA配偏好式目标如 DPO/GRPO更短但同样正确的样本记为“更优”再用长度奖励的 RL答对才奖更短、超长惩罚收紧推理习惯工程上可结合蒸馏/模型融合把长链模型的能力迁到更简洁的学生上。实践里像 DeepSeek-R1、QwQ-32B 都用过长度奖励思路。第二输出层面做动态早停与压缩。当多路候选已高度一致自一致性/奖励分过阈就提前收敛不一致才加预算。压缩方面既有后处理先长 CoT再用规则或强模型精简典型如 TokenSkip也有在线压缩推理时控长LearnSkip 跳过非关键步骤、Token-Budget 限定 token、Self-Training 选最短正确路径回流训练。如果场景允许还可用潜在空间压缩把部分中间思考放进隐向量如 Coconut 的“连续思维 token”减少可见文本长度。第三任务层面自适应路由与提示控长。简单题走短链/小模型复杂或不确定再触发长链/强模型或者在提示里直接给规则如Let’s think step by step, but within 30 tokens./Be concise.总结一下我会通过模型优化、推理过程控制和任务自适应三方面结合把思维链从固定长短变成动态可调既保证用户不会等太久又能维持复杂问题的解题能力。大模型也会“想太多”自从 DeepSeek-R1 引入长思维链Chain of Thought, CoT后逐步推理已经被证明能显著提升模型在数学、逻辑、编程等复杂任务中的正确率。模型像人一样把思考过程铺展开来往往能更可靠地抵达正确答案。然而这种深度思考并非没有代价即便是“23”这样的简单问题模型也可能写上百甚至上千个 token 才给出答案Qwen3-235BDeepSeek-R1这种过度思考Overthinking现象带来了三大副作用响应变慢用户等待时间过长体验感差成本变高冗余推理步骤增加了算力和费用场景受限对于实时对话、自动驾驶、搜索引擎等对延迟高度敏感的场景大模型显得不够实用。于是一个看似悖论的矛盾出现了——思维链太长结果更准却更慢思维链太短响应更快却容易出错。为了缓解这一矛盾很多研究者提出了多种高效推理Efficient Reasoning方法核心目标是在尽量保持推理能力的前提下减少冗余步骤、压缩思维链长度。主要可以分为三类模型层面通过奖励设计和变长思维链数据的SFT让模型在训练层面学会更短、更高效的推理。输出层面通过压缩潜在推理步骤或动态控制推理范式在推理过程中直接减少冗余步骤。输入层面在推理开始前就通过 prompt 设计进行约束或引导例如长度提示或按问题难度路由到不同模型。此外还有一些相关方向例如利用高效数据训练、探索小模型的推理潜力、以及模型压缩方法都是为了在“速度—准确率—成本”之间寻求更优解。下面这张总览图把现有高效推理方法按三大类与六条代表性线路对应起来图中对应的六条路线分别是I 长度奖励的RLRL with Length Reward在强化学习中加入长度相关奖励鼓励短且对的推理序列抑制过度思考。II 变长CoT的SFTSFT with Variable-Length CoT构造长/短思维链数据做监督微调让模型学会更紧凑的链条。III 潜在思维压缩Latent Reasoning把显式文字推理压到隐空间或更少的思考token减少显式输出长度。IV 动态推理范式Dynamic Reasoning at Inference在推理时按置信度/一致性等准则早停、剪枝或重采样以较小开销获得稳定答案。V 基于提示的精简Prompt-Guided用长度/步骤预算等提示直接约束推理输出如“少于10个token”。VI 按难度路由Routing by Difficulty根据题目难度或不确定性把请求路由到快模型Draft Model或强模型Strong Model兼顾时延与正确率。模型层面的方法模型导向的方法目标是把“高效”写进模型本身在训练阶段就让模型偏好更短且稳定的思维链。主线有两条(1) 强化学习加入长度奖励(2) 用变长 CoT 数据做SFT。强化学习加入长度奖励核心问题怎样把“既要对、也要短”写进奖励函数做法是在 RL 的回报里同时编码正确性与长度鼓励“短且对”惩罚“长且错/冗余”以抑制过度思考下图示意。实践中常搭配格式/过程奖励避免模型靠删字取巧。四种常见的长度奖励设计配合 PPO/PG/GRPO/SimPO 等优化框架条件化长度只有在答对时才按“更短→更高分”计分答错不因为短就得分。这样能把“先对再短”的优先级固定下来。超限惩罚当推理长度达到上限比如设置的 token 上限时直接追加惩罚项 防止拖长。相对长度把当前推理长度与一个可度量的参考做对比再据此奖励/惩罚。常见参考包括这些参考都能把“短到什么程度算合适”量化出来。参考模型的 CoT 长度例如一条强模型或教师模型产生的解目标是比它更短而不掉准确率目标长度/预算B来自业务约束或外部估算器标注推理链的长度若数据集自带标准解的 CoT。形状函数把“长度→得分”的映射做成平滑曲线如线性或余弦衰减让梯度更稳避免训练时出现“要么极短要么极长”的震荡。直观地说越长扣分越多但扣分是渐进加重而非突然断崖。下表1 对比了长度奖励的一些代表性做法思路分别如下O1-PrunerPPO使用长度协调奖励比较当前 CoT 与参考模型 CoT 的长度比值更短得分更高再加与参考答案一致性的约束确保“缩短不降准”。DemystifyingPPO对正确/错误两种情形分别用余弦形状的长度曲线评分到达 给超限罚分既稳住训练又抑制长链。L1GRPO在输入里显式加入“Think for N tokens.”并用与目标长度来自标注 CoT 或设定之间的绝对偏差作为惩罚项鼓励在保证正确前提下对齐到期望的 token 数。DASTSimPO不依赖参考模型先构造长度偏好对短而对优于长而对/错再用 SimPO 直接进行偏好优化。TrainingPG在策略梯度的回报里乘上这类长度惩罚因子把“短一点”直接写进回报形式最简。表1长度奖励的代表性做法表2CoT 长度约束下的策略优化目标一览总体而言通过设计RL中的长度奖励能在不显著牺牲准确度的前提下有效缩短CoT长度。这种方法的难点在于确定不同的任务的合理推理长度进而设计出合理的长度奖励。用变长CoT数据做SFT即先获得长短并存的 CoT 数据再做 SFT 让模型学会“该长则长、该短则短”的表达。这个路线既可直接提升推理效率也可配合 RL 使用。第一个问题是如何收集包含长度不同的CoT推理数据特别是比较短的CoT数据呢长 CoT 数据可以通过提示预训练模型收集基于这些长 CoT 数据可以通过以下方式收集短CoT数据。后处理Post‑Reasoning压缩利用规则或更强模型如 GPT‑4对已生成的长 CoT 进行压缩删去冗余推理步骤仅保留关键信息例如 C3oT、TokenSkip 等方法。优点是压缩率高、可控。在线During‑Reasoning压缩这类方法的优点是短链源自模型内生分布更贴近模型的真实表达。在生成阶段就产出更短的链条LearnSkip人工/随机跳过部分步骤并用在 n 步内完成的提示构造训练样本。Self-Training一次采样多条推理路径选最短的正确解回流为训练数据。Token‑Budget为每道题估计最优 token 预算可用二分搜索寻找按该预算生成短链。参数混合CoT‑Valve将“无思维”与“长思维”两套 LoRA 参数线性混合调节混合系数 来控制生成长度并产出变长样本。第二个问题是怎么通过微调实现高效推理标准 SFT用 LoRA 或全量微调在变长 CoT 数据上最小化困惑度或偏好损失。成本低、适配广。渐进式微调Progressive Fine‑tuning训练过程中逐步缩短样本链条如 LearnSkip或采用 CoT-Valve 的参数混合策略先用“无思维”权重大开始再逐步减小 向“长思维”过渡从而平滑地学会不同长度的推理表达并整体压短。表3: 按“数据来源—压缩方式—是否在线/离线—SFT 方式—基座模型”汇总了一些SFT的典型做法输出层面的方法将显性推理步骤压缩到“潜在表示”中近来的工作强调提升推理力并不一定依赖长篇的人类可读 CoT。适当增加“思考用的计算”哪怕是无语义的“占位思考”也能带来收益说明关键在于隐空间中的额外计算而非文本长度本身。由此催生了一类方法将显性 CoT 替换或压缩为更紧凑的潜在表征在保持或提升准确率的同时大幅减少输出 token 数。那么怎么将显式的推理步骤压缩到潜在空间呢如上图所示方法大体可以分为两类直接在模型内部学习“潜在思维”Coconut (Chain of Continuous Thought)把最后一层隐藏状态当作连续思维 token循环回喂做下一步输入等价于在隐空间多想几步用少量连续向量替代长篇 CoT最后再输出答案/短 CoT——用隐状态而非离散 token 展开思考在减少显性思考长度的同时提升准确率与效率。CODI (Continuous Distillation of Implicit CoT)用自蒸馏同时学习显式与隐式 CoT同一训练样本走两条路一条写出 CoT老师一条不写 CoT学生。通过让两条路在若干位置的隐藏态对齐学生学会把中间推理放到隐空间做隐式 CoT最终只需输出答案或很短的 CoT。CCOT (Compressed CoT with LoRA)先用强模型生成完整 CoT从中挑出关键信息对应的位置作为“压缩目标”。训练两套 LoRACCoT 模块从问题直接预测少量压缩/沉思向量DECODE 模块在“问题 这些压缩向量”的条件下解码出精简 CoT/答案。推理时先预测压缩向量再据此生成简洁推理。Heima多模态把每个推理阶段的长文本说明替换为一个思考 token并据此重写训练数据实现高效的多模态隐式推理。Token Assorted结合 VQ‑VAE将部分 CoT 切换成离散的潜在 token与文本 token 混合训练以紧凑的潜在形式表示某些推理步骤兼顾效率与可解释性。Looped Transformer对同一层重复应用多次不增加参数等价于更深的迭代推理让模型在隐空间完成多步思考。冻结主模型增加轻量“隐思维”模块SoftCoT不改动主 LLM单独训练一个小网络生成若干连续思维向量再通过线性变换投影到主模型的嵌入维度把它们当作前缀软 token拼到输入前主模型据此进行更多内部计算而无需输出冗长 CoT。以上方法能有效减少显性推理 token 数量并降低响应延迟并且在潜在空间的操作具有灵活性和可拓展性缺点则是降低了可解释性难以逐步审计并且通常需要额外训练或模块。推理过程中动态推理另一条思路是不改模型参数而是在推理时动态调整思考策略对容易题早停难题多想对差样本尽早丢弃对好样本加算力。这类方法通常是无需额外训练的或只需极少附加模块。两个问题选什么标准来指导推理什么范式更高效实践上有四条主线互补可叠加测试时扩展Test-Time Scaling在不改参数的前提下通过搜索/采样扩展思考的广度或深度。Best-of-N对同一输入生成 N 条候选用多数投票或奖励模型选优能显著提升复杂任务表现。Beam Search把生成拆成多步配过程奖励模型PRM逐步保留最优分支细粒度提升中间质量。MCTS并行探索、回溯与回传累积得分最终选最优分支适用于需要回溯/分支搜索的任务。基于奖励的推理优化在 TTS 基础上省算力Speculative RejectionBoN 过程中动态丢弃低分样本仅保留高潜力序列更省显存和时间。RSDReward-Guided Speculative Decoding用草稿模型先跑PRM 打分高分直接接受低分再交给大模型精炼兼顾速度与准确。基于置信度的推理优化难题多想、易题少想DPTS将 Tree-of-Thought 并行化按置信度早剪枝减少无效探索并动态平衡探索/利用。Certaindex / Dynasor-CoT用语义熵PRM 分数度量“继续思考是否还会改变答案”高置信就提前终止并把资源让给更难的查询。FastMCTS优先扩展高置信轨迹并按题目复杂度调节树扩展效率与多样性兼顾。Length-filtered Vote理论上存在最优 CoT 长度据此对不同长度分组投票剔除过短/过长的答案以稳定正确率。基于一致性的推理优化ST-BoNSelf-Truncation BoN比较早期生成的隐向量一致性不等全序列生成就提前淘汰不一致路径降低评估成本。补充基于摘要的动态推理LightThinker学习何时如何压缩中间思路把冗长 CoT 汇成gist tokens配稀疏注意力聚焦关键信息属于“边想边压缩”的范式。InftyThink交替思考→摘要→丢旧思路只保留最新摘要突破上下文窗口而保持高精度。小结输出侧优化要么把思维“藏进”隐空间以缩短可见文本要么在推理时按价值/置信/一致性来早停、剪枝或重采样。两类方法可叠加先用潜在表征降长度再配合动态范式把算力花在刀刃上。输入层面的方法提示词引导思路是在prompt里直接约束思考的长度/形式让模型在不牺牲正确性的前提下减少冗余步骤。典型做法与可复用模板如下均可zero shot使用Token‑Budget 通过设置token预算减少不必要的推理token引入TALE‑EP 首先通过提示 LLM 本身来估算合理的 token 预算然后将预算嵌入到提示词中引导模型生成更高效的回复。Let’s think step by step and uselessthan Token‑Budget tokens.CoD (Chain‑of‑Draft)鼓励“逐步思考”但每一步只保留极简草稿如≤5词模仿人类只记要点的习惯Think step by step, but only keep a minimum draft for each thinking step, with at most five words.CCoT直接在 CoT 提示中加入简洁性约束Think step by step, and be concise.Token Complexity使用硬约束模板如 BulletPoints / WordLimit(k) / StepLimit(k) / TokenLimit(k) 等限定表达形式或上限研究显示各类压缩提示大体落在相似的“准确率-压缩率”曲线之上说明每个任务存在内在 token 复杂度解决该任务所需的最小 token 数。也意味着当前提示仍远未到达理论最优压缩有进一步优化空间。推理路由思路是根据题目难度/不确定性把输入路由到快模型或强模型或路由到不同的推理范式直答 vs. 深思。这能在总体算力固定时提升性价比。如何判断“该走哪条路”三类主流做法模型内置模式切换Claude 3.7 Sonnet业内早期的混合推理形态支持快速答复与分步思考两种模式复杂题留更多思考预算简单题快速返回。训练一个路由器RouteLLM用 Chatbot Arena 偏好数据训练路由器简单题→轻量模型复杂题→强模型在不牺牲准确率的前提下显著降时延与成本。Sketch-of-ThoughtSoT用轻量编码器如 DistilBERT先判题型再在三种“思维风格”中选一种Conceptual Chaining口头链式 / Chunked Symbolism紧凑数学记号 / Expert Lexicons领域速记以最短表达覆盖核心推理。不确定性驱动的自路由不一定要外部分类器Self-Ref在 LLM 内部微调专用置信度 token让模型自己估计是否不确定仅对高不确定样本触发“更强/更长链”的路径。Confident or Seek Stronger构造校准数据让模型在不读取用户输入内容的前提下预测自身对即将产生输出的信心用作路由信号自信则直答不自信则求助更强。其他讨论如何用更少的数据训练推理模型最小但高影响力数据筛选LIMO仅用 817 个精心筛选的示例按难度、通用性、多样性挑选问题按最优结构组织、有效认知、验证质量挑选答案即可超越此前 10 万 示例训练的模型。s1构建了包含 1,000 个高质量问题–推理对的 s1K 数据集并在推理阶段引入“预算强制”budget forcing在推理过程中调节推理时间。自我验证作为信号S2R先用小量示例做SFT让模型学会自我验证与自我纠错再通过 RL 在过程层面与结果层面强化这一能力。如何提升小模型SLM的推理能力知识蒸馏Distillation混合蒸馏结合长/短 CoT 示例或 CoT 程序化思路PoT提升蒸馏效果。反事实蒸馏通过遮蔽问题中因果特征来扩充训练集促使LLM完成被屏蔽的文本。为每个数据生成正负样本从多视角蒸馏。反馈驱动蒸馏从现有问题中创建多样和复杂的问题来迭代扩充蒸馏集生成多样化、更复杂问题用于训练小模型。探测与检索蒸馏训练两个互补小模型一个“探测模型”检索相关知识另一个“推理模型”据此生成推理链分工协作提升推理质量。自适应思考蒸馏 让蒸馏过程中的小模型基于任务复杂度动态调整推理策略提升对长短不同问题的适应能力。符号知识内化将符号化知识注入 SLM帮助其在 CoT 推理中引入结构化、可解释的符号操作提升效率与准确度。自我纠错管道生成小模型的自我纠错数据并据此微调使其具备先推理→再校正的能力有效减少逻辑漏洞。模型压缩量化将权重降低到低精度能在大幅减小模型参数量和加速推理的同时几乎无损保留推理性能剪枝移除低重要性权重或神经元会严重损害多步逻辑能力显示出剪枝对推理链路的破坏性。最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 AI大模型小米二面：思维链长返回慢、思维链短结果不准，你会如何平衡？看完这一篇你就知道了！！
试答思维链长确实能提升复杂问题的准确率但也容易“想太多”带来高延迟和高成本思维链太短虽快却在复杂任务上掉点明显。我的做法是把它做成动态可调的问题从三层去平衡第一模型层面做渐进式微调让模型在长/短 CoT 混合数据上删除冗余保留要点SFT/LoRA配偏好式目标如 DPO/GRPO更短但同样正确的样本记为“更优”再用长度奖励的 RL答对才奖更短、超长惩罚收紧推理习惯工程上可结合蒸馏/模型融合把长链模型的能力迁到更简洁的学生上。实践里像 DeepSeek-R1、QwQ-32B 都用过长度奖励思路。第二输出层面做动态早停与压缩。当多路候选已高度一致自一致性/奖励分过阈就提前收敛不一致才加预算。压缩方面既有后处理先长 CoT再用规则或强模型精简典型如 TokenSkip也有在线压缩推理时控长LearnSkip 跳过非关键步骤、Token-Budget 限定 token、Self-Training 选最短正确路径回流训练。如果场景允许还可用潜在空间压缩把部分中间思考放进隐向量如 Coconut 的“连续思维 token”减少可见文本长度。第三任务层面自适应路由与提示控长。简单题走短链/小模型复杂或不确定再触发长链/强模型或者在提示里直接给规则如Let’s think step by step, but within 30 tokens./Be concise.总结一下我会通过模型优化、推理过程控制和任务自适应三方面结合把思维链从固定长短变成动态可调既保证用户不会等太久又能维持复杂问题的解题能力。大模型也会“想太多”自从 DeepSeek-R1 引入长思维链Chain of Thought, CoT后逐步推理已经被证明能显著提升模型在数学、逻辑、编程等复杂任务中的正确率。模型像人一样把思考过程铺展开来往往能更可靠地抵达正确答案。然而这种深度思考并非没有代价即便是“23”这样的简单问题模型也可能写上百甚至上千个 token 才给出答案Qwen3-235BDeepSeek-R1这种过度思考Overthinking现象带来了三大副作用响应变慢用户等待时间过长体验感差成本变高冗余推理步骤增加了算力和费用场景受限对于实时对话、自动驾驶、搜索引擎等对延迟高度敏感的场景大模型显得不够实用。于是一个看似悖论的矛盾出现了——思维链太长结果更准却更慢思维链太短响应更快却容易出错。为了缓解这一矛盾很多研究者提出了多种高效推理Efficient Reasoning方法核心目标是在尽量保持推理能力的前提下减少冗余步骤、压缩思维链长度。主要可以分为三类模型层面通过奖励设计和变长思维链数据的SFT让模型在训练层面学会更短、更高效的推理。输出层面通过压缩潜在推理步骤或动态控制推理范式在推理过程中直接减少冗余步骤。输入层面在推理开始前就通过 prompt 设计进行约束或引导例如长度提示或按问题难度路由到不同模型。此外还有一些相关方向例如利用高效数据训练、探索小模型的推理潜力、以及模型压缩方法都是为了在“速度—准确率—成本”之间寻求更优解。下面这张总览图把现有高效推理方法按三大类与六条代表性线路对应起来图中对应的六条路线分别是I 长度奖励的RLRL with Length Reward在强化学习中加入长度相关奖励鼓励短且对的推理序列抑制过度思考。II 变长CoT的SFTSFT with Variable-Length CoT构造长/短思维链数据做监督微调让模型学会更紧凑的链条。III 潜在思维压缩Latent Reasoning把显式文字推理压到隐空间或更少的思考token减少显式输出长度。IV 动态推理范式Dynamic Reasoning at Inference在推理时按置信度/一致性等准则早停、剪枝或重采样以较小开销获得稳定答案。V 基于提示的精简Prompt-Guided用长度/步骤预算等提示直接约束推理输出如“少于10个token”。VI 按难度路由Routing by Difficulty根据题目难度或不确定性把请求路由到快模型Draft Model或强模型Strong Model兼顾时延与正确率。模型层面的方法模型导向的方法目标是把“高效”写进模型本身在训练阶段就让模型偏好更短且稳定的思维链。主线有两条(1) 强化学习加入长度奖励(2) 用变长 CoT 数据做SFT。强化学习加入长度奖励核心问题怎样把“既要对、也要短”写进奖励函数做法是在 RL 的回报里同时编码正确性与长度鼓励“短且对”惩罚“长且错/冗余”以抑制过度思考下图示意。实践中常搭配格式/过程奖励避免模型靠删字取巧。四种常见的长度奖励设计配合 PPO/PG/GRPO/SimPO 等优化框架条件化长度只有在答对时才按“更短→更高分”计分答错不因为短就得分。这样能把“先对再短”的优先级固定下来。超限惩罚当推理长度达到上限比如设置的 token 上限时直接追加惩罚项 防止拖长。相对长度把当前推理长度与一个可度量的参考做对比再据此奖励/惩罚。常见参考包括这些参考都能把“短到什么程度算合适”量化出来。参考模型的 CoT 长度例如一条强模型或教师模型产生的解目标是比它更短而不掉准确率目标长度/预算B来自业务约束或外部估算器标注推理链的长度若数据集自带标准解的 CoT。形状函数把“长度→得分”的映射做成平滑曲线如线性或余弦衰减让梯度更稳避免训练时出现“要么极短要么极长”的震荡。直观地说越长扣分越多但扣分是渐进加重而非突然断崖。下表1 对比了长度奖励的一些代表性做法思路分别如下O1-PrunerPPO使用长度协调奖励比较当前 CoT 与参考模型 CoT 的长度比值更短得分更高再加与参考答案一致性的约束确保“缩短不降准”。DemystifyingPPO对正确/错误两种情形分别用余弦形状的长度曲线评分到达 给超限罚分既稳住训练又抑制长链。L1GRPO在输入里显式加入“Think for N tokens.”并用与目标长度来自标注 CoT 或设定之间的绝对偏差作为惩罚项鼓励在保证正确前提下对齐到期望的 token 数。DASTSimPO不依赖参考模型先构造长度偏好对短而对优于长而对/错再用 SimPO 直接进行偏好优化。TrainingPG在策略梯度的回报里乘上这类长度惩罚因子把“短一点”直接写进回报形式最简。表1长度奖励的代表性做法表2CoT 长度约束下的策略优化目标一览总体而言通过设计RL中的长度奖励能在不显著牺牲准确度的前提下有效缩短CoT长度。这种方法的难点在于确定不同的任务的合理推理长度进而设计出合理的长度奖励。用变长CoT数据做SFT即先获得长短并存的 CoT 数据再做 SFT 让模型学会“该长则长、该短则短”的表达。这个路线既可直接提升推理效率也可配合 RL 使用。第一个问题是如何收集包含长度不同的CoT推理数据特别是比较短的CoT数据呢长 CoT 数据可以通过提示预训练模型收集基于这些长 CoT 数据可以通过以下方式收集短CoT数据。后处理Post‑Reasoning压缩利用规则或更强模型如 GPT‑4对已生成的长 CoT 进行压缩删去冗余推理步骤仅保留关键信息例如 C3oT、TokenSkip 等方法。优点是压缩率高、可控。在线During‑Reasoning压缩这类方法的优点是短链源自模型内生分布更贴近模型的真实表达。在生成阶段就产出更短的链条LearnSkip人工/随机跳过部分步骤并用在 n 步内完成的提示构造训练样本。Self-Training一次采样多条推理路径选最短的正确解回流为训练数据。Token‑Budget为每道题估计最优 token 预算可用二分搜索寻找按该预算生成短链。参数混合CoT‑Valve将“无思维”与“长思维”两套 LoRA 参数线性混合调节混合系数 来控制生成长度并产出变长样本。第二个问题是怎么通过微调实现高效推理标准 SFT用 LoRA 或全量微调在变长 CoT 数据上最小化困惑度或偏好损失。成本低、适配广。渐进式微调Progressive Fine‑tuning训练过程中逐步缩短样本链条如 LearnSkip或采用 CoT-Valve 的参数混合策略先用“无思维”权重大开始再逐步减小 向“长思维”过渡从而平滑地学会不同长度的推理表达并整体压短。表3: 按“数据来源—压缩方式—是否在线/离线—SFT 方式—基座模型”汇总了一些SFT的典型做法输出层面的方法将显性推理步骤压缩到“潜在表示”中近来的工作强调提升推理力并不一定依赖长篇的人类可读 CoT。适当增加“思考用的计算”哪怕是无语义的“占位思考”也能带来收益说明关键在于隐空间中的额外计算而非文本长度本身。由此催生了一类方法将显性 CoT 替换或压缩为更紧凑的潜在表征在保持或提升准确率的同时大幅减少输出 token 数。那么怎么将显式的推理步骤压缩到潜在空间呢如上图所示方法大体可以分为两类直接在模型内部学习“潜在思维”Coconut (Chain of Continuous Thought)把最后一层隐藏状态当作连续思维 token循环回喂做下一步输入等价于在隐空间多想几步用少量连续向量替代长篇 CoT最后再输出答案/短 CoT——用隐状态而非离散 token 展开思考在减少显性思考长度的同时提升准确率与效率。CODI (Continuous Distillation of Implicit CoT)用自蒸馏同时学习显式与隐式 CoT同一训练样本走两条路一条写出 CoT老师一条不写 CoT学生。通过让两条路在若干位置的隐藏态对齐学生学会把中间推理放到隐空间做隐式 CoT最终只需输出答案或很短的 CoT。CCOT (Compressed CoT with LoRA)先用强模型生成完整 CoT从中挑出关键信息对应的位置作为“压缩目标”。训练两套 LoRACCoT 模块从问题直接预测少量压缩/沉思向量DECODE 模块在“问题 这些压缩向量”的条件下解码出精简 CoT/答案。推理时先预测压缩向量再据此生成简洁推理。Heima多模态把每个推理阶段的长文本说明替换为一个思考 token并据此重写训练数据实现高效的多模态隐式推理。Token Assorted结合 VQ‑VAE将部分 CoT 切换成离散的潜在 token与文本 token 混合训练以紧凑的潜在形式表示某些推理步骤兼顾效率与可解释性。Looped Transformer对同一层重复应用多次不增加参数等价于更深的迭代推理让模型在隐空间完成多步思考。冻结主模型增加轻量“隐思维”模块SoftCoT不改动主 LLM单独训练一个小网络生成若干连续思维向量再通过线性变换投影到主模型的嵌入维度把它们当作前缀软 token拼到输入前主模型据此进行更多内部计算而无需输出冗长 CoT。以上方法能有效减少显性推理 token 数量并降低响应延迟并且在潜在空间的操作具有灵活性和可拓展性缺点则是降低了可解释性难以逐步审计并且通常需要额外训练或模块。推理过程中动态推理另一条思路是不改模型参数而是在推理时动态调整思考策略对容易题早停难题多想对差样本尽早丢弃对好样本加算力。这类方法通常是无需额外训练的或只需极少附加模块。两个问题选什么标准来指导推理什么范式更高效实践上有四条主线互补可叠加测试时扩展Test-Time Scaling在不改参数的前提下通过搜索/采样扩展思考的广度或深度。Best-of-N对同一输入生成 N 条候选用多数投票或奖励模型选优能显著提升复杂任务表现。Beam Search把生成拆成多步配过程奖励模型PRM逐步保留最优分支细粒度提升中间质量。MCTS并行探索、回溯与回传累积得分最终选最优分支适用于需要回溯/分支搜索的任务。基于奖励的推理优化在 TTS 基础上省算力Speculative RejectionBoN 过程中动态丢弃低分样本仅保留高潜力序列更省显存和时间。RSDReward-Guided Speculative Decoding用草稿模型先跑PRM 打分高分直接接受低分再交给大模型精炼兼顾速度与准确。基于置信度的推理优化难题多想、易题少想DPTS将 Tree-of-Thought 并行化按置信度早剪枝减少无效探索并动态平衡探索/利用。Certaindex / Dynasor-CoT用语义熵PRM 分数度量“继续思考是否还会改变答案”高置信就提前终止并把资源让给更难的查询。FastMCTS优先扩展高置信轨迹并按题目复杂度调节树扩展效率与多样性兼顾。Length-filtered Vote理论上存在最优 CoT 长度据此对不同长度分组投票剔除过短/过长的答案以稳定正确率。基于一致性的推理优化ST-BoNSelf-Truncation BoN比较早期生成的隐向量一致性不等全序列生成就提前淘汰不一致路径降低评估成本。补充基于摘要的动态推理LightThinker学习何时如何压缩中间思路把冗长 CoT 汇成gist tokens配稀疏注意力聚焦关键信息属于“边想边压缩”的范式。InftyThink交替思考→摘要→丢旧思路只保留最新摘要突破上下文窗口而保持高精度。小结输出侧优化要么把思维“藏进”隐空间以缩短可见文本要么在推理时按价值/置信/一致性来早停、剪枝或重采样。两类方法可叠加先用潜在表征降长度再配合动态范式把算力花在刀刃上。输入层面的方法提示词引导思路是在prompt里直接约束思考的长度/形式让模型在不牺牲正确性的前提下减少冗余步骤。典型做法与可复用模板如下均可zero shot使用Token‑Budget 通过设置token预算减少不必要的推理token引入TALE‑EP 首先通过提示 LLM 本身来估算合理的 token 预算然后将预算嵌入到提示词中引导模型生成更高效的回复。Let’s think step by step and uselessthan Token‑Budget tokens.CoD (Chain‑of‑Draft)鼓励“逐步思考”但每一步只保留极简草稿如≤5词模仿人类只记要点的习惯Think step by step, but only keep a minimum draft for each thinking step, with at most five words.CCoT直接在 CoT 提示中加入简洁性约束Think step by step, and be concise.Token Complexity使用硬约束模板如 BulletPoints / WordLimit(k) / StepLimit(k) / TokenLimit(k) 等限定表达形式或上限研究显示各类压缩提示大体落在相似的“准确率-压缩率”曲线之上说明每个任务存在内在 token 复杂度解决该任务所需的最小 token 数。也意味着当前提示仍远未到达理论最优压缩有进一步优化空间。推理路由思路是根据题目难度/不确定性把输入路由到快模型或强模型或路由到不同的推理范式直答 vs. 深思。这能在总体算力固定时提升性价比。如何判断“该走哪条路”三类主流做法模型内置模式切换Claude 3.7 Sonnet业内早期的混合推理形态支持快速答复与分步思考两种模式复杂题留更多思考预算简单题快速返回。训练一个路由器RouteLLM用 Chatbot Arena 偏好数据训练路由器简单题→轻量模型复杂题→强模型在不牺牲准确率的前提下显著降时延与成本。Sketch-of-ThoughtSoT用轻量编码器如 DistilBERT先判题型再在三种“思维风格”中选一种Conceptual Chaining口头链式 / Chunked Symbolism紧凑数学记号 / Expert Lexicons领域速记以最短表达覆盖核心推理。不确定性驱动的自路由不一定要外部分类器Self-Ref在 LLM 内部微调专用置信度 token让模型自己估计是否不确定仅对高不确定样本触发“更强/更长链”的路径。Confident or Seek Stronger构造校准数据让模型在不读取用户输入内容的前提下预测自身对即将产生输出的信心用作路由信号自信则直答不自信则求助更强。其他讨论如何用更少的数据训练推理模型最小但高影响力数据筛选LIMO仅用 817 个精心筛选的示例按难度、通用性、多样性挑选问题按最优结构组织、有效认知、验证质量挑选答案即可超越此前 10 万 示例训练的模型。s1构建了包含 1,000 个高质量问题–推理对的 s1K 数据集并在推理阶段引入“预算强制”budget forcing在推理过程中调节推理时间。自我验证作为信号S2R先用小量示例做SFT让模型学会自我验证与自我纠错再通过 RL 在过程层面与结果层面强化这一能力。如何提升小模型SLM的推理能力知识蒸馏Distillation混合蒸馏结合长/短 CoT 示例或 CoT 程序化思路PoT提升蒸馏效果。反事实蒸馏通过遮蔽问题中因果特征来扩充训练集促使LLM完成被屏蔽的文本。为每个数据生成正负样本从多视角蒸馏。反馈驱动蒸馏从现有问题中创建多样和复杂的问题来迭代扩充蒸馏集生成多样化、更复杂问题用于训练小模型。探测与检索蒸馏训练两个互补小模型一个“探测模型”检索相关知识另一个“推理模型”据此生成推理链分工协作提升推理质量。自适应思考蒸馏 让蒸馏过程中的小模型基于任务复杂度动态调整推理策略提升对长短不同问题的适应能力。符号知识内化将符号化知识注入 SLM帮助其在 CoT 推理中引入结构化、可解释的符号操作提升效率与准确度。自我纠错管道生成小模型的自我纠错数据并据此微调使其具备先推理→再校正的能力有效减少逻辑漏洞。模型压缩量化将权重降低到低精度能在大幅减小模型参数量和加速推理的同时几乎无损保留推理性能剪枝移除低重要性权重或神经元会严重损害多步逻辑能力显示出剪枝对推理链路的破坏性。最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】