1. 从“词袋”到“理解”：大语言模型的核心思想演进

聊起大语言模型，很多人第一反应是ChatGPT，是它能写诗、能编程、能对话的惊艳表现。但如果你问一个从业者，LLM最根本的突破是什么，他大概率不会直接回答“参数多”或者“算力大”，而是会告诉你，关键在于它让机器真正开始“理解”上下文了。这听起来有点玄乎，但理解这一点，是看懂BERT、GPT、GLM这些模型差异的起点。

在LLM出现之前，主流的文本处理模型，比如循环神经网络，处理一句话就像我们听一个很长的故事，听到后面可能已经忘了开头讲了什么。更早的“词袋”模型，则直接把一篇文章打散成一个个独立的词，完全不管词和词之间的顺序和关系，就像把一本小说的所有字剪下来扔进一个袋子里，然后试图通过统计哪些字出现得多来猜小说的主题，这显然丢失了绝大部分信息。大语言模型，特别是基于Transformer架构的模型，解决的核心问题就是：如何让模型在处理一个词的时候，能同时“看到”并“理解”这句话里所有其他词与它的关系。这个“同时看到”的能力，就是所谓的“自注意力机制”，它让模型能够建立词与词之间复杂的、动态的关联网络，从而捕捉到“我昨天在公园里看到一只猫”和“猫在公园里看到昨天的我”这两句话天差地别的含义。

所以，当你下次听到“LLM”时，可以把它想象成一个拥有超强“上下文关联能力”的文本理解引擎。它不再孤立地看待每个词，而是把一整段话、甚至一整篇文章作为一个整体来分析和生成。这种能力的质变，直接催生了BERT、GPT这些明星模型，它们虽然都基于Transformer，但为了不同的目标，在“如何使用注意力”这个核心问题上，走上了截然不同的道路。接下来，我们就深入它们的内部，看看这些道路具体是怎么走的。

2. BERT：双向的“完形填空”大师

如果把自然语言理解比作考试，那么BERT就像一个擅长做“完形填空”和“判断题”的学霸。它的核心设计思想是双向编码，目标是学习到词汇最丰富的上下文表征，以便用于各种下游任务，比如情感分析、命名实体识别、问答等。

2.1 核心原理：掩码语言模型与下一句预测

BERT的训练方式非常巧妙，主要靠两个自监督任务：

1. 掩码语言模型：在输入一句话时，随机遮盖掉其中15%的词汇（用[MASK]标记代替）。模型的任务就是根据这句话里所有未被遮盖的词（包括遮盖位置左边和右边的词），来预测被遮盖掉的原始词是什么。例如，输入“我今天吃了美味的[MASK]”，模型需要利用“我”、“今天”、“吃了”、“美味的”这些双向的上下文信息，来预测[MASK]位置可能是“苹果”、“蛋糕”或“火锅”。这个过程强迫模型必须同时理解每个词左右两侧的上下文，从而学习到深层的双向语义表示。

2. 下一句预测：给定两个句子A和B，模型需要判断B是否是A的下一句。这个任务帮助模型理解句子间的关系，对于问答、自然语言推理等需要理解段落逻辑的任务至关重要。

这种预训练方式带来的最大优势是，BERT输出的每个词的向量表示，都深度融合了来自整个句子的上下文信息。因此，当你把BERT作为一个“特征提取器”用于下游任务时，即使下游任务数据量很小，只需要在BERT后面接一个简单的分类层，也能取得非常好的效果。这就像是一个已经博览群书的语言学家，你只需要给他一个很具体的小问题，他就能立刻调动全部知识给出高质量的答案。

2.2 架构与实操：编码器堆叠与微调范式

BERT完全由Transformer的编码器堆叠而成。编码器的作用是“理解”和“编码”输入文本。在实操中，使用BERT的典型流程是“预训练-微调”：

• 预训练：在海量无标注文本（如维基百科、图书语料）上完成上述两个任务，获得一个通用的语言理解模型。这个过程耗时耗力，通常由谷歌、华为等大厂完成，并开源模型权重。
• 微调：在你的特定任务数据上，继续训练BERT模型。通常保持BERT主体参数基本不变，只更新最后添加的任务特定层（如分类头）。例如，做情感分析，就在BERT输出的[CLS]标记（代表整个句子的语义）后面接一个全连接层做二分类。

一个重要的实操细节：虽然BERT在预训练时使用了[MASK]，但在下游任务微调或推理时，输入是完整的句子，没有[MASK]。这会造成预训练和微调之间的不一致。为了解决这个问题，BERT在遮盖那15%的词时，采用了以下策略：80%的时间替换为[MASK]，10%的时间替换为一个随机词，10%的时间保持原词不变。这样模型就不得不学会“怀疑”每一个输入词，而不是仅仅依赖[MASK]标记，增强了模型的鲁棒性。

注意：BERT本身不具备文本生成能力。它是一个判别式模型，专精于理解和分类。你不能要求BERT“写一首关于春天的诗”，但你可以问它“这首诗的情感是积极的还是消极的？”。

3. GPT：自回归的“故事接龙”专家

与BERT的“理解者”定位不同，GPT系列模型是纯粹的“生成者”。它的核心思想是自回归语言建模，你可以把它想象成一个极其擅长“故事接龙”的作家，它总是根据已经说出的所有内容，来预测下一个最可能出现的词是什么。

3.1 核心原理：单向上下文与链式预测

GPT完全由Transformer的解码器堆叠而成（去掉了编码器-解码器架构中的编码器部分，并屏蔽了未来信息）。它的训练目标极其简单且强大：给定一个词序列，预测下一个词。例如，输入“人工智能是”，模型的目标是输出概率最高的下一个词，比如“未来”。然后，将预测出的词“未来”加入到输入中，变成“人工智能是未来”，再预测下一个词，如此循环往复，就能生成一段连贯的文本。

这里最关键的设计是掩码自注意力。在GPT的解码器中，每个词在计算注意力时，只能“看到”它自己以及它左边的词，完全看不到右边的词。这确保了在训练和生成时，模型预测下一个词的行为，永远不会“作弊”地用到未来的信息。这种单向性使得GPT天然适合序列生成任务。

这种训练方式让GPT掌握了强大的语言生成和泛化能力。它学习到的不仅仅是词汇的共现统计，更是语言的语法结构、行文逻辑乃至一定的世界知识。因为要预测得准，它必须内化所有这些信息。

3.2 从GPT到ChatGPT：指令微调与对齐的革命

原始的GPT模型虽然能生成文本，但就像一个知识渊博但不太听话的助手，它可能答非所问，或者生成有害内容。从GPT-3到ChatGPT（基于GPT-3.5/4）的飞跃，关键不在于模型架构的巨变，而在于训练范式的革新：指令微调与基于人类反馈的强化学习。

1. 指令微调：在海量的“指令-输出”配对数据上对预训练好的GPT模型进行微调。例如，给模型输入“写一首关于秋天的五言诗”，并给出一个符合要求的诗歌示例。这让模型学会了理解和遵循人类的各种指令，而不仅仅是进行简单的文本接龙。

2. 基于人类反馈的强化学习：这是ChatGPT变得“有用、诚实、无害”的核心。大致分为三步：

   • 监督微调：雇佣标注员，编写高质量的问题和回答，对模型进行微调，得到一个初始的SFT模型。
   • 奖励模型训练：让SFT模型对同一个问题生成多个不同回答，由标注员对这些回答的质量进行排序。用这个排序数据训练一个“奖励模型”，让它学会像人类一样评判回答的好坏。
   • 强化学习优化：用这个奖励模型作为评判标准，通过PPO等强化学习算法，去优化SFT模型的参数，让模型生成能获得更高奖励（即更符合人类偏好）的回答。

这个过程可以形象地理解为：先教模型说话（预训练），再教它按指令办事（指令微调），最后通过“奖励小红花”的方式（RLHF），引导它说出我们爱听的话。正是RLHF，让GPT从一个强大的文本生成器，蜕变成了一个能够进行有用、安全对话的AI助手。

实操心得：在使用GPT类API时，一个常见的误区是认为提示词越长、越复杂越好。实际上，清晰、具体的指令往往更有效。例如，与其说“写点关于机器学习的东西”，不如说“用通俗易懂的语言，向一名高中生解释什么是监督学习，并给出一个生活中的例子”。后者能为模型提供更明确的上下文和格式约束，从而得到质量高得多的输出。

4. GLM：融合双向与单向的“多面手”

在BERT和GPT分别统治了理解与生成两大领域后，一个自然的问题是：能否有一个模型，同时擅长两者？清华大学提出的GLM模型，正是朝着这个方向的一次重要探索。GLM的核心创新在于提出了通用语言模型的预训练框架，通过一种新颖的“自回归空白填充”任务，试图统一BERT的双向理解和GPT的单向生成。

4.1 核心原理：自回归空白填充

GLM的设计非常巧妙。它不像BERT那样随机遮盖单个词，也不像GPT那样严格从左到右预测。它的做法是：

1. 从输入文本中随机抽取若干段连续的词（称为“空白”），并将它们替换为一个特殊的[MASK]标记。这个过程可以一次创建多个长度不一的空白。
2. 打乱这些空白的原始顺序。
3. 要求模型以自回归的方式，按照打乱后的顺序，逐个预测并填充每一个空白里的内容。在预测某个空白时，模型可以看到原文的所有其他部分（包括其他尚未被填充的空白位置），以及已经被预测出来的前面几个空白的内容。

举个例子，假设原文是“人工智能正在深刻地改变我们的生活”。我们可能抽取出两个空白：“人工智能”和“改变我们的生活”。打乱顺序后，任务可能变成：给定上下文“[MASK]正在深刻地[MASK]”，先预测第二个空白“改变我们的生活”，再预测第一个空白“人工智能”。

这个任务的精妙之处在于：

• 对于短空白（如一个词），模型需要利用强双向上下文进行精确预测，这类似于BERT的完形填空，侧重于理解。
• 对于长空白（如一个句子或段落），模型需要根据左侧上下文和已生成的部分，像GPT一样进行连贯的生成。

通过调整空白长度和数量的比例，GLM可以在理解和生成能力之间进行灵活的权衡。训练一个GLM模型，就相当于同时训练了一个BERT式的理解模型和一个GPT式的生成模型。

4.2 架构与优势：Transformer的灵活改造

为了实现这个目标，GLM对标准Transformer架构做了两处关键改造：

1. 二维位置编码：为了区分空白内部（需要生成）和空白外部（已知上下文）的词，GLM引入了两种位置编码。一种是标记在原始句子中的位置，另一种是标记在它所属的空白内部的位置。这帮助模型清晰地区分已知信息和待生成信息。
2. 注意力掩码调整：GLM允许空白内部的所有词相互关注（为了生成连贯内容），也允许它们关注所有上下文词；但上下文词不能关注空白内还未被预测的未来词（遵循自回归规则）。这种动态的注意力模式是其能力统一的关键。

GLM的优势很明显：一个模型，多种用途。在GLM之后，ChatGLM系列模型（如ChatGLM3）进一步证明了这条路径的可行性。它在保持强大生成和对话能力的同时，在某些需要深度理解的知识问答、推理任务上，也展现出不俗的潜力，避免了单一方向模型的能力短板。

实操中的对比感受：如果你尝试过同时调用不同模型的API完成复杂任务，可能会发现：让GPT写一篇分析报告，它文笔流畅、结构清晰；让BERT去做同一篇报告的情感倾向分析，它准确高效。而GLM试图让你只和一个“助手”对话，你既可以命令它“写报告”，也可以中途打断它问“你刚才第三段表达的观点是积极还是消极？”，它能在生成和理解模式间较为平滑地切换。当然，这种统一目前并非完美，在极端专精的任务上，它可能仍不如单独的BERT或最新GPT模型，但其代表的技术方向——构建更通用、更统一的AI基座——无疑是极具吸引力的。

5. 三者对比：选择你的技术“武器”

了解了原理，我们就能从多个维度清晰地对比BERT、GPT和GLM，这就像为不同的任务选择不同的工具。

如何选择？这完全取决于你的任务：

• 选择BERT，如果你需要：

  • 文本分类（情感分析、新闻分类）
  • 序列标注（命名实体识别、词性标注）
  • 句子对任务（语义相似度、自然语言推理）
  • 资源有限，需要在自有数据上微调一个高性能的判别模型。
  • 一句话：任务目标是“分析”和“判断”文本。

• 选择GPT，如果你需要：

  • 创造性文本生成（写作、编剧、营销文案）
  • 代码生成与补全
  • 开放域对话与问答
  • 复杂指令跟随（总结、翻译、改写）
  • 拥有充足的API预算，且追求最顶尖的生成质量和逻辑能力。
  • 一句话：任务目标是“创造”和“续写”文本。

• 选择GLM，如果你需要：

  • 一个模型同时处理生成和理解混合的任务流。
  • 在受限资源下（如私有化部署），寻求生成与理解能力的平衡。
  • 研究和探索统一语言模型的前沿技术。
  • 需要利用其空白填充特性进行特定格式的文本生成（如表格填充、代码补全特定段落）。
  • 一句话：任务目标是“混合型”或寻求“一体化”解决方案。

6. 超越对比：LLM当前的技术焦点与实战思考

了解了三大模型的区别，我们再把视野拉宽，看看当前LLM领域真正让从业者兴奋和头疼的焦点在哪里。这些点决定了你实际应用LLM的深度和效果。

6.1 上下文长度：从“短时记忆”到“长文档处理”

早期的BERT、GPT-3上下文窗口通常是2K或4K tokens，大约相当于几千个英文单词。这限制了模型处理长文档、长对话的能力。如今，上下文长度竞赛已经白热化。

• 技术挑战：单纯增加长度会带来计算复杂度的平方级增长和注意力分散问题。需要诸如滑动窗口注意力、层次化注意力、外推性位置编码等技术来优化。
• 实战影响：当你需要总结一份百页报告、分析长达数小时的会议转录稿，或进行超长多轮对话时，必须选择支持长上下文的模型或方案。例如，某些项目会采用“Map-Reduce”策略：先将长文本切分，分别总结，再对总结进行总结。但现在，直接使用支持128K甚至更长上下文的模型（如GPT-4 Turbo、Claude 3、GLM-4）已成为更优解。

6.2 智能体与工具调用：从“聊天”到“行动”

LLM本身是“大脑”，但它没有“手”和“眼”。LLM智能体技术旨在为LLM连接各种工具（API、函数、数据库），使其能感知环境、执行动作、达成复杂目标。

• 核心机制：模型根据对话历史和当前状态，决定是生成回复给用户，还是调用某个工具。这通常通过Function Calling功能实现。开发者预先定义好工具的名称、描述和参数格式，LLM在需要时会输出结构化的调用请求。
• 与LangChain等框架的区别：像LangChain这样的框架，提供了构建智能体的高级抽象和常用组件链。而底层的Function Calling是模型本身具备的能力。LangChain工具调用的速度，主要受限于：1) 模型生成Function Call决策的速度；2) 工具本身API的响应速度；3) 框架编排的开销。优化时，需要关注工具描述的精确性（减少模型误解）、工具的响应效率，以及合理设计工作流以减少不必要的来回调用。

6.3 微调与提示工程：成本与效果的权衡

对于特定领域应用，是花大力气微调模型，还是精心设计提示词？

• 提示工程：零样本或少量样本学习。优点是零成本、即时生效，适合探索性任务或通用能力调用。其天花板取决于基础模型的能力和你的提示词设计水平。技巧包括：思维链、少样本示例、角色扮演、输出格式约束等。
• 全参数微调：用领域数据全面更新模型权重。效果最好，能让模型深度掌握领域知识和术语，但成本极高，需要强大的算力和数据。
• 参数高效微调：如LoRA、QLoRA。仅在原始模型旁边添加少量可训练的参数层，只训练这些新增参数。能以极低的成本（有时只需一块消费级GPU）达到接近全参数微调的效果，是目前私有化部署和领域适配的绝对主流技术。对于绝大多数企业应用，在开源模型（如LLaMA、ChatGLM）上使用LoRA进行微调，是性价比最高的选择。

6.4 模型推理与部署优化：让LLM“跑得快、花得少”

在大模型应用落地的最后一步，推理效率直接关乎用户体验和成本。

• 算法层面：KV缓存是核心加速技术。模型在生成每个新词时，需要计算它与之前所有词的注意力。KV缓存将之前计算好的Key和Value向量存储起来，避免重复计算，能极大提升自回归生成速度。
• 工程与硬件层面：
  • 量化：将模型权重从高精度（如FP16）转换为低精度（如INT8、INT4），大幅减少内存占用和计算量，对速度提升和成本降低效果极其显著。大多数推理框架都已支持。
  • 算子融合与编译优化：使用TensorRT、vLLM、DeepSpeed等推理框架，将多个计算步骤融合为一个内核，减少GPU内存访问开销，提升硬件利用率。
  • 连续批处理：在服务端同时处理多个请求时，动态地将不同长度的请求组合成一个批次进行计算，提高GPU利用率。
  • 投机解码：用一个更小的“草稿模型”快速生成多个候选词，再由大模型快速验证，从而用更少的次数调用昂贵的大模型。

在实际项目中，我们通常会采用“量化后的模型 + vLLM推理框架 + 动态批处理”的组合方案，在有限的GPU资源下尽可能支撑更高的并发。例如，将ChatGLM3-6B模型用AWQ量化到INT4，配合vLLM部署，可以在单张RTX 4090上实现每秒处理数十个请求的吞吐量，响应延迟也能控制在业务可接受的范围内。这背后的每一步选择，都是在效果、速度和成本之间做出的精确权衡。