Generative Pre‑trained Transformer（GPT）
全称：生成式预训练‑Transformer 模型，拆开分成三段理解：Generative、Pre‑trained、Transformer。
1. Transformer（底层基础架构）
2017 年谷歌《Attention Is All You Need》提出，抛弃了 RNN 串行循环结构，核心依靠自注意力机制（Self‑Attention）。
- 它可以一次性查看整段上下文，判断词语之间的远近关联；
- 多头注意力：同时从不同角度理解语义（语法、因果、指代）；
- 位置编码：识别文字先后顺序；
- 对比：RNN 是逐字串行处理，长文本容易遗忘前面内容；Transformer 并行运算，处理长文本更强。
Transformer 只是骨架，本身不会生成文字。
2. Pre‑trained（预训练，GPT 最关键思想）
训练拆分成两个阶段：预训练（Pre‑train） + 微调（Fine‑tune）
阶段 1：预训练（无监督学习）
用海量互联网文本（书籍、网页、文章）做学习，任务非常简单：
给定前面一堆单词，预测下一个单词是什么（自回归模式 Autoregressive）。 GPT 只用单向注意力（Masked self‑attention）：只能看到前文，看不到后面内容； BERT 则是双向 Transformer，适合理解类任务，不能用来续写文本。
- 预训练目标：学到语法、常识、逻辑、世界知识、文化；
- 大规模参数（GPT‑3 达到 175B 参数），参数越大记忆和推理越强。
阶段 2：微调（Fine‑tune）
预训练结束后，再用少量人工标注数据、人类偏好数据（RLHF 人类反馈强化学习）调整模型： 教会模型听懂指令、遵守人类价值观、输出符合人的表达习惯。
3. Generative（生成式）
GPT 属于自回归生成模式： 逐 token 一个字一个字往后生成，写完第 1 个词再判断第 2 个，循环输出完整段落。
- 特点：
- 开放式生成：写文章、代码、对话、故事；
- 概率采样：同一个问题每次回答会略有差别；
- 局限：容易出现幻觉（编造不存在事实），因为它只是根据文本概率推算，并不真正理解知识。
整体逻辑总结（通俗版）
- Transformer：先进神经网络架构；
- Pre‑trained：先用海量数据自学语言规律；
- Generative：通过逐字预测，生成通顺的回答。