LLM爆了！从Token到下个词，深度揭秘它如何“说话”！
本文深入浅出地解析了LLM（大型语言模型）的工作原理，从文本分词（Tokenization）、数字编码（Embedding）、位置编码（Positional Encoding）到核心机制（Attention、Multi-head Attention、Feed-forward Network等），揭示了LLM如何通过不断预测下一个词来生成文本。文章强调，LLM本质上是一个大规模的文本预测机器，其差异主要源于训练数据和参数设置。
LLM · Transformer · 原创解读
LLM 到底是怎么工作的？
从 Token 到下一词预测
基于 0xkato 的文章 How LLMs Actually Work 思路，整理一版中文入门解读：不堆公式，先把核心机械结构讲清楚。
本文是对原文 How LLMs Actually Work 的中文原创解读与摘要，不是全文翻译；未搬运原文及图片，仅保留核心脉络与必要概念。
原文链接: https://www.0xkato.xyz/how-llms-actually-work/
很多人把 LLM 理解成一个神秘的聊天机器人，但从结构上看，它更像一台非常大的「文本预测机器」。输入一段文字，模型把它拆成 token，变成向量，让不同 token 互相交换信息，最后预测下一个最可能出现的 token。不断重复这个过程，就生成了完整回答。
- Tokenization：文字先变成数字
LLM 并不直接阅读中文、英文或标点。模型真正接收的是一串整数，这个转换过程叫tokenization。一个 tokenizer 会把文本切成 token，再把每个 token 映射到词表里的 ID。
可以把 token ID 理解成「词表编号」。模型处理的是编号，不是人眼看到的文字本身。
token 通常不是完整单词，也不是单个字符，而是介于两者之间的 subword。这样既能控制词表大小，又能处理没见过的新词。
- Embedding：数字获得语义位置
一个 token ID 本身没有意义，它只是一个行号。模型会用这个 ID 去查一张巨大的表，取出一串数字向量，这张表就是embedding matrix。
训练之后，语义接近的 token 往往会在向量空间里靠得更近。这些关系不是人工写死的，而是模型为了更好预测文本而学出来的。
- Positional Encoding：模型需要知道顺序
只有 embedding 还不够，因为同一个词出现在不同位置，含义可能不同。模型必须知道 token 的顺序。
现代 LLM 常见的是RoPE，也就是 Rotary Position Embeddings。它不是简单添加位置向量，而是在 attention 中旋转 Query 和 Key，让相对距离进入计算。
- Attention：让 token 互相看见
Attention 是 Transformer 的核心。每个 token 会生成三种向量：Query、Key、Value。
**Query：**我在找什么信息？
**Key：**我能提供什么线索？
**Value：**如果你关注我，我真正传过去的信息是什么？
模型会用 Query 和 Key 做相似度匹配，再通过 softmax 变成权重，最后对 Value 做加权平均。GPT 类模型还会使用causal masking，预测当前位置时不能偷看未来 token。
- Multi-head Attention：同时观察多种关系
一个 attention head 只能从一个角度看上下文，而语言里同时存在很多关系：主谓一致、代词指代、局部短语、长距离引用、重复模式等。
Multi-head attention 会并行运行多个 attention head。每个 head 都有自己的投影矩阵，可以学习不同的信息通道。推理时，模型还会用KV cache保存旧 token 的 Key 和 Value，降低重复计算。
- Feed-forward Network：模型的很多知识存在这里
Attention 负责让 token 之间交换信息；而每一层里的feed-forward network则负责对每个 token 自己做进一步加工。
它通常会先把向量扩展到更高维，经过非线性函数，再压回原来的大小。很多模型参数都集中在 FFN 里，模型的事实性知识、语义结构、概念模式，也有相当一部分分布在这些权重中。
- Residual Stream 与 LayerNorm：让深层网络能训练
Transformer 不是每一层都把前一层结果完全覆盖掉，而是把新计算结果加回原向量，这叫residual connection。多层累加形成的通道，常被称为 residual stream。
如果没有这个快捷通道，深层网络很难训练。与此同时，LayerNorm 或 RMSNorm 会把向量数值控制在稳定范围里。
- Next-token Prediction：一切最终回到下一个 token
经过所有 Transformer 层之后，模型会拿最后一个位置的向量，转换成词表中每个 token 的分数，这些原始分数叫logits。softmax 会把 logits 变成概率分布。
模型选出下一个 token 后，把它接到输入后面，再重复整个过程。长回答就是这样一个 token 一个 token 生成出来的。
- 架构相似，差异主要来自训练
现代 LLM 大多属于 Transformer 家族。不同模型之间真正拉开差距的，往往是训练数据、参数规模、层数、head 数、是否使用 MoE，以及后训练阶段的 instruction tuning、偏好优化和安全对齐。
最后可以这样理解
1.LLM 先把文字切成 token ID。
2.Token ID 通过 embedding 变成向量。
3.位置编码告诉模型顺序。
4.Attention 让 token 从上下文里取信息。
5.FFN 存储和加工大量语义结构。
6.最终目标仍然是预测下一个 token。
最后
对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？
答案只有一个：人工智能（尤其是大模型方向）
当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。
再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。
如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！
下面是我整理的大模型学习资源，希望能帮到你。
👇👇扫码免费领取全部内容👇👇
最后
1、大模型学习路线
2、从0到进阶大模型学习视频教程
从入门到进阶这里都有，跟着老师学习事半功倍。
3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）
4、AI大模型最新行业报告
2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
5、面试试题/经验
【大厂 AI 岗位面经分享（107 道）】
【AI 大模型面试真题（102 道）】
【LLMs 面试真题（97 道）】
6、大模型项目实战&配套源码
适用人群
四阶段学习规划（共90天，可落地执行）
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…
👇👇扫码免费领取全部内容👇👇
3、这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】