预测下一个词，怎么就“涌现”出了智能？

核心命题：大语言模型（LLM）只做一件事——预测下一个词（next-token prediction）。但令人震惊的是，这项单一任务竟迫使模型学会了物理规律、因果推理、SQL编写，乃至哲学思辨。这不是魔法，而是数学的必然。

背圆周率 vs. 掌握公式

想象两个学生参加数学考试：

• 学生A背下了π的前1000位，以及每道题的标准答案。他靠"死记硬背"应考。
• 学生B只掌握了一套微积分公式和概率论原理。他没背答案，但遇到新题时，他能推导出解法。

哪种学生更"聪明"？显然是B。因为B掌握的是压缩后的知识——一条公式能生成无数答案。

LLM面临的困境是：互联网上的文本是无限的，它不可能记住所有答案。它必须在有限的参数空间（比如1750亿个数字）里，压缩人类数千年的文明成果。预测下一个词，本质上就是这种压缩过程的外显。

核心概念：压缩即智能

从贝叶斯角度看预测

每次预测下一个词，模型都在做一件极其简单的事：