1. 人工智能发展与springAi

1. 人工智能发展

智能本质上就是针对不同情境给出针对性的输出反应。

AI，人工智能（Artificial Intelligence），使机器能够像人类一样思考、学习和解决问题的技术。

AI发展至今大概可以分为三个阶段：

 

 

其中，深度学习领域的自然语言处理(Natural Language Processing, NLP)有一个关键技术叫做Transformer，这是一种由多层感知机组成的神经网络模型，是现如今AI高速发展的最主要原因。

 

我们所熟知的大模型（Large Language Models, LLM），例如GPT、DeepSeek底层都是采用Transformer神经网络模型。

以GPT模型为例，其三个字母的缩写分别是Generative、Pre-trained、Transformer：

2. 大模型原理

最早Transformer是由Google在2017年提出的一种神经网络模型，一开始的作用是把它作为机器翻译的核心：

 

Transformer中提出的注意力机制使得神经网络在处理信息时可以根据上下内容调整对数据的理解，变得更加智能化。这不仅仅是说人类的文字，包括图片、音频数据都可以交给Transformer来处理。于是，越来越多的模型开始基于Transformer实现了各种神奇的功能。

大语言模型（Large Language Models, 以下简称LLM）是对Transformer的另一种用法：推理预测。

LLM在训练Transformer时会尝试输入一些文本、音频、图片等信息，然后让Transformer推理接下来跟着的应该是什么内容。推理的结果会以概率分布的形式出现：

其实LLM采用的就是笨办法，答案就是：持续生成

根据前文推测出接下来的一个词语后，把这个词语加入前文，再次交给大模型处理，推测下一个字，然后不断重复前面的过程，就可以生成大段的内容了。

这就是为什么我们跟AI聊天的时候，它生成的内容总是一个字一个字的输出的原因。

如果大家想要进一步搞清楚Transformer机制，可以参考以下两个视频：

90分钟！清华博士带你一口气搞懂人工智能和神经网络_哔哩哔哩_bilibili

https://www.youtube.com/watch?v=wjZofJX0v4M&t=1169s