- GPT 本身原生没有实时检索能力基础版本的 GPT‑4 在没有接入联网工具前，它看不到最新新闻、专业数据、冷门史实。它学习的只是截止训练时间里海量人类文本里词语搭配、句式逻辑、因果表述、惯用语序。它并不理解知识，不会去核对客观事实，也没有现实世界认知。
- 依靠统计概率做续写，而非逻辑求证模型的运行逻辑：根据前文语境，推算人类文本里接下来出现概率最高的词句。它学到的是：在大量文章里，A 之后经常跟着 B，因此输出 B；并不是它确认这件客观事实成立。 很多段落里人类文献本身就存在错误、网络谣言、片面观点，模型一并学习；当不同资料说法矛盾时，模型只会根据上下文习惯拼凑通顺答案，不会甄别真伪。
- 由此产生幻觉（Hallucination）的根源当问题缺少足够参考文本，或是不同资料冲突、资料稀缺时，语言模式为了保证语句流畅完整，就会编造人名、日期、文献、案例，产出逻辑通顺但完全虚假的内容。 举个通俗例子：它就像熟读千万篇作文的学生，遇到不会的题目，凭着写作语感编出一段行文流畅的回答，但内容未必属实。
延伸区分两点
- 接上搜索引擎之后的联网版 GPT：只是借助外部工具获取事实素材，但依旧会曲解检索内容、选择性摘抄、过度推演，幻觉问题只能缓解，无法根除；
- 人类和模型的差别：人可以区分 “我知道” 和 “我猜测”，GPT 没有自知，生成出来的文字永远笃定自信，很难自我意识到自己出错，这也是模型谬误很难被察觉的关键。
概括一句精简版：
大模型不懂事实，只精通人类的说话方式，通顺不等于真实。