2.1 大语言模型的构建过程
大语言模型（如GPT-3、PaLM、LLaMA）的构建分为两个核心阶段：
2.1.1 大规模预训练
预训练使用海量无标注文本数据（如2-3T词元）初始化模型参数，技术路径源于Transformer解码器架构的"预测下一个词"任务。关键挑战包括： -数据质量：需严格清洗有毒内容，多源数据配比影响模型能力 -算力需求：百亿参数模型需百卡A100集群训练数月，千亿级需万卡规模 -经验性技术：学习率调整、异常监测等未公开细节依赖研发人员经验
2.1.2 指令微调与人类对齐
预训练模型通过以下步骤优化任务适配性： 1.指令微调(SFT)：使用数万至百万级任务示例数据激发模型能力（如单机八卡A100可完成7B模型微调） 2.人类对齐(RLHF)：通过偏好排序训练奖励模型，强化价值观对齐（如InstructGPT方案）
2.2 扩展法则
2.2.1 KM扩展法则
OpenAI提出的幂律关系揭示： - 模型损失$L$与参数规模$N$、数据量$D$、算力$C$呈指数关系（$α_N≈0.076$,$α_D≈0.095$） - 可分解为不可约损失（数据固有熵）与可约损失（模型优化空间）
2.2.2 Chinchilla扩展法则
DeepMind提出优化算力分配： - 最优参数与数据规模满足$N_{opt}∝C^{0.46}$,$D_{opt}∝C^{0.54}$ - 指出GPT-3(175B参数)的300B训练词元远未达数据饱和点
2.3 涌现能力
2.3.1 典型能力
- 上下文学习(ICL)：如GPT-3(175B)通过示例提示解决新任务
- 指令遵循：FLAN-PaLM(62B+)在BBH基准展现零样本推理
- 逐步推理：PaLM(540B)通过思维链提示提升数学解题能力
2.3.2 争议与机理
- 可能源于评估指标离散性（如代码通过率）
- 与扩展法则的平滑增长趋势存在矛盾
2.4 GPT系列技术演进
- 早期：GPT-1(2018)确立Transformer解码器架构
- 扩展：GPT-3(2020)实现175B参数+上下文学习
- 增强：Codex引入代码训练，InstructGPT应用RLHF
- 跃升：GPT-4(2023)支持多模态与128K上下文，采用可预测扩展训练机制