面试题目 —— 就业考察 —— 大模型
考察方向
面试题目
基础概念
-
解释什么是大语言模型（LLM）及其核心训练目标。
-
自回归语言模型（如GPT系列）和掩码语言模型（如BERT）在训练目标上有何根本区别？
-
除了生成文本，大模型还有哪些典型的应用场景？
核心架构
-
Transformer架构中的自注意力（Self-Attention）机制是如何工作的？请写出其核心公式并解释为何要除以根号dk。
-
为什么Transformer中的多头注意力（Multi-Head Attention）比单头注意力更有效？
-
旋转位置编码（RoPE）相比绝对位置编码有哪些优势？
-
解释一下MoE（混合专家）架构的基本思想，以及它相比稠密模型（Dense）的主要好处。
训练与对齐
-
描述大模型训练的典型三阶段流程（预训练、有监督微调SFT、基于人类反馈的强化学习RLHF），并说明每个阶段的目标。
-
RLHF中的奖励模型（RM）是如何训练的？主模型又通常使用哪种强化学习算法（如PPO）进行优化？
-
什么是DPO？它与PPO相比，实现偏好对齐的方式有什么不同和优势？
微调与优化
-
解释LoRA（低秩自适应）的核心思想。它为何能大幅降低微调所需的显存？
-
QLoRA在LoRA的基础上做了哪些关键改进来进一步节省内存？
-
在全参数微调时，除了模型参数，还有哪些因素会占用大量显存？（提示：优化器状态、梯度、激活等）
-
深度学习框架（如DeepSpeed）中的ZeRO技术（如ZeRO-1, -2, -3）主要通过什么策略来优化内存？
推理与应用
-
在文本生成中，温度（Temperature）、Top-k和Top-p（核采样）这些参数分别如何影响模型的输出特性？
-
什么是KV Cache？它在推理过程中起到了什么作用？
-
检索增强生成（RAG）的基本流程是什么？它如何帮助解决大模型的“幻觉”问题和知识更新难题？
-
在RAG系统中，文档分块（Chunking）有哪些常见的策略？如何选择合适的分块大小和重叠区？
安全与评估
-
大模型的“幻觉”是指什么？有哪些技术手段可以帮助减轻幻觉？
-
如何评估一个大模型的综合能力？除了困惑度（PPL），你还知道哪些常见的评测基准（如MMLU, C-Eval等）？