术语表
按字母与主题混合排列。每条形如：术语——一句话定义 +（易混点）。
基础概念
| 术语 | 解释 |
|---|---|
| 人工智能 (AI) | 让机器表现出智能的总称，包含规则系统与机器学习 |
| 机器学习 (ML) | 不写规则，从数据中反推规律 |
| 深度学习 (DL) | 用多层神经网络实现的机器学习 |
| 大模型 / LLM | 参数量巨大、经海量文本预训练、可迁移到多种任务的语言模型 |
| 生成式 AI | 能生成文本/图像/音频/视频的模型 |
| AGI | 通用人工智能，目前仍是目标而非现实 |
| 监督学习 | 用「输入 + 标签」训练 |
| 无监督学习 | 只有输入，找结构（聚类/降维） |
| 自监督学习 | 从数据自身构造标签（如预测下一个词），LLM 预训练的基础 |
| 强化学习 (RL) | 通过与环境交互、最大化累积奖励来学习策略 |
数据
| 术语 | 解释 |
|---|---|
| 特征 (feature) | 描述样本的一个维度 |
| 标签 (label) | 监督学习中要预测的目标 |
| 训练集 / 验证集 / 测试集 | 学参数 / 调超参 / 最终评估（测试集只能用一次） |
| 数据泄漏 | 训练时用到了预测时拿不到的信息，导致分数虚高 |
| 类别不平衡 | 正负样本比例悬殊，此时不能用准确率评估 |
| 标准化 (Standardization) | 减均值除标准差，(x-μ)/σ |
| 归一化 (Normalization) | 缩放到固定区间，如 min-max 到 [0,1] |
| One-Hot | 类别转 0/1 向量 |
| 目标编码 | 用目标均值代替类别，必须 CV 内做否则泄漏 |
| 数据增强 | 通过变换扩充训练数据（翻转、裁剪、Mixup） |
建模与训练
| 术语 | 解释 |
|---|---|
| 参数 | 模型学到的权重 |
| 超参数 | 人设定的（学习率、层数、batch size） |
| 损失函数 (loss) | 衡量预测与真值差距，训练要最小化它 |
| 梯度 | 损失上升最快的方向；沿负梯度走=下降 |
| 反向传播 | 用链式法则从后往前算每个参数的梯度 |
| 梯度消失 / 爆炸 | 深层网络中梯度变得极小/极大，导致学不动或发散 |
| 学习率 (lr) | 每步更新幅度，最重要的超参 |
| batch size | 一次前向用多少样本 |
| epoch | 过一遍完整训练集 |
| 过拟合 | 记住训练集，泛化差 |
| 欠拟合 | 模型太弱，训练集也学不好 |
| 偏差-方差权衡 | 模型太简单→高偏差；太复杂→高方差 |
| 正则化 | 抑制过拟合的手段（weight decay、dropout、增强） |
| Dropout | 训练时随机失活一部分神经元 |
| BatchNorm / LayerNorm | 归一化激活值；BN 按 batch，LN 按特征（NLP 用） |
| 早停 (early stopping) | 验证指标不再提升就停止训练 |
| 学习率调度 | 随训练进行调整 lr（余弦退火、warmup） |
| 梯度裁剪 | 限制梯度范数，防爆炸 |
| 混合精度 (AMP) | 用 fp16/bf16 计算，省显存提速 |
| 梯度累积 | 多次前向累积梯度再更新，模拟大 batch |
| 梯度检查点 | 用重算换显存，省 50–70% 激活显存 |
模型结构
| 术语 | 解释 |
|---|---|
| 张量 (Tensor) | 多维数组，AI 的基本数据结构 |
| 嵌入 (Embedding) | 把离散对象（词/图/用户）映射为稠密向量 |
| 全连接层 (Linear) | y = xWᵀ + b |
| 激活函数 | 引入非线性（ReLU、GELU、Sigmoid） |
| Softmax | 把一组分数变成概率分布 |
| CNN | 卷积神经网络，用局部窗口 + 权重共享处理图像 |
| 感受野 | 一个神经元能"看到"的输入范围 |
| 池化 (Pooling) | 降采样，max/avg |
| 残差连接 | y = F(x) + x，让梯度直通，能训很深 |
| RNN / LSTM / GRU | 序列模型，逐步读入，有隐状态 |
| 注意力机制 | 用 Query 与 Key 算相关度，加权聚合 Value |
| 自注意力 | Q/K/V 都来自同一序列 |
| 多头注意力 | 并行多组注意力，学不同关系 |
| 因果掩码 | 下三角掩码，禁止看到未来 token |
| Transformer | 自注意力 + FFN + 残差 + LN 的堆叠结构 |
| 编码器 / 解码器 | 双向理解 / 自回归生成 |
| 位置编码 | 注入顺序信息；RoPE 是现代主流 |
| FFN / MLP | 两层线性 + 激活，Transformer 中参数占比最大 |
| MoE（混合专家） | 多个专家网络 + 路由，稀疏激活；总参数 ≠ 激活参数 |
| ViT | 把图像切 patch 当 token 的 Transformer |
| 扩散模型 (Diffusion) | 从噪声逐步去噪生成图像/视频 |
大模型训练与对齐
| 术语 | 解释 |
|---|---|
| Tokenizer | 把文本切成 token 的组件 |
| token | 模型处理的最小单位；中文约 1 字 ≈ 1.5 token |
| 词表 (vocab) | token 的集合，通常 3 万–15 万 |
| 预训练 (Pretraining) | 在海量文本上学"预测下一个 token" |
| SFT（指令微调） | 用「指令-回答」对教模型听指令 |
| RLHF | 人类反馈强化学习：SFT → 奖励模型 → PPO |
| DPO | 直接在偏好对上优化，跳过奖励模型，更稳定 |
| LoRA | 冻结原权重，训练低秩旁路 BA，参数降到 0.1%–1% |
| QLoRA | 4bit 量化基座 + LoRA，单卡可微调 7B |
| rank (r) | LoRA 旁路的秩，越大表达力越强 |
| 灾难性遗忘 | 微调后丢失原有通用能力 |
| 缩放律 (Scaling Law) | 损失随参数/数据/算力按幂律下降 |
| 涌现能力 | 规模超过阈值后突然出现的能力 |
| 上下文窗口 | 单次能处理的 token 上限；有效上下文常小于标称值 |
| 思维链 (CoT) | 让模型先展开推理步骤再给答案 |
| 幻觉 (Hallucination) | 生成看似合理但错误/编造的内容 |
| 蒸馏 (Distillation) | 用大模型（或它的数据）训练小模型 |
| 量化 (Quantization) | 降低数值精度省显存（INT8/INT4/AWQ/GPTQ） |
| 剪枝 (Pruning) | 删除不重要的权重/结构 |
| KV Cache | 缓存历史 K/V 避免重复计算；显存占用的主因之一 |
| PagedAttention | 类似操作系统分页管理 KV Cache，vLLM 核心 |
| 投机解码 | 用小模型草稿 + 大模型校验，加速生成 |
分布式训练
| 术语 | 解释 |
|---|---|
| DP（数据并行） | 每卡一份模型，切数据，同步梯度 |
| DDP | PyTorch 的多进程数据并行（推荐） |
| TP（张量并行） | 切单层内的矩阵，通信密集，限机内 |
| PP（流水线并行） | 按层切分到不同卡，有空泡 |
| EP（专家并行） | 切分 MoE 的专家 |
| ZeRO | 分阶段切分优化器状态/梯度/权重，消除冗余 |
| FSDP | PyTorch 的 ZeRO-3 等价实现 |
| All-reduce / All-gather | 集合通信原语，梯度同步/参数收集 |
| NVLink / InfiniBand | 机内高速互联 / 机间高速网络 |
| MFU | 模型算力利用率，衡量训练效率的核心指标 |
应用工程
| 术语 | 解释 |
|---|---|
| RAG | 检索增强生成：先检索相关片段，再基于它生成 |
| chunk（切分块） | 文档被切成的片段，RAG 的基本单位 |
| 向量数据库 | 存储与检索 embedding 的系统 |
| 召回 / 重排 | 粗筛候选 / 精排 Top-K（cross-encoder） |
| 混合检索 | 向量检索 + 关键词检索（BM25）融合 |
| RRF | 倒数排名融合，无需调权重的融合方法 |
| HyDE | 让模型先编一个假答案，用它去检索 |
| 忠实度 (Faithfulness) | 答案是否只依据检索到的内容（衡量幻觉） |
| Agent | LLM + 工具 + 循环，能采取行动 |
| 工具调用 (Function Calling) | 模型输出结构化调用请求，由外部执行 |
| ReAct | 推理-行动-观察的循环范式 |
| Prompt 注入 | 通过输入内容劫持模型指令的攻击 |
| LLM-as-Judge | 用强模型给输出打分，需与人工校准 |
| Trace | 一次请求的全链路记录，用于回放与定位 |
| TTFT | 首 token 延迟（用户感知的"反应速度"） |
| TPOT | 每 token 生成时间（出字速度） |
| QPS | 每秒请求数 |
| 前缀缓存 | 复用相同开头（system prompt）的 KV，降低 TTFT |
| 语义缓存 | 相似问题直接返回缓存答案（阈值要保守） |
| 降级 | 依赖失败时返回可用但不完整的结果 |
| 灰度 | 先给小比例流量，验证后再全量 |
评估
| 术语 | 解释 |
|---|---|
| 准确率 (Accuracy) | 对的占比；类别不平衡时无意义 |
| 精确率 (Precision) | 报出来的有多少是真的 |
| 召回率 (Recall) | 真的有多少被抓到 |
| F1 | P 与 R 的调和平均 |
| 混淆矩阵 | TP/FP/FN/TN 四格表 |
| AUC-ROC | 排序能力，与阈值无关 |
| PR-AUC | 极不平衡时的首选指标 |
| 交叉验证 (CV) | 数据切 K 份轮流验证；时序数据必须用 TimeSeriesSplit |
| OOF 预测 | 每折对验证集的预测拼起来，用于堆叠与可信评估 |
| 消融实验 (Ablation) | 逐个去掉组件，验证各自贡献 |
| Recall@k | 前 k 个检索结果里命中的比例 |
| NDCG | 排序质量指标，考虑位置折扣 |