L5AI 应用工程

周期：5–7 周 · 前置要求：L4

这是岗位最多、也最容易做出成果的一层。 模型是别人的，产品是你的；差别全在工程。

这一阶段的分水岭

初级做法	高级做法
调 API，拼 Prompt，跑通了	有评测集，改动能证明没变差
「感觉回答变好了」	有数字：准确率 82% → 91%
不知道一次对话多少钱	有成本台账，每千次 ¥X
出错就看日志猜	有 trace，能定位到具体检索片段
上线靠手动	有灰度、限流、回滚

L5 的产出标准是「一个真实用户在用的系统」，不是「一个 demo」。

学习清单

顺序	章节	时长	核心收获
1	RAG：让模型用上你的数据	2 周	切分、向量化、混合检索、重排、引用
2	Agent：规划、工具调用与记忆	1.5 周	工具设计、循环控制、多智能体、坑
3	评测与可观测	1 周	离线集、在线指标、trace、回归
4	部署与成本	1.5 周	服务化、缓存、限流、成本核算

AI 应用的通用架构

用户输入
   ↓
① 输入处理（清洗、意图识别、路由、敏感词）
   ↓
② 上下文组装
   ├─ 检索（RAG：向量 + 关键词 + 重排）
   ├─ 记忆（会话历史、用户画像）
   └─ 工具结果（Agent 循环中）
   ↓
③ 模型调用（选型 + Prompt + 结构化输出）
   ↓
④ 输出处理（解析、校验、脱敏、引用标注）
   ↓
⑤ 记录（trace、成本、反馈）
   ↓
响应

只有 ③ 是「调模型」，其余四层全是工程。 而体验差异 80% 来自 ①②④。

通过标准

• 有一个公网可访问的 AI 应用，有真实用户使用
• 有 ≥100 条的评测集，每次改动都跑
• 每次请求都有 trace，能回放「检索了什么、模型说了什么」
• 有一张成本表：单次成本、日成本、优化前后对比
• 有失败兜底：超时、限流、降级、人工接管

里程碑项目：一个垂直领域 AI 应用

项	要求
形态	客服/文档问答/数据分析助手/工作流自动化，选一个
数据	真实文档 ≥ 50 篇（自有或公开）
关键能力	RAG + 至少一个工具调用 + 结构化输出
工程	流式输出、会话记忆、错误兜底、成本记录
评测	100 条测试集，报告准确率/忠实度/延迟/成本
上线	部署到公网，能给别人用

这份完整项目是你简历上最有说服力的一段。

常见卡点

卡点	真相
「RAG 效果差就换模型」	90% 的问题在切分与检索，不在模型
「Agent 什么都能做」	单步可靠 + 明确工具 > 花哨的多智能体
「先上线再补评测」	没有评测就永远不知道自己在进步还是退步
「上下文塞得越多越好」	无关内容会稀释注意力并提高成本
「Prompt 调好就完事」	生产问题来自并发、超时、脏输入

下一步

→ RAG：让模型用上你的数据