中国吧 · 原创文章 | AI 教程
上下文工程实战指南 2026:让 AI 记住更多、答得更准
(本文为中文实战教程。点击右上角 中 / EN 按钮可切换查看英文概要)
提示词工程不够用了:什么是上下文工程
提示词工程教你「怎么问」;上下文工程解决的是更底层的问题——「给 AI 准备什么样的信息环境」。你可以把大模型想象成一个记忆力超强但只能看到眼前的实习生:他有多聪明,取决于你每次交给他多少、以及多准的资料。
更准确地说,上下文工程是为模型建立一套信息的「供应链」:哪些资料进上下文、以什么顺序进、占多少 token 预算、什么时候该删、什么时候该压缩。做好这件事,同一个模型能从「答非所问」变成「一针见血」。
先做选择题:RAG 还是长上下文?
做知识库问答时,新手最常纠结:到底该做检索增强生成(RAG),还是直接把文档塞进超长上下文?答案不是二选一,而是「先从哪一层开始、在什么信号下升级」的分层决策:
| 维度 | RAG(检索增强) | 长上下文直灌 |
|---|---|---|
| 推理成本 | 较低:只处理检索出的相关片段 | 极高:每次都处理全部上下文 |
| 工程复杂度 | 较高:要搭检索流水线 | 较低:开发流程简单 |
| 知识规模 | 几乎无限,随向量库扩展 | 受窗口上限限制 |
| 精确定位 | 强:适合查条款、错误码、版本号 | 弱:上下文越长,「大海捞针」越不准 |
| 可审计性 | 高:可引用检索来源 | 低:难追溯答案依据 |
实战建议:如果知识库还在中小规模(Anthropic 官方建议约 20 万 token 以下可先直接进提示词),先做长上下文第一版,配合提示词缓存把反复复用的系统指令和文档底稿缓存起来(缓存读取只按基准输入价的约 0.1 倍计费),一周内交给业务试用;等文档滚雪球、定位型问题变多、延迟和成本失控时,再升级到 RAG。
五个实战策略:从分区到压缩
无论走 RAG 还是长上下文路线,下面五个策略都经过大量实践验证,可以直接套用:
- 上下文分区与隔离:把上下文分成指令层、目标层、记忆层、知识层、工具层,每层分配独立的 token 预算和出现顺序,确保关键信息始终可见;
- 用 RAG 做「选料」:通过检索动态注入相关知识。记住:上下文不是「堆料」而是「选料」——垃圾信息只会让模型又傻又慢;
- 合理装载工具:给每个工具写清晰无歧义的「说明书」(函数文档),只装载最相关的工具(可用 RAG 筛选工具描述),工具报错要返回有引导性的信息而不是简单的 Tool Error;
- 修剪、卸载、压缩:长任务中上下文会滚雪球式膨胀——不相关的删掉(修剪)、阶段性结果写到外部存储备查(卸载)、用摘要提高信息密度(压缩);
- 让智能体自己长记性(ACE):斯坦福等团队提出的框架,给智能体一份可演化的「策略手册」——每次任务后反思失败原因、沉淀为经验,下次任务自动带上。不用改模型参数,智能体靠上下文的演化实现「自我成长」。
Agent 时代:上下文就是它的「运行时」
自主智能体的兴起,把上下文工程推到了新高度。对智能体来说,上下文不再只是输入的背景资料,而是它思考、决策和行动的动态「运行时环境」——每一次「思考-行动-观察-反思」循环,都要靠上下文来记录和管理。
这里有个反直觉的最佳实践:目前阶段,上下文的连贯性比执行的并行性更重要。像 Claude Code 这样的成功系统会有意避免并行执行,让主智能体始终拥有完整统一的上下文——因为多个子智能体各自为战时,它们的「世界观」会逐渐漂移,最终输出自相矛盾的结果。可靠性,压倒了并发性。
新手上手的检查清单
- 先量规模:知识库小于约 20 万 token,先做长上下文第一版,别一上来就搭向量库;
- 先做引用:无论哪条路线,第一版就要让回答能引用依据,这是可信度的底线;
- 开缓存:系统指令和文档底稿走提示词缓存,成本直接降一个数量级;
- 看失败日志:升级 RAG 的时机不看教程看日志——定位型问题变多、延迟失控,就是信号;
- 别迷信参数:chunk 大小、embedding 选型都是局部优化,先回答「我的问题更像语义搜索还是精确匹配」这个根本问题。
常见问题 FAQ
什么是提示词缓存?
把反复复用的长内容(系统指令、文档底稿)缓存起来,后续请求只按约 0.1 倍基准价计费读取部分,大幅降低长上下文方案的成本。适合指令和知识相对稳定的场景。
RAG 和微调,哪个先做?
先做 RAG / 上下文工程。上下文解决的是「知识」问题(让模型知道新信息),微调解决的是「行为风格」问题(让模型按固定格式、语气输出)。大多数业务先把知识供给做好,效果提升最明显。
上下文窗口越大越好吗?
不是。窗口只是上限,不是质量。塞进太多不相关信息,模型会变慢、变贵,还更容易「大海捞针」失败。上下文工程的核心恰恰是克制:选料比堆料重要。
小团队从哪里起步最划算?
三步:① 把知识库整理成干净文档,直接进长上下文做第一版;② 开提示词缓存控成本;③ 上线后看失败日志,定位型问题多了再升级 RAG。先让业务跑起来,再谈架构优雅。