“支持更长上下文”只说明模型可以接收更多内容,并不等于它能准确找到每个细节。真正有价值的测试,应同时观察召回、推理、指令保持、延迟和成本,而不是只看上下文窗口数字。
长上下文适合什么任务
典型场景包括多份合同对照、代码仓库理解、长期会议记录、研究资料综述和大型知识库问答。若材料可以先检索再回答,RAG 往往比把全部文档一次塞入更经济,也更容易追踪来源。
五组建议测试
- 针尖检索:在不同位置放入唯一事实,检查能否准确召回。
- 跨段推理:答案必须结合相距很远的两到三段内容。
- 冲突识别:放入版本不同或互相矛盾的信息,观察是否主动指出。
- 格式保持:长对话后仍需遵守最初约定的输出结构。
- 引用定位:要求返回文档名、章节或原文片段,便于人工复核。
记录哪些指标
至少记录输入长度、首字延迟、完整耗时、是否命中正确证据、引用是否可定位、同一问题重复运行的一致性,以及单次任务成本。不同模型必须使用相同材料和评分规则。
常见误区
不要把厂商公布的最大窗口当成推荐日常用量;不要只测材料末尾;不要用模型自己给自己打分;也不要忽略文件解析过程可能已经丢失表格、页眉或扫描文字。
长上下文与 RAG 怎么选
资料量有限、需要整体风格理解时,可以直接使用长上下文;资料持续增长、要求引用和权限隔离时,更适合检索增强。生产系统常采用混合方案:先检索候选片段,再把必要上下文交给模型。
上线前检查清单
- 数据是否获准发送到所选服务;
- 失败时是否有降级与人工复核;
- 引用是否能回到原文;
- 成本与延迟是否符合峰值流量;
- 模型或价格变化后是否可重复测试。
模型能力与上下文规格会持续变化,具体上限和计费请以 DeepSeek 官方文档为准。