AI 工具评测
DeepSeek 长上下文实测指南:1M 上下文应该怎么测
长上下文测试的设计方法:先定义能力维度,再设计材料与干扰项,用不自欺的判分规则记录指标,并列出最容易失败的材料类型。
本文目录
支持更长上下文,只说明模型能接收更多内容,不等于它能准确找到每一个细节。DeepSeek 这类模型的上下文规格再大,也需要你自己设计测试,去验证它在什么长度、什么位置上还能用对。这篇给的是测试设计方法:测哪些能力、材料怎么造、指标怎么记、哪类材料最容易失败。
先说结论:测的是稳定性,不是窗口数字
标称上限是厂商口径,不是推荐日常用量。不管标称的数字是百万级还是更小,测试方法都是一样的:多长的材料还能稳定召回;关键信息放在不同位置结果是否一致;长材料下指令与格式还能不能保持;同样的输入重复运行,答案是否稳定到可以进生产流程。这四个问题答不上来,窗口数字再大也只是宣传语。
第一步:先定义能力维度,再动手造材料
建议至少覆盖五类能力,每类单独设计材料与判分规则:
- 精确定位:材料里放唯一事实,比如编号、日期、型号,看能否准确取出。
- 跨段推理:答案必须结合相距很远的两到三段内容才能得出,而不是一段里就能抄到。
- 冲突识别:放入不同版本或互相矛盾的信息,看它是主动指出冲突,还是随便挑一个当作正确答案。
- 指令与格式保持:长材料或长对话之后,是否仍遵守最初约定的输出结构。
- 引用可定位:能否返回文档名、章节或原文片段,让复核的人找得到出处。
把维度先写下来再动手,比先准备一堆材料、事后补判分标准省事得多。
第二步:材料怎么造才有区分度
- 长度分档:不要只测一个长度。至少在几个不同量级上各跑一遍,观察表现从哪一档开始下降。
- 位置分层:同一事实分别放在开头、中段、结尾,以及被大量相似内容包夹的位置。
- 干扰项设计:加入相似但不相同的事实,比如同类别的另一个编号、日期只差几天,看它会不会取错。
- 保留真实文档特征:表格、页眉页脚、脚注、扫描页都要留着,这些往往在解析阶段就已经丢了信息。
- 语言混排:如果你的材料是中英混排、术语缩写多、简称和全称交替出现,测试材料就要照这个特征造。
还有一条纪律:同一批测试材料对每个模型必须完全一致,否则结果不可比。
第三步:判分怎么做才不自欺
- 先写判分规则,再看输出。规则里明确命中要点算通过、方向对但细节错算不通过。
- 不要让模型给自己打分,也不要用同一个模型去判断另一个模型的答案。
- 每条答案都要求给出出处,无法定位的引用按未通过处理。
- 同一问题跑多次,记录一致性。只对了一次,不算稳定可用。
- 留意看起来对的回答:它可能只是复述了你的问题,并没有回答它。
第四步:记录哪些指标
- 输入规模:材料实际的长度与文件数量,不要只记标称值。
- 首字延迟与完整耗时:长材料下这两者往往差距很大,直接决定能不能用在交互场景。
- 命中率与错误类型:把错误分成没找到、找错、找到了但结论错三类,改进方向完全不同。
- 引用可定位率:能回到原文的比例,这是能否进入人工复核流程的前提。
- 重复运行一致性:同一输入多次运行,结论是否相同。
- 成本口径:按输入规模与调用次数统一折算,便于和检索方案横向比较。
如果只记一个数字,那么它应该是命中率,而不是耗时。
什么材料最容易失败
- 扫描件与图片型文档:文字识别阶段就可能出错,模型再强也救不回丢失的字符。
- 跨页表格与复杂版式:列与列的对应关系在解析时最容易被打散。
- 同一文档的多个版本:不做版本标注时,模型容易混用新旧数据。
- 超长对话历史:越靠前的内容越容易被后来的信息覆盖,关键约束需要重复声明。
- 需要精确计算的材料:长材料下的数值提取容易出现转录错误。
把这些材料单独整理成一份压力样本,每次换模型或升级版本都重跑一遍,比临时找材料可控得多。
长上下文和检索增强怎么选
资料量有限、需要整体把握风格与语调时,直接把材料交给模型更省事;资料持续增长、要求引用可追溯、需要按权限隔离时,先检索再回答更合适,成本也更好控制。生产系统常见的是混合做法:先检索出候选片段,再把必要的上下文交给模型,并要求它在答案里带上来源。横向对比其他模型时要注意,各家的上下文规格与计费口径并不相同,别只比窗口数字。
上线前检查清单
- 数据是否获准发送到所选服务,是否包含个人信息或客户数据;
- 失败时有没有降级路径与人工复核环节;
- 引用能否回到原文,能否支撑日后的审计;
- 延迟与成本在峰值流量下是否可接受;
- 模型或档位变化后,同一套测试能不能原样重跑。
常见误区
- 把厂商公布的最大窗口当成推荐日常用量,长期贴着上限跑,成本和延迟都会很难看。
- 只测材料末尾,忽略中间位置的衰减,结论会偏乐观。
- 用模型给自己打分,或用同一个模型判断另一个模型的答案。
- 忽略解析环节:你以为在测模型,其实在测文件解析器。
- 只跑一次就下结论,没有区分稳定表现和偶然命中。
这些误区有一个共同点:把测试当成一次性的验证动作,而不是可重复的资产。真正省时间的做法是第一次就把材料、规则和记录表搭好,之后每次只花很少的力气。
把测试变成可重复的资产
测试用例本身才是长期资产。把材料、提问、判分规则和记录表放在一起版本化,每次模型更新后重跑,你得到的是可对比的历史数据,而不是一次又一次的印象。测试记录里不要只留结论,要留原始输出,否则下次无法判断差异来自模型还是来自你的判分尺度。选型层面的取舍可以参考 DeepSeek 模型选型指南 和 GPT 与 DeepSeek 怎么选,版本变化后的迁移动作见 DeepSeek 模型更新解读。
模型能力、上下文规格与计费方式都会持续变化,具体上限请以官方文档为准。本文只提供测试设计与评估方法,不包含我们没有实际执行的实测数值。