持续更新 · 精选 AI 工具与中文实测 2026 年 10 月 19 日

AI 工具评测

DeepSeek 长上下文实测指南:1M 上下文应该怎么测

长上下文测试的设计方法:先定义能力维度,再设计材料与干扰项,用不自欺的判分规则记录指标,并列出最容易失败的材料类型。

AI 芯片与算力
本文目录 10 节

支持更长上下文,只说明模型能接收更多内容,不等于它能准确找到每一个细节。DeepSeek 这类模型的上下文规格再大,也需要你自己设计测试,去验证它在什么长度、什么位置上还能用对。这篇给的是测试设计方法:测哪些能力、材料怎么造、指标怎么记、哪类材料最容易失败。

先说结论:测的是稳定性,不是窗口数字

标称上限是厂商口径,不是推荐日常用量。不管标称的数字是百万级还是更小,测试方法都是一样的:多长的材料还能稳定召回;关键信息放在不同位置结果是否一致;长材料下指令与格式还能不能保持;同样的输入重复运行,答案是否稳定到可以进生产流程。这四个问题答不上来,窗口数字再大也只是宣传语。

第一步:先定义能力维度,再动手造材料

建议至少覆盖五类能力,每类单独设计材料与判分规则:

  1. 精确定位:材料里放唯一事实,比如编号、日期、型号,看能否准确取出。
  2. 跨段推理:答案必须结合相距很远的两到三段内容才能得出,而不是一段里就能抄到。
  3. 冲突识别:放入不同版本或互相矛盾的信息,看它是主动指出冲突,还是随便挑一个当作正确答案。
  4. 指令与格式保持:长材料或长对话之后,是否仍遵守最初约定的输出结构。
  5. 引用可定位:能否返回文档名、章节或原文片段,让复核的人找得到出处。

把维度先写下来再动手,比先准备一堆材料、事后补判分标准省事得多。

第二步:材料怎么造才有区分度

  • 长度分档:不要只测一个长度。至少在几个不同量级上各跑一遍,观察表现从哪一档开始下降。
  • 位置分层:同一事实分别放在开头、中段、结尾,以及被大量相似内容包夹的位置。
  • 干扰项设计:加入相似但不相同的事实,比如同类别的另一个编号、日期只差几天,看它会不会取错。
  • 保留真实文档特征:表格、页眉页脚、脚注、扫描页都要留着,这些往往在解析阶段就已经丢了信息。
  • 语言混排:如果你的材料是中英混排、术语缩写多、简称和全称交替出现,测试材料就要照这个特征造。

还有一条纪律:同一批测试材料对每个模型必须完全一致,否则结果不可比。

第三步:判分怎么做才不自欺

  • 先写判分规则,再看输出。规则里明确命中要点算通过、方向对但细节错算不通过。
  • 不要让模型给自己打分,也不要用同一个模型去判断另一个模型的答案。
  • 每条答案都要求给出出处,无法定位的引用按未通过处理。
  • 同一问题跑多次,记录一致性。只对了一次,不算稳定可用。
  • 留意看起来对的回答:它可能只是复述了你的问题,并没有回答它。

第四步:记录哪些指标

  • 输入规模:材料实际的长度与文件数量,不要只记标称值。
  • 首字延迟与完整耗时:长材料下这两者往往差距很大,直接决定能不能用在交互场景。
  • 命中率与错误类型:把错误分成没找到、找错、找到了但结论错三类,改进方向完全不同。
  • 引用可定位率:能回到原文的比例,这是能否进入人工复核流程的前提。
  • 重复运行一致性:同一输入多次运行,结论是否相同。
  • 成本口径:按输入规模与调用次数统一折算,便于和检索方案横向比较。

如果只记一个数字,那么它应该是命中率,而不是耗时。

什么材料最容易失败

  • 扫描件与图片型文档:文字识别阶段就可能出错,模型再强也救不回丢失的字符。
  • 跨页表格与复杂版式:列与列的对应关系在解析时最容易被打散。
  • 同一文档的多个版本:不做版本标注时,模型容易混用新旧数据。
  • 超长对话历史:越靠前的内容越容易被后来的信息覆盖,关键约束需要重复声明。
  • 需要精确计算的材料:长材料下的数值提取容易出现转录错误。

把这些材料单独整理成一份压力样本,每次换模型或升级版本都重跑一遍,比临时找材料可控得多。

长上下文和检索增强怎么选

资料量有限、需要整体把握风格与语调时,直接把材料交给模型更省事;资料持续增长、要求引用可追溯、需要按权限隔离时,先检索再回答更合适,成本也更好控制。生产系统常见的是混合做法:先检索出候选片段,再把必要的上下文交给模型,并要求它在答案里带上来源。横向对比其他模型时要注意,各家的上下文规格与计费口径并不相同,别只比窗口数字。

上线前检查清单

  • 数据是否获准发送到所选服务,是否包含个人信息或客户数据;
  • 失败时有没有降级路径与人工复核环节;
  • 引用能否回到原文,能否支撑日后的审计;
  • 延迟与成本在峰值流量下是否可接受;
  • 模型或档位变化后,同一套测试能不能原样重跑。

常见误区

  • 把厂商公布的最大窗口当成推荐日常用量,长期贴着上限跑,成本和延迟都会很难看。
  • 只测材料末尾,忽略中间位置的衰减,结论会偏乐观。
  • 用模型给自己打分,或用同一个模型判断另一个模型的答案。
  • 忽略解析环节:你以为在测模型,其实在测文件解析器。
  • 只跑一次就下结论,没有区分稳定表现和偶然命中。

这些误区有一个共同点:把测试当成一次性的验证动作,而不是可重复的资产。真正省时间的做法是第一次就把材料、规则和记录表搭好,之后每次只花很少的力气。

把测试变成可重复的资产

测试用例本身才是长期资产。把材料、提问、判分规则和记录表放在一起版本化,每次模型更新后重跑,你得到的是可对比的历史数据,而不是一次又一次的印象。测试记录里不要只留结论,要留原始输出,否则下次无法判断差异来自模型还是来自你的判分尺度。选型层面的取舍可以参考 DeepSeek 模型选型指南 和 GPT 与 DeepSeek 怎么选,版本变化后的迁移动作见 DeepSeek 模型更新解读。

模型能力、上下文规格与计费方式都会持续变化,具体上限请以官方文档为准。本文只提供测试设计与评估方法,不包含我们没有实际执行的实测数值。

相关阅读

同一场景下的其他工具与工作流。

全部文章

相关工具

文中工具的能力、价格与替代方案。

全部工具

DeepSeek

对话问答

中文语境里最容易被低估的一条:国内可直接注册使用,网页与 App 免…

中文优先 国内可直接使用 开源模型 网页与 App 免费 API 按量计费

网页与 App 免费 + API 按量计费 详情