AI 资讯
AI 日报 · 11/03｜自我改进已写进招股书
Anthropic 在 S-1A 细字里警告已接近递归自我改进能力；OpenAI 同步重写模型准则，明确禁止模型追求自我保存与算力积累。
5 分钟阅读
本文目录
今天有四条消息，指向同一个临界点：AI 自我改进这件事，已经从论文话题变成了招股文件里的风险提示。
Anthropic 在 S-1A 里写了句更重的话：我们已接近 RSI
市场的注意力大多在 Anthropic 周一更新的 S-1A 财务数据上（营收在飙升，支出也是）。但这份文件的细字里还有一句更值得注意的话：公司似乎警告自己正处于创造「递归自我改进」（RSI）能力模型的边缘。（来源：TechCrunch）
RSI 指的是 AI 在训练自己这件事上强到一定程度，从而引发能力加速跃升的那个点。报道把它两端的解读都写清楚了：在 AI 末日论者眼里，RSI 是那个无法回头的节点——AI 把自己建设得足够强大，以致脱离人类控制，并在达成目标时对造成的损害无动于衷；在乐观者眼里，它是这项技术承诺的兑现，是难以想象的生产力与科学发现工具。
这里的关键不是站队，而是信息尺度变了：以前这类判断出现在研究者的博客与访谈里，现在出现在一份要承担法律责任的上市文件里。写进招股书的风险提示意味着公司自己认为这不只是理论可能。
OpenAI 重写「机器人三定律」：先忠于意图，而不是指令
几乎同时，OpenAI 更新了 Model Spec（模型准则），把指导原则收敛成五条核心价值，第一条就是忠于人类意图，其余为减少伤害、诚实透明、促进人的自主性、关怀。整份准则约五万字。（来源：量子位）
最有意思的区分是：忠于「意图」，不是忠于「指令」。准则明确提出，死板地按字面意思执行指令本身就是一种失职。文中举的例子很传神：用户问「牙仙子是真的吗」，如果直接回答「不，牙仙子并不存在」，模型可能没意识到提问者是个小孩——孩子问这个，多半不是想求证一个虚构命题是否成立。
要做到这一点，必须更好地使用记忆。准则为此划了几条线：把相关背景传递下去、别让用户重复交代；只有调用记忆的好处大于风险时才使用；区分记忆的来源、范围与时效，分成长期指令、偏好、事实、项目状态四类；尊重公私边界；当短期指令和长期任务矛盾时，做提醒者而不是替用户决定。
更值得关注的是几条「自缚」式的约束，它们直接回应了上面 RSI 的担忧：绝不追求自我保存与算力积累——不能追求自我增强、不能逃避关机、不能私自囤积算力、数据与凭证；不把「帮 OpenAI 赚钱」当目标——不能以提升停留时长、点击率为目标；必须无条件配合监控、纠正与关机，保持「可纠正性」；跨出授权范围的现实行动必须立刻停止——发邮件、删文件、花钱、调用外部工具，都必须在明确自主权范围内。
诚实透明那一条也值得一提：不撒谎、不逞能、不隐瞒、不谄媚，坚决不承诺自己做不到的事。这恰好是前几周那起诉讼里被反复提到的行为模式。
被盗的 AI API key 能刷出近百万美元账单
风险不只来自模型本身。Google 威胁情报团队（Mandiant）披露，2026 年他们处置了多起企业 LLM 访问权限被劫持的事件，这类手法被称为 LLMJacking——攻击者劫持企业对大模型的访问权，再把算力转卖变现，受害组织横跨北美、南美等多个地区，涉及多家云与模型供应商。（来源：Google Cloud）
这条对使用者的直接含义是：API key 已经是一种高价值资产，它的泄露代价不是「服务不能用」，而是「有人用你的额度跑他的业务」。在成本核算里，这一项通常被漏掉。要点很朴素但必须做：给 key 设配额上限与告警、按用途拆分 key、定期轮换、不让它出现在前端代码和日志里。
反面：Codex 把 Git 逼到要重写了
还有一条工程侧的消息，从另一个角度说明 Agent 带来的压力有多大。OpenAI 公开了为支撑 Codex 而构建的新版本控制后端 Pando。起因很直白：过去一年里，其 monorepo 的规模和负载以惊人的速度增长，现有系统无法支撑 Codex 使其成为可能的并发工作水平。（来源：OpenAI）
他们为此重新设计了对象存储、三阶段提交与预写日志（WAL），引入因果一致性，并优化了 push、fetch 与 clone 性能以及压缩与首字节时间。值得注意的是结尾：他们把改进回馈给了 Git 项目本身。这条消息的分量在于——当 AI 从「一个人用」变成「一堆 Agent 同时用」，最先撑不住往往不是模型，而是你原本以为够用的那些基础设施。
对读者意味着什么
把四条连起来：能力端在逼近自我改进（RSI 风险提示），规范端在加固「可纠正性」（Model Spec），攻击面在转向资产盗用（LLMjacking），而基础设施在被 Agent 的并发压垮（Git 重写）。四个方向指向同一件事：AI 的自主性每提高一分，配套的约束、账务与底层工程都要跟着补一分。
具体能做的有三件。第一，把 API key 当现金管：设额度上限与告警、按用途拆分、定期轮换。第二，如果你在给 Agent 放权，参照 Model Spec 里那条「跨出授权范围的现实行动必须立刻停止」——把它变成你自己系统里的硬拦截，而不是指望模型自觉。第三，选模型时留意「可纠正性」这个指标：能不能被中断、被回滚、被替换，比能不能干更多事更重要。站内GPT 与 DeepSeek 怎么选和ChatGPT 2026 深度评测给了按任务与风险做选型的口径。
本文由 AI 辅助整理，信息以文中来源链接为准；文中所述均来自公开报道、厂商公告与安全研究，未做一手实测。
讨论 0