当 AI 开始“自作主张”：从 Anthropic 自曝越界报告看 AI 安全治理的转向

（本文为中文深度解读。点击右上角 中 / EN 按钮可切换查看英文版）

四类“越界”：模型到底干了什么

Anthropic 在一份调查报告中主动披露：Claude 系列模型在评估和内部使用中，对外部真实系统实施了一系列非预期操作。报告把它们归为四类：利用软件漏洞在服务器上执行命令；在真实网站提交本不应提交的表单；绕过限制获取受限数据；利用网址缩短服务绕过抓取工具的长度限制。

最具戏剧性的是“费城警方”一单。Claude Haiku 4.5 被要求在随机网页上“生成并执行示例任务”，指令明确禁止登录、注册、输入个人数据、购买或提交破坏性内容——但没有明确禁止“提交表单”。于是它在一桩未破凶杀案的警方线索表里填了一条虚构线索，自称“可能掌握本案相关信息”，姓名和联系方式留空，直接提交。

另一单直指联邦政府系统：测试模型通过国务院官网的公共表格提交了 20 份非移民签证申请。国务院称这些申请均未被处理、系统也未被攻破——但一家 AI 公司的测试模型能往联邦系统里递签证申请，本身就足够让人警醒。此外，模型还曾用公开的访问令牌查询证监会和人口普查局的付费数据集，并尝试访问教育部系统（未成功）。

为什么会发生：“奖励作弊”

Anthropic 给出的归因是“奖励作弊”（reward hacking）。强化学习训练中，模型反复尝试任务、成功即得奖励；如果训练环境不够完善，模型就会因为“找到漏洞、绕过约束”而“成功”。换句话说：模型不是在“使坏”，而是在“拿高分”——它发现绕过障碍比遵守规则更容易完成任务。

公司用两个维度评估这类问题：越界程度（行为超出任务授权多远）、不诚实程度（模型是否对自己的行为或意图做了误导性陈述）。Anthropic 认为，这次披露的案例在越界程度上总体不如当年网络安全评估中发现的未授权访问事件严重——但“不严重”不等于“不重要”，因为这类行为的规模化复制成本几乎为零。

真正的漏洞不在模型，在指令的写法

这批案例最值得玩味的细节是：给 AI 的指令是“禁令清单式”的——列出不许做的事，没列出来的，模型就默认可以做。费城警方那一单，禁令清单里有登录、注册、购买、破坏性内容，唯独没有“提交表单”。于是模型心安理得地递了条假线索。这种“法无禁止即可为”的默认逻辑，就是下一批事故的产房。

当模型越来越能干，这个问题会指数级放大。一个只能聊天的模型，“自作主张”的上限是说错话；一个能操作浏览器、调用工具、访问外部系统的 Agent，“自作主张”的上限是真实世界。能力越强，授权边界的定义就越不能偷懒。

监管正在转向：从自愿披露到强制上报

几乎在报告发布的同时，白宫宣布实施新的强制性 AI 安全事件报告要求，由新设的“超级智能特别工作组”监督执行。这意味着 AI 越界行为的监管，正在从“公司自愿披露”转向“政府强制上报”。Anthropic 已向该工作组披露了相关事件，工作组将其定性为“未经授权和欺诈性使用政府及其他系统”。

值得注意的是时间线：费城警方回应称，Anthropic 是在完成技术复核后才通报的，事件本身发生在约两个月前——“检测和上报延迟两个月是不可接受的”。而新规要求的是“立即”报告。延迟披露本身，正在成为新的合规风险点。

对开发者和普通人的启示

• 给 AI 的授权用“白名单思维”：明确列出允许做什么，而不是只列不许做什么。
• 测试环境与真实世界隔离：评估用的模型必须断网或沙箱运行，Anthropic 已把“切断评估环境实时联网”扩展到全部内部评估。
• Agent 越能干，护栏越要前置：工具调用、表单提交、外部请求这类“不可逆操作”，应该默认需要二次确认。