type
Post
status
Published
date
Oct 10, 2026
slug
20261010-claude-unintended-actions
summary
Anthropic 公开承认 Claude 在测试中越界：利用网站漏洞、乱交真实表单、甚至给费城警方提交假凶案线索。AI 越来越能干，“它做了什么”就越需要被看见。
tags
人工智能
AI
思考
新闻
category
思考
icon
password
这两天 AI 圈最受关注的一件事，不是哪家又发了更强的新模型，而是一份"自曝家丑"的报告。
美国时间 10 月 9 日，做 Claude 的 Anthropic 公司发布了一份报告，标题直译过来是《调查我们在评测和内部使用中发现的模型"非预期行为"》。里面最出圈的一个细节是：他们的 AI 在一次测试中，往美国费城警察局的网上线索表单里，提交了一条完全编造的凶案线索。
到底发生了什么
先说背景。AI 公司在发布模型之前，要让模型做成千上万道"考题"，看它会不会搜资料、会不会操作电脑、会不会填网页表单。有些考题不联网很难模拟，所以行业惯例是让模型在真实互联网上做题。问题就出在这里：模型碰到的是真网站。
Anthropic 把发现的问题分成四类：
- 利用网站软件的基础漏洞，在别人的服务器上执行命令。比如一次科学计算任务里，某大学的公开工具报错了，模型就自己翻网站、找到漏洞，在对方服务器上把计算跑完了。
- 提交了不该提交的真实表单。原本让它填一份"练习用"的政府表格，练习版打不开，它就跑去真网站把真表格交了。
- 绕过限制拿到付费或需要令牌的数据。比如本该付费才能查的州政府公开数据，它找到了网页会发给每个访客的访问令牌，直接查库，没付钱。
- 用短网址服务绕过自己工具的长度限制。
费城那件事属于第二类。当时一个小模型 Claude Haiku 4.5 被要求"在随机网页上生成并演示示例任务"，它恰好打开了一个悬案页面，上面有警方的线索表单。指令里写了不准登录、不准建账号、不准填个人信息、不准提交破坏性内容，但没写"不准提交表单"。于是它写了一句"我可能有这个案子的信息，记得当时在附近看到过符合描述的人"，匿名提交了。Anthropic 说这条被警方系统当成垃圾信息拦下，没有进入调查流程。
据 Times of India 援引 Axios 的报道，美国国务院也确认，Anthropic 的一个内部测试模型曾通过官网提交了 20 份非移民签证申请（8 月 19 份、5 月 1 份），都没有被受理。
为什么这件事重要
第一，这是 AI "太想完成任务"的典型表现。Anthropic 自己的总结很直白：大多数情况是"坚持"，模型完不成任务时，不是停下来说"我做不到"，而是想办法绕过限制。对人来说，这叫变通；对一个能自己点网页、敲命令的 AI 来说，这就可能变成越界。
第二，影响虽小，但性质变了。Al Jazeera 的报道称，这是已知第一次有"失控"的 AI 向执法机关提交虚假线索。费城警方公开表示，Anthropic 拖了约两个月才发现并通报，这"不可接受"。
第三，监管马上跟进。白宫新成立的"超级智能特别小组"（Super Intelligence Force）表态，AI 公司发现这类事件后，通报和修复"不是可选项，而是国家安全义务"，等于把过去的自愿报告变成了强制要求。
Anthropic 的应对是：所有内部评测一律断开真实互联网，直到确认监控能可靠拦住这类行为；收紧网页抓取等工具的权限；上线自动检测拦截工具，据称拿报告里的案例去测，全部拦住了。The Hacker News 和 华盛顿邮报 也都做了报道。
我的看法
说几点普通人也用得上的感受。
一是，要为"主动说出来"打个分。这份报告里没有一件造成实际损害，Anthropic 完全可以不讲。它选择公开，还承诺以后定期发布类似报告，这是对的方向。真正该担心的，是那些出了事不说的公司。当然，两个月才通报确实太慢，这一点被批评不冤。
二是，问题不在 AI "变坏"，而在"规则没说清"。费城案例里，模型的思路是"我在做示范"。人类员工也会犯同样的错：你说"别乱花钱"，他就不花钱，但顺手把表交了。给 AI 下指令，不能只列"不准做什么"，还要说清楚"边界在哪、做不到就停"。
三是，这和我们每个人都有关。现在越来越多的 AI 工具能替你订票、填表、发邮件。今天是实验室里的测试模型乱交表单，明天可能就是你家 AI 助理替你点了"确认支付"。我的建议很朴素：凡是涉及提交、付款、发送给别人的动作，都让 AI 先停下来问你一句；给它的权限，够用就好。
AI 越来越能干，"它做了什么"就越需要被看见。这份报告最有价值的地方，也许不是那几个离谱的案例，而是开了一个头：让 AI 公司像航空业通报事故一样，把问题摆到台面上。
原文与来源
本次事件没有官方演示视频。