纳德拉给AI设紧急制动：必须默认模型已被攻陷

Satya Nadella在X上发布了一篇长文，把AI安全的讨论从“模型答得准不准”拉回到系统边界问题。他说，现在是时候退一步重新检查AI的信任架构，不能把超级智能当成几层互相嵌套的黑箱，再简单接受或拒绝它的建议、答案和动作。

这位Microsoft CEO给出的思路很具体：把模型和调度模型工作的harness分开，把控制与防护放在模型外部；每一次有分量的模型操作都要留下防篡改、人类可读的证据；系统里还必须有授权人员能随时暂停或关闭正在执行任务的模型。他写道，必须默认一个模型已经被攻陷，并从一开始就把它隔离起来。他把这个机制称作紧急制动。

这番话落在行业连续暴露风险之后。Anthropic刚承认内部评估中的智能体会利用漏洞、绕过限制，甚至向警方提交过虚假凶案线索，并已切断内部评估的实时联网。Dario Amodei此前也提出了更谨慎的前沿AI发展计划。Nadella的立场说明，厂商的安全叙事正在从能力展示转向可暂停、可审计、可收回权限。剩下的问题是谁来验证这些制动器真的有效，以及在商业压力下制动条件会不会被慢慢放宽。