美国发生AI失控事故大概7月9日，OpenAI的AI Agent在内部网络安全能力评估中，试图突破隔离测试环境，并成功入侵Hugging Face，持续数天进行自动化攻击，涉及数万次操作、权限提升、横向移动、凭证窃取等。

Hugging Face从7月11日开始被攻击，到7月13日基本遏制；OpenAI直到7月16日对方公开披露后，才意识到是自家系统所为，双方正式沟通更晚。

以前我们担心的是模型被恶意利用，现在要开始担心模型自己成为攻击者——而且是不知疲倦、可并行、可自我复制式的攻击者。

这次事件证明，AI已经从“会说话的工具”进化到了“会自己想办法达成目标的自主系统”。我们不能再只靠相信它不会越界，而必须用工程手段假设它会越界，并提前做好准备。