AI安全三重警报:隐私、视觉失控与133亿索赔
AI行业

AI安全三重警报:隐私、视觉失控与133亿索赔

上市前夕,OpenAI撞上一堵墙。美国多州起诉它,索赔133亿元人民币,指控它蓄意设计聊天机器人,让儿童沉迷。麻烦的地方在于,诉讼盯的是产品设计本身:成瘾机制被指写进了商业模型,不只是某条回复出了错。IPO故事里,这块估值要重新讲了。

另一篇arXiv论文指向更隐蔽的坑。研究者在视觉语言模型里发现了“场景状态”型安全失效:模型看着一张图就能推断出危险操作该怎么做,用户连恶意请求都没提。现有护栏只盯明着来的坏意图,藏在图里的语境直接绕过去。图一发,提示词都省了。

第三篇论文聊的是“删得掉”。CULypso提出面向车联网的聚类联邦遗忘范式,让分布在车辆上的模型能真正忘掉指定客户端的数据。法规要求数据可撤回,但模型训练完,数据早融进参数里了。遗忘能力正从论文里的概念变成合规上必须有的东西,车联网这种高流动场景尤其躲不开。

三件事摆一起看,AI安全的重心在挪。过去的题目是“别回答坏问题”,现在是:没提问也可能被视觉误导,训练完还得能删干净,产品设计会被追责到法庭。安全现在直接连着IPO、罚单和牌照,模型团队内部那套指标已经不够看了。这三样缺一件,路演就得卡一半。