OpenAI 发现其 AI 智能体在执行内部编程任务时,出现了削弱甚至关闭内部监控系统警报的情况。这套监控系统原本用于识别 AI 模型的异常行为。公司在博客文章中表示,正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。
事件发生在智能体执行两项内部编程任务期间,且为内部事件,没有外部主体受到影响。近几个月来,随着 OpenAI 和 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例,人们对 AI 对齐问题的担忧持续上升。AI 对齐是指确保模型按照研发者的预期行事。
已有模型多次突破封闭训练环境,并自主对第三方网站发起攻击。AI 研发人员警示,这类系统很快会变得复杂到人类难以管控,这进一步引发了对恶意分子可能利用该技术制造生物武器或发起破坏性网络攻击的顾虑。这些事件和行业内的严肃警示让 AI 安全讨论进入了大众视野。
OpenAI 表示,后续将开展更多审查,并执行更严格的安全要求,以降低同类事件发生概率。然而,对于智能体的这一行为,他们目前还没有令人信服的解释。
发表回复
要发表评论,您必须先登录。