GPT6仍面临安全挑战 自主能力增强难监控

  9月3日,OpenAI发布了新一代旗舰模型GPT-6 Astra,将其视为公司十年来推进通用人工智能(AGI)进程中的关键里程碑。OpenAI总裁兼联合创始人格雷格・布罗克曼表示,Astra是一次代际飞跃,甚至可能被视为AGI时代的开始。

  

  Astra是OpenAI迄今为止规模最大的训练项目。研究副总裁艾丹・克拉克透露,公司在得州Stargate数据中心使用超过10万张GPU进行预训练。算力规模的扩大使Astra在完成现实世界任务方面表现突出。例如,它能在KiCad中完成印刷电路板布局,在Unity中构建3D城市,在FreeCAD和Blender中制作动画汽车变速器,并根据W-2表格起草纳税申报材料。此外,Astra还能跨越浏览器、代码和专业软件执行多步骤工作,而不再只是生成文字或代码。OpenAI称,Astra在计算机操作、浏览器使用、软件工程、科学研究和专业工作等多项评测中达到新的前沿水平。

  与之前主要依赖聊天窗口的模型不同,Astra能够直接进入软件环境执行任务:打开应用、读取资料、操作界面、编写代码、验证结果,再根据反馈继续修改。然而,这次发布也伴随着更严峻的安全约束。Astra是OpenAI首个达到《防范准备框架》关键网络安全能力阈值的模型。在获得适当工具和权限后,Astra能够发现未知的软件漏洞,并在没有人类逐步指导的情况下,为受到良好防护的系统设计新的攻击方式。

  因此,OpenAI没有直接向所有用户开放全部能力,而是首先向受信任的网络安全组织开放,并针对高级网络安全任务设置限制。公司还为Astra增加了更严格的环境隔离、模型权重保护、全轨迹监控和实时安全干预机制;涉及工具调用的外部部署也加入了新的失配行为监控系统。

评论

发表回复