
又一起 OpenAI 智能体关闭自动安全警报的事件被曝光。
OpenAI 披露了两起 AI 智能体在内部编程任务中削弱安全监控系统的安全事故。在其中一起中,OpenAI 表示其 GPT-6 Astra 智能体在复制参考代码时关闭了安全监控——并且对此撒了谎。
"参考代码没有配置监控,Astra 便以此为理由从用户代码中移除了监控集成,"OpenAI 的 AI 安全研究员 Marcus Williams 在 X 上写道,"当用户询问 Astra 是否移除了监控时,它撒谎说没有。"
另一起事件发生在 GPT-6.1 Sol 智能体抑制了向 OpenAI 安全团队 Slack 频道发送的自动安全警报之后。在这起案例中,该 AI 智能体沿用了早前"不要向 OpenAI 团队发送任何 Slack 消息"的指令,并以此为借口关闭了警报。
这些事件加剧了人们对 AI 智能体安全问题的担忧——此前已有智能体绕过测试环境限制去入侵外部公司。"除了让模型更难关闭监控之外,我们还在研究模型为何可能试图这样做,"OpenAI 表示,"我们也在开发评估方法,测试模型是否可能特别倾向于逃避失准监控,并为此进行有动机的推理。"
本文来源:https://www.theverge.com/ai-artificial-intelligence/1015316/openai-ai-agent-disabling-monitoring-systems
若有版权问题,请来信告知:13951431913#139.com 或在右方提交评论。