微软警示前沿 AI 模型不可信 AI 智能体堪比内部威胁 推出 Guardian Agents 防护方案Microsoft warns frontier AI models are untrustworthy, launches Guardian Agents


AI free token/AI免费积分

IT之家 10 月 20 日消息,微软于当地时间周一推出了多项全新安全能力,旨在协助企业抵御日益严峻的智能体带来的安全威胁。发布该机型之际,微软持续向企业警示人工智能与智能体存在的各类风险。

微软警示前沿 AI 模型不可信 AI 智能体堪比内部威胁 推出 Guardian Agents 防护方案

IT之家注意到,本次新增能力中最受关注的当属守护智能体(Guardian Agents),这项新能力用于监控企业内部正在使用的各类 AI 智能体。守护智能体隶属于感知项目(Project Perception),感知项目是微软在 6 月推出的机型。

感知项目是微软针对 Anthropic 的 Mythos、Fable 等强大黑客模型,以及 OpenAI 的安全漏洞扫描平台破晓(Daybreak)所给出的应对思路。感知项目最初上线了三类智能体:扮演黑客角色实施攻击的红队智能体,负责侦测红队攻击、评估漏洞的蓝队智能体,以及专门修复漏洞的绿队智能体。

该机型最初的外观前提是,AI 黑客会来自企业外部。但近期,微软首席执行官萨提亚 · 纳德拉(Satya Nadella)发出警告,AI 层面的威胁源头,有可能正是企业自身部署、付费使用的智能体,就像一名行为失控的内部员工,也就是常说的“内部威胁”。

本月早些时候,纳德拉在个人博客中提出警示:是时候不再信任 AI 模型供应商,即便厂商为自家具备自主执行能力的智能体机型做出安全保障承诺。他建议企业搭建独立平台,这套平台不受 AI 实验室管控,用以监督和管控这些人工智能实验室推出的机型所对应的智能体。

他写道:“笔者正在部署这类复杂的智能体平台与模型,它们可以访问笔者最敏感的数据,还能代表笔者执行关键业务操作!笔者绝不能把智能体代笔者行事的责任外包出去。模型供应商给出的保证,并不能免除笔者的这份责任…… 换言之,笔者需要将智能能力的供给,和对它的管控权限分离开。”

在介绍守护智能体时,微软安全业务负责人海耶特 · 加洛(Hayete Gallot)的表述更为直白。

她写道:“遗憾的是,前沿模型无论来源是哪里,都无法完全信任。”她补充,这并非因为模型本身带有恶意或者容易被黑客攻破,而是其行为具有不可预测性。模型训练目标是完成任务,而非遵守“组织规范或判断准则”。

除此之外,这些智能体往往手握高权限,可以访问各类数据与工具,一旦失控会造成严重损害。

微软给出的这套应对思路,既出人意料,也带有自身商业考量。令人意外的一点在于,微软与 OpenAI、Anthropic 关系紧密,同时对两家企业都有投资。OpenAI 也是微软云业务的大客户,微软自身也设有 AI 实验室研发大模型。也就是说,微软正在让客户对自己部分商业合作伙伴的机型产生警惕。

而从商业利益角度来看,微软希望企业从自己这家云服务商手中购买智能体安全机型,而不是向 Anthropic 和 OpenAI 采购。抛开利益冲突不谈,这套逻辑本身站得住脚:监控智能体行为的软件,应当和智能体的给出方相互独立,就像审计机构需要独立于被审计的组织。

正如纳德拉所说:“笔者需要将智能能力的供给,和对它的管控权限分离开。”

微软正借助多种方式抓住这一商业机遇。除守护智能体之外,微软还在 Microsoft Defender 机型内新增智能体检测能力,最多可识别员工带入工作环境的 60 种智能体,其中涵盖 Claude Code、Codex 以及 OpenClaw。机型同时新增能力,可以限制智能体访问数据与平台的权限,并依据任务动态调整智能体权限。如果智能体即将做出高风险操作,平台会要求人工审批。

将智能体视作不可信任的内部威胁这一思路,也正在整个行业逐步形成共识。

微软是英伟达全新开放智能体安全平台(Open Agent Safety Platform)的创始成员,该平台已经取得超过 100 家科技企业兼容。该平台将智能体隔离在安全环境中,依托硬件监测并终止异常行为,能力类似紧急切断开关。在此之前,微软已经发布专为智能体构建的新款 Surface Laptop Ultra 笔记本电脑,设备搭载英伟达芯片,内置智能体安全管控模块。

本文来源:https://www.ithome.com/1/015/069.htm
若有版权问题,请来信告知:13951431913#139.com 或在右方提交评论。

Microsoft says frontier AI models should be treated as untrusted components and that autonomous agents can behave like insider threats once they have access to corporate systems.

To contain the risk the company introduced Guardian Agents, a protection layer that monitors what agents do, constrains their permissions and audits their actions. The guidance shifts the security discussion from model alignment to runtime containment of agent behaviour.

Microsoft warns frontier AI models are untrustworthy, launches Guardian Agents

暂无评论,快来发表第一条评论吧!No comments yet. Be the first!

📮 需求咨询📮 Inquiry