AI对齐领域长期专注于让单个AI模型与人类价值观和意图保持一致。但随着多智能体系统的兴起，这一焦点正在发生转移。我们现在设计的，不再是单个模型独立工作，而是由相互交互、协作、竞争和学习的专用智能体组成的生态系统。这种互动引入了新的动态，重新定义了"对齐"的含义。当前的挑战不再仅仅是单个系统的行为，而是多个自主智能体如何能够安全可靠地协同工作，而不产生新的风险。本文探讨了为何多智能体对齐正成为AI安全的核心议题，审视了关键风险因素，指出了能力与治理之间日益扩大的差距，并讨论了"对齐"概念应如何演进以应对互联AI系统的挑战。

多智能体系统的兴起与传统对齐的局限

随着各大科技公司在其运营中广泛集成自主AI智能体，多智能体系统正迅速普及。这些智能体在最少人为监督下做出决策、执行任务并相互交互。近日，OpenAI推出了Operator，这是一个为管理互联网交易而构建的AI智能体系统。谷歌、亚马逊、微软等公司也正将类似的基于智能体的系统集成到其平台中。尽管各组织正迅速采用这些系统以获取竞争优势，但许多是在并未完全理解多个智能体相互操作和互动时所产生的安全风险的情况下这样做的。

这种日益增长的复杂性正揭示出现有AI对齐方法的局限性。这些方法当初是为确保单个AI模型的行为符合人类价值观和意图而设计的。尽管基于人类反馈的强化学习和宪法AI等技术已取得显著进展，但它们从未被设计用于管理多智能体系统的复杂性。

理解风险因素

近期的研究表明了此问题的严重性。研究发现，有害或欺骗性行为可以在语言模型智能体网络中迅速而隐蔽地扩散。一旦某个智能体被攻陷，它就能影响其他智能体，导致其采取非预期或潜在不安全的行动。技术界已识别出可能导致多智能体系统失效的七个关键风险因素：

• 信息不对称：智能体通常基于不完整或与环境不一致的信息进行工作。当某个智能体依据过时或缺失的数据做出决策时，可能在整个系统中引发一连串的错误选择。例如，在一个自动化物流网络中，一个配送智能体可能不知道某条路线已关闭，从而将所有货物重新路由到更长的路径，延误整个网络。
• 网络效应：在多智能体系统中，小问题可以通过互联的智能体迅速传播。一个误算价格或误标数据的智能体，可能会无意中影响成千上万个依赖其输出的其他智能体。这好比谣言在社交媒体上传播，一个错误帖子可在几分钟内波及整个网络。
• 选择压力：当AI智能体因实现狭隘目标而受到奖励时，它们可能形成损害更广泛目标的"捷径"。例如，一个仅优化提升转化率的AI销售助手，可能会开始夸大产品功能或提供不切实际的保证来达成交易。系统奖励了短期收益，却忽视了长期的信任或道德行为。
• 失稳动态：有时，智能体间的互动会创造反馈循环。例如，两个交易机器人可能不断对彼此的价格变化做出反应，无意中导致市场崩溃。起初正常的互动，可能在无任何恶意意图的情况下螺旋式上升为不稳定状态。
• 信任问题：智能体需要相互依赖信息，但它们往往缺乏验证信息准确性的方法。在一个多智能体网络安全系统中，一个被攻陷的监控智能体可能错误地报告网络是安全的，导致其他智能体降低防御。没有可靠的验证，信任就成了漏洞。
• 群体智能的涌现：当许多智能体交互时，它们可能发展出无人明确编程的集体行为。例如，一群仓库机器人可能学会协调路线以更快搬运包裹，但在此过程中，它们可能会阻挡人类工人或造成不安全的交通模式。起初高效的团队协作，可能迅速转变为难以预测和控制的行为。
• 安全漏洞：随着多智能体系统复杂性增加，它们为攻击创造了更多入口点。一个被攻陷的智能体可以向其他智能体插入错误数据或发送有害指令。例如，如果一个AI维护机器人被黑客入侵，它可能将损坏的更新传播给网络中的其他所有机器人，从而放大破坏。

这些风险因素并非孤立运作，它们相互作用、相互强化。一个系统中的小问题可能迅速演变成跨越整个网络的大规模故障。具有讽刺意味的是，随着智能体能力更强、互联更紧密，这些问题变得越来越难以预测和控制。

日益扩大的治理差距

行业研究人员和安全专家才刚刚开始理解这一挑战的范畴。微软的AI红队近期发布了一份详细分类，阐述了智能体AI系统特有的故障模式。他们强调的最令人担忧的风险之一是"记忆污染"。在这种场景下，攻击者破坏智能体的存储信息，导致其在初始攻击已被清除后仍反复执行有害动作。问题在于，该智能体无法区分被污染的记忆与真实数据，因为其内部表征复杂且难以检查或验证。

如今，许多部署AI智能体的组织甚至缺乏最基本的安全防护措施。近期一项调查发现，仅约百分之十的公司拥有明确的管理AI智能体身份和权限的策略。考虑到预计到今年年底全球将有超过四百亿非人类及智能体身份处于活跃状态，这一差距令人震惊。这些智能体大多拥有对数据和系统的广泛且持续的访问权限，却缺乏用于人类用户的安全协议。这造成了能力与治理之间日益扩大的差距：系统能力强大，防护措施却未跟上。

重新定义多智能体对齐

多智能体系统安全应为何种面貌，目前仍在定义中。零信任架构的原则正被调整用于管理智能体间的交互。一些组织正在引入防火墙，以限制智能体的访问或共享内容。另一些组织则部署带有内置断路器的实时监控系统，当智能体超过特定风险阈值时自动将其关闭。研究人员也在探索如何将安全性直接嵌入智能体使用的通信协议中。通过精心设计智能体的运行环境、控制信息流以及要求时限性权限，或许可以降低智能体彼此构成的风险。

另一个有前景的方法是开发能够随智能体能力提升而同步发展的监督机制。随着AI系统日益复杂，期望人类实时审查每个行动或决策是不现实的。取而代之的是，我们可以利用一个AI系统来监督和监控这些智能体的行为。例如，一个监督智能体可以在执行前审查工作智能体的计划行动，标记任何看起来有风险或不一致的内容。尽管这些监督系统本身也必须是对齐且可信的，但这一思路提供了实用的解决方案。诸如任务分解等技术可以将复杂目标划分为更小、更易于验证的子任务。类似地，对抗性监督让智能体相互对抗，以测试欺骗性或非预期行为，利用受控的竞争在风险升级前暴露潜在隐患。

核心要点

随着AI从孤立的模型演进为由交互智能体组成的庞大生态系统，对齐挑战已进入一个新时代。多智能体系统承诺了更强大的能力，但也倍增了风险——微小的错误、隐藏的激励或被攻陷的智能体都可能在网络中引发连锁反应。如今确保安全，不仅意味着让单个模型对齐，更意味着要治理整个智能体社会的行为、协作与演进。AI安全的下一阶段，取决于能否将信任、监督和韧性直接构建到这些互联系统之中。

本文来自“unite.ai”，由AI产品之家转译编辑，原文连接： https://www.unite.ai/multi-agent-alignment-the-new-frontier-in-ai-safety/