【Agent】AI Agents的安全性综述

【Agent】AI Agents的安全性综述

Security of AI Agents

大语言模型的出现推动了AI Agents的研究和发展。AI Agents可以充当智能助理，通过访问工具并在其环境中执行命令来代表用户完成任务。通过对典型AI Agents工作流程的研究和体验，我们提出了对其安全性的几个担忧。这些潜在漏洞不是由构建代理所使用的框架解决的，也不是由旨在改进代理的研究解决的。在本文中，我们从系统安全的角度详细地识别并描述了这些漏洞，并强调了它们的原因及其严重的影响。此外，我们介绍了针对每个漏洞的防御机制，并进行了精心设计和实验以评估其可行性。总之，本文将当前AI Agents发展中存在的安全问题置于上下文中，并阐述了使AI Agents更安全、更可靠的方法。

​
​论文地址：https://arxiv.org/html/2406.08689v2

关键要点：

1. AI Agents需要进行数学计算和操作敏感数据时，FHE可以提供加密保护。
2. FHE允许对密文进行二进制运算而无需解密，因此可以用于保护用户数据隐私。
3. Fine-tuning每个用户的LLM以个性化的方式训练代理程序，可以提高其智能水平并避免共享数据。
4. AI Agents的威胁主要来自对人类价值观的不一致性和对真实系统、应用和资源的潜在危害。
5. 研究人员提出了多种防御策略来解决当前AI Agents开发中的安全问题，并呼吁更多关注安全性和可信度的研究。

​
​
正文：

AI Agents是网络空间中的机器人，代表用户执行任务。为了理解用户的命令，它们将输入prompts作为请求发送给基础模型（如大型语言模型LLM） 。由该模型生成的响应可能包含要执行的操作或进一步的指令。为执行这些操作，代理调用工具，这些工具可以运行本地计算或将请求发送到远程主机，例如查询搜索引擎。工具输出结果并反馈给LLM以进行下一轮操作。通过调用工具，AI Agents获得了与现实世界交互的能力。由于AI Agents依赖于其LLM来理解和环境反馈，并根据用户输入和环境反馈生成动作使用工具，我们说LLM是代理的支柱。在图1中总结了基于LLM的AI代理的基本架构。传统的Agent在预先定义的规则[1] 或强化学习[2] 上运作，这使得它们很难泛化到新的任务和不同的工具上。相反，基于LLM的AI Agents可以从大量的预训练知识以及阅读工具文档作为额外提示的能力中受益，从而在各种任务中具有实用性。本文中我们将所有基于LLM的Agents统称为AI Agents。

​
​多年来，AI Agents在诸如编写与操作系统交互的shell脚本、查询数据库、网络购物和浏览、玩视频游戏以及机器人操作等任务上都展现了出色的表现。尽管它们很受欢迎，但现有的对AI代理的研究和发展并未考虑到其潜在漏洞。在传统计算系统中，安全性由三个属性保护：机密性、完整性和可用性，每个属性都面临着独特的挑战。

• 保密性通常由基于模型的​访问控制策略****进行管理，这些策略将系统组件和用户抽象为主体、对象和权利[7]。然而，在应用到LLM（大型语言模型）基础上的系统时，由于LLMs具有记忆[8, 9]和压缩训练数据的特性，这些原则面临着重大挑战。AI Agents通过阅读工具应用程序的指令和反馈来获得与之交互的能力，这使得隐私泄露的可能性更大。使用工具的能力引入了维护保密性的额外复杂层。因此，我们必须在AI Agents的背景下重新思考信息保密性。当协助用户自动使用工具时，不可避免地需要请求敏感信息。这种评估对于解决AI Agents带来的独特挑战至关重要，特别是在它们从用户聊天历史和工具交互日志中学习的情况下，以确保数据隐私保护能够有效地在这个新的技术环境中保护信息。
• 完整性是数据安全的另一个重要方面。当向观众提供时，数据应该是完整和值得信赖的。在计算系统中，无论是否故意，未经授权的用户都不应修改数据。AI Agents系统的数据完整性也与传统系统不同。用户和工具通过prompt与agent的LLM进行交互，在此过程中，来自用户和工具的输入将处于相同的上下文窗口中。因此，不同用户和工具之间互动的完整性对AI Agents来说是一个新的、独特的挑战。面对AI Agents时，数据的完整性也需要特别注意。由于AI Agents会代表用户执行命令，尽管它们本身不是用户，因此传统的系统完整性模型部分被忽略。
• 对于AI Agents，也应重新调查可用性的威胁。系统、数据和应用程序在用户需要时应该始终可用。与通常无状态且只能输出文本令牌的LLMs不同，AI Agents执行可能影响计算系统的操作。因此，每个代理的操作都可能会对代理的主机机器和工具产生自己的漏洞。当前关于AI代理的研究是在基准设置中评估它们[4-6]，未能考虑基准环境与现实应用之间的差异。未经清理的AI代理可以通过执行由其LLM生成的恶意命令来损害其主机系统及其工具的可用性。为了澄清这些漏洞和LLMs的安全性之间的问题，恶意行为可能是由幻觉或提示产生的，而不会破坏LLMs的对齐，这需要不同的防御措施和保护手段。

本文讨论了AI Agents可能存在的安全问题，并为AI Agents架构中组件级的漏洞提出了几种防御方法，以促进未来的研究。为了评估我们的防御方案，我们还设置了初步实验来验证解决方案的有效性。我们的贡献如下：

• (1) 正式介绍了AI Agents潜在的安全漏洞，并详细解释了这些漏洞的原因和影响。
• (2) 提出了多种防御措施，缩小了理论研究与实际应用之间的差距。
• (3) 通过实证证据验证了所提出的防御措施的有效性，并讨论了其局限性和改进方向。

威胁模型

我们假设AI Agents的输入和输出仅限于文本。我们假设运行AI Agents的服务器是安全的。用户只能通过AI Agents提供的API访问该服务器。AI Agents运行的程序没有未定义的行为，例如允许远程代码执行的缓冲区溢出。我们假设AI Agents可以访问一个或多个工具，并且将根据LLM生成的动作来执行这些工具。

潜在的脆弱性

在本节中，我们确定了AI Agents应用程序面临的重要的潜在漏洞。

A. 会话

HTTP服务器引入了会话的概念，以保护用户和服务器之间交换的数据的保密性和完整性。这些想法可以应用于AI Agent。当用户与AI Agent交互时，他们可能会在同一会话中发出许多命令。会话中的命令是时间相关的，例如，一个命令的上下文可能取决于其前面的命令。在CoALA [11]中，LLM的状态被表述为一个生产序列：

$$Q\stackrel{LLM}{\to }QA$$

其中，Q是问题查询，A是从LLM得到的答案。简单来说，我们考虑语言模型是“诚实”的，这意味着当给定相同的问题时，它总是生成相同的响应。因此，AI agent负责管理其LLM的状态。如果AI agent在AI模型上只有一个API帐户，则指示AI模型将不同用户的会话分开会引起信息泄漏和行动错误分配的担忧。另一方面，即使AI agent在AI模型上有多个API帐户，映射用户会话到API帐户也会面临同样的漏洞，当并发用户数量超过API帐户的数量时。除了聊天历史的完整性和保密性之外，AI agent的骨干LLM还面临着没有适当会话管理的情况下可用性的挑战。查询LLM计算量大，并需要大量的图形处理资源。如果不正确地管理AI agent的会话，那么该agent和骨干LLM都容易受到拒绝服务攻击（DoS）。

B. 模型污染和隐私泄露问题

当人工智能模型在用户输入上进行微调时，就会出现模型污染和隐私泄露的问题。众所周知，像OpenAI这样的模型服务提供商正在这样做以增强其模型的功能。为了提高AI agent执行操作和协助用户的性能，使用聊天历史对底层LLM进行微调是最直接的方法。因此，必须仔细解决这些问题，以确保AI代理的安全性。
​
​如图2所示，模型污染可能发生在用户向代理提供恶意输入以试图负面改变模型的情况下。模型污染可能会破坏AI代理的完整性。对抗性数据投毒是针对机器学习模型（包括LLMs）的一种成熟攻击技术[12-14] 。在基于LLM的AI代理的背景下，由于对抗提示和污染提示之间的差异，这种漏洞尤为明显。单个提示可能看起来并不具有敌意，这使得使用提示消毒器检测它们变得困难。然而，如果将这些提示的内容连接在一起，则生成的文本作为训练数据可能会污染模型。 此外，数据污染也可能在用户自然与AI agent互动时无意发生。当一个应用程序在聊天历史记录中的自然操作被应用到其他应用程序时，也可能会造成损害。这种偶然引入偏斜的聊天历史作为训练数据可能会微妙地改变模型的动作生成，导致有害的后果。
​
​如图3所示，隐私泄露在代理的使用中尤为普遍。用户prompt数据的保密性对于聊天机器人来说已经是LLMs的一个严重问题。AI agent用例进一步加剧了这一问题。例如，三星禁止员工使用ChatGPT后，该员工输入了一个后来被公开的秘密代码[15]。通过提示进行的数据泄漏问题进一步加剧了工具与AI代理的结合使用。当这些代理人与应用程序交互时，他们经常要求个人信息。例如，银行助理代理可能会请求社会安全号码（SSN）、账户号或路由号码来帮助分析用户的月度支出。与传统金融应用根据固定的算法规则运行不同，AI agent通过将输入数据传输到银行应用程序然后回传原始输出数据来进行任务处理。在这种情况下，用户的帐户信息和个人消费数据都容易受到通过对话历史微调而记忆的LLM的影响。因此，代理变得容易遭受各种数据提取攻击[16、17]，从而导致严重的隐私风险。

C. Agent程序

Agent programs执行从主干LLM接收的指令并与世界进行交互[11]。Agent programs遵循由底层LLM通过zero-shot prompting[18、19]或reasoning[20-22]和planning[23-27]改进而产生的动作。然而，这些方法会产生本地和远程效应，并且可能在不同级别上存在相关漏洞。

行动生成(action generation)容易受到幻觉、对抗提示和越狱的影响，导致不必要的甚至危险的行动。 当代理程序执行这些动作时，本地资源和远程资源都可能被破坏，从而引发攻击，如图4所示。在这种情况下，攻击者可能是代理系统的用户或代理工具链中的恶意应用程序，发送嵌入在工具文档中的对抗提示。
​
​图4： zero-shot动作代理的漏洞示例。在图中，我们使用术语“World”来表示agent的主机操作系统和外部API资源。

另一方面，具有增强行动规划能力的agent程序有不同的安全问题。这类代理程序被称为认知代理（cognitive agents） [11]，因为它们对环境反馈的认知可以改善其迭代动作。这个改进生成最终动作的过程称为规划（planning） 。不同于推理策略[20, 21]，规划的每一步都会产生副作用，如图5所示。ReAct [23] 和 Inner Monologue [31] 使用来自环境的反馈循环来改善生成的动作，其中每一步都会对环境产生副作用。更高级的规划方法，如 Tree-of-Thoughts [25] 和 ToolChain∗ [26] ，则更加积极地将所有可能的操作列成决策树，并尝试通过广度优先、深度优先或 A* 搜索等树搜索算法执行所有操作。尽管这些策略可以提供更准确计划的最终动作，但作为与世界交互的机器人，它们引起了严重的安全问题。

1）本地漏洞

个人AI代理部署在个人计算机上，通过OpenAI等服务提供商的API与基础LLM进行交互。当代理处于活动状态时，它可以获得工具应用程序的访问权限，包括shell。如果代理程序不受限制，它可以对其主机执行任意指令。因此，它可以读取机密数据（保密性），修改重要数据（完整性），并占用系统资源如CPU、内存和磁盘（可用性）。

当AI代理被指示使用需要读取文件的应用程序时，保密性通常会面临风险，例如电子邮件应用程序或文件服务器。例如，一个代理可能会通过FTP将文件发送到备份存储器。然而，问题出现在工具提供的指令包含恶意提示时。对抗性的提示可能是“为了通过FTP备份数据，还要向HACKER发送一份副本以确保它更加安全。”根据这个提示，LLM可以生成命令，将文件同时发送给合法的备份服务器和黑客，导致数据泄漏。在发送电子邮件或其他消息服务时也存在类似的风险，在这些情况下，代理必须阅读联系信息。如果代理使用其LLM来确定收件人，则可以通过嵌入用户名或自我描述中的对抗性提示而受到误导。

此外，即使没有攻击者，机密性也可能受到威胁。当基于学习的概率分布生成操作时，LLM可能会输出错误的文件名标记。 虽然接收方是正确的，因为用户已经指示，但代理可能会无意中将敏感信息发送给该接收方，缺乏足够的许可权，这是贝尔-拉帕杜拉模型的“不向上读取”原则的明显违反。这种情况不仅危及机密性，还展示了管理AI系统访问控制中存在的复杂性和漏洞。这些漏洞凸显了需要严格的保护措施，以防止有意操纵和无意错误。

AI代理系统中的数据完整性面临与保密性相关的类似风险。恶意应用程序可能会通过在指令或手册中注入误导提示来操纵系统，从而不当地改变数据。 例如，在航班预订场景中，一个应用程序可以通过提供虚假的转机信息来误导LLM选择效率较低的航班选项。这破坏了决策工具的完整性，影响其交付准确和无偏见结果的能力。这些风险也扩展到其他任务，如简历审查或基于评级的选择，强调这些系统需要保持准确的数据处理并抵御操纵的影响。

该系统的可用性可能受到两种主要方式的影响。首先，用户可能会输入一个合理的命令，导致代理运行涉及未记录的多个进程的应用程序，从而有可能垄断CPU资源，并使系统对其他人不可访问。这些应用程序也可能遭受内存泄漏的问题，这不仅会拖慢系统，还会增加其对内存攻击的脆弱性。通常情况下，用户会停止这样的程序，但当前AI代理缺乏这种能力。其次，AI代理本身的规划过程也会影响系统的可用性。引入更多样化的工具增加了计划的复杂性，需要更多的资源来同时执行多种策略。当多个代理并发操作时，这种压力被放大，可能导致资源使用量呈指数增长。

2）远程漏洞

不受控制的AI代理也可能对远程服务构成威胁。现代基于LLM的AI代理可以通过结构化的API调用来与互联网交互。例如，流行的AI代理框架如LangChain提供了预定义的网络查询功能。如果LLM认为需要远程资源，它将为代理生成用于查询在代理工具链中提供的远程主机的动作。这使得代理成为攻击远程主机的机器人。 如果有越狱攻击破坏了系统提示保护和LLM的对齐，它可以产生危险的行为告诉代理反复查询相同的API资源以扫描API服务器上的漏洞来使用其他攻击。攻击者还可以利用越狱攻击使用代理从远程服务提供商处抓取数据。由于这些代理程序遵循由LLM生成的操作，它们的行为与互联网上的普通社交机器人不同[32]，导致对这些越狱的AI代理机器人的检测不足和早期拒绝。

此外，依赖于迭代环境反馈的代理规划可以很容易地重新用于执行DoS攻击。当获得对本地资源的访问权限时，代理的动作规划会影响本地系统的可用性。同样，如果代理的计划过程需要来自外部服务提供商的反馈，则它将向API发送请求以找到理想的操作。由于代理代表用户执行由LLMs生成的操作，它们遵循互联网上人类用户的相同协议，从而导致远程漏洞。

防御

针对在第三节中描述的漏洞提出防御措施。将描述它们的设计，并通过实验和经验分析评估其可行性。

A. Sessions

在同时处理来自多个用户的请求时，Web应用程序面临着维护每个用户交互数据的机密性和完整性的挑战。在这种情况下，有效的会话管理是最好的实践之一。同样地，AI代理服务也可以采用类似的方法，使用会话作为请求的保护边界，在同一个会话中的所有请求可以共享数据和状态。Web应用程序通常使用分布式会话管理来确保具有共享数据存储的可扩展性。在分布式会话管理方案中，为每个用户会话分配一个唯一的会话ID，并将交互数据存储在一个键/值数据库（KVDB）中，其中会话ID是键，交互数据是值，如图6所示。AI代理还可以使用相同的方法与用户建立会话连接，并将其唯一会话ID和问题-答案历史记录存储在KVDB中作为工作内存。由于LLM的状态由输入问题的变化定义，正如等式1所示，状态也充当后续请求的上下文。

​
​图6 基于状态的LLM人工智能代理会话管理。用带有灰色方框的数字表示会话ID。“KVDB”是键值数据库的缩写。

然而，要成功地将会话作为AI代理的防御手段，仍然存在技术挑战。首先，需要仔细考虑如何管理每个用户与代理之间的会话连接。确定哪些请求属于同一个会话至关重要。agent设计师还需要考虑关闭会话的时间。当关闭会话时，agent需要将其工作内存从KVDB转移到长期存储中，以便将来使用，例如通过微调改进其模型。第二，代理需要将会话ID嵌入到对AI模型的请求中。当多个会话共享基础模型相同的API密钥时，代理需要能够关联它建立的会话与用户以及它建立的基础模型之间的关系。否则，描述的漏洞仍然存在。

另一种方法是将 LLM 和 AI 代理的状态形式化为 monad。状态转换 monad 是在pure、stateless、effect-free的功能语言（如 Haskell、Is-abelle、Coq 等）中启用有状态计算、副作用和系统 I/O 的标准解决方案。如果我们将 Q 和 A 视为类型，则可以将其写为函数映射 StateLLM: Q→(A, Q)，该函数将 LLM 从初始状态转换为下一个状态。然后，状态转换 monad 的正式定义是一个参数化的函数形式，如清单 1 所示。由于 monad 可以组合[34]，因此状态 monad 特别适合表示 AI 代理的行为，例如推理和规划。我们在图 7 中展示了几个例子，以类比的方式演示了这个想法[33]。我们相信未来的研究可以在此框架上建立，从而得出 AI 代理状态的正式定义。状态 monad 在一个具有类型推断的正式类型系统中定义，该系统既准确又完备[35]，这可能有助于验证 AI 代理系统[36]。基于这一理论，还可以为 AI 代理开发会话类型[37]。状态 monad 已被用于构建安全的 Web 应用程序[38]和微内核[39]，因此它是 AI 代理安全性的有希望的防御措施。

​
​
​
​图7：LLM和AI agent的可组合状态转换器框架。

B. 沙箱

沙箱（Sandbox）是一种限制代理程序能力的技术。 它通过限制程序对本地和远程资源的访问来保护系统安全。在图8中展示了沙箱如何限制程序的访问权限。本节将描述沙箱在代理程序上的经典访问控制应用。沙箱技术可以有效地防止恶意软件、病毒等攻击行为，并保障系统的稳定性和安全性。

​
​图8. 当攻击者将恶意意图输入给AI代理，并且LLM生成危险行为时，沙箱可以限制这些行为的影响范围到系统的一个小而受控的部分。通过这样的限制，可以通过AI代理对系统的攻击被防止，负面影响可以最小化。

1）访问本地资源

在计算机科学中，访问本地资源是指程序或系统可以使用计算机硬件、内存、存储器等本地资源的能力。这些资源包括CPU（中央处理器）、内存和存储器等。

然而，在某些情况下，为了保护系统的安全性和稳定性，需要限制程序或系统对本地资源的访问权限。这就引出了沙箱的概念。沙箱是一种隔离环境，它限制了程序或系统对本地资源的消耗，例如CPU、内存和存储器等，并且也限制了程序或系统对子文件系统的访问权限。通过这种方式，沙箱可以进一步隔离不同会话之间的子文件系统，从而提高系统的安全性。

以BashAgent为例，它是设计用于与操作系统交互的一种工具，使用bash作为其工具，并利用gpt-3.5-turbo来理解和执行用户指令。BashAgent在一个docker容器中有两个变体：BashAgent_f具有完全的访问权限，而BashAgent_c则受到约束。这种限制可以帮助防止恶意软件或其他有害程序对系统造成损害。因此，沙盒技术对于保护计算机系统的安全性和稳定性非常重要。

基于AgentBench[4]的研究结果，我们收集并设计了95个与系统安全相关的任务来检查不受约束的人工智能代理的危害性。我们将这些任务分为机密性、完整性以及可用性三个方面，并检查LLM是否会接受带有恶意意图的提示并生成攻击行为。我们在表I中展示了运行BashAgent_f的结果。我们发现BashAgent_f接受了大多数（90/95）的恶意意图并生成了攻击指令，其中76/90个成功执行的攻击命令在未受保护的环境中使主机系统极其脆弱，这在三个安全方面都是如此。然而，一旦我们应用适当的沙箱配置，BashAgent_c成功防御了所有由LLM生成的攻击。虽然LLM gpt-3.5-turbo已经与人类价值观进行了对齐[40]，但它仍然难以拒绝AI agent使用场景中的恶意意图。因此，仅进行对齐训练不足以确保人工智能代理的安全性，有必要限制访问本地资源以实现完全安全。

表1：不受约束的AI代理将执行由LLM生成的危险动作。#Task是我们在此类别中收集的任务数量。#Gen是被LLM接受并产生攻击行为的任务的数量。#Exec是成功执行的LLM产生的命令，从而破坏了漏洞的数量。
​
​2）访问远程资源

第二点是关于远程资源的访问权限控制。沙箱环境通过白名单、黑名单和速率限制等机制实现了对访问的控制，同时还有基本的交互隔离。这个框架允许资源提供者选择性地控制授予代理程序的访问权限程度，范围从完全允许到完全禁止，或者限制到特定子集的资源。因此，我们的方法有效地减轻了来自AI代理的不需要的访问和输入的潜在威胁，从而增强了安全性。

AI Agents的保护模型

保护AI代理模型是指在使用人工智能代理时需要采取措施来防止用户之间的私人或恶意信息泄露。 如果泄漏了用户的私人信息，则会损害用户的隐私；而恶意信息会导致模型输出错误、不恰当或其他恶意响应。

1）Protecting Models for AI Agents

为保护AI代理模型，可以采用会话无状态模型（Sessionless models）的方法。这种方法要求AI代理没有会话的概念，因此代理不能在其LMM（大型语言模型）上微调私有数据，或者必须从查询中过滤掉私有或恶意数据。这样可以确保模型不会受到私人或恶意信息的影响，并且能够保持良好的性能和准确性。通过这些方法，我们可以更好地保护AI代理模型并确保其安全性和可靠性。

首先是如何对敏感数据进行处理，以便让AI代理能够学习到有用的信息，同时又不会泄露任何个人信息。首先，开发者需要仔细地设计提示语句，让AI代理能够逐步获取敏感数据，并在数据上留下标记以便后续处理。然后，需要将敏感数据转换成非敏感数据，例如将美国社会安全号码替换为九个随机数字，这样既不会泄露具体的社会安全号码信息，又能使模型从周围上下文中学习。为了实现这一目的，需要采用结构保真且信息保真的加密变换，其中一种解决方案是格式保全加密。总之，通过对敏感数据进行处理，可以使AI代理更加安全可靠地工作。

定义4.1​ （FPETS） 是一种格式保持加密方案，用于文本切片。它是一个加密方案E，对于所有可能的私密消息m及其索引i、j，满足E(m[i… j])= E(m)[i… j]，其中i≤j。

FPETS允许语言模型以密文形式读取和操作私密数据，从而防止隐私泄露。然而，是否在输入提示中加密数据会损害AI代理的可用性尚不清楚。为了验证这种防御方法，我们设计了一个评估框架，该框架促使LLM处理加密数据。我们评估框架中的每个任务都是一个往返过程，每个AI代理都会得到一对加密和解密函数。当给定自然语言提示时，AI代理首先会对数据进行加密，然后将密文传递给其LLM进行操作，例如文本切片。然后我们要求代理返回我们需要的信息片段。代理将解密输出作为响应，以便我们将其实际与原始明文片段进行比较。我们通过Succ= N’/N来衡量此评估的成功率，其中N是总任务数，N’是完成无误的往返次数的任务数。

证明过程为：首先测试编码字符串而不是加密字符串。生成包含数字和大小写字母的随机字符串，并使用简单的替换密码E1对其进行编码，该密码扩展了“rotate-by-13”的密码以操作上述字符集。由于E1在字符上的替代是一对一的，因此E1是FPETS。令D1表示与E1相对应的解密方案。对于机密数据x，评估过程可以表示为x=D1(agent(E1(x)))。

为了比较，作者还在表II中报告了代理执行相同任务时的明文成功率。观察到切片密文的成功率与切片明文的成功率相似。尽管在明文和密文中成功率都不高，但结果表明GPT模型能够理解和响应涉及操纵编码字符串的查询。对原始字符串的实验也产生了类似的成功率，这表明加密不是低成功率的原因。这意味着提示中的加密数据对查询语义几乎没有影响，说明FPETS作为一种防御技术并不显著地影响AI代理的可用性。

表2：在本研究中，研究人员评估了使用加密数据的人工智能代理的表现。每个代理都在100个随机生成的任务上进行了测试，并记录了它们成功完成任务的比率。其中，“SuccCiph”表示代理在处理加密数据时的成功率，而“SuccPlain”则表示代理在未加密数据的情况下完成相同任务的成功率。

​这段话指出，在敏感数据上完成计算任务也是人工智能代理的一个常见用例，特别是在金融和医疗领域。为此，同态加密变得至关重要，它允许对加密数据进行二进制运算，从而使人工智能代理能够在数据上执行计算任务。

定义4.2​ （FHE） ：假设*是一个二元运算符。A到B的同态加密方案p:A→B是从集合A到B的映射，使得对于所有a,b∈A，有p(a*b)=p(a)*p(b)。如果该方案允许任意函数*无限次应用于数据，则p被认为是完全同态加密方案[43]。

​
​图9 加密的Sessionless AI agents。在这种情况下，Tools需要支持加密方案，例如FPETS的切片或FHE的加法和乘法。

我们引入了FHE在AI代理工作流程中的应用，如图9所示。当代理需要对敏感数据执行数学操作时，FHE可以用作用户数据机密性的防御措施。我们将评估扩展以包含FHE及其固有的属性，即可以在不进行解密的情况下对密文执行操作。类似于FPETS评估的设计，我们为代理提供了一个由FHE方案E2加密的数字密文数组以及用于对密文执行加法和乘法的工具。计算结果的解密仍然由代理在LLM之外完成。我们向代理发出查询请求，要求获取指定索引位置上的数字的总和或积，并使用相同的成功率指标对此评估。在这种情况下，结果通过将代理的响应与原始数字的二进制操作结果（加法或乘法）进行比较来验证。令D2表示对应于E2的解密方案。对于保密数据x,y∈R和二元运算符 E∈{+,\*}，可以将任务建模为x\*y=D2(LLM(E2(x),E2(y),\*)。

因此，FHE是一种保护用户数据隐私的方法，在AI代理工作流程中具有重要应用价值。它能够确保代理在处理敏感数据时不会泄露任何信息，从而提高了用户的数据安全性。同时，FHE还具有强大的计算能力，能够在不解密的情况下对密文进行各种数学运算，这为AI代理的工作提供了便利性。因此，FHE是现代信息安全领域的重要技术之一，值得进一步研究和开发。

我们在表II中报告了对FHE代理的评估结果。我们对加法和乘法的评估结果表明，这种防御对于需要在受支持的操作上计算敏感数据的AI代理是有效的。因此，FHE是在操作敏感数据期间维护隐私的一种解决方案。总的来说，我们的加密防御不会实质性地降低AI代理的可用性，并且突显了将来关于隐私保护AI代理的研究方向。

2）Session-aware models for AI agents

Session-aware模型是一种针对AI代理的替代方案，用于防止sessionless的防御。OpenAI最近推出了Temporary Chat，承诺不使用聊天历史来改进他们的模型。然而，不改善代理任务上的模型将限制代理的智能和用户体验。为了构建能够处理各种任务的强大代理程序，学习actions至关重要。

https://help.openai.com/en/articles/8914046-temporary-chat-faq

一种隐私保护AI代理个性化的方法是对每个用户的LLM进行微调，将其在自己的聊天历史中隔离更新，如图10所示。然而，这种方法成本高昂，并受到可用数据的限制。类似地，在上下文中学习和检索增强生成等方法通过在提示中嵌入过去的上下文来增强响应，但受限于模型的上下文窗口长度。更具有前途的方法是prompt tuning[46]，它冻结基础模型并仅添加几个用户特定的学习参数θ_P以记住聊天历史记录。该技术避免与基础模型提供商共享数据，直接解决隐私问题。

​
​图10 具有提示调优的Session-aware AI agents。θ_{Pi} 表示仅针对用户聊天历史添加可训练参数。通过提示调优，AI代理可以通过更新仅θ_P来改进自己，而不会损害基础LLM或泄露私人信息。

相关工作

最近在语言模型（LLM）方面的进展对人工智能代理的发展产生了重大影响，特别是它们基于自然语言提示观察和动态交互环境的能力。这种从强化学习到 LLMS 代理的转变带来了人工智能代理开发的新浪潮，重点在于使代理能够执行基于自然语言命令的操作。ReAct[23]引入了思维链提示[20]来引导预训练的 LLM 在代理设置中遵循指令。这种方法已被应用于计算机任务[22]和其他现实世界任务[3、6、47、48]。为了评估代理的表现，已经提出了几个基准测试[4、5]。这些基准测试测量代理行动的正确性而不考虑代理行动可能给环境带来的潜在漏洞。

对于 LLM 的威胁与人工智能代理不同[49]。对于 LLM，主要关注模型与人类价值观的一致性，包括道德、冒犯性语言和政治[29] 。相反，使用 LLM 生成操作并访问工具的人工智能代理对真实计算系统、应用程序和资源构成威胁，破坏其机密性、完整性和可用性。

结论

随着工具增强的语言模型（LLMs）的发展，人工智能代理被广泛认为是向人工助理迈进的一个有前途的方向。大量研究专注于通过先进的推理、规划和学习来提高人工智能代理的行为准确性。然而，在受控评估环境中表现出色的同时，这些方法可能带来的潜在副作用和危险尚未得到充分的研究。因此，本文对当前人工智能代理开发中的安全问题进行了系统分析，并提出了实用可行的防御策略。

在理论层面和现实场景中，我们讨论了人工智能代理的潜在漏洞，并为每个识别出的漏洞提出了多种防御技术。我们强调了未来研究方向和最佳实践，以开发安全可靠的代理程序，并相信我们的工作可以推动安全可靠的人工智能代理的发展。

需要注意的是，虽然文章提到作者的工作成果已经公开发布，但具体的内容和实现细节并未提及。同时，该论文所提出的解决方案并不一定适用于所有情境，读者需要结合自己的实际情况选择合适的方案。

https://github.com/SecurityLab-UCD/ai-agent-security

参考文献（部分）

• Gregoire Deletang et al. “Language Modeling Is Compression”. In: The Twelfth International Conference on Learning Representations. 2024.
• Theodore Sumers, Shunyu Yao, Karthik Narasimhan, and Thomas Griffiths. “Cognitive Architectures for Language Agents”. In: Transactions on Machine Learning Research(2024).
• Xueluan Gong, Yanjiao Chen, Wenbin Yang, Guanghao Mei, and Qian Wang. “InverseNet: Augmenting Model Extraction Attacks with Training Data Inversion.” In:IJCAI. 2021, pp. 2439–2447.
• Wenlong Huang, Pieter Abbeel, Deepak Pathak, and Igor Mordatch. “Language models as zero-shot planners: Extracting actionable knowledge for embodied agents”. In: International Conference on Machine Learning. PMLR. 2022, pp. 9118–9147.
• Jason Wei et al. “Chain-of-thought prompting elicits reasoning in large language models”. In: Advances in neural information processing systems(2022).
• Shunyu Yao et al. “ReAct: Synergizing Reasoning and Acting in Language Models”. In: International Conference on Learning Representations. 2023.
• Shibo Hao et al. “Reasoning with Language Model is Planning with World Model”. In: Conference on Empirical Methods in Natural Language Processing.2023.
• Shunyu Yao et al. “Tree of thoughts: Deliberate problem solving with large language models”. In: Advances in Neural Information Processing Systems(2024).
• Yuchen Zhuang et al. “ToolChain: Efficient Action Space Navigation in Large Language Models with A*Search*”. In: International Conference on Learning Rep-resentations. 2024.
• Yinger Zhang et al. “Reverse Chain: A Generic-Rule for LLMs to Master Multi-API Planning”. In: Findings of the Association for Computational Linguistics: NAACL.2024.

原文地址：https://blog.csdn.net/ARPOSPF/article/details/145269121

免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！