跳到内容

代理架构

许多 LLM 应用程序在调用 LLM 之前和/或之后实现特定的控制流步骤。例如，RAG 会检索与用户问题相关的文档，并将这些文档传递给 LLM，以便模型响应能基于所提供的文档上下文。

我们有时希望 LLM 系统能够选择自己的控制流来解决更复杂的问题，而不是硬编码固定的控制流！这就是代理的一个定义：代理是使用 LLM 来决定应用程序控制流的系统。 LLM 可以通过多种方式控制应用程序：

  • LLM 可以在两条潜在路径之间进行路由
  • LLM 可以决定调用众多工具中的哪一个
  • LLM 可以决定生成的答案是否足够，或者是否需要更多工作

因此，存在许多不同类型的代理架构，它们赋予 LLM 不同程度的控制权。

Agent Types

路由器

路由器允许 LLM 从一组指定的选项中选择一个步骤。这是一种控制级别相对有限的代理架构，因为 LLM 通常专注于做出单个决策，并从有限的一组预定义选项中生成特定输出。路由器通常采用以下几种不同的概念来实现这一点。

结构化输出

LLM 的结构化输出通过提供 LLM 在其响应中应遵循的特定格式或模式来工作。这与工具调用类似，但更通用。虽然工具调用通常涉及选择和使用预定义函数，但结构化输出可用于任何类型的格式化响应。实现结构化输出的常见方法包括：

  1. 提示工程：通过系统提示指示 LLM 以特定格式响应。
  2. 输出解析器：使用后处理从 LLM 响应中提取结构化数据。
  3. 工具调用：利用某些 LLM 内置的工具调用功能生成结构化输出。

结构化输出对于路由至关重要，因为它们确保 LLM 的决策可以被系统可靠地解释和执行。在此操作指南中了解更多关于结构化输出的信息。

工具调用代理

虽然路由器允许 LLM 做出单个决策，但更复杂的代理架构通过两种关键方式扩展了 LLM 的控制能力：

  1. 多步决策：LLM 可以连续做出一系列决策，而不仅仅是一个。
  2. 工具访问：LLM 可以选择并使用各种工具来完成任务。

ReAct 是一种流行的通用代理架构，它结合了这些扩展，并整合了三个核心概念。

  1. 工具调用：允许 LLM 根据需要选择和使用各种工具。
  2. 记忆：使代理能够保留和使用来自先前步骤的信息。
  3. 规划：使 LLM 能够创建并遵循多步计划以实现目标。

这种架构允许更复杂和灵活的代理行为，超越简单的路由，实现多步骤的动态问题解决。与最初的论文不同，今天的代理依赖于 LLM 的工具调用能力，并在一系列消息上运行。

在 LangGraph 中，您可以使用预构建的代理来开始使用工具调用代理。

工具调用

当您希望代理与外部系统交互时，工具会非常有用。外部系统（例如 API）通常需要特定的输入模式或负载，而不是自然语言。例如，当我们绑定一个 API 作为工具时，我们让模型了解所需的输入模式。模型将根据用户的自然语言输入选择调用工具，并返回符合工具所需模式的输出。

许多 LLM 提供商都支持工具调用，并且 LangChain 中的工具调用接口很简单：您只需将任何 Python function 传递给 ChatModel.bind_tools(function)。

Tools

记忆

记忆对代理至关重要，使其能够在解决问题的多个步骤中保留和利用信息。它在不同尺度上运作：

  1. 短期记忆：允许代理访问序列中早期步骤中获取的信息。
  2. 长期记忆：使代理能够回忆起以前交互中的信息，例如对话中的历史消息。

LangGraph 提供对记忆实现的完全控制：

这种灵活的方法允许您根据特定的代理架构需求定制记忆系统。有关向图中添加记忆的实用指南，请参阅此教程。

有效的记忆管理增强了代理维护上下文、从过去经验中学习以及随着时间做出更明智决策的能力。

规划

在工具调用代理中，LLM 在一个 while 循环中被重复调用。在每一步，代理决定要调用哪些工具以及这些工具的输入应该是什么。然后执行这些工具，并将输出作为观察结果反馈给 LLM。当代理决定它有足够的信息来解决用户请求并且不值得再调用任何工具时，while 循环终止。

自定义代理架构

虽然路由器和工具调用代理（如 ReAct）很常见，但定制代理架构通常能为特定任务带来更好的性能。LangGraph 提供了几个强大的功能来构建定制的代理系统：

人机协作

人工介入可以显著提高代理的可靠性，特别是对于敏感任务。这可能涉及：

  • 批准特定行动
  • 提供反馈以更新代理状态
  • 在复杂决策过程中提供指导

当完全自动化不可行或不可取时，人机协作模式至关重要。在我们的人机协作指南中了解更多信息。

并行化

并行处理对于高效的多代理系统和复杂任务至关重要。LangGraph 通过其Send API 支持并行化，从而实现：

  • 并发处理多个状态
  • 实现类似 MapReduce 的操作
  • 高效处理独立的子任务

有关实际实现，请参阅我们的MapReduce 教程。

子图

子图对于管理复杂的代理架构至关重要，特别是在多代理系统中。它们允许：

  • 对单个代理进行隔离的状态管理
  • 代理团队的分层组织
  • 代理与主系统之间的受控通信

子图通过状态模式中的重叠键与父图进行通信。这使得灵活的模块化代理设计成为可能。有关实现细节，请参阅我们的子图操作指南。

反思

反思机制可以通过以下方式显著提高代理的可靠性：

  1. 评估任务完成情况和正确性
  2. 提供反馈以进行迭代改进
  3. 实现自我纠正和学习

虽然反思通常基于 LLM，但也可以使用确定性方法。例如，在编码任务中，编译错误可以作为反馈。这种方法在这个使用 LangGraph 进行自我纠正代码生成的视频中得到了演示。

通过利用这些功能，LangGraph 能够创建复杂的、特定于任务的代理架构，这些架构可以处理复杂的工作流，有效协作，并持续提高其性能。