跳到内容

LangGraph 平台

观看 LangGraph 平台的 4 分钟概述,了解它如何帮助您构建、部署和评估代理应用。

概述

LangGraph 平台是用于将代理应用部署到生产环境的商业解决方案,构建于开源的 LangGraph 框架之上。

LangGraph 平台由多个组件组成,这些组件协同工作,支持 LangGraph 应用的开发、部署、调试和监控。

  • LangGraph 服务器:服务器定义了一个有倾向性的 API 和架构,其中包含了部署代理应用的最佳实践,让您可以专注于构建代理逻辑,而不是开发服务器基础设施。
  • LangGraph Studio:LangGraph Studio 是一个专门的集成开发环境 (IDE),可以连接到 LangGraph 服务器,以在本地可视化、交互和调试应用。
  • LangGraph CLI:LangGraph CLI 是一个命令行界面,用于与本地 LangGraph 交互。
  • Python/JS SDK:Python/JS SDK 提供了一种通过编程方式与已部署的 LangGraph 应用交互的方式。
  • 远程图 (Remote Graph):远程图 (RemoteGraph) 允许您像在本地运行一样与任何已部署的 LangGraph 应用进行交互。
  • LangGraph 控制平面:LangGraph 控制平面指用户创建和更新 LangGraph 服务器的控制平面 UI 以及支持 UI 体验的控制平面 API。
  • LangGraph 数据平面:LangGraph 数据平面指 LangGraph 服务器、每个服务器对应的基础设施以及持续从 LangGraph 控制平面轮询更新的“监听器”应用。

LangGraph 平台提供了几种不同的部署选项,详见部署选项指南

为什么使用 LangGraph 平台?

LangGraph 平台处理将 LLM 应用部署到生产环境中时出现的常见问题,让您可以专注于代理逻辑,而不是管理服务器基础设施。

  • 流式支持:随着代理变得越来越复杂,将令牌输出和中间状态流式传输回用户通常会带来益处。如果没有这一点,用户将不得不等待可能很长的操作而没有任何反馈。LangGraph 服务器提供了针对各种应用需求优化的多种流式模式

  • 后台运行:对于处理时间较长(例如数小时)的代理,保持开放连接可能不切实际。LangGraph 服务器支持在后台启动代理运行,并提供轮询端点和 webhook 来有效监控运行状态。

  • 支持长时间运行:普通的服务器设置在处理耗时很长的请求时经常遇到超时或中断。LangGraph 服务器的 API 通过发送规律的心跳信号,为这些任务提供了强大的支持,从而防止在长时间过程中出现意外连接关闭。

  • 处理突发流量:某些应用,特别是具有实时用户交互的应用,可能会遇到“突发”请求负载,即大量请求同时到达服务器。LangGraph 服务器包含一个任务队列,即使在重负载下,也能确保请求被一致处理而不会丢失。

  • 重复发送消息(Double Texting):在用户驱动的应用中,用户快速发送多条消息是很常见的。如果不妥善处理,这种“重复发送消息”可能会扰乱代理流程。LangGraph 服务器提供了内置策略来处理和管理此类交互。

  • 检查点和内存管理:对于需要持久化(例如对话内存)的代理,部署一个强大的存储解决方案可能很复杂。LangGraph 平台包含了优化的检查点内存存储,无需自定义解决方案即可管理跨会话状态。

  • 人工干预支持(Human-in-the-loop):在许多应用中,用户需要一种方式来干预代理流程。LangGraph 服务器提供了专门的端点用于人工干预场景,简化了将手动监督集成到代理工作流程中的过程。

通过使用 LangGraph 平台,您可以获得一个强大、可扩展的部署解决方案,该方案减轻了这些挑战,为您节省了手动实施和维护它们的工作。这使您可以更专注于构建有效的代理行为,而减少解决部署基础设施问题的时间。

评论