跳到内容

LangGraph 平台

概述

LangGraph 平台是一个商业解决方案,用于将代理应用程序部署到生产环境,它构建于开源的 LangGraph 框架之上。

LangGraph 平台由多个组件组成,这些组件协同工作,以支持 LangGraph 应用程序的开发、部署、调试和监控

  • LangGraph 服务器:该服务器定义了一个固定的 API 和架构,其中融入了部署代理应用程序的最佳实践,使您能够专注于构建您的代理逻辑,而不是开发服务器基础设施。
  • LangGraph Studio:LangGraph Studio 是一个专门的 IDE,可以连接到 LangGraph 服务器,以实现应用程序的本地可视化、交互和调试。
  • LangGraph CLI:LangGraph CLI 是一个命令行界面,可帮助与本地 LangGraph 进行交互
  • Python/JS SDK:Python/JS SDK 提供了一种以编程方式与已部署的 LangGraph 应用程序进行交互的方法。
  • 远程图:远程图允许您与任何已部署的 LangGraph 应用程序进行交互,就像它在本地运行一样。

LangGraph 平台提供了几种不同的部署选项,这些选项在部署选项指南中进行了描述。

为什么使用 LangGraph 平台?

LangGraph 平台 处理了将 LLM 应用程序部署到生产环境时出现的常见问题,使您能够专注于代理逻辑,而不是管理服务器基础设施。

  • 流式传输支持:随着代理变得越来越复杂,它们通常受益于将令牌输出和中间状态流式传输回用户。如果没有这个,用户只能等待可能很长的操作而没有反馈。LangGraph 服务器提供了针对各种应用程序需求优化的多种流式传输模式

  • 后台运行:对于需要较长时间处理的代理(例如,数小时),保持打开的连接可能不切实际。LangGraph 服务器支持在后台启动代理运行,并提供轮询端点和 Webhook 以有效地监控运行状态。

  • 支持长时间运行:普通的服务器设置在处理需要很长时间才能完成的请求时,经常会遇到超时或中断。LangGraph 服务器的 API 通过发送定期心跳信号,为这些任务提供了强大的支持,防止在长时间运行过程中意外关闭连接。

  • 处理突发性:某些应用程序,特别是那些具有实时用户交互的应用程序,可能会遇到“突发性”请求负载,即大量请求同时到达服务器。LangGraph 服务器包含一个任务队列,确保即使在重负载下,请求也能得到一致的处理而不会丢失。

  • 双重短信:在用户驱动的应用程序中,用户快速发送多条消息是很常见的。如果不正确处理,这种“双重短信”可能会扰乱代理流程。LangGraph 服务器提供了内置的策略来解决和管理此类交互。

  • 检查点和内存管理:对于需要持久性的代理(例如,对话记忆),部署强大的存储解决方案可能很复杂。LangGraph 平台包括优化的检查点内存存储,跨会话管理状态,而无需自定义解决方案。

  • 人工参与环路支持:在许多应用程序中,用户需要一种干预代理过程的方法。LangGraph 服务器为人工参与环路场景提供了专门的端点,简化了将人工监督集成到代理工作流程中的过程。

通过使用 LangGraph 平台,您可以获得一个强大、可扩展的部署解决方案,该解决方案可以缓解这些挑战,从而节省您手动实施和维护它们的精力。这使您可以更多地关注构建有效的代理行为,而更少地关注解决部署基础设施问题。

评论