可伸缩性与弹性¶

LangGraph 平台旨在随您的工作负载水平扩展。服务的每个实例都是无状态的，并且不保留任何内存资源。该服务旨在优雅地处理新实例的添加或移除，包括硬关机情况。

服务器可伸缩性¶

当您向服务添加更多实例时，只要在它们前面放置了适当的负载均衡机制，它们就会共享 HTTP 负载。在大多数部署模式下，我们会为服务自动配置负载均衡器。在“无控制平面的自托管”模式下，添加负载均衡器是您的责任。由于实例是无状态的，任何负载均衡策略都将起作用，不需要或不建议会话粘性。服务器的任何实例都可以与任何队列实例通信（通过 Redis PubSub），这意味着取消或流式传输正在进行的运行的请求可以由任何任意实例处理。

队列可伸缩性¶

当您向服务添加更多实例时，它们将线性增加运行吞吐量，因为每个实例都被配置为处理一定数量的并发运行（默认为 10）。每次运行的每次尝试都将由单个实例处理，并通过 Postgres 的 MVCC 模型强制实现“恰好一次”语义（有关崩溃弹性的详细信息，请参阅以下部分）。因瞬时数据库错误而失败的尝试会重试最多 3 次。我们不使用长期事务或锁，这使我们能够更有效地利用 Postgres 资源。

弹性¶

当队列实例正在处理某个运行时，该队列工作进程会在 Redis 中记录一个周期性的心跳时间戳。

当收到优雅关机请求 (SIGINT) 时，实例会进入关机模式，这

停止接受新的 HTTP 请求
给予任何正在进行的运行有限的秒数来完成（如果未完成，它将被放回队列中）
阻止实例从队列中获取更多运行

如果因服务器崩溃或基础设施故障导致硬关机，任何正在进行的运行都将被一个内部清扫任务（该任务寻找已超出其心跳窗口的正在进行的运行）拾取。清扫任务每 2 分钟运行一次，并将运行放回队列中供另一个实例拾取。

Postgres 弹性¶

对于我们管理 Postgres 数据库的部署模式，我们有周期性备份和连续复制的备用副本，以实现自动故障转移。此 Postgres 配置仅适用于 Cloud SaaS 部署选项中的 Production 部署类型。

所有与 Postgres 的通信都对可重试错误实现了重试机制。如果 Postgres 暂时不可用，例如在数据库重启期间，大多数/所有流量应该继续成功。Postgres 的长期故障将导致 LangGraph 服务器不可用。

Redis 弹性¶

所有需要持久存储的数据都存储在 Postgres 中，而不是 Redis。Redis 仅用于临时元数据以及实例之间的通信。因此，我们对 Redis 没有持久性要求。

所有与 Redis 的通信都对可重试错误实现了重试机制。如果 Redis 暂时不可用，例如在数据库重启期间，大多数/所有流量应该继续成功。Redis 的长期故障将导致 LangGraph 服务器不可用。