流式传输¶
LangGraph 实现了一个流式传输系统,用于实时更新,从而提供响应迅速且透明的用户体验。
LangGraph 的流式传输系统让您能够将图运行中的实时反馈呈现到您的应用程序。
您可以流式传输的数据主要分为三类:
- 工作流进度 — 在每个图节点执行后获取状态更新。
- LLM 令牌 — 在语言模型令牌生成时进行流式传输。
- 自定义更新 — 发送用户定义的信号(例如,“已获取 10/100 条记录”)。
LangGraph 流式传输的可能应用¶
- 流式传输 LLM 令牌 — 从任何地方捕获令牌流:节点内部、子图或工具。
- 从工具中发出进度通知 — 直接从工具函数发送自定义更新或进度信号。
- 从子图中流式传输 — 包含来自父图和任何嵌套子图的输出。
- 使用任何 LLM — 从任何 LLM 流式传输令牌,即使它不是 LangChain 模型,也可以使用
custom
流式传输模式。 - 使用多种流式传输模式 — 从
values
(完整状态)、updates
(状态增量)、messages
(LLM 令牌 + 元数据)、custom
(任意用户数据)或debug
(详细跟踪)中选择。