持久执行¶
持久执行是一种技术,其中进程或工作流在关键点保存其进度,使其能够暂停并在稍后从中断处精确恢复。这在需要人工干预的场景中特别有用,用户可以在继续之前检查、验证或修改进程,也适用于可能遇到中断或错误(例如,LLM 调用超时)的长时间运行任务。通过保留已完成的工作,持久执行使进程能够恢复,而无需重新处理之前的步骤——即使在长时间延迟(例如,一周后)之后也是如此。
LangGraph 的内置持久化层为工作流提供持久执行,确保每个执行步骤的状态都保存到持久存储中。此功能保证,如果工作流被中断——无论是由于系统故障还是为了人工干预交互——都可以从其最后记录的状态恢复。
提示
如果您正在使用带有检查点器的 LangGraph,则已经启用了持久执行。您可以在任何时候暂停和恢复工作流,即使在中断或失败之后。要充分利用持久执行,请确保您的工作流被设计为确定性和幂等,并将任何副作用或非确定性操作封装在任务中。您可以使用任务,无论是来自StateGraph(图 API)还是函数式 API。
要求¶
要在 LangGraph 中利用持久执行,您需要
- 通过指定一个将保存工作流进度的检查点器,在您的工作流中启用持久化。
- 在执行工作流时指定一个会话标识符。这将跟踪工作流特定实例的执行历史。
- 将任何非确定性操作(例如,随机数生成)或具有副作用的操作(例如,文件写入、API 调用)封装在任务中,以确保当工作流恢复时,这些操作不会针对特定运行重复执行,而是从持久化层检索其结果。有关更多信息,请参阅确定性与一致性回放。
确定性与一致性回放¶
当您恢复工作流运行时,代码并不从执行停止的同一行代码处恢复;相反,它会识别一个合适的起点,从该点继续。这意味着工作流将从起点开始重放所有步骤,直到达到停止点。
因此,当您为持久执行编写工作流时,必须将任何非确定性操作(例如,随机数生成)和任何具有副作用的操作(例如,文件写入、API 调用)封装在任务或节点中。
为确保您的工作流是确定性的并且可以一致地重放,请遵循以下指南
- 避免重复工作:如果一个节点包含多个具有副作用的操作(例如,日志记录、文件写入或网络调用),请将每个操作封装在一个单独的任务中。这确保了当工作流恢复时,这些操作不会重复,并且其结果从持久化层中检索。
- 封装非确定性操作:将任何可能产生非确定性结果的代码(例如,随机数生成)封装在任务或节点中。这确保了在恢复时,工作流会遵循完全相同的记录步骤序列并产生相同的结果。
- 使用幂等操作:如果可能,请确保副作用操作(例如,API 调用、文件写入)是幂等的。这意味着如果在工作流中操作失败后重试,它将与首次执行时产生相同的效果。这对于导致数据写入的操作尤为重要。如果一个任务启动但未能成功完成,工作流恢复时将重新运行该任务,并依赖记录的结果来保持一致性。使用幂等键或验证现有结果以避免意外重复,从而确保工作流的平稳和可预测执行。
要了解一些应避免的常见陷阱示例,请参阅函数式 API 中的常见陷阱部分,该部分展示了如何使用任务来避免这些问题。同样的原则也适用于StateGraph(图 API)。
在节点中使用任务¶
如果一个节点包含多个操作,您可能会发现将每个操作转换为一个任务比将这些操作重构为单独的节点更容易。
from typing import NotRequired
from typing_extensions import TypedDict
import uuid
from langgraph.checkpoint.memory import MemorySaver
from langgraph.graph import StateGraph, START, END
import requests
# Define a TypedDict to represent the state
class State(TypedDict):
url: str
result: NotRequired[str]
def call_api(state: State):
"""Example node that makes an API request."""
result = requests.get(state['url']).text[:100] # Side-effect
return {
"result": result
}
# Create a StateGraph builder and add a node for the call_api function
builder = StateGraph(State)
builder.add_node("call_api", call_api)
# Connect the start and end nodes to the call_api node
builder.add_edge(START, "call_api")
builder.add_edge("call_api", END)
# Specify a checkpointer
checkpointer = MemorySaver()
# Compile the graph with the checkpointer
graph = builder.compile(checkpointer=checkpointer)
# Define a config with a thread ID.
thread_id = uuid.uuid4()
config = {"configurable": {"thread_id": thread_id}}
# Invoke the graph
graph.invoke({"url": "https://www.example.com"}, config)
from typing import NotRequired
from typing_extensions import TypedDict
import uuid
from langgraph.checkpoint.memory import MemorySaver
from langgraph.func import task
from langgraph.graph import StateGraph, START, END
import requests
# Define a TypedDict to represent the state
class State(TypedDict):
urls: list[str]
result: NotRequired[list[str]]
@task
def _make_request(url: str):
"""Make a request."""
return requests.get(url).text[:100]
def call_api(state: State):
"""Example node that makes an API request."""
requests = [_make_request(url) for url in state['urls']]
results = [request.result() for request in requests]
return {
"results": results
}
# Create a StateGraph builder and add a node for the call_api function
builder = StateGraph(State)
builder.add_node("call_api", call_api)
# Connect the start and end nodes to the call_api node
builder.add_edge(START, "call_api")
builder.add_edge("call_api", END)
# Specify a checkpointer
checkpointer = MemorySaver()
# Compile the graph with the checkpointer
graph = builder.compile(checkpointer=checkpointer)
# Define a config with a thread ID.
thread_id = uuid.uuid4()
config = {"configurable": {"thread_id": thread_id}}
# Invoke the graph
graph.invoke({"urls": ["https://www.example.com"]}, config)
恢复工作流¶
在工作流中启用持久执行后,您可以在以下场景中恢复执行
- 暂停和恢复工作流:使用interrupt 函数在特定点暂停工作流,并使用Command 原语以更新的状态恢复它。有关更多详细信息,请参阅人工干预。
- 从失败中恢复:在异常(例如,LLM 提供商中断)后,自动从上次成功的检查点恢复工作流。这涉及到通过将
None
作为输入值来使用相同的会话标识符执行工作流(请参阅函数式 API 中的此示例)。
恢复工作流的起点¶
- 如果您正在使用StateGraph(图 API),起点是执行停止的节点的开头。
- 如果您在节点内进行子图调用,起点将是调用被暂停子图的父节点。在子图内部,起点将是执行停止的特定节点。
- 如果您正在使用函数式 API,起点是执行停止的入口点的开头。