延迟后台记忆处理¶
当对话活跃时，智能体可能会连续收到许多消息。您可以等待对话活动稳定下来，而不是立即处理每条消息进行长期记忆管理。本指南将展示如何使用 ReflectionExecutor 来去抖动记忆处理。
问题¶
在收到每条消息时处理记忆有以下缺点： - 连续收到消息时产生冗余工作 - 对话中途处理时上下文不完整 - 不必要的 token 消耗
ReflectionExecutor 推迟记忆处理并取消冗余工作
from langchain.chat_models import init_chat_model
from langgraph.func import entrypoint
from langgraph.store.memory import InMemoryStore
from langmem import ReflectionExecutor, create_memory_store_manager
# Create memory manager to extract memories from conversations (1)
memory_manager = create_memory_store_manager(
"anthropic:claude-3-5-sonnet-latest",
namespace=("memories",),
)
# Wrap memory_manager to handle deferred background processing (2)
executor = ReflectionExecutor(memory_manager)
store = InMemoryStore(
index={
"dims": 1536,
"embed": "openai:text-embedding-3-small",
}
)
@entrypoint(store=store)
def chat(message: str):
response = llm.invoke(message)
# Format conversation for memory processing
# Must follow OpenAI's message format
to_process = {"messages": [{"role": "user", "content": message}] + [response]}
# Wait 30 minutes before processing
# If new messages arrive before then:
# 1. Cancel pending processing task
# 2. Reschedule with new messages included
delay = 0.5 # In practice would choose longer (30-60 min)
# depending on app context.
executor.submit(to_process, after_seconds=delay)
return response.content
-
create_memory_store_manager创建一个 Runnable，用于从对话中提取记忆。它处理 OpenAI 格式的消息。 -
ReflectionExecutor处理记忆的后台处理。对于每个对话线程- 维护一个待处理记忆任务队列
- 当新消息到达时取消旧任务
- 仅在指定延迟后处理
这种去抖动确保您处理完整的对话上下文，而不是片段。