跳到内容

评估

要评估您的智能体(agent)的性能,您可以使用 LangSmith评估功能。您首先需要定义一个评估器函数来判断智能体的结果,例如最终输出或轨迹。根据您的评估技术,这可能涉及也可能不涉及参考输出。

def evaluator(*, outputs: dict, reference_outputs: dict):
    # compare agent outputs against reference outputs
    output_messages = outputs["messages"]
    reference_messages = reference_outputs["messages"]
    score = compare_messages(output_messages, reference_messages)
    return {"key": "evaluator_score", "score": score}

要开始使用,您可以使用 AgentEvals 包中预构建的评估器。

pip install -U agentevals

创建评估器

评估智能体性能的一个常见方法是将其轨迹(调用其工具的顺序)与参考轨迹进行比较。

import json
from agentevals.trajectory.match import create_trajectory_match_evaluator

outputs = [
    {
        "role": "assistant",
        "tool_calls": [
            {
                "function": {
                    "name": "get_weather",
                    "arguments": json.dumps({"city": "san francisco"}),
                }
            },
            {
                "function": {
                    "name": "get_directions",
                    "arguments": json.dumps({"destination": "presidio"}),
                }
            }
        ],
    }
]
reference_outputs = [
    {
        "role": "assistant",
        "tool_calls": [
            {
                "function": {
                    "name": "get_weather",
                    "arguments": json.dumps({"city": "san francisco"}),
                }
            },
        ],
    }
]

# Create the evaluator
evaluator = create_trajectory_match_evaluator(
    trajectory_match_mode="superset",  # (1)!
)

# Run the evaluator
result = evaluator(
    outputs=outputs, reference_outputs=reference_outputs
)
  1. 指定轨迹的比较方式。superset 会将输出轨迹视为有效,如果它是参考轨迹的超集。其他选项包括:strict (严格匹配)、unordered (无序匹配) 和 subset (子集)。

下一步,了解更多关于如何自定义轨迹匹配评估器的信息。

LLM-as-a-judge(使用大语言模型作为评判者)

您可以使用 LLM-as-a-judge 评估器,它利用一个大语言模型(LLM)将轨迹与参考输出进行比较,并输出一个分数。

import json
from agentevals.trajectory.llm import (
    create_trajectory_llm_as_judge,
    TRAJECTORY_ACCURACY_PROMPT_WITH_REFERENCE
)

evaluator = create_trajectory_llm_as_judge(
    prompt=TRAJECTORY_ACCURACY_PROMPT_WITH_REFERENCE,
    model="openai:o3-mini"
)

运行评估器

要运行评估器,您首先需要创建一个 LangSmith 数据集。要使用预构建的 AgentEvals 评估器,您需要一个具有以下结构(schema)的数据集:

  • input (输入): {"messages": [...]} 用于调用智能体的输入消息。
  • output (输出): {"messages": [...]} 智能体输出中预期的消息历史。对于轨迹评估,您可以选择只保留助手(assistant)消息。

API 参考:create_react_agent

from langsmith import Client
from langgraph.prebuilt import create_react_agent
from agentevals.trajectory.match import create_trajectory_match_evaluator

client = Client()
agent = create_react_agent(...)
evaluator = create_trajectory_match_evaluator(...)

experiment_results = client.evaluate(
    lambda inputs: agent.invoke(inputs),
    # replace with your dataset name
    data="<Name of your dataset>",
    evaluators=[evaluator]
)