🦜💯 LangChain 基准测试#
一个帮助基准测试各种 LLM 相关任务的包。
基准测试按端到端用例组织，并大量利用 LangSmith。
我们在开源这个项目中有一些目标
展示我们如何为每个任务收集基准数据集
展示我们用于每个任务的基准数据集是什么
展示我们如何评估每个任务
鼓励其他人对这些任务进行基准测试（我们一直在寻找更好的方法！）
基准测试结果#
阅读我们博客中关于基准测试结果的一些文章。
工具使用 (2024-04-18)#
查看 工具使用文档 以重新创建！
探索 LangSmith 上的代理轨迹
安装#
要安装软件包，请运行以下命令
pip install -U langchain-benchmarks
所有基准测试都附带一个相关的基准数据集，存储在 LangSmith 中。为了利用评估和调试体验，请 注册，并在环境中设置您的 API 密钥
export LANGCHAIN_API_KEY=ls-...
仓库结构#
该软件包位于 langchain_benchmarks 中。查看 文档 以获取有关如何开始的更多信息。
其他目录是旧版目录，将来可能会被移动。
存档#
以下是需要克隆此仓库才能运行的存档基准测试。