跳到内容

如何部署自托管控制平面 (Beta)

在部署之前,请查看自托管控制平面部署选项的概念指南

先决条件

  1. 您正在使用 Kubernetes。
  2. 您已部署自托管 LangSmith。
  3. 使用 LangGraph CLI 在本地测试您的应用程序
  4. 使用 LangGraph CLI 构建 Docker 镜像(例如 langgraph build)并将其推送到您的 Kubernetes 集群可以访问的注册表。
  5. 您的集群上已安装 KEDA

     helm repo add kedacore https://kedacore.github.io/charts 
     helm install keda kedacore/keda --namespace keda --create-namespace
    
  6. Ingress 配置(推荐)

    1. 安装 Ingress Nginx 作为您的部署的反向代理。

      helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
      helm repo update
      helm install ingress-nginx ingress-nginx/ingress-nginx
      
    2. 提供一个根域,它将作为您所有工作负载域的后缀(例如 us.langgraph.app)。

    3. 提供通配符证书,以便为您的部署终止 TLS。
    4. 注意:如果跳过此步骤,您将需要为您的每个部署提供域名/证书。
  7. 您的集群有足够的空间用于多个部署。建议使用 Cluster-Autoscaler 自动配置新节点。

设置

  1. 在配置自托管 LangSmith 实例时,您需要启用 langgraphPlatform 选项。这将配置几个关键资源。
    1. listener: 这是一个服务,它监听控制平面对您的部署的更改,并创建/更新下游 CRD。
    2. LangGraphPlatform CRD: 这是一个用于 LangGraph 平台部署的 CRD。它包含管理 LangGraph 平台部署实例的规范。
    3. operator: 此操作器处理您的 LangGraph 平台 CRD 的更改。
    4. host-backend: 这是控制平面
  2. 图表中将使用两个额外的镜像。

    hostBackendImage:
      repository: "docker.io/langchain/hosted-langserve-backend"
      pullPolicy: IfNotPresent
      tag: "0.9.80"
    operatorImage:
      repository: "docker.io/langchain/langgraph-operator"
      pullPolicy: IfNotPresent
      tag: "aa9dff4"
    
  3. 在您的 values.yaml 文件中,启用 langgraphPlatform 选项。

    config:
      langgraphPlatform:
        enabled: true
        langgraphPlatformLicenseKey: "YOUR_LANGGRAPH_PLATFORM_LICENSE_KEY"
        rootDomain: "YOUR_ROOT_DOMAIN"
    
  4. 您还可以通过在此覆盖基础模板来为您的代理配置基础模板。

  5. 您可以从控制平面 UI 创建部署。

评论