> ## Documentation Index
> Fetch the complete documentation index at: https://enterprise-docs.dify.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 配置负载均衡

## 介绍

通常，模型供应商会限制用户在指定时间内访问 API 服务的次数（模型速率限制），以确保服务的稳定性与合理使用。对于企业级应用，来自单一凭据的高并发请求容易触发模型速率限制，从而影响用户访问。

而负载均衡可将请求流量分配至多个模型凭据，有效避免模型速率限制和单点故障，并为所有用户提供更快的响应速度，保障业务稳定运行。

Dify 采用轮询策略的负载均衡机制，即：将模型请求按顺序依次分配给负载均衡池中的各个凭据。若某个凭据触发模型速率限制，系统将在接下来一分钟内的轮询中暂时跳过该凭据，以避免无效重试。

## 步骤

为模型配置负载均衡，按照以下步骤操作：

1. 在模型列表中找到目标模型，点击对应的 **配置**，选择 **负载均衡** 模式。

2. 在负载均衡池中，点击 **添加凭据**，从已有凭据中选择或添加新凭据。

<Info>
  **默认配置** 为当前指定的默认凭据。
</Info>

<Tip>
  若某个凭据的配额充足或性能更优，可重复添加该凭据以增加其在负载均衡中的权重，使其承担更大比例的请求负载。
</Tip>

<img src="https://mintcdn.com/dify-4171f9f9/vMKCXdVD-5Kdilzi/images/add_load_balancing_credential.png?fit=max&auto=format&n=vMKCXdVD-5Kdilzi&q=85&s=256768f6904446580b6dc30f4e4468ea" alt="Add credentials for load balancing" width="1194" height="872" data-path="images/add_load_balancing_credential.png" />

3. 在负载均衡池中启用至少 2 个凭据，点击 **保存**。已启用负载均衡的模型将带有特殊标识。

<img src="https://mintcdn.com/dify-4171f9f9/mZ12wIe1vYw_wFxp/images/load_balancing_icon.png?fit=max&auto=format&n=mZ12wIe1vYw_wFxp&q=85&s=e2eb7cd7da2b0deec279b61493a8e8d0" alt="Load balancing icon" width="1564" height="358" data-path="images/load_balancing_icon.png" />

<Info>
  从负载均衡模式切换回默认的单凭据模式时，系统将保留负载均衡配置以备后用。
</Info>
