> ## Documentation Index
> Fetch the complete documentation index at: https://enterprise-docs.dify.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 负载均衡

模型速率限制（Rate limits）是模型厂商对用户或客户在指定时间内访问 API 服务次数所添加的限制。它有助于防止 API 的滥用或误用，有助于确保每个用户都能公平地访问 API，控制基础设施的总体负载。

在企业级大规模调用模型 API 时，高并发请求会导致超过请求速率限制并影响用户访问。负载均衡可以通过在多个 API 端点之间分配 API 请求，确保所有用户都能获得最快的响应和最高的模型调用吞吐量，保障业务稳定运行。

你可以在 **模型供应商 -- 模型列表 -- 设置模型负载均衡** 打开该功能，并在同一个模型上添加多个凭据 (API key)。

<Frame caption="模型负载均衡" width="563">
  <img src="https://mintcdn.com/dify-4171f9f9/jtqUuvvShgl3RqV6/images/load-balancing.png?fit=max&auto=format&n=jtqUuvvShgl3RqV6&q=85&s=e278c9167d337eafefbe4ff206b27ab4" alt="模型负载均衡设置界面" width="1636" height="1150" data-path="images/load-balancing.png" />
</Frame>

默认配置中的 API Key 为初次配置模型供应商时添加的凭据，你需要点击 **增加配置** 添加同一模型的不同 API Key 来正常使用负载均衡功能。

<Frame caption="配置负载均衡" width="563">
  <img src="https://mintcdn.com/dify-4171f9f9/jtqUuvvShgl3RqV6/images/load-balancing-1.png?fit=max&auto=format&n=jtqUuvvShgl3RqV6&q=85&s=81b8b3b7c10f388d158398e46e972f3b" alt="负载均衡配置界面" width="1836" height="1294" data-path="images/load-balancing-1.png" />
</Frame>

**需要额外添加至少 1 个模型凭据**即可保存并开启负载均衡。

你也可以将已配置的凭据**临时停用**或者**删除**。

<Frame caption="凭据管理" width="563">
  <img src="https://mintcdn.com/dify-4171f9f9/jtqUuvvShgl3RqV6/images/load-balancing-3.png?fit=max&auto=format&n=jtqUuvvShgl3RqV6&q=85&s=f74433d423530b8849f1063254921579" alt="凭据停用和删除选项" width="1842" height="1294" data-path="images/load-balancing-3.png" />
</Frame>

配置完成后再模型列表内会显示所有已开启负载均衡的模型。

<Frame caption="开启负载均衡" width="563">
  <img src="https://mintcdn.com/dify-4171f9f9/jtqUuvvShgl3RqV6/images/load-balancing-4.png?fit=max&auto=format&n=jtqUuvvShgl3RqV6&q=85&s=4570e46efa6fbca82e9b4cc080aa978b" alt="已开启负载均衡的模型列表" width="1842" height="1294" data-path="images/load-balancing-4.png" />
</Frame>

<Tip>
  默认情况下，负载均衡使用 Round-robin 策略。如果触发速率限制，将应用 1 分钟的冷却时间。
</Tip>

你也可以从 **添加模型** 配置负载均衡，配置流程与上面一致。

<Frame caption="从添加模型配置负载均衡" width="563">
  <img src="https://mintcdn.com/dify-4171f9f9/jtqUuvvShgl3RqV6/images/load-balancing-5.png?fit=max&auto=format&n=jtqUuvvShgl3RqV6&q=85&s=c476367d110782854355706e67dc439d" alt="从添加模型界面配置负载均衡" width="814" height="688" data-path="images/load-balancing-5.png" />
</Frame>