Skip to main content
每个 Dify 应用都至少需要一个模型供应商。安装供应商并填入 API 密钥后,工作空间内的所有应用都能使用它的模型。
API 密钥授予工作空间范围的模型访问权限,并会通过各供应商的账户直接计费。只有工作空间所有者和管理员可以管理供应商。

添加供应商

  1. 设置 > 模型供应商 中,浏览 安装模型供应商 区域,或访问 Marketplace 获取更多选项。
  2. 安装完成后,点击供应商卡片上的 设置,填入 API 密钥(以及供应商要求的其他凭据,如自定义端点 URL 或组织 ID)。Dify 会先验证凭据,再将该供应商投入使用。

添加自定义模型

大多数供应商自带模型,授权其中一个后,它的模型即可使用。只有当你需要的模型不在列表中时,才需要自行添加,通常有两种情况:
  • 你运行着自己的推理服务器(如 Ollama 或 Xinference),Dify 无法得知你加载了哪些模型。
  • 供应商列出了自己的模型,但你需要的特定模型(如新发布或微调的模型)不在其中。
点击供应商卡片上的 添加模型,为模型填写名称和凭据。如果某个供应商只提供固定的一组模型,则不会显示此选项。

负载均衡

负载均衡允许你为模型调用配置多组凭据,并在这些凭据之间自动分配请求,避免单组凭据在高负载下触及速率限制。 默认情况下,Dify 采用轮询策略,将每个请求依次分配给负载均衡池中的下一个凭据。若某个凭据触发速率限制,系统会将其暂时移出轮询一分钟,之后再重新尝试。 设置步骤:
  1. 在模型列表中找到目标模型,点击对应的 配置,选择 负载均衡
  2. 向负载均衡池中添加凭据。
  3. 至少启用两个凭据,然后点击 保存。已启用负载均衡的模型会带有专属标识。
向负载均衡池添加凭据
带有负载均衡标识的模型

设置默认模型

点击工具栏中的 系统模型设置,为每个类别指定回退模型。未单独指定模型的应用和节点会使用这些默认值:
  • 系统推理模型:默认的 LLM。
  • Embedding 模型:用于知识库的索引和检索。
  • Rerank 模型:按相关性对检索结果重新排序。
  • 语音转文本模型:将音频输入转换为文本。
  • 文本转语音模型:将文本回复转换为音频。