每个 Dify 应用都至少需要一个模型供应商。Dify 内置了供应商目录,选择一个供应商并填入 API 密钥完成设置后,工作空间内的所有应用都能使用它的模型。
API 密钥授予工作空间范围的模型访问权限,并会通过各供应商的账户直接计费。只有工作空间所有者和管理员可以管理供应商。
添加供应商
-
在 设置 > 模型供应商 中,在 添加更多模型提供商 区域找到目标供应商。已完成配置的供应商会显示在页面顶部。
-
点击供应商卡片上的 设置,填入 API 密钥(以及供应商要求的其他凭据,如自定义端点 URL 或组织 ID)。Dify 会先验证凭据,再将该供应商投入使用。
添加自定义模型
大多数供应商自带模型,授权其中一个后,它的模型即可使用。只有当你需要的模型不在列表中时,才需要自行添加,通常有两种情况:
- 你运行着自己的推理服务器(如 Ollama 或 Xinference),Dify 无法得知你加载了哪些模型。
- 供应商列出了自己的模型,但你需要的特定模型(如新发布或微调的模型)不在其中。
点击供应商卡片上的 添加模型,为模型填写名称和凭据。如果某个供应商只提供固定的一组模型,则不会显示此选项。
负载均衡
负载均衡允许你为模型调用配置多组凭据,并在这些凭据之间自动分配请求,避免单组凭据在高负载下触及速率限制。
默认情况下,Dify 采用轮询策略,将每个请求依次分配给负载均衡池中的下一个凭据。若某个凭据触发速率限制,系统会将其暂时移出轮询一分钟,之后再重新尝试。
设置步骤:
- 在供应商的模型列表中,将鼠标悬停在目标模型上,点击 设置负载均衡。
- 选择 负载均衡,点击 增加配置,向凭据池中添加凭据。
- 至少启用两组凭据,然后点击 保存。启用了负载均衡的模型会在模型列表中显示负载均衡标识。
设置默认模型
点击工具栏中的 系统模型设置,为每个类别指定回退模型。未单独指定模型的应用和节点会使用这些默认值:
- 系统推理模型:默认的 LLM。
- Embedding 模型:用于知识库的索引和检索。
- Rerank 模型:按相关性对检索结果重新排序。
- 语音转文本模型:将音频输入转换为文本。
- 文本转语音模型:将文本回复转换为音频。