跳转到主要内容
模型供应商为你的工作空间提供 AI 模型访问。你构建的每个应用程序都需要模型才能运行,在工作空间级别配置供应商意味着所有团队成员都可以在所有项目中使用它们。 配置模型供应商时,你需要为 OpenAI、Anthropic、Google 等服务填入自己的 API 密钥。由此你将获得完全控制权,并通过各供应商直接计费。

配置供应商

只有工作空间管理员和所有者才能配置模型供应商。整个过程在各供应商之间是一致的:
1

导航至设置 → 模型供应商

在工作空间设置中访问模型供应商配置。
2

选择你的供应商

从 OpenAI、Anthropic、Google、Cohere 或其他支持的供应商中选择。
3

添加凭据

输入你的 API 密钥和供应商要求的任何其他配置。
4

测试并保存

Dify 在使供应商对你的工作空间可用之前会验证你的凭据。

支持的供应商

大型语言模型
  • OpenAI (GPT-4, GPT-3.5-turbo)
  • Anthropic (Claude)
  • Google (Gemini)
  • Cohere
  • 通过 Ollama 的本地模型
文本嵌入模型
  • OpenAI Embeddings
  • Cohere Embeddings
  • Azure OpenAI
  • 本地文本嵌入模型
专用模型
  • 图像生成 (DALL-E, Stable Diffusion)
  • 语音 (Whisper, ElevenLabs)
  • 内容审核 API

供应商配置示例

必需:来自 OpenAI 平台的 API 密钥可选:用于 Azure OpenAI 或代理的自定义基础 URL,用于组织范围使用的组织 ID可用模型:GPT-4、GPT-3.5-turbo、DALL-E、Whisper、文本嵌入

管理模型凭据

为模型供应商的预定义模型和自定义模型添加多个凭据,并轻松进行切换、删除、修改等操作。 在以下场景中,推荐添加多个模型凭据:
  • 环境隔离:为开发、测试、生产等不同环境配置独立的模型凭据。例如,在开发环境中选择有速率限制的凭据用于功能调试,在生产环境中选择性能稳定、配额充足的付费凭据以保障服务质量。
  • 成本优化:通过添加和切换来自不同账户或模型供应商的多个凭据,最大限度地利用免费或低成本额度,降低应用开发与运营成本。
  • 模型实验:在模型微调或迭代过程中,可能会产出多个模型版本。通过添加不同模型版本的凭据,快速切换并测试其应用效果。
安装模型供应商并配置首个凭据后,点击供应商面板右上角的 配置,可进行以下操作:
  • 添加新凭据
  • 选择任一凭据作为所有预定义模型的默认凭据
  • 修改凭据
  • 删除凭据
若默认凭据被删除,需手动指定新的默认凭据。
管理预定义模型的凭证

负载均衡

当一个模型供应商配置了多个凭据时,可在这些凭据之间自动分配请求。负载均衡会分散流量,避免单个凭据触及速率限制,从而在高负载下保持吞吐量。 默认情况下,Dify 采用轮询策略,将每个请求依次分配给负载均衡池中的下一个凭据。若某个凭据触发速率限制,系统会将其暂时移出轮询一分钟,之后再重新尝试。 设置步骤:
  1. 在模型列表中找到目标模型,点击对应的 配置,选择 负载均衡
  2. 向负载均衡池中添加凭据,可从已有凭据中选择,也可添加新凭据。
  3. 至少启用两个凭据,然后点击 保存。已启用负载均衡的模型会带有专属标识。
向负载均衡池添加凭据
带有负载均衡标识的模型

访问和权限

团队访问遵循工作空间权限:
  • 所有者/管理员 可以配置、修改和删除供应商
  • 编辑者/成员 可以查看可用供应商并在应用程序中使用它们
API 密钥授予工作空间范围的模型访问权限,并会通过各供应商的账户直接计费。只将管理权限授予可信的团队成员。

故障排除

身份验证失败:验证 API 密钥准确性,检查过期时间,确保有足够积分,确认密钥权限。 模型不可用:检查供应商配置是否包含该模型,验证 API 密钥等级访问权限,刷新供应商设置。 速率限制:升级供应商账户,实施请求队列,考虑使用自定义供应商获得更高限制。