要求

  • 三台安装了 Docker 的虚拟机
  • 已安装 Docker
  • 在虚拟机上开放 6333 和 6335 端口
    • 6333:用于与 qdrant 节点进行外部通信的端口。
    • 6335:用于 qdrant 节点之间内部通信的端口。不要暴露给公众。

安装

QDRANT__SERVICE__API_KEY 是必需的环境变量

您可以使用以下命令生成一个随机的 32 字节十六进制字符串:

openssl rand -hex 32

复制并粘贴生成的字符串,替换 docker-compose.yml 文件中的 #REPLACE_ME#

[第一台虚拟机] 为第一台虚拟机创建 docker-compose.yml 文件

  • 将命令中的 --uri 选项替换为当前虚拟机地址
version: "3.8"
services:
  qdrant:
    image: langgenius/qdrant:v1.7.3
    command: "./qdrant --uri 'http://dify-qdrant-node-01:6335'"
    network_mode: "host"
    restart: always
    volumes:
      - /data/qdrant/data/:/qdrant/storage
    environment:
      QDRANT__SERVICE__API_KEY: #REPLACE_ME#
      QDRANT__CLUSTER__ENABLED: 'true'

[第二台虚拟机] 为第二台虚拟机创建 docker-compose.yml 文件

  • 将命令中的 --bootstrap 选项替换为第一台虚拟机地址,--uri 选项替换为当前虚拟机地址
version: "3.8"
services:
  qdrant:
    image: langgenius/qdrant:v1.7.3
    command: "./qdrant --bootstrap 'http://dify-qdrant-node-01:6335' --uri 'http://dify-qdrant-node-02:6335'"
    network_mode: "host"
    restart: always
    volumes:
      - /data/qdrant/data/:/qdrant/storage
    environment:
      QDRANT__SERVICE__API_KEY: #REPLACE_ME#
      QDRANT__CLUSTER__ENABLED: 'true'

[第三台虚拟机] 为第三台虚拟机创建 docker-compose.yml 文件

  • 将命令中的 --bootstrap 选项替换为第一台虚拟机地址,--uri 选项替换为当前虚拟机地址
version: "3.8"
services:
  qdrant:
    image: langgenius/qdrant:v1.7.3
    command: "./qdrant --bootstrap 'http://dify-qdrant-node-01:6335' --uri 'http://dify-qdrant-node-03:6335'"
    network_mode: "host"
    restart: always
    volumes:
      - /data/qdrant/data/:/qdrant/storage
    environment:
      QDRANT__SERVICE__API_KEY: #REPLACE_ME#
      QDRANT__CLUSTER__ENABLED: 'true'

检查集群状态

登录其中一台虚拟机并运行以下命令来检查集群状态。

curl -H 'api-key: <QDRANT__SERVICE__API_KEY>' localhost:6333/cluster | python3 -m json.tool

运行上述命令后,您应该看到以下示例输出:

{
    "result": {
        "status": "enabled",
        "peer_id": 2978525476254873,
        "peers": {
            "8497171801402828": {
                "uri": "http://172.206.68.136:6335/"
            },
            "2978525476254873": {
                "uri": "http://172.206.71.251:6335/"
            },
            "530461904384369": {
                "uri": "http://20.85.121.81:6335/"
            }
        },
        "raft_info": {
            "term": 1,
            "commit": 7,
            "pending_operations": 0,
            "leader": 530461904384369,
            "role": "Follower",
            "is_voter": true
        },
        "consensus_thread_status": {
            "consensus_thread_status": "working",
            "last_update": "2024-06-30T15:13:23.508350153Z"
        },
        "message_send_failures": {}
    },
    "status": "ok",
    "time": 8.7e-06
}

添加负载均衡器

  • 部署 qdrant 集群后,您可以添加一个负载均衡器来分配请求到 qdrant 节点。
  • 负载均衡器应配置为在 6333 端口上分配请求到 qdrant 节点。
  • 6335 端口仅用于内部通信,无需暴露给公众。

参考资料