Chutes 系统硬件配置要求一览

Chutes 系统硬件配置要求一览

根据Chtues官方的要求，部署前需准备至少两台机器（CPU 审计管理平台 GPU模型节点）CPU 机器和GPU机器的配置要求如下：

🖥 CPU 机器（非 GPU 主节点只需要一台）

来自 Chutes.ai 的要求：

  • 用途：运行 Postgres、Redis、Gepetto 和 API（不运行 Chutes）。
  • 最低配置：
    • CPU：8 核+ （最低要求）
    • 内存：64GB*（最低要求）
    • 硬盘： 1TB+ （高速硬盘）
    • 网络：50M+（最低要求）
    • 系统： Ubuntu 22.04+
      • 需要静态固定 IP，香港网络
      • 作为 Wireguard 主节点，需要启用 IP 转发（如 GCP 上需要勾选 IP forwarding）。
      • 所有节点之间允许所有端口和协议通信（含 UDP）。
      • GPU 节点需开放 Kubernetes 随机端口范围：30000-32767。
      • 允许 API 节点端口（默认 32000）对管理机器或公网访问。
  • 存储：
    • 确保存储路径合理分配，例如 /var/snap 下有足够空间用于 HuggingFace 缓存等。

🖼 GPU 节点要求

1️⃣ 通用要求

  • 必须为 裸机/VM，不支持 Runpod、Vast 等共享或动态 IP 平台。
  • 内存 (RAM)：服务器 RAM 必须 ≧ 每张 GPU 的 VRAM 总和。
    • 示例：4×A40 (48 GB VRAM) → 需要 ≥ 192 GB RAM。
  • 存储：检查挂载路径，确保 /var/snap 有足够空间（推荐 1TB+ 以上，或根据模型缓存需求调整）。
  • 网络：同 CPU 节点要求，确保节点间完全互通。
  • 注册：添加 GPU 节点时需提供 --gpu-short-ref，该值必须在支持列表内。
  • 5090 GPU 配置示列：
    • OS: Ubuntu 22.04.1 LTS x86_64
    • Host: ROME2D32GM-2T
    • CPU: AMD EPYC 7402 (96) @ 2.800GHz
    • GPU: NVIDIA GeForce RTX 5090 X 8
    • Memory: 512GB
    • SSD: 3.6TB

2️⃣ 支持的 GPU 型号及主要参数（节选）

（完整参数见 官方GPU支持文档 以下列出核心信息）

GPU 型号 显存(GB) CUDA 版本 (Major.Minor) Tensor 核心数 每处理器最大线程 处理器数 Boost 频率(MHz) ECC 支持 每小时成本($)
RTX 3090 24 8.6 328 1536 82 1695 否 0.12
RTX 4090 24 8.9 512 1536 128 2520 否 0.25
RTX 5090 32 12.0 680 1536 170 2407 否 0.35
RTX A4000 16 8.6 168 1536 48 1560 是 0.10
RTX 4000 Ada 20 8.9 192 1536 48 2175 是 0.11
RTX A5000 24 8.6 256 1536 64 1695 否 0.18
RTX A6000 48 8.6 336 1536 84 1860 是 0.33
RTX 6000 Ada 48 8.9 568 1536 142 2505 是 0.36
L4 24 8.9 240 1536 58 2040 是 0.17
A10 24 8.6 208 1536 72 1710 是 0.25
A40 48 8.6 336 1536 84 1740 是 0.35
L40 / L40S 48 8.9 568 1536 142 2490-2520 是 0.35-0.41
A100 40GB(PCIe) 40 8.0 432 2048 108 1410 是 0.55
A100 80GB(PCIe) 80 8.0 432 2048 108 1410 是 0.60
A100 SXM 80 8.0 432 2048 108 1410 是 0.62
H100 PCIe/SXM 80-96 9.0 456-528 2048 114-132 1755-1980 是 1.5-1.7
H800 80 9.0 456 2048 114 1755 是 1.3
H200 140 9.0 528 2048 132 1980 是 2.3
MI300X (AMD) 192 - - 256 304 2100 - 2.1
B200 192 - - 1024 148 1965 - 3.5

✅ 总结

  • CPU 节点：至少 8 核 / 64 GB RAM，静态公网 IP，IP 转发开启，合理分配 /var/snap 存储。
  • GPU 节点：
    • 必须是裸机/VM。
    • RAM ≥ 所有 GPU VRAM 总和。
    • 使用 Chutes README 提供的网络、防火墙和存储注意事项。
    • 选择上表中的受支持 GPU 型号，并在 add-node 命令中使用对应短名称（如 a6000、h100_sxm）。