1/data/
2├── models/
3│   └── DeepSeek-V3.2-Speciale/    # 模型文件 (~700GB)
4├── cache/
5│   └── huggingface/                # HF 下载缓存 (~100GB)
6└── open-webui/                     # Web UI 数据 (~10GB)

1✅ NVIDIA 驱动           - 已安装 (580.95.05, CUDA 13.0)
2✅ Python                - 已安装 (3.11.14)
3✅ Conda                 - 已安装 (25.11.1)
4✅ GPU Persistence Mode  - 已启用（nvidia-smi -pm 1）
5❌ CUDA Toolkit          - 未安装（不影响部署，PyTorch 自带 CUDA 运行时）
6❌ PyTorch               - 需要安装（推荐 2.3.1+cu121）
7❌ vLLM                  - 需要安装
8❌ DeepGEMM              - 需要安装

 1# 创建模型和缓存目录
 2sudo mkdir -p /data/models
 3sudo mkdir -p /data/cache/huggingface
 4sudo mkdir -p /data/open-webui
 5
 6# 设置权限（替换为你的用户名）
 7sudo chown -R $USER:$USER /data/models
 8sudo chown -R $USER:$USER /data/cache
 9sudo chown -R $USER:$USER /data/open-webui
10
11# 配置 HuggingFace 缓存目录（避免下载到系统盘）
12echo 'export HF_HOME=/data/cache/huggingface' >> ~/.bashrc
13source ~/.bashrc

1# 创建专用环境
2conda create -n deepseek python=3.11 -y
3
4# 激活环境
5conda activate deepseek

1# 方案 1：安装最新稳定版 PyTorch（推荐）
2pip install torch torchvision torchaudio
3
4# 方案 2：指定 CUDA 12.1 版本（如果方案 1 有问题）
5pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 \
6    --index-url https://download.pytorch.org/whl/cu121

1python -c "
2import torch
3print(f'PyTorch 版本: {torch.__version__}')
4print(f'CUDA 可用: {torch.cuda.is_available()}')
5print(f'CUDA 版本: {torch.version.cuda}')
6print(f'GPU 数量: {torch.cuda.device_count()}')
7for i in range(torch.cuda.device_count()):
8    print(f'  GPU {i}: {torch.cuda.get_device_name(i)}')
9"

 1PyTorch 版本: 2.9.0+cu128
 2CUDA 可用: True
 3CUDA 版本: 12.8
 4GPU 数量: 8
 5  GPU 0: NVIDIA H200
 6  GPU 1: NVIDIA H200
 7  GPU 2: NVIDIA H200
 8  GPU 3: NVIDIA H200
 9  GPU 4: NVIDIA H200
10  GPU 5: NVIDIA H200
11  GPU 6: NVIDIA H200
12  GPU 7: NVIDIA H200

1# 确保在 deepseek 环境中
2conda activate deepseek
3
4# 安装 vLLM（使用 nightly 版本获得最新 DeepSeek 支持）
5pip install vllm --extra-index-url https://wheels.vllm.ai/nightly

 1# 下载 CUDA 12.3 安装包
 2wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run
 3
 4# 只安装 Toolkit（不安装驱动，避免覆盖现有驱动）
 5sudo sh cuda_12.3.2_545.23.08_linux.run \
 6    --toolkit \
 7    --toolkitpath=/usr/local/cuda-12.3 \
 8    --silent \
 9    --override
10
11# 配置环境变量（当前会话）
12export PATH=/usr/local/cuda-12.3/bin:$PATH
13export LD_LIBRARY_PATH=/usr/local/cuda-12.3/lib64:$LD_LIBRARY_PATH
14
15# 添加到 bashrc（永久生效）
16echo 'export PATH=/usr/local/cuda-12.3/bin:$PATH' >> ~/.bashrc
17echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.3/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
18
19# 验证 nvcc 版本
20nvcc --version
21# 预期输出：
22# nvcc: NVIDIA (R) Cuda compiler driver
23# Copyright (c) 2005-2023 NVIDIA Corporation
24# Built on Wed_Nov_22_10:17:15_PST_2023
25# Cuda compilation tools, release 12.3, V12.3.107
26# Build cuda_12.3.r12.3/compiler.33567101_0

1# 清理之前失败的编译缓存
2rm -rf /tmp/pip-*
3pip cache purge
4
5# 安装 DeepGEMM（需要一些时间编译）
6pip install git+https://github.com/deepseek-ai/DeepGEMM.git@v2.1.1.post3 --no-build-isolation
7
8# 验证安装
9python -c "import deep_gemm; print('✅ DeepGEMM 安装成功')"

1# Hugging Face 工具（用于下载模型）
2pip install huggingface_hub
3
4# Open WebUI（Web 界面）
5pip install open-webui
6
7# 可选：安装 flash-attn（如果 vLLM 未自动安装）
8# pip install flash-attn --no-build-isolation

1# 启用 Persistence Mode
2sudo nvidia-smi -pm 1
3
4# 验证（Persistence-M 列应显示 On）
5nvidia-smi
6
7# 设置开机自动启用（推荐）
8sudo systemctl enable nvidia-persistenced
9sudo systemctl start nvidia-persistenced

 1echo "========== 依赖安装验证 =========="
 2
 3echo -e "\n--- Conda 环境 ---"
 4conda info --envs | grep deepseek
 5
 6echo -e "\n--- PyTorch + CUDA ---"
 7python -c "import torch; print(f'PyTorch {torch.__version__}, CUDA可用: {torch.cuda.is_available()}, GPU数量: {torch.cuda.device_count()}')"
 8
 9echo -e "\n--- 所有 GPU 列表 ---"
10python -c "
11import torch
12if torch.cuda.is_available():
13    for i in range(torch.cuda.device_count()):
14        print(f'  GPU {i}: {torch.cuda.get_device_name(i)}')
15else:
16    print('  CUDA 不可用！')
17"
18
19echo -e "\n--- vLLM ---"
20python -c "import vllm; print(f'vLLM {vllm.__version__}')"
21
22echo -e "\n--- DeepGEMM ---"
23python -c "import deep_gemm; print('DeepGEMM 已安装')" 2>/dev/null || echo "DeepGEMM 未安装（可选）"
24
25echo -e "\n--- NVIDIA Persistence Mode ---"
26nvidia-smi --query-gpu=persistence_mode --format=csv,noheader | head -1
27
28echo -e "\n========== 验证完成 =========="

1# 激活环境
2conda activate deepseek
3
4# 登录 Hugging Face（如果模型需要授权）
5huggingface-cli login
6
7# 下载模型到 /data/models（约 700GB）
8huggingface-cli download deepseek-ai/DeepSeek-V3.2-Speciale \
9    --local-dir /data/models/DeepSeek-V3.2-Speciale

1# 下载官方聊天模板
2wget -O /data/models/chat_template.jinja \
3    https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp/raw/main/assets/chat_template.jinja
4
5# 验证下载
6cat /data/models/chat_template.jinja | head -10

 1# 创建服务文件
 2sudo tee /etc/systemd/system/vllm-deepseek.service > /dev/null <<'EOF'
 3[Unit]
 4Description=vLLM DeepSeek V3.2 Service
 5After=network.target
 6
 7[Service]
 8Type=simple
 9User=no pa ni c
10WorkingDirectory=/home/nopanic
11Environment="PATH=/usr/local/cuda-12.3/bin:/home/nopanic/miniconda3/envs/deepseek/bin:/usr/local/bin:/usr/bin"
12Environment="LD_LIBRARY_PATH=/usr/local/cuda-12.3/lib64"
13Environment="VLLM_SLEEP_WHEN_IDLE=1"
14
15ExecStart=/home/nopanic/miniconda3/envs/deepseek/bin/vllm serve /data/models \
16    --served-model-name deepseek-v3.2-speciale \
17    --tensor-parallel-size 8 \
18    --tokenizer-mode deepseek_v32 \
19    --enable-auto-tool-choice \
20    --tool-call-parser deepseek_v32 \
21    --chat-template /data/models/chat_template.jinja \
22    --reasoning-parser deepseek_v3 \
23    --max-model-len 131072 \
24    --host 127.0.0.1 \
25    --port 8000
26
27Restart=always
28RestartSec=10
29
30[Install]
31WantedBy=multi-user.target
32EOF
33
34# 启动服务
35sudo systemctl daemon-reload
36sudo systemctl enable vllm-deepseek
37sudo systemctl start vllm-deepseek
38
39# 查看状态
40sudo systemctl status vllm-deepseek
41
42# 查看日志
43journalctl -u vllm-deepseek -f

 1# 检查服务状态
 2curl http://localhost:8000/v1/models
 3
 4# 测试对话接口
 5curl http://localhost:8000/v1/chat/completions \
 6  -H "Content-Type: application/json" \
 7  -d '{
 8    "model": "deepseek-v3.2-speciale",
 9    "messages": [
10      {"role": "user", "content": "你好，请介绍一下自己"}
11    ],
12    "max_tokens": 512,
13    "temperature": 0.6
14  }'

1# 激活 conda 环境
2conda activate deepseek
3
4# 安装 Open WebUI
5pip install open-webui
6
7# 验证安装
8which open-webui
9open-webui --version

 1# 获取 open-webui 路径
 2OPENWEBUI_PATH=$(which open-webui)
 3
 4# 创建数据目录
 5sudo mkdir -p /data/open-webui
 6sudo chown -R $USER:$USER /data/open-webui
 7
 8# 创建 systemd 服务
 9sudo tee /etc/systemd/system/open-webui.service > /dev/null <<EOF
10[Unit]
11Description=Open WebUI Service
12After=network.target vllm-deepseek.service
13
14[Service]
15Type=simple
16User=nopanic
17WorkingDirectory=/home/nopanic
18Environment="OPENAI_API_BASE_URL=http://127.0.0.1:8000/v1"
19Environment="OPENAI_API_KEY=not-needed"
20Environment="ENABLE_OLLAMA_API=false"
21Environment="WEBUI_AUTH=true"
22Environment="DATA_DIR=/data/30tb/open-webui"
23
24ExecStart=/home/nopanic/miniconda3/envs/deepseek/bin/open-webui serve --host 0.0.0.0 --port 8081
25
26Restart=always
27RestartSec=10
28
29[Install]
30WantedBy=multi-user.target
31EOF
32
33# 启动服务
34sudo systemctl daemon-reload
35sudo systemctl enable open-webui
36sudo systemctl start open-webui
37
38# 查看状态
39sudo systemctl status open-webui
40
41# 查看日志
42journalctl -u open-webui -f

1# 本地测试
2curl http://127.0.0.1:8081
3
4# 查看服务状态
5sudo systemctl status open-webui
6
7# 查看日志
8journalctl -u open-webui -f

1key:chat_template_kwargs
2value:{"thinking": true}

1# 1. 下载并安装 cloudflared
2wget https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
3sudo dpkg -i cloudflared-linux-amd64.deb
4
5# 2. 验证安装
6cloudflared --version

1# 登录 Cloudflare（会打开浏览器授权）
2cloudflared tunnel login
3
4# 如果是纯命令行环境，会显示一个 URL
5# 复制 URL 到本地浏览器打开，授权后自动完成

1sudo cloudflared service install eyJhIjoiMDY3NGE1MzQ5M**********

 1# 查看所有 Tunnel
 2cloudflared tunnel list
 3
 4# 查看 Tunnel 状态
 5sudo systemctl status cloudflared
 6
 7# 查看实时日志
 8sudo journalctl -u cloudflared -f
 9
10# 重启 Tunnel
11sudo systemctl restart cloudflared
12
13# 停止 Tunnel
14sudo systemctl stop cloudflared

1# 推荐：8×H200 有 1.12TB 显存，使用 BF16 获得更好质量
2--kv-cache-dtype bfloat16

1# 个人使用，追求响应速度
2--max-num-seqs 128
3
4# 多人共享，追求吞吐量
5--max-num-seqs 512

1# 完整 128K 上下文（默认，显存充足时使用）
2--max-model-len 131072
3
4# 64K 上下文（节省显存）
5--max-model-len 65536
6
7# 32K 上下文（显存紧张时）
8--max-model-len 32768

1# 禁用 DeepGEMM（跳过 JIT 编译，但推理速度会下降）
2export VLLM_USE_DEEP_GEMM=0
3
4# 禁用 DeepGEMM Warmup（牺牲性能换取快速启动）
5export DEEP_GEMM_DISABLE_WARMUP=1
6
7# 正常使用（推荐，首次启动耐心等待 JIT 编译）
8# 不设置任何环境变量，让 DeepGEMM 正常工作

1# 空闲时降低 GPU 功耗（已在 systemd 服务中配置）
2Environment="VLLM_SLEEP_WHEN_IDLE=1"

1# 默认值（推荐，为系统保留 10% 显存）
2--gpu-memory-utilization 0.9
3
4# 激进配置（显存利用最大化，可能导致 OOM）
5--gpu-memory-utilization 0.95
6
7# 保守配置（留更多余量给其他进程）
8--gpu-memory-utilization 0.8

1# 启用前缀缓存（推荐，尤其是固定系统提示词场景）
2--enable-prefix-caching

1# 启用分块预填充
2--enable-chunked-prefill
3
4# 配合最大分块数使用
5--max-num-batched-tokens 8192

1# 禁用请求日志（减少 I/O 开销）
2--disable-log-requests
3
4# 禁用统计信息日志
5--disable-log-stats

1# 在 systemd 服务中添加环境变量
2Environment="NCCL_P2P_LEVEL=NVL"      # 使用 NVLink
3Environment="NCCL_IB_DISABLE=1"        # 禁用 InfiniBand（单机不需要）
4Environment="NCCL_SHM_DISABLE=0"       # 启用共享内存

 1ExecStart=/path/to/vllm serve /data/models \
 2    --served-model-name deepseek-v3.2-speciale \
 3    --tensor-parallel-size 8 \
 4    --tokenizer-mode deepseek_v32 \
 5    --enable-auto-tool-choice \
 6    --tool-call-parser deepseek_v32 \
 7    --chat-template /data/models/chat_template.jinja \
 8    --reasoning-parser deepseek_v3 \
 9    --max-model-len 131072 \
10    --gpu-memory-utilization 0.9 \
11    --enable-prefix-caching \
12    --enable-chunked-prefill \
13    --disable-log-requests \
14    --host 127.0.0.1 \
15    --port 8000

1# 减少并发数
2--max-num-seqs 128
3
4# 减少上下文长度
5--max-model-len 65536
6
7# 或同时调整两者
8--max-num-seqs 128 --max-model-len 65536

1# 大模型首次加载需要 20-30 分钟，请耐心等待
2# 查看加载进度
3journalctl -u vllm-deepseek -f
4
5# 如果卡在 DeepGEMM warmup，这是正常现象
6# 首次需要数小时完成 JIT 编译，根据实际配置。

1# 查看 GPU 使用情况（每秒刷新）
2watch -n 1 nvidia-smi
3
4# 查看 vLLM 服务日志
5journalctl -u vllm-deepseek -f
6
7# 查看 Open WebUI 日志
8journalctl -u open-webui -f

1# 检查驱动版本
2nvidia-smi  # 可能报错或显示不一致版本
3
4# 检查内核日志
5sudo dmesg | grep -i nvidia | tail -20
6# 如果看到 "API mismatch" 或 "version mismatch"，说明版本不一致

 1# 1. 禁用 CUDA 第三方源（防止自动升级）
 2sudo mv /etc/apt/sources.list.d/cuda-ubuntu2204-x86_64.list /tmp/ 2>/dev/null
 3sudo apt-get update
 4
 5# 2. 查看可用版本
 6apt-cache policy nvidia-utils-580
 7
 8# 3. 安装与内核驱动匹配的版本
 9sudo apt-get install -y nvidia-utils-580 nvidia-compute-utils-580
10
11# 4. 验证
12nvidia-smi  # 应该正常显示
13
14# 5. 可选：锁定版本，防止意外升级
15# sudo apt-mark hold nvidia-utils-580 nvidia-driver-580

1# 重启后新驱动会完整加载
2sudo reboot
3
4# 重启后验证
5nvidia-smi
6sudo nvidia-smi -pm 1

1$ lsmod | grep nvidia_uvm
2# 没有输出，说明模块未加载
3
4$ sudo modprobe nvidia_uvm
5modprobe: ERROR: could not insert 'nvidia_uvm': Invalid argument
6
7$ dmesg | grep nvidia_uvm
8nvidia_uvm: disagrees about version of symbol nvUvmInterfaceDeviceCreate

1# 方案 1：降级用户空间工具后重新加载
2sudo rmmod nvidia_uvm 2>/dev/null
3sudo modprobe nvidia_uvm
4lsmod | grep nvidia_uvm
5
6# 方案 2：重启系统
7sudo reboot

1# 症状 1：CUDA_HOME 未设置
2OSError: CUDA_HOME environment variable is not set. Please set it to your CUDA install root.
3
4# 症状 2：nvcc 版本过低
5RuntimeError: Assertion error: "NVCC version should be >= 12.3"

 1# 1. 下载 CUDA 12.3 安装包
 2wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run
 3
 4# 2. 只安装 Toolkit（不安装驱动，避免覆盖现有驱动）
 5sudo sh cuda_12.3.2_545.23.08_linux.run \
 6    --toolkit \
 7    --toolkitpath=/usr/local/cuda-12.3 \
 8    --silent \
 9    --override
10
11# 3. 配置环境变量
12export PATH=/usr/local/cuda-12.3/bin:$PATH
13export LD_LIBRARY_PATH=/usr/local/cuda-12.3/lib64:$LD_LIBRARY_PATH
14
15# 4. 添加到 bashrc（永久生效）
16echo 'export PATH=/usr/local/cuda-12.3/bin:$PATH' >> ~/.bashrc
17echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.3/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
18
19# 5. 验证
20nvcc --version  # 应显示 12.3.x

1$ vllm serve ...
2DEBUG: CUDA platform is not available because: RM has detected an NVML/RM version mismatch.
3DEBUG: No platform detected, vLLM is running on UnspecifiedPlatform
4RuntimeError: Failed to infer device type

 1# 1. 确认驱动正常
 2nvidia-smi
 3
 4# 2. 确认 nvidia_uvm 已加载
 5lsmod | grep nvidia_uvm
 6
 7# 3. 确认 PyTorch 可以访问 GPU
 8python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}, GPU数量: {torch.cuda.device_count()}')"
 9# 必须返回 True 和正确的 GPU 数量
10
11# 4. 重新启动 vLLM
12vllm serve ...

1DeepGemm(m_grouped_fp8_gemm_nt_contiguous) warmup (W=torch.Size([256, 512, 7168])) 
2[766 values, block_m=128]:   5%|███▉  | 40/766 [04:54<4:52:46, 24.20s/it]
3
4WARNING: No available shared memory broadcast block found in 60 seconds. 
5This typically happens when some processes are hanging or doing some time-consuming work.

 1# 使用 screen
 2screen -S vllm
 3vllm serve /data/models ...
 4# 按 Ctrl+A, D 退出（进程继续运行）
 5# 重新连接：screen -r vllm
 6
 7# 或使用 tmux
 8tmux new -s vllm
 9vllm serve /data/models ...
10# 按 Ctrl+B, D 退出
11# 重新连接：tmux attach -t vllm
12
13# 或使用 nohup
14nohup vllm serve /data/models ... > vllm.log 2>&1 &
15tail -f vllm.log

1DEEP_GEMM_DISABLE_WARMUP=1 vllm serve ...

1Engine 000: Avg generation throughput: 4.9 tokens/s

1# 错误 ❌
2vllm serve ... --enforce-eager
3
4# 正确 ✅
5vllm serve ...  # 不加 --enforce-eager

1# 通过 API 查看实际 token 数
2curl http://localhost:8000/v1/chat/completions \
3  -H "Content-Type: application/json" \
4  -d '{
5    "model": "deepseek-v3.2-speciale",
6    "messages": [{"role": "user", "content": "1+1=?"}]
7  }' | jq '.usage'

1watch -n 1 nvidia-smi

1$ python -c "import torch; print(torch.cuda.is_available())"
2CUDA initialization: CUDA unknown error
3False
4
5$ env | grep CUDA
6CUDA_HOME=/home/nopanic/nvcc_fix/nvidia/cuda_nvcc
7LD_LIBRARY_PATH=/home/nopanic/nvcc_fix/nvidia/cuda_nvcc/lib:...

 1# 1. 清理错误的环境变量
 2unset CUDA_HOME
 3unset NVCC_HOME
 4unset NVCC_FIX_DIR
 5export LD_LIBRARY_PATH=""
 6
 7# 2. 重新激活 conda 环境
 8conda deactivate
 9conda activate deepseek
10
11# 3. 验证
12python -c "import torch; print(torch.cuda.is_available())"
13
14# 4. 永久清理（检查并删除相关配置）
15grep -n "CUDA_HOME\|NVCC_FIX" ~/.bashrc
16conda env config vars list
17# 如果发现错误配置，手动删除

 1# ========== 驱动与 GPU 检查 ==========
 2nvidia-smi                                    # 查看 GPU 状态
 3nvidia-smi --query-gpu=driver_version --format=csv,noheader  # 查看驱动版本
 4lsmod | grep nvidia                           # 查看已加载的 NVIDIA 模块
 5sudo dmesg | grep -i nvidia | tail -20        # 查看内核日志中的 NVIDIA 错误
 6
 7# ========== CUDA 环境检查 ==========
 8nvcc --version                                # 查看 CUDA Toolkit 版本
 9which nvcc                                    # 查看 nvcc 路径
10env | grep -i cuda                            # 查看 CUDA 相关环境变量
11env | grep LD_LIBRARY_PATH                    # 查看库路径
12
13# ========== PyTorch 检查 ==========
14python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}, GPU数量: {torch.cuda.device_count()}')"
15python -c "import torch; [print(f'GPU {i}: {torch.cuda.get_device_name(i)}') for i in range(torch.cuda.device_count())]"
16
17# ========== vLLM 与 DeepGEMM 检查 ==========
18pip show vllm                                 # 查看 vLLM 版本
19python -c "import deep_gemm; print('DeepGEMM OK')"  # 验证 DeepGEMM
20
21# ========== API 测试 ==========
22curl http://localhost:8000/v1/models          # 查看可用模型
23curl http://localhost:8000/v1/chat/completions \
24  -H "Content-Type: application/json" \
25  -d '{"model": "deepseek-v3.2-speciale", "messages": [{"role": "user", "content": "Hello"}]}' | jq
26
27# ========== screen/tmux 管理 ==========
28screen -S name                                # 创建 screen session
29screen -r name                                # 重新连接
30screen -ls                                    # 列出所有 session
31# Ctrl+A, D                                   # 退出（不终止进程）
32
33# ========== 日志查看 ==========
34journalctl -u vllm-deepseek -f                # 查看 systemd 服务日志
35docker logs -f open-webui                     # 查看 Web UI 日志
36tail -f vllm.log                              # 查看 nohup 日志

1-  创建存储目录: sudo mkdir -p /data/{models,cache/huggingface,open-webui}
2-  设置权限: sudo chown -R $USER:$USER /data/*
3-  配置 HF 缓存: echo 'export HF_HOME=/data/cache/huggingface' >> ~/.bashrc
4-  创建 conda 环境: conda create -n deepseek python=3.11 -y
5-  激活环境: conda activate deepseek

1-  安装 PyTorch: pip install torch torchvision torchaudio
2-  验证 CUDA: python -c "import torch; print(torch.cuda.is_available())" (应返回 True)
3-  启用 GPU 持久化: sudo nvidia-smi -pm 1
4-  安装 vLLM: pip install vllm --extra-index-url https://wheels.vllm.ai/nightly
5-  安装 CUDA 12.3: wget cuda_12.3.2...run && sudo sh ... --toolkit --toolkitpath=/usr/local/cuda-12.3
6-  配置环境变量: export PATH=/usr/local/cuda-12.3/bin:$PATH && export LD_LIBRARY_PATH=...
7-  安装 DeepGEMM: pip install git+https://github.com/deepseek-ai/DeepGEMM.git@v2.1.1.post3 --no-build-isolation
8-  安装 HF 工具: pip install huggingface_hub
9-  安装 Open WebUI: pip install open-webui

1-  登录 HF: huggingface-cli login 或 python -c "from huggingface_hub import login; login()"
2-  下载模型: huggingface-cli download deepseek-ai/DeepSeek-V3.2-Speciale --local-dir /data/models

1-  创建 vLLM 服务: /etc/systemd/system/vllm-deepseek.service
2-  创建 Open WebUI 服务: /etc/systemd/system/open-webui.service
3-  启动服务: sudo systemctl start vllm-deepseek open-webui
4-  设置开机自启: sudo systemctl enable vllm-deepseek open-webui

1-  验证 vLLM: curl http://127.0.0.1:8000/v1/models
2-  验证 Open WebUI: curl http://127.0.0.1:8081
3-  查看日志: journalctl -u vllm-deepseek -f 和 journalctl -u open-webui -f

1-  安装 cloudflared: wget + dpkg -i cloudflared-linux-amd64.deb
2-  登录 Cloudflare: cloudflared tunnel login
3-  在 Dashboard 创建 Tunnel: Zero Trust → Network → Connectors → Create a tunnel
4-  在服务器安装服务: sudo cloudflared service install <token>
5-  在 Dashboard 配置域名映射: 子域名 → HTTP → 127.0.0.1:8081
6-  验证状态: sudo systemctl status cloudflared

1-  访问界面: https://abc.yourdomain.com
2-  注册管理员账户（首个用户自动成为管理员）
3-  禁用公开注册: Settings → Admin Settings → Disable Signup
4-  可选：配置 Cloudflare Zero Trust Access（邮箱验证）