前提条件

1、需要Blackwell 架构GPU

2、安装好显卡驱动

因为vllm不支持windows安装，所以需要使用wsl和docker deskstop来部署。

1、安装Docker deskstop

先安装WSL2，再安装Docker deskstop。不要再wsl子系统中安装docker。因为不方便使用。

可以参考这篇文章Win11系统安装WSL2(Linux子系统)、安装GIT、安装miniconda、安装Pytorch、安装Docker等 - 晓拂实践录

2、配置镜像加速器

打开Docker deskstop 点击设置-点击Docker Engine。配置如下：

,"registry-mirrors":["https://0907e9f34380f2940febc01a90f417a0.mirror.swr.myhuaweicloud.com"]

3、拉取vllm镜像

win + R 输入cmd打开命令行。运行镜像拉取命令。镜像文件较大，需耐心等待拉取完成。

#拉取镜像，如果第一次无法拉取，可以多执行几次。实在不行就更换镜像加速源后再尝试拉取镜像。
docker pull vllm/vllm-openai
#运行测试命令，测试GPU在vllm容器中是否完全正常可用
docker run --rm -it --gpus all --entrypoint /bin/bash vllm/vllm-openai:latest
/usr/bin/python3 -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name())"
#正常可用的输出结果如下
True NVIDIA GeForce RTX xxxx	✅ GPU 完全可用	可以正式启动 vLLM 服务

4、下载nvfp4格式模型文件

如何判断是否为nvfp4格式的模型。看模型名称。比如这个就是nvfp模型。gemma-4-12B-it-NVFP4

下载地址：gemma-4-12B-it-NVFP4 · 模型库当然huggingface上也可以找到很多模型

下载命令：

#需要其他配置好python pip环境. 这里跳过python安装
#进入d盘
C:\Users\73277>d:
#切换到02soft\llama目录
D:\>cd 02soft\llama
#下载modelscope工具
pip install modelscope
#下载模型到当前目录下的 /RedHatAI/gemma-4-12B-it-NVFP4
modelscope download --model RedHatAI/gemma-4-12B-it-NVFP4  --local_dir ./RedHatAI/gemma-4-12B-it-NVFP4
#等待进度条达到100%或者命令执行完成，模型就下载完毕了。

5、启动容器

开发者无需手动安装 vLLM 依赖（如 CUDA、PyTorch），通过 Docker 拉取镜像后，仅需一条命令即可启动大模型服务：

#该命令直接再Windows cmd中运行可能会报错。
docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest --model RedHatAI/gemma-4-12B-it-NVFP4 --api-server
#正确的运行命令如下：
#不能直接写 Windows 宿主机的绝对路径（如 D:\02soft\llama\RedHatAI\gemma-4-12B-it-NVFP4），因为容器内部是 Linux 文件系统，无法识别 Windows 路径。
#需要通过 Docker Volume 挂载 将宿主机目录映射到容器内，然后在 --model 参数中使用容器内的路径。
docker run -d --gpus all -p 8000:8000 ^
  -v D:\02soft\llama\RedHatAI\gemma-4-12B-it-NVFP4:/models/RedHatAI/gemma-4-12B-it-NVFP4^
  vllm/vllm-openai:latest ^
  --model /models/RedHatAI/gemma-4-12B-it-NVFP4 ^
  --api-server

在win上部署后，启动容器没有成功(可能是需要安装cuda-toolkit ，windows系统里我没有安装cuda-toolkit )。下面在ubuntu desktop 24.04上部署。

ubuntu desktop 通过VLLM启动nvfp4模型

前提条件：

1、安装好显卡驱动

#自动安装驱动
ubuntu-drvices autoinstall
#安装完成后运行。可以看到显卡信息，说明显卡驱动安装完成。
nvidia-smi

2、安装conda或者uv

安装conda https://177857.xyz/archives/1777518752167#%E5%AE%89%E8%A3%85-miniconda

安装vllm

conda  create -n vllm_venv python=3.12
conda activate vllm_venv
pip install vllm
pip install cuda-cudart cuda-nvcc cuda-toolkit -c nvidia -y

下载模型

conda activate vllm_venv
pip install modelscope
mkdir -p models/RedHatAI/gemma-4-12B-it-NVFP4
modelscope download --model RedHatAI/gemma-4-12B-it-NVFP4  --local_dir ./models
#安装 opencode
curl -fsSL https://opencode.ai/install | bash

启动模型

python -m vllm.entrypoints.openai.api_server \
  --model models/RedHatAI/gemma-4-12B-it-NVFP4 \
  --dtype auto \
  --max-model-len 8192 \
  --gpu-memory-utilization 1 \
  --port 8000
#http://localhost:8000/v1/chat/completions

后续可以在opencode hermes等接入本地部署的模型。

菜单

Win11下使用VLLM部署nvfp4格式大模型服务