Blackwell跑vLLM吞吐实测
Reddit用户分享Blackwell GPU在vLLM中启用NVFP4并发推理的日志，30路并发图像描述任务下聚合生成吞吐接近2000 tokens/s。帖子提供了服务启动脚本和缓存命中等指标，属于本地/自建AI推理性能经验分享。
事件进展（1 篇报道）
-
2026-07-05 10:29Reddit r/LocalLLaMA Concurrency plus nvfp4 on Blackwell
Reddit用户分享Blackwell GPU在vLLM中启用NVFP4并发推理的日志，30路并发图像描述任务下聚合生成吞吐接近2000 tokens/s。帖子提供了服务启动脚本和缓存命中等指标，属于本地/自建AI推理性能经验分享。