四张RTX 3080跑Qwen代码生成
Reddit用户在Vast AI上测试四张20GB RTX 3080运行Qwen3.6-27B进行代码生成,称在接近256k上下文、开启MTP时解码速度约69 tps。作者认为约2000美元级别的二手硬件组合可较低量化运行中等规模密集模型,具备本地AI开发性价比参考价值。
事件进展(1 篇报道)
-
2026-07-23 10:38
Reddit用户在Vast AI上测试四张20GB RTX 3080运行Qwen3.6-27B进行代码生成,称在接近256k上下文、开启MTP时解码速度约69 tps。作者认为约2000美元级别的二手硬件组合可较低量化运行中等规模密集模型,具备本地AI开发性价比参考价值。