llama.cpp补丁扩展Qwen上下文
Reddit用户发现 llama.cpp 在 AMD ROCm/Vulkan 后端自动适配时高估 MTP 计算缓冲区内存,导致可用上下文被压低。其补丁可将 Qwen 27B 在双卡 Q6_K_L 场景下上下文从约64K提升至149K,并附测试脚本与日志。
事件进展(1 篇报道)
-
2026-08-09 18:21
Reddit用户发现 llama.cpp 在 AMD ROCm/Vulkan 后端自动适配时高估 MTP 计算缓冲区内存,导致可用上下文被压低。其补丁可将 Qwen 27B 在双卡 Q6_K_L 场景下上下文从约64K提升至149K,并附测试脚本与日志。