llama.cpp修复张量模式CPU浪费
llama.cpp b9966 修复 sm-tensor 生产使用中的性能问题,避免解码线程在每个 token 的每个张量上重复编译 29 个正则。改动通过缓存正则保持行为不变,减少 CPU 浪费。
事件进展(1 篇报道)
-
2026-07-12 07:28Reddit r/LocalLLaMA llama.cpp b9966 for sm-tensor
llama.cpp b9966 修复 sm-tensor 生产使用中的性能问题,避免解码线程在每个 token 的每个张量上重复编译 29 个正则。改动通过缓存正则保持行为不变,减少 CPU 浪费。