开发者与开源 重要度 4

llama.cpp修复张量模式CPU浪费

llama.cpp b9966 修复 sm-tensor 生产使用中的性能问题,避免解码线程在每个 token 的每个张量上重复编译 29 个正则。改动通过缓存正则保持行为不变,减少 CPU 浪费。

事件进展(1 篇报道)

  1. 2026-07-12 07:28
    Reddit r/LocalLLaMA llama.cpp b9966 for sm-tensor

← 返回首页