llama.cpp多项性能更新
社区汇总 llama.cpp 近期多项优化,包括 CUDA 后端为 Mamba-2 prefill 加入 chunked SSD matmul,以及 Metal 后端新增 FWHT kernel。部分基准显示在长上下文或特定量化设置下可带来个位数到二成左右的吞吐提升。
事件进展(1 篇报道)
-
2026-07-28 22:16
社区汇总 llama.cpp 近期多项优化,包括 CUDA 后端为 Mamba-2 prefill 加入 chunked SSD matmul,以及 Metal 后端新增 FWHT kernel。部分基准显示在长上下文或特定量化设置下可带来个位数到二成左右的吞吐提升。