开发者与开源 重要度 5

llama.cpp多项性能更新

社区汇总 llama.cpp 近期多项优化,包括 CUDA 后端为 Mamba-2 prefill 加入 chunked SSD matmul,以及 Metal 后端新增 FWHT kernel。部分基准显示在长上下文或特定量化设置下可带来个位数到二成左右的吞吐提升。

事件进展(1 篇报道)

  1. 2026-07-28 22:16

← 返回首页