开发者与开源 重要度 4

llama.cpp优化ARM NVFP4推理

ggml/llama.cpp 新 PR 将 UE4M3 查表优化扩展到 ARM 的 NVFP4 点积实现,复用共享查表结构并与 x86 实现对齐。基准显示 Qwen3.5-4B-NVFP4 在 ARM CPU 上 pp512 吞吐从约 1.89 t/s 提升到约 9.97 t/s。

事件进展(1 篇报道)

  1. 2026-07-06 21:28

← 返回首页