苹果M5推理潜力未释放

社区开发者指出，MLX与Mac版llama.cpp目前仍主要使用16位激活，而M5芯片已支持INT8激活。其自制w8a8内核在Gemma4预填充任务中实现约1.4倍提速，显示苹果本地AI推理仍有优化空间。

事件进展（1 篇报道）

1. 2026-07-24 00:28
   Reddit r/LocalLLaMA Apple M5 isn't making full use of its matmul cores yet

← 返回首页