纯C BitNet推理引擎达36 tok/s

开发者分享从零构建零依赖 C99 BitNet 推理引擎的经验，在 Intel Xeon CPU 上以 4 线程运行 BitNet b1.58-2B-4T 达到 36.25 tok/s。实现重点包括原生三值权重 SIMD、AVX2/AVX-512/VNNI 优化与轻量线程池。

事件进展（1 篇报道）

1. 2026-08-09 01:09
   Reddit r/LocalLLaMA Building a zero-dependency C inference engine for BitNet (1.58-bit) - lessons from hitting 36 tok/s on a Xeon CPU

← 返回首页