小模型浏览器内推理达1440tok/s

开发者展示基于WebGPU的自定义后端，使LFM 2.5 230M可在浏览器或Electron/Tauri应用中高速运行。RTX 3090上可达约1400-1500 tok/s，Apple M4上约400-500 tok/s，后续计划并入Sipp库。

事件进展（1 篇报道）

1. 2026-07-26 01:14
   Reddit r/LocalLLaMA LFM 2.5 230M running at 1440 tok/s in-browser through a custom backend

← 返回首页