伯克利MIT开源FreeToken
伯克利与MIT研究人员推出开源MoE推理引擎FreeToken，面向消费级异构硬件优化大模型解码。其通过q*动态协同调度、快速权重格式、双缓冲和弹性显存管理等机制，宣称可在RTX 4060上运行35B模型并达到每秒39 Token。
事件进展（1 篇报道）
-
2026-09-06 01:00
伯克利与MIT研究人员推出开源MoE推理引擎FreeToken，面向消费级异构硬件优化大模型解码。其通过q*动态协同调度、快速权重格式、双缓冲和弹性显存管理等机制，宣称可在RTX 4060上运行35B模型并达到每秒39 Token。