Wave Field注意力机制
独立研究者提出 Wave Field LLM,用 FFT 波场卷积替代标准点积注意力,主张训练复杂度降到 O(N log N)、推理随 token 数近似恒定。作者称该基座模型在 Mac CPU 上可跑出 80+ tok/s,并在 128K 上避免标准注意力 OOM,但仍需要独立测试验证。
事件进展(1 篇报道)
-
2026-07-16 02:21
独立研究者提出 Wave Field LLM,用 FFT 波场卷积替代标准点积注意力,主张训练复杂度降到 O(N log N)、推理随 token 数近似恒定。作者称该基座模型在 Mac CPU 上可跑出 80+ tok/s,并在 128K 上避免标准注意力 OOM,但仍需要独立测试验证。