DWARF-55M-Base公开
DWARF 架构的首个模型版本发布,主打近乎全稀疏注意力,并用少量全注意力层维持全局信息混合。作者称其在 2048 上训练后,对更长上下文仍有一定外推能力。
事件进展(1 篇报道)
-
2026-07-21 00:21Reddit r/LocalLLaMA Introducing DWARF-55M-Base
DWARF 架构的首个模型版本发布,主打近乎全稀疏注意力,并用少量全注意力层维持全局信息混合。作者称其在 2048 上训练后,对更长上下文仍有一定外推能力。