AI 前沿重要度 4 首次收录 2026-08-17 17:50:37

Muse Glimmer 30B扩展至512k上下文

Reddit用户尝试将Muse Glimmer 30B扩展到512k上下文，发现其架构不同于常见长上下文模型：仅2048 token窗口的SWA层使用RoPE，完整GQA注意力层没有位置编码。作者认为这降低了长上下文适配难度，显示Meta在架构上做出较大胆尝试。

事件进展（1 篇报道）