开源模型注意力架构综述
社区作者用 Kimi K3 Swarm 整理了 23 个 20B-500B 开放权重模型的架构与注意力设计差异,并发布 PDF 与 Markdown 版本。内容偏研究资料汇编,有助于跟踪近期大模型注意力机制趋势。
事件进展(1 篇报道)
-
2026-07-25 03:45Reddit r/LocalLLaMA Attention Survey July 2026: 23 Model Open Weight 20B-500B Architecture Analysis