MiMo V2.5优化混合SWA推理
MiMo V2.5系列介绍其推理优化方案,核心包括Hybrid Sliding Window Attention将KV Cache存储压缩至全注意力约1/7,并结合稀疏MoE降低单token计算量。该架构面向长上下文推理和多模态场景,覆盖视觉、音频、视频等跨模态理解任务。
事件进展(1 篇报道)
-
2026-07-07 14:06
MiMo V2.5系列介绍其推理优化方案,核心包括Hybrid Sliding Window Attention将KV Cache存储压缩至全注意力约1/7,并结合稀疏MoE降低单token计算量。该架构面向长上下文推理和多模态场景,覆盖视觉、音频、视频等跨模态理解任务。