腾讯发布HiLS稀疏注意力7B
腾讯在Hugging Face发布HiLS-Attention-7B，基于OLMo3风格骨干继续训练，面向高效长上下文建模。该方法通过压缩chunk key估计块质量，并将注意力分解为块间与块内softmax，以端到端方式学习稀疏选择。
事件进展（1 篇报道）
-
2026-07-10 22:45Reddit r/LocalLLaMA tencent/HiLS-Attention-7B · Hugging Face
腾讯在Hugging Face发布HiLS-Attention-7B，基于OLMo3风格骨干继续训练，面向高效长上下文建模。该方法通过压缩chunk key估计块质量，并将注意力分解为块间与块内softmax，以端到端方式学习稀疏选择。