三元大模型突破1.58比特存储门槛
研究分析29个三元大模型发现,权重符号分布并不均匀,零值占比最高达51.5%。基于这一分布特征,论文提出更高效的编码与打包方法,有望将三元模型的实际存储开销降至传统1.585比特理论基准以下。
事件进展(1 篇报道)
-
2026-09-17 04:59Hacker News Breaking the 1.58-bit Barrier for Ternary LLMs
研究分析29个三元大模型发现,权重符号分布并不均匀,零值占比最高达51.5%。基于这一分布特征,论文提出更高效的编码与打包方法,有望将三元模型的实际存储开销降至传统1.585比特理论基准以下。