DiffusionGemma技术报告发布
研究者发布 DiffusionGemma 技术报告,提出基于离散扩散的开权重语言模型,可并行细化 256 token 块以绕开自回归逐 token 解码瓶颈。该模型由 Gemma 4 MoE 微调而来,激活参数 3.8B、总参数 25.2B,训练 token 预算低于原模型的 10%。
事件进展(1 篇报道)
-
2026-08-20 21:24Hacker News DiffusionGemma Technical Report
研究者发布 DiffusionGemma 技术报告,提出基于离散扩散的开权重语言模型,可并行细化 256 token 块以绕开自回归逐 token 解码瓶颈。该模型由 Gemma 4 MoE 微调而来,激活参数 3.8B、总参数 25.2B,训练 token 预算低于原模型的 10%。