社区讨论上下文漂移
Reddit用户称在 google/gemma-3-1b-it 上观察到长篇良性上下文可诱发深层激活漂移,导致 logits 解耦、熵大幅上升,并弱化 RLHF 拒答模板。作者称打乱文本消融显示该现象与语义相关而非单纯长度或位置编码噪声,但仍属于社区实验讨论,需更多复现验证。
事件进展(1 篇报道)
-
2026-08-12 10:09
Reddit用户称在 google/gemma-3-1b-it 上观察到长篇良性上下文可诱发深层激活漂移,导致 logits 解耦、熵大幅上升,并弱化 RLHF 拒答模板。作者称打乱文本消融显示该现象与语义相关而非单纯长度或位置编码噪声,但仍属于社区实验讨论,需更多复现验证。