SSOG注意力替代SDPA

研究者提出SSOG-Attention，用可分离高斯原子替代标准缩放点积注意力，将复杂度从O(N²·d)降至O(N·√N·d)。实验称其在CIFAR100优于SDPA，在ImageNet-1k上性能相当且收敛更快、显存效率更高。

事件进展（1 篇报道）

1. 2026-08-16 18:06
   Reddit r/MachineLearning SSOG-Attention: Sum Of Separable Gaussians as a sub-quadratic and scalable alternative to SDPA. [R]

← 返回首页