ReFreeKV压缩KV缓存
新论文 ReFreeKV 针对 LLM 推理中的 KV Cache 压缩提出无阈值方案,试图避免不同输入和领域需要预先设定缓存预算的问题。该方法关注开放域场景下 KV 剪枝阈值敏感导致的性能退化。
事件进展(1 篇报道)
-
2026-07-03 22:53Reddit r/LocalLLaMA ReFreeKV: Towards Threshold-Free KV Cache Compression
新论文 ReFreeKV 针对 LLM 推理中的 KV Cache 压缩提出无阈值方案,试图避免不同输入和领域需要预先设定缓存预算的问题。该方法关注开放域场景下 KV 剪枝阈值敏感导致的性能退化。