DKV开源KV缓存压缩框架
社区开发者发布 DKV(DifferentialKV),面向本地长上下文 LLM 推理的开源 KV-cache 压缩框架。项目提供 CLI、MLX 后端、验证中的 CUDA 后端和技术报告,探索锚点表示、联合低秩压缩、精确保留残差与稀疏路由注意力以降低显存占用。
事件进展(1 篇报道)
-
2026-07-25 11:27
社区开发者发布 DKV(DifferentialKV),面向本地长上下文 LLM 推理的开源 KV-cache 压缩框架。项目提供 CLI、MLX 后端、验证中的 CUDA 后端和技术报告,探索锚点表示、联合低秩压缩、精确保留残差与稀疏路由注意力以降低显存占用。