llama-server缓存问题修复
社区用户发现 llama-server 在进程重启后会丢弃已从磁盘恢复的 KV Cache,导致长上下文会话仍需重新预填充。问题源于一项仅存在进程内存中的元数据,修复后可提升预算硬件上的长上下文恢复效率。
事件进展(1 篇报道)
-
2026-07-06 08:07Reddit r/LocalLLaMA Llama-Server is Throwing Away Your Perfectly Good KV Caches, and How to Fix It