ATSInfer优化本地LLM推理

论文提出ATSInfer，用于消费级设备上的CPU-GPU混合大模型推理。其以张量粒度进行卸载调度，结合静态放置、负载感知动态传输和异步协同，以提升显存不足场景下的推理效率。

事件进展（1 篇报道）

1. 2026-07-20 00:54
   Reddit r/LocalLLaMA [Paper] Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices

← 返回首页