论文评测端侧LLM推理效率

一篇关于端侧LLM推理的文献评测对手机、NPU和GPU在持续负载下的性能与能效取舍进行了基准测试，设备包括RPi5-Hailo、iPhone 16 Pro、S24 Ultra和RTX 4050笔记本GPU。测试使用Qwen-2.5-1.5B 4bit等模型，关注端侧部署中的吞吐、能耗和稳定性问题。

事件进展（1 篇报道）

1. 2026-07-08 16:09
   Reddit r/LocalLLaMA Literature Review: LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load | Bnechmarking LLMs on Phones [R]

← 返回首页