低成本网络跑多节点GPU
LocalLLaMA用户称用20美元USB转以太网方案连接两台节点,即可在2块RTX 4060加1块RTX 4060上运行Laguna Q2_K_XL模型,约达28-30 token/s。帖子提供了llama.cpp推理计时数据,说明小规模多节点GPU推理不一定需要昂贵网络设备。
事件进展(1 篇报道)
-
2026-07-23 08:04
LocalLLaMA用户称用20美元USB转以太网方案连接两台节点,即可在2块RTX 4060加1块RTX 4060上运行Laguna Q2_K_XL模型,约达28-30 token/s。帖子提供了llama.cpp推理计时数据,说明小规模多节点GPU推理不一定需要昂贵网络设备。