Petals让家用GPU协作跑大模型

Petals以类似BitTorrent的方式组织用户共享模型分片，让消费级GPU或Colab也能参与运行Llama 3.1、Mixtral、Falcon、BLOOM等大模型。其提供接近API的调用体验，同时保留PyTorch与Transformers级别的灵活性，可做微调、自定义采样和查看隐藏状态。

事件进展（1 篇报道）

1. 2026-07-23 09:33
   Hacker News Petals: Run LLMs at home, BitTorrent-style

← 返回首页