Maple-Preview低内存推理
开发者将Maple-Preview加入Mference,并在MacBook Air M4上实现约40 tokens/s生成速度、仅500MB内存占用。该方案强调小型边缘模型配合外部上下文、RAG和工具调用,以降低本地模型的内存负担。
事件进展(1 篇报道)
-
2026-08-10 18:03
开发者将Maple-Preview加入Mference,并在MacBook Air M4上实现约40 tokens/s生成速度、仅500MB内存占用。该方案强调小型边缘模型配合外部上下文、RAG和工具调用,以降低本地模型的内存负担。