llama.cpp支持腾讯Hy3
llama.cpp社区合并方向新增腾讯Hy3模型支持,覆盖hy_v3/HYV3ForCausalLM的299B MoE架构。该PR还加入多token预测头作为MTP投机解码目标,有助于提升本地推理效率。
事件进展(1 篇报道)
-
2026-07-14 10:46
llama.cpp社区合并方向新增腾讯Hy3模型支持,覆盖hy_v3/HYV3ForCausalLM的299B MoE架构。该PR还加入多token预测头作为MTP投机解码目标,有助于提升本地推理效率。