llama.cpp初步支持Hy3
社区用户称 llama.cpp 已出现 Hy3 模型支持 PR,并有人发布 Hy3-1M 的 GGUF 量化版本。早期测试显示 Q2_K 可在 RTX 5090 与 Zen 4、96GB DDR5 配置上生成连贯输出,速度约 10-11 tokens/s。
事件进展(1 篇报道)
-
2026-07-07 21:32Reddit r/LocalLLaMA llama.cpp: Hy3 PR + GGUFs
社区用户称 llama.cpp 已出现 Hy3 模型支持 PR,并有人发布 Hy3-1M 的 GGUF 量化版本。早期测试显示 Q2_K 可在 RTX 5090 与 Zen 4、96GB DDR5 配置上生成连贯输出,速度约 10-11 tokens/s。