ThinkingCap降低Gemma推理思考开销
ThinkingCap团队称,通过优化Google Gemma-4-26B-A4B,在12项基准测试中平均减少38.9%的思考token,准确率仅下降0.15个百分点。该版本可在相同采样设置和vLLM服务栈下直接替换原模型,并将循环响应比例从3.6%降至0.8%。
事件进展(1 篇报道)
-
2026-10-23 22:43
ThinkingCap团队称,通过优化Google Gemma-4-26B-A4B,在12项基准测试中平均减少38.9%的思考token,准确率仅下降0.15个百分点。该版本可在相同采样设置和vLLM服务栈下直接替换原模型,并将循环响应比例从3.6%降至0.8%。