OpenClaw—AI研究最近，我的互联网几次中断，让我无法使用编程助手。为了解决这个问题，我决定尝试运行Gemma 4的最新更新——Multi-Token Prediction（MTP）——这个版本号称运行速度提升了2倍。 经过一番努力，我成功地在我的设备上运行了Gemma 4的MTP版本。这段视频是实时录制的，展示了助手以一个非常实用的速度进行响应。测试是在一台拥有64 GB统一内存的Apple M1 Max上进行的，运行的是macOS 15.7.7系统。
Mac 本地 AI 编码实战
具体的操作步骤如下：首先，从Huggingface下载模型文件，链接为models/unsloth-gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf。这个文件大约有16 GB，加上MTP草案头和多模态投影器，模型文件夹大约为17 GB。接下来，使用以下命令启动模型：
repos/llama.cpp/build/bin/llama-cli -m models/unsloth-gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf -ngl 999 -fa on -c 4096 -n 128
MTP 提速两倍
结果显示，58 tokens/second的速度虽然不算快，但已经足够使用。不过，对于编程助手的应用来说，速度越快越好，尤其是在助手需要进行大量工具调用的时候。
为了进一步提升速度，我尝试了MTP/gemma-4-26B-A4B-it-Q8_0-MTP.gguf版本。这个版本可以作为推测草案模型由llama.cpp加载。通过这些尝试，我深刻感受到Gemma 4的MTP更新在实际应用中的潜力和价值。
为了让结果更直观,作者对比了启用 MTP 前后的实测数据。未启用 MTP 的 Gemma 4 26B Q4_K_XL 版本在 M1 Max 上生成速度约为 28 tokens/second,启用 MTP 草案模型后,搭配 Q8_0 精度的草稿版本,实测生成速度达到 58 tokens/second,接近 2 倍提速,且在常规代码补全场景下未观察到明显的语义退化。对于 64GB 统一内存的 Mac 用户而言,这一配置在响应速度与显存占用之间取得了较好平衡,完全可用于日常编码助手与一次性脚本生成。
实操中需要注意几点:第一,MTP 草案模型需要与主模型版本严格匹配,不能跨版本混用;第二,使用 -ngl 999 将所有层卸载到 GPU 是获得稳定速度的关键,否则会出现频繁的 CPU/GPU 切换导致卡顿;第三,上下文窗口 4096 已经够用,但若计划运行多文件项目级补全,建议将 -c 参数提升至 8192 或更高,代价是每 token 显存占用线性增加。
对希望进一步压榨性能的用户,可以考虑用 llama.cpp 的 speculative decoding 接口,将 MTP 草稿模型的接受率作为参考指标,据此调整主模型的量化精度与上下文长度组合。最终的体感速度由主模型推理、草稿模型接受率与上下文长度三者共同决定,建议结合实际工作流做端到端基准测试,而不是单纯追求峰值 tokens/second。
本地 AI 独立成趋势