开源推理引擎 uzu：基础款 M5 上跑 Qwen3.5 9B 达 92 tokens/s，约为 llama.cpp 的四倍
uzu 由 Mirai Labs 开源，Rust 编写、带 Metal kernel，提供 Swift、Python、TypeScript、Rust 四种绑定，MIT 许可。
要点
- 同一台基础款 M5 MacBook Pro、同一个 9B 模型、同一个提示词：llama.cpp 22.0 tokens/s，MLX 25.1，uzu 92.1
- 常规解码的天花板来自内存带宽：M5 约 153 GB/s，4-bit 9B 权重约 5.2 GB，一次前向出一个 token，上限约 29 tokens/s
- uzu 让每次前向出多个 token：DFlash 一次提出未来 16 个位置的候选，56.7M 参数的 Weaver 适配器挑成连贯文本，9B 主模型一次校验整棵树
- 实测平均每次前向产出 7.5 个 token，普通解码是 1 个；仓库地址 github.com/trymirai/uzu
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。