面壁 MiniCPM-V 4.7 把 35B 多模态模型塞进 iPhone，解码 20.51 tokens/s
OpenBMB 发布 MiniCPM-V 4.7，并放出手机端本地运行的演示，GitHub 和 Hugging Face 都已公开。
要点
- 平均解码速度 20.51 tokens/s（iPhone 18 Pro Max，12GB）
- 比同设备未优化的 SSD 专家加载基线快 6.07 倍
- 提速来自四项优化：Lookahead Expert Scheduling、专家加载优化、细粒度量化、DSpark 投机解码
- LES 另有单独的开源链接
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。