Ollama 0.40.17-rc1:mlxrunner 批量投机验证
Ollama 发布 v0.40.17-rc1,mlxrunner 支持批量投机验证:通过共享目标验证让草稿保持活跃以支持并发生成,同时保留按请求采样与缓存回滚。
要点
- mlxrunner 引入批量投机验证,共享目标验证以支持并发生成
- 保留按请求的采样与缓存回滚,兼容并发推理
- 按各并发负载分别学习草稿深度,并与孤立请求区分
- 保留短请求从未执行的 probe,并覆盖接受、取消、交接等边界
- 在读取方暂停前物化自有 target features,覆盖混合解码与内存边界
阅读原文这里是中文要点整理,数字与细节以原文为准。
评论
还没有评论,来写第一条。