开发来源 ollama_releases

Ollama 0.40.17-rc1:mlxrunner 批量投机验证

Ollama 发布 v0.40.17-rc1,mlxrunner 支持批量投机验证:通过共享目标验证让草稿保持活跃以支持并发生成,同时保留按请求采样与缓存回滚。

要点

  • mlxrunner 引入批量投机验证,共享目标验证以支持并发生成
  • 保留按请求的采样与缓存回滚,兼容并发推理
  • 按各并发负载分别学习草稿深度,并与孤立请求区分
  • 保留短请求从未执行的 probe,并覆盖接受、取消、交接等边界
  • 在读取方暂停前物化自有 target features,覆盖混合解码与内存边界
阅读原文这里是中文要点整理,数字与细节以原文为准。

评论

还没有评论,来写第一条。

更多资讯

全部