资讯

共 135 条更新于 2026-11-10 07:45RSS

推理引擎

11 月 10 日今天 · 周二

开发ollama_releases

Ollama v0.40.16 发布：新增 Ripple Preview 编码模型

Ollama 发布 v0.40.16，新增 65B 稠密智能体编码模型 Ripple Preview，并优化内存占用、Claude Code 路由、API 截断与模型列表返回，支持 Windows ARM 的 CUDA 13.5。

11 月 8 日周日

开发ollama_releases

Ollama v0.40.16-rc0：MLX runner 新增 Ripple 支持

Ollama 发布 v0.40.16-rc0，为 MLX runner 加入 Ripple 模型、渲染器、解析器与导入注册，并支持 DFlash 草稿的逐层 NoPE、MLP 激活/值混合/注意力门控融合，附参考 fixture 与回归测试。

11 月 3 日周二

开发InfoQ 中文

TokenSpeed 面向 Agent 的推理引擎架构与性能数据

TokenSpeed 独立贡献者尚旭春分享面向 Agent 场景的推理引擎设计：控制面/Runtime/Kernel 三层解耦、自动并行编译、Flat KV Cache 与 Blackwell MLA Kernel 优化，batch=1 延迟较 TensorRT-LLM 快 9%。

10 月 27 日周二

产品X

开源推理引擎 uzu：基础款 M5 上跑 Qwen3.5 9B 达 92 tokens/s，约为 llama.cpp 的四倍

uzu 由 Mirai Labs 开源，Rust 编写、带 Metal kernel，提供 Swift、Python、TypeScript、Rust 四种绑定，MIT 许可。