Sarvam 推出 Token Factory:印度本地推理 8 款开源模型
Sarvam 上线基于印度 NVIDIA B200 集群的托管推理平台 Token Factory,通过统一 OpenAI 兼容 API 提供 8 款自研与开源模型,支持按量计费与企业本地部署。
要点
- 首发 8 款模型含 Sarvam 105B、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro、Gemma 4 31B
- Sarvam 105B 单用户首 token 0.2 秒、330 tokens/s;MXFP8 权重加投机解码使输出吞吐约提升 2.2 倍
- DeepSeek V4.1 Flash 每日服务 450B+ tokens,95.7% 的提示 token 由缓存命中
- 定价按每百万 token 计:Sarvam 105B 输入 ₹10、输出 ₹25,优惠价持续到 2026 年底
- 自测称 Kimi K3.1 Pro 每 GPU 6,177 tokens/s,为 InferenceX 的 1.9 倍;但 DeepSeek V4.1 Flash 上 Together 首 token 与流式速度更优
阅读原文这里是中文要点整理,数字与细节以原文为准。
评论
还没有评论,来写第一条。