Google开源TPU Sync：TPU KV缓存与权重传输库
Google Cloud发布Apache-2.0的C++库TPU Sync，在Cloud TPU的HBM、DRAM、存储与DCN间搬运KV缓存和模型权重，内部测试KV传输延迟降低超90%。
要点
- Apache-2.0 C++核心，提供PyTorch与JAX的Python wheel
- 面向Cloud TPU v7x（Ironwood）与v6e，测试覆盖235B至480B MoE模型
- Qwen3 235B的KV传输中位延迟从数秒降至约230毫秒
- 已接入vLLM-TorchTPU、SGLang-TorchTPU及GKE上的llm-d
- README称暂不建议通用，RL与存储分层仍属实验性
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。