资讯

Google开源TPU Sync：TPU KV缓存与权重传输库

Google Cloud发布Apache-2.0的C++库TPU Sync，在Cloud TPU的HBM、DRAM、存储与DCN间搬运KV缓存和模型权重，内部测试KV传输延迟降低超90%。