Google 开源 TorchTPU：PyTorch 原生跑上 TPU
Google 与 Meta 合作开源 TorchTPU，为 TPU 提供原生 PyTorch 后端，少量代码修改即可迁移，支持即时执行、编译执行与分布式计算。
要点
- TorchTPU 由 Google 与 Meta 合作开发，是开源项目
- 从 GPU 迁移到 TPU，需将 cuda 设备替换为 tpu，nccl 后端替换为 tpu_dist
- 支持 Strict、Debug、DeferAndFuse 三种即时执行模式
- 在约 5000 个 Hugging Face 模型、500 多种架构上评估无需修改运行能力
- 路线图包括动态形状、编译性能、算子覆盖、强化学习和量化
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。