谷歌开源 ML Drift：跨平台端侧 GPU AI 推理引擎
谷歌发布并开源 Apache 2.0 许可的 ML Drift，支持 OpenGL ES、OpenCL、Metal 和 WebGPU，作为 LiteRT 核心 GPU 引擎，简化多硬件端侧推理开发。
要点
- 采用 Apache 2.0 许可，支持 OpenGL ES、OpenCL、Metal 和 WebGPU。
- 作为 LiteRT 核心 GPU 加速引擎，引入统一着色器、自定义算子和五维张量。
- 针对 Arm、Intel、高通 GPU 做硬件专属优化，并通过 Dawn 扩展 Windows/Linux。
- 用 Gemma 在开发者工作站基准测试，内存开销比 llama.cpp 和 MLX LM 低 12%。
- 谷歌将停止更新旧版 TensorFlow Lite GPU 委托，建议迁移至 LiteRT ML Drift 加速器。
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。