谷歌推出 LiteRT Tensor API，面向端侧构建与优化 ML 模型
谷歌发布轻量级 C++ LiteRT Tensor API，开发者可逐算子搭建计算图，在 CPU/GPU/NPU 运行，支持直接导入权重与零拷贝缓冲。
要点
- 轻量级 C++ API，可直接面向端侧构建、定制和优化机器学习模型
- 同一计算图可在 CPU、GPU、NPU 上运行，无需为每个硬件目标重写
- 支持从检查点加载权重，包括 Hugging Face 的 .safetensors 文件
- 编码智能体可生成 C++ 代码构建、修改、验证和基准测试模型图
- 演示中 SAM 2 在 MacBook Pro 上比 Apple MLX fp16 快约 1.5 倍
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。