谷歌推出 LiteRT Tensor API 简化端侧模型开发

AI 生成的事件示意图,不代表新闻现场照片。
据 InfoQ 中文 2026 年 11 月 13 日报道,谷歌推出 LiteRT Tensor API,用于构建、定制与优化端侧机器学习模型。这是一套轻量级的 C++ API,支持跨 CPU、GPU 与 NPU 构建和优化端侧模型。
一套 C++ 接口,跨三种芯片
LiteRT Tensor API 以 C++ 编写,定位轻量。开发者用同一套接口在 CPU、GPU、NPU 三类硬件上构建端侧模型,并针对具体设备做优化,无需为每一种芯片单独维护一条代码路径。
硬件碎片化是端侧开发的现实:同一款模型,在不同厂商的芯片上往往要重复适配。统一的底层接口未必让单点性能立刻翻倍,但它把适配的成本从开发者身上移走,让工程时间回到模型与产品本身。

图片来源:InfoQ 中文
SAM 2 实测:超过 Apple MLX 约 1.5 倍
这次发布里最具体的数字来自性能测试。据 InfoQ 中文报道,谷歌在 SAM 2 上进行的测试显示,LiteRT Tensor API 的速度超过苹果的 MLX 框架约 1.5 倍。SAM 2 是图像分割模型,MLX 是苹果的机器学习框架,一边是真实模型负载,一边是竞对生态,这是一次正面交手的对比。

AI 生成的事件示意图,不代表新闻现场照片。
把智能放回设备
云上的模型越大,端侧的价值越清楚:数据不出设备,响应不依赖网络,断网也能工作。LiteRT Tensor API 一次覆盖 CPU、GPU 与 NPU,等于告诉开发者:端侧推理不必等某款旗舰芯片普及,现在就可以当作产品的默认能力来设计。
用凯文·凯利的眼光看,算力向边缘迁移是技术体自身的演化方向——哪里有电,哪里就有计算,哪里就需要一个足够薄的接口。用乔布斯的标准衡量,它是否成立取决于另一件事:用户是否因此少操一份心。数据留在手里,结果即时出现,不必关心模型跑在哪块芯片上——三件事同时成立,端侧 AI 才算兑现了它对人的承诺。
好的工具不炫耀算力,它把复杂留给机器,把简单还给使用者。