Together AI 发布 TKCC，开源模型推理最高提速 2.6 倍
图片来源：Hacker News · AI
11 月 5 日 23:07，据 Hacker News 报道，Together AI 在官方博客推出持续编译系统 TKCC；11 月 6 日 21:34，该系统的论文页再度登上 Hacker News，指向 alphaXiv。据 Together AI 官方博客介绍，这套系统用高吞吐智能体循环持续编译优化 AI 推理引擎，24 小时内将前沿开源模型的 TPS 最高提升 2.6 倍，Llama 1B 提速最高 1.7 倍。
封面图：TKCC 持续编译优化推理的事件示意图（AI 示意图，据 Together AI 官方博客与 alphaXiv 论文页内容绘制）
24 小时，2.6 倍
数字来自 SemiAnalysis 的 InferenceX 基准。据 alphaXiv 论文页（论文于 11 月 4 日提交，作者来自 Together AI），TKCC 在 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 等最新前沿开源模型上对比最优开源引擎，跨硬件平台 TPS 最高提升 2.6 倍；在手写 Megakernels 打磨已久的 Llama 1B 工作负载上，也高出最多 1.7 倍。
低延迟场景另有一组数字：批大小为 1 时，MiniMax M3.1 Flash 跑出 1111 TPS，DeepSeek v4.1 Flash 跑出 1205 TPS。论文还提到，TKCC 已在 Together AI 生产集群服务数万亿 token。除此之外，公开信息以性能数据为主，更多部署细节尚未披露。
图：InferenceX 基准 24 小时 TPS 提升对比示意（AI 示意图，数据据 Together AI 官方博客与 alphaXiv 论文页）
图片来源：Hacker News · AI
编译器开始自己迭代
TKCC 的核心是一台常驻引擎。论文称其为 Tiered Persistent Engine：引擎启动开销与前向计算解耦，模型权重只加载一次；智能体提交候选代码后热替换前向函数、重抓 CUDA/HIP 图，不行就回滚基线。多个智能体并行工作，GPU 尽量不空转。
测量分两级：快筛淘汰慢的、错的、挂起的候选，慢测给出更接近真实流量的信号。在 B200 上优化 GLM 5.3 时，这套机制评估了 1354 个候选，单级方案只有 168 个，最终选出的方案快 7.2%。为什么必须用真实数据测？论文记录过一个教训：MoE 模型的随机输入会激活多 13%–38% 的专家，端到端反而慢 1.3 倍——离线微基准的漂亮数字，到了线上会失真。
图：TKCC 常驻引擎与两级测量循环示意（AI 示意图，据 alphaXiv 论文页内容绘制）
图片来源：Hacker News · AI
速度可以被搜出来，方向不能
InferenceX 的每个设置优化 24 小时，成本模型先圈定有希望的并行配置，避免穷举。论文作者的判断很直白：静态推理已经结束，智能体驱动的优化必须持续才有用。这是作者的主张，尚未经过独立验证——alphaXiv 页面同时提醒，MiniMax 那组 1.8 倍的对比里并行配置从 TP4 换成了 TP8，并非纯代码增益。
在凯文·凯利看来，必然性写在论文第一段：模型发布越来越频繁，架构越来越多样，流量分布说变就变，一次编译定终身的前提已经消失。编译器从一次性工具变成常驻的循环，技术想要持续演化。换用乔布斯的眼光，用户从不关心编译器，只关心响应快不快；被真正改变的是工程师——从手写内核，转向设计这个循环、设定它的预算与目标。
机器优化机器，人设定方向。速度可以被搜索出来，方向仍然只能由人给出。