谷歌开源TorchTPU：PyTorch应用可迁移到TPU

谷歌在 PyTorch Conference 2026 上宣布，TorchTPU 已在 GitHub 开源。这是谷歌面向 TPU 的原生 PyTorch 软件栈，TPU 因此和 GPU、CPU 一样成为 PyTorch 的原生运行选项。

官方版本改了什么

TorchTPU 由谷歌和 Meta 的 PyTorch 团队共同开发。现有 PyTorch 工作负载可以在少量代码修改后迁到 TPU，继续使用熟悉的 API。

调试阶段可以用 eager mode；进入生产后，再通过 torch.compile 优化 TPU 利用率并降低内存开销。谷歌还表示，它支持标准 PyTorch API、高级诊断能力和原生分布式原语。

不只是训练框架

官方这次发布的是一组集成，而不是单个仓库。TorchTPU 已接入 vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face 和 LiteRT。

在 Hugging Face Transformers v5 里，把模型部署到 TPU 只需传入 device_map="tpu"。Diffusers 也支持 eager mode、torch.compile 和张量并行，并有 nightly CI 在 TPU 基础设施上持续测试。

推理层的关键补充

谷歌与 Inferact 合作开发 vLLM 的 TorchTPU 后端，支持continuous batching、量化和多芯片并行，并加入定制 Pallas kernels。现有 vLLM 的 worker 模型、调度器和 API server 不需要改动。

SGLang 则由谷歌和 RadixArk 合作适配。它利用 RadixAttention 在请求间复用 KV cache，让重复前缀跳过重新计算，并用 disaggregation transfer backend 优化多步生成的延迟和吞吐。

大规模调度和训练

llm-d 1.0 也一起发布。它由谷歌、Red Hat、IBM 和超过 500 位贡献者、25 个组织推进，是 CNCF Sandbox 项目。路由器能按已缓存前缀分发请求，并把计算密集的 prefill 和内存密集的 decode 分开处理。

训练侧，TorchTitan 提供了 Llama 3、Qwen 3、Qwen 3 235B MoE 和 FLUX.1 等配方，并已完成最高 8000 个 Ironwood TPU 的验证。官方给出的一项结果是：在 Qwen 3 8B 上，TorchTitan 训练路径的 Model Flops Utilization 达到 52%，扩展到最多 8192 个 Ironwood TPU 时保持接近线性。

VeRL 增加了 TPU 后端和 GRPO 参考配方，可用于数学推理、编程奖励和多轮智能体工具调用等强化学习任务。Ray 也支持把数据处理、训练、RL 和服务调度到 CPU、GPU 或 TPU 上。

端侧部署也被纳入

LiteRT 此前是 TensorFlow Lite，现在加入 PyTorch 生态。开发者用 LiteRT-Torch 调用一次 litert-torch.convert()，就能转换 PyTorch 模型。

转换结果可在 Android、iOS、macOS、Windows、Linux、Web 和 IoT 设备上运行，并通过 XNNPack、GPU 后端和主流 NPU 获得硬件加速。谷歌还开放了 TPU agent suite 预览版，用于自动上手、诊断和推理性能调优。

对英伟达意味着什么

CUDA 不会因此立刻被替代。供应链、价格、性能调优经验和集群运维成本，仍会决定企业把工作负载放在哪里。

真正变化在框架入口：同一个 PyTorch 项目现在能更容易落到 TPU、GPU 或 CPU 上。对采购和架构团队来说，硬件不再只在云控制台里选择，而是能更早进入模型训练和推理设计。

开源 TorchTPU 的意义，是让 TPU 进入 PyTorch 的默认工具链，而不是停留在另一套专用栈里。