第三方机构 SemiAnalysis 在 AgentX 智能体推理基准里测出,FP8 精度下谷歌 TPU v7(Ironwood)每美元 token 产出超过英伟达 GB300 NVL72,在千问 3.5-397B、GLM-5.3 这类大模型任务中领先幅度最高到 1.85 倍,就算英伟达工程师紧急调优,改用 FP4 低精度方案,也只是在单步解码吐字速度上追回优势,预填充读长文本的首字延迟反而变差,这个跑分结果不是单纯单卡算力比拼,背后是两条路线的分化:TPU v7 虽然还属于训推一体芯片,但架构已经朝着推理优先优化,而谷歌下一代 TPU v8 直接拆成 8t 训练芯片、8i 推理芯片,也就是训推分立,不再用同一款芯片同时扛训练和推理两种完全不一样的负载,英伟达 GB300 还是通用 GPU 思路,兼顾训练、推理、微调、智能体任务,通用性强,但在纯推理 TCO(总拥有成本)上被针对性优化的 TPU 追上,这件事也说明 AI 芯片竞争已经从拼峰值算力,转向按负载做架构重构、拆分训练推理硬件。
一、TPU v7 与 GB300 NVL72 核心对比表
| 项目 | 谷歌 TPU v7(Ironwood) | 英伟达 GB300 NVL72 |
|---|---|---|
| 定位 | 训推一体,推理侧深度优化 | 通用 GPU 机柜,训练 + 推理 + 微调全能 |
| 单芯片显存 | 192GB HBM3e | 单颗 Blackwell Ultra HBM,整机柜合计 20TB 显存 |
| FP8 峰值算力 | 4614 TFLOPS / 芯片 | 整机柜 FP8 720 PFLOPS |
| 架构方案 | 双芯粒 Chiplet,D2D 高速芯粒互联 | 72GPU+36Grace CPU,NVLink 全互联 |
| 路线演进 | v7 训推一体,v8 改为训推分立(8t 训练、8i 推理) | 持续保持通用 GPU,依靠软件调度区分训练推理 |
| 测试表现(FP8 同精度) | 每美元 token 产出更高,预填充延迟更稳 | 解码速度可通过 FP4 调优反超,但预填充排队加重 |
| 生态 | JAX 原生,面向谷歌云,外部生态弱 | CUDA 生态,全行业模型、框架适配成熟 |
二、训推分立是什么,和训推一体差别在哪
训推一体就是用同一块芯片,既跑大模型训练,也跑线上推理,英伟达 GB300、TPU v7 都属于这类;训推分立是专门做两款芯片,训练芯片(8t)优先堆算力、互联带宽,适合海量参数迭代;推理芯片(8i)优先放大片上 SRAM、KV Cache 容量、降低访存延迟,专门服务用户并发请求。
- 训推一体优势:硬件采购单一,调度灵活,小集群、业务波动大的场景好调配算力
- 训推一体短板:芯片要同时兼顾两种负载,硬件资源没法极致倾斜,推理场景 TCO 容易吃亏
- 训推分立优势:芯片硬件完全贴合负载,推理芯片不用为训练冗余算力买单,高并发在线推理成本更低
- 训推分立短板:硬件种类变多,集群调度、运维复杂度上升,模型训练完迁移到推理硬件需要适配
三、TPU v7 架构重构的关键改动
- 首次采用双芯粒设计,两个独立计算芯粒通过 D2D 接口相连,D2D 带宽远高于传统 ICI 互联,方便拆分计算、显存资源
- 原生硬件支持 FP8,不用软件模拟低精度,推理吞吐提升明显
- 增加 SparseCore 稀疏加速单元,专门处理 Embedding、检索、MoE 模型,这类任务在智能体推理里占比很高
- 显存带宽拉到 7.4TB/s,针对推理高频的 KV Cache 读写做优化,减少长上下文排队延迟
四、英伟达 GB300 的应对思路
- 不拆分硬件,依靠 TensorRT-LLM、vLLM 等推理引擎做软件层面调度,用 FP4 更低精度压缩权重,拉高解码速度
- 代价很明显:把算力资源倾斜给解码之后,预填充(读长 prompt)的资源变少,首字等待时间拉长,属于拆东墙补西墙
- 优势是 CUDA 生态足够成熟,绝大多数开源模型、Agent 框架不用大幅改动就能直接跑,客户迁移成本低
五、适合和不适合的场景
✅ 更适合 TPU 路线(训推分立方向):稳定高并发在线推理、智能体服务、长上下文问答,优先控制每 token 成本
✅ 更适合 GB300 通用 GPU 路线:大模型预训练、持续微调、多任务混合集群、需要快速上新模型、不想做大量适配开发
❌ 误区:不是 TPU v7 全面碾压 GB300,只是在特定 Agent 推理基准、同等 FP8 精度下,TCO 指标领先,训练场景 GB300 依然有很强竞争力
六、行业后续趋势
越来越多厂商不再执着 “一颗芯片通吃所有 AI 任务”,架构重构会变成主流,一部分芯片厂商会走训推分立路线,推理芯片强化缓存、访存;另一部分继续走通用 GPU 路线,靠软件优化抹平负载差距,两条路线会长期共存。
【相关 FAQ】
问题 1:从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构,TPU v7 是在所有场景都超过 GB300 吗?
回答 1:从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构,TPU v7 只在 Agent 推理基准、FP8 同精度下每美元 token 产出领先;英伟达改用 FP4 可以在解码速度反超,训练场景 GB300 通用 GPU 依然具备优势,不是全场景碾压。
问题 2:从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构,训推分立到底是什么意思?
回答 2:从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构,训推分立就是分开设计训练芯片和推理芯片,训练芯片侧重算力、互联;推理芯片侧重缓存、KV Cache、低延迟,TPU v8 就是典型训推分立方案,TPU v7 还属于训推一体。
问题 3:从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构,TPU v7 架构重构主要做了哪些升级?
回答 3:从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构,TPU v7 采用双芯粒 Chiplet 架构、高速 D2D 芯粒互联、原生 FP8 硬件支持、SparseCore 稀疏加速单元,同时大幅提升 HBM 显存带宽,针对性优化推理访存瓶颈。
问题 4:从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构,英伟达为什么不直接做训推分立芯片?
回答 4:从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构,英伟达选择保留通用 GPU 硬件,依靠 CUDA 生态和推理引擎做软件调度,好处是一套硬件兼容训练、微调、推理,降低客户迁移成本,缺点是纯推理场景硬件没法做到极致成本优化。
【参考资料】
[2026-11-11](从谷歌 TPU v7 反超英伟达 GB300,看训推分立与架构重构)与非网
[2026-11-08](Google's TPUv7 Agentic Inference Results Beat Blackwell On Cost)SemiAnalysis
[2026-09-08](SemiAnalysis:谷歌 TPU v7 推理 TCO 领先 B200、B300)新浪财经
[2026-09-30](TPU v8 架构解读:正式采用训推分立 8t、8i 双芯片路线)凯基亚洲
[2026-06-05](TPU7x Ironwood 官方参数与架构说明)Google Cloud 文档
【免责声明】
以上内容基于 SemiAnalysis 第三方基准测试、谷歌和英伟达公开技术资料整理,跑分结果仅限定在指定测试负载、精度、集群配置条件下,不同模型、并发量、调度策略下性能和成本会发生变化;训推分立、架构重构属于产业技术路线探讨,不代表算力选型推荐,不构成投资建议。
