11.4 硬件选型：GPU、TPU 与专用加速器
硬件选择是 LLM 部署中影响性能和成本的核心决策。不同硬件平台在计算架构、内存带宽和生态支持方面各有特色。
11.4.1 NVIDIA GPU：当前的主流选择
NVIDIA GPU 凭借 CUDA 生态的成熟度和 Tensor Core 的强大性能，是 LLM 训练和推理的首选。关键指标对比：
A100
Ampere
80 GB
2 TB/s
312 TFLOPS
训练和推理（上一代主力）
H100
Hopper
80 GB
3.35 TB/s
1979 TFLOPS*
训练和推理（当前主力）
H200
Hopper
141 GB HBM3e
4.8 TB/s
1979 TFLOPS*
大模型推理（超大显存）
B200
Blackwell
180 GB HBM3e
8 TB/s
2250 TFLOPS*
训练和推理（新一代）
B300
Blackwell Ultra
288 GB HBM3e
8 TB/s
2250 TFLOPS*
超大规模模型推理
L40S
Ada
48 GB
864 GB/s
366 TFLOPS
推理（性价比）
表 11-2：NVIDIA 主要 GPU 型号对比（*表示该数值为 Tensor Core 峰值指标或包含稀疏性加速；在做密集 FP16 横向比较时应查看官方 dense throughput 口径）
权重显存可以先用 得到十进制 GB 下限。下面的“可放入”只比较权重与标称显存，便于审计数量级；它不代表可服务，因为实际部署还必须给 KV cache、runtime workspace、通信 buffer、量化 scale、并发和碎片留余量。
70B FP8
70
8
70
是
是
是
是
70B INT4
70
4
35
是
是
是
是
405B INT8
405
8
405
否
否
否
否
405B INT4
405
4
202.5
否
否
否
是
表 11-3：仅权重的十进制 GB 重算与理论单卡容纳关系。边界接近或刚好“是”的组合仍应按服务峰值做实测，并预留安全余量。
对于推理场景，显存带宽通常比算力更重要（10.1 节已解释生成阶段是访存密集型的）。H200 的 141 GB HBM3e 显存和 4.8 TB/s 带宽相比 H100（80 GB、3.35 TB/s）带宽提高约 43%（NVIDIA 官方基准下这转化为 Llama 2 70B 推理吞吐最高 1.9 倍、GPT-3 175B 约 1.6 倍），使其可以在单卡上以 FP8 运行 70B 模型并为 KV 缓存留出充足空间。70B 模型的 FP8 权重本身约 70 GB，实际还需 KV 缓存、runtime workspace、通信 buffer 和并发余量；H100 80 GB 通常非常紧张，H200 更适合保留服务余量。INT4 量化的 70B 权重约 35 GB，H100 单卡更容易承载。这使 H200 成为中等规模模型部署的重要选择——显存充足可减少多卡张量并行的通信开销，带宽提升直接加速生成阶段。
而 B200 的 180 GB HBM3e 显存和 8 TB/s 带宽则进一步扩展了单卡承载的模型规模。Blackwell Ultra / B300 级别 GPU 将单卡显存提升到 288 GB，但 405B INT8 权重本身约需 405 GB，尚未计入 KV 缓存、运行时工作区和并发余量，因此仍需要多卡或更低位量化/分层卸载方案。它的真正价值在于减少张量并行切分数、提高单节点可承载的批量和上下文长度。
11.4.2 Blackwell 架构与 GB200 超级芯片
2024 年 3 月，NVIDIA 发布了 Blackwell 架构，这是继 Hopper 之后的又一次重大飞跃。Blackwell 在架构层面引入了多项创新：
双芯片封装：采用两颗光罩尺寸极限的芯片，通过 10 TB/s 的片间互连组成一颗统一 GPU，总计 2080 亿晶体管
第五代 Tensor Core：原生支持 FP4、FP6、FP8 等多种低精度格式，单 GPU 的 FP4 AI 算力可达 20 PFLOPS
NVLink 5.0：芯片间互连带宽提升至 1.8 TB/s，支持更大规模的多 GPU 协同
GB200 超级芯片
GB200 Grace Blackwell Superchip 将一颗 Grace CPU 与两颗 B200 GPU 通过 900 GB/s 的 NVLink 芯片间互连紧密耦合，形成一个统一的计算单元。更大规模的 GB200 NVL72 系统在一个液冷机柜中集成了 36 颗 Grace CPU 和 72 颗 Blackwell GPU，专为万亿参数模型的推理而设计。
NVIDIA 官方数据显示，GB200 NVL72 相比 H100 在万亿参数 LLM 的实时推理上可实现高达 30 倍的性能提升，在混合专家模型（MoE）上则实现 10 倍的提升。这种机架级集成的设计理念，标志着 LLM 推理正从“单卡优化”走向“系统级优化”。
FP4 精度的探索
Blackwell 架构最引人注目的特性之一是对 FP4 精度的原生硬件支持。NVIDIA 提出的 NVFP4 是一种 4 位浮点格式，由第五代 Tensor Core 直接加速，这是 Blackwell 架构独有的能力。
FP4 相比传统的 INT4 量化有本质区别：FP4 保留了浮点数的指数-尾数结构，能更好地表示接近零的小值（这在注意力分数和激活值中非常常见）。NVIDIA 的 NVFP4 技术资料显示，在部分 DeepSeek-R1 等基准上可接近 FP8 质量，但不同模型、硬件和 kernel 的吞吐口径差异很大；不要把单一 benchmark 外推成“A100 上固定 2 倍”一类通用结论。
从精度演进的角度看，LLM 推理正沿着 FP32 → FP16 → INT8 → FP8 → FP4 的路径不断压缩（更详细的量化方法论参见 10.4 节）。每一步精度下降都伴随着硬件的适配——这验证了 10.3 节中讨论的“算法与硬件协同演化”的趋势。
11.4.3 Google TPU
TPU（Tensor Processing Unit）是 Google 专门为深度学习设计的加速器。TPU v6e（Trillium） 相比 v5e 在每芯片计算性能上提升了 4.7 倍，HBM 容量和带宽均大幅增加，并支持 FP8 等低精度格式。Google 于 2026 年 4 月公开第八代 TPU：TPU 8t 面向大规模训练，配备 216 GB HBM、6528 GB/s 带宽；TPU 8i 面向低延迟推理与推理型负载，配备 288 GB HBM、8601 GB/s 带宽。两者虽已发布，但 Google Cloud TPU 当前产品页仍标注 Coming soon，不能写成客户已普遍可申请；作为对照，Ironwood TPU7x 已在 2026 年 3 月 31 日 GA。
TPU 的独特优势在于 Google Cloud 上的大规模集群可用性——可以一次性获得数千张 TPU 的训练集群，且通过 ICI（Inter-Chip Interconnect）实现了极高速的芯片间通信。许多前沿模型（如 Gemini、PaLM）均在 TPU 上训练。
11.4.4 其他加速平台
AMD GPU（MI300X/MI350）：AMD 在 AI 加速器市场持续发力，MI300X 提供了 192 GB 的 HBM3 显存，而新一代 MI350（基于 CDNA 4 架构）进一步提升了 AI 算力和能效比。ROCm 生态持续成熟，vLLM、SGLang 等主流推理框架已提供良好的 AMD GPU 支持。
专用推理芯片（如 Groq LPU、Cerebras）：这些专用硬件针对推理延迟进行了极致优化，声称可实现比 GPU 更低的延迟，但生态成熟度和可用性仍有待验证。
CPU 推理：对于小模型（7B 及以下）的低吞吐场景，使用 llama.cpp 在 CPU 上运行量化模型是成本最低的方案。Intel 的 OpenVINO 和 ARM 的专用指令集进一步优化了 CPU 推理性能。
11.4.5 硬件选型的决策框架
选择硬件时需要综合考虑以下因素：
模型大小与显存：决定了最低显存需求。70B 模型 FP8 权重约 70 GB，但服务化部署还要为 KV cache、workspace、并发和碎片预留显存，通常不应按权重大小贴边规划；140B+ 模型通常需要 H200/B200/B300 或多卡方案。单卡无法容纳则进行张量并行，但会增加网络通信压力。
吞吐量 vs 延迟的权衡：
高吞吐低延迟（如 API 服务）：选择高带宽 GPU（H200、B200）+ 分离式架构，通过 Decode 侧高 TP 提高并发
低吞吐低延迟（如实时对话）：优先选择 TTFT（首词延迟，见 11.5.1 节），采用投机解码或张量并行对 Prefill 加速，Decode 可用低配置 GPU
高吞吐高延迟可接受（如离线批处理）：用 A100 或 L40S 等上一代 GPU 即可，按需求量多卡
输入输出分布：长 Prompt 短生成（代码补全）侧重 Prefill，需要计算强劲；长生成（故事生成）侧重 Decode，需要高带宽。分离式架构可分别优化。
成本预算：云端按需通常 3-5 倍于自建成本，但免去运维。自建需考虑电费、冷却、机房成本。量化（INT4/FP8）可有效降低显存成本 3-4 倍。
生态兼容性：NVIDIA 最成熟（vLLM、TensorRT-LLM），AMD 次之（ROCm），TPU 局限于 Google Cloud。
前沿精度：FP4（仅 Blackwell）需最新硬件；FP8 已普遍支持；INT4 最成熟跨平台。选择时需评估模型精度敏感度。
11.4.6 下一代平台：Rubin 架构与光电混合网络
NVIDIA 在 CES 2026 宣布了Rubin 架构（代号 Vera Rubin），这是 Blackwell 之后的下一个重大架构演进；2026 年 5 月 31 日的官方公告说的是 Vera Rubin 正在爬产（“ramping into full production”），并在 Availability 段写明量产出货自 2026 年秋季开始。爬产不等于已交付，更不等同于任一云区域已有即时库存，采购仍需核对具体系统、实例和交付区域。关键特性包括：
第六代 Tensor Core：进一步优化 NVFP4/FP4/FP6 等极低精度 AI 推理吞吐，而不是把收益解读为通用单精度计算提升
高速互连与集合通信优化：第六代 NVLink、NVLink Switch 与 SHARP 等能力可显著缓解大规模 collective 通信瓶颈；实际收益仍取决于拓扑、作业形态、拥塞控制和软件栈
此外，Google 等超大规模基础设施实践表明，训练和推理集群正在从固定拓扑走向更灵活的高速互连。公开案例中也能看到 RoCEv2 以太网、InfiniBand、NVLink/NVSwitch 和光电混合交换并存的路线；具体方案是否能达到目标 All-Reduce 或专家并行效率，取决于拓扑、拥塞控制、作业形态和软件栈，而不能只由网络名称判断。
最后更新于