从帧率到Token吞吐：性能标尺的迁移

过去评价显卡，主流标准是游戏帧率、3DMark分数、光追效率、FP32 TFLOPS、纹理填充率和显存位宽。这些指标服务于图形渲染：像素、三角形、纹理和着色器是核心。但AI加速改变了工作负载的本质。训练大模型依赖海量矩阵乘加、梯度同步和高速互联；推理则变成自回归生成，真正重要的是首Token延迟、每Token延迟、并发吞吐、批处理规模和长上下文表现。于是MLPerf、tokens/s、samples/s、SLA下的并发请求数，逐渐取代帧率成为数据中心采购者更关心的数字。显卡不再只被问“能跑多少帧”，而是被问“每秒能生成多少Token、每美元能服务多少用户、端到端训练要多久”。这意味着峰值算力只是起点，软件调度、量化、KV Cache管理、批处理策略都会影响最终性能。AI让显卡从图形卡变成生产工具，性能标尺也随之从画面流畅度转向智能产出效率。

Tensor Core与低精度计算：算力密度被重新定义

AI加速的核心是矩阵运算，传统CUDA Core或通用SIMD单元并不擅长。Tensor Core、矩阵引擎和脉动阵列把乘加操作阵列化，并支持FP16、BF16、TF32、FP8、FP4、INT8等低精度格式。低精度让同样晶体管面积和功耗下获得数倍吞吐，但也带来精度损失、缩放、校准和混合精度策略问题。因此，厂商标称算力时必须注明精度、是否稀疏、是否包含稀疏加速，否则数字缺乏可比性。FP8训练、FP4推理、微缩放格式、结构化稀疏正在成为新战场。性能标准从“FP32峰值TFLOPS”转向“在可接受精度下，每瓦能交付多少有效TOPS”。软件栈同样关键：CUDA、cuBLAS、TensorRT、ROCm、编译器与内核库决定峰值能否兑现。MoE、投机解码、动态批处理会进一步改变实际利用率。AI加速让算力密度不再是单一数字，而是精度、吞吐、功耗、编程效率和模型适配度的多维函数。

显存墙与互联瓶颈：AI工作负载逼迫显卡重构

大模型参数、激活值和KV Cache对显存容量与带宽极度饥渴。显存不足会导致offload、重算和额外通信，吞吐可能骤降。HBM、HBM3e、超大缓存、chiplet和先进封装因此成为显卡竞争焦点。性能标准从单纯的“显存位宽”升级为容量、带宽、能效和可扩展性的组合。训练还需要卡间互联：NVLink、Infinity Fabric、PCIe以及以太网/RDMA。多卡并行时，All-Reduce、All-to-All通信很容易成为瓶颈；互联带宽和拓扑结构决定扩展效率。推理场景中，KV Cache随上下文长度增长，长上下文能力直接受显存制约，进而影响Agent、代码生成和多轮对话体验。于是“单卡算力”让位于“单节点或集群有效算力”。显卡设计被迫围绕内存层次、数据搬运和通信计算重叠进行重构，内存墙与互联墙成为新的性能边界。谁能更快把数据喂给计算单元，谁就更接近AI时代的性能标准。

每瓦与每美元智能：TCO成为新的性能标准

数据中心采购不再只看单卡峰值，而看总拥有成本：功耗、散热、机架密度、电力容量、故障率、软件迁移成本和交付周期。AI加速使每瓦性能、每美元吞吐成为核心指标。同样一个推理任务，低功耗卡可能因能效更高而总成本更低；同样一个训练任务，互联和软件生态强的集群可能用更少卡完成。标准从TOPS/W扩展到tokens/J、tokens/美元、训练时间/成本、SLA下并发数。云厂商按实例小时计费，模型服务按百万Token计价，显卡性能必须映射到收入和成本。于是显卡竞争变成系统竞争：芯片、HBM、封装、互联、编译器、库、框架和模型优化必须协同。AI加速重塑的不只是显卡硬件，而是以AI工作负载为中心的性能评价体系。未来一块显卡是否优秀，不取决于它在传统图形测试中多强，而取决于它能在多大模型、多长上下文、多少并发下，以多低能耗和多低总成本稳定产出智能。