先看懂这些参数

Q4_0 是什么

Q4_0 是一种 4-bit 量化格式。它的意义不是“模型更强”，而是“模型更小、更省显存、更容易塞进更多设备里”。这些榜单大多统一用 Llama 2 7B, Q4_0，核心目的是减少变量，让不同 GPU 的成绩更容易横向比较。

pp512 是什么

pp512 一般可以理解为 prompt processing 512 tokens，也就是处理 512 个输入 token 时的吞吐。

• pp = prompt processing
• 512 = 输入长度是 512 token
• t/s = tokens per second

它更像“吃提示词的速度”，通常能并行得更充分，所以数字往往很高。

tg128 是什么

tg128 一般可以理解为 text generation 128 tokens，也就是连续生成 128 个 token 时的速度。

• tg = text generation
• 128 = 连续生成 128 token
• t/s = tokens per second

它更接近我们平时感受到的“模型回答快不快”。因为生成阶段是逐 token 递推，所以通常明显低于 pp512。

FA 是什么

FA 是 Flash Attention。简单理解就是注意力计算的一种优化开关。

• with FA 表示启用了 Flash Attention
• no FA 表示关闭 Flash Attention

在不少卡上，FA 对 pp512 的提升比对 tg128 更明显；但不同后端、不同驱动和不同架构之间，提升幅度并不一致，个别设备甚至会出现 PP 升、TG 变化很小，或者 PP 反而下降的情况。

t/s 怎么看

t/s 就是 tokens per second。它不是帧率，也不是 FLOPS，而是模型吞吐表现的直接结果。

读榜单时最重要的一点是：先确认你在比的是不是同一种测试。

• 不要把 pp512 和 tg128 直接混着比
• 不要把 no FA 和 with FA 混着比
• 不要把 CUDA、ROCm、Vulkan 的结果当成完全等价的同一条曲线

先说结论

从这几条讨论串当前可见的数据看，大致可以先记住这几个结论：

• CUDA 仍然是目前 llama.cpp GPU 跑分里最强、样本也最密集的一条线，特别是高端 Nvidia 卡在 pp512 上优势很大。
• ROCm 在高端 AMD 卡和 Instinct 卡上已经能给出非常像样的成绩，MI300X、7900 XTX、W7900 这些条目都不弱。
• Vulkan 的优点不是“绝对最快”，而是覆盖面最广，Nvidia、AMD、Intel、Apple Asahi / MoltenVK，甚至很多老卡和核显都能找到条目。
• tg128 往往更接近日常体感，pp512 更适合看吞吐能力。很多“榜一”卡，在两项里领先幅度并不完全一样。

CUDA 完整榜单

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

Apple Silicon 参考口径

#4167 这条讨论和后三条最大的区别，是它更早建立了统一口径，除了 Q4_0，还会顺带放 F16 和 Q8_0。它对理解 PP / TG / t/s 很有帮助。

讨论里直接给出的说明是：

• PP 表示 prompt processing
• TG 表示 text-generation
• t/s 表示 tokens per second

文中可见的一个时间对比样例，是 M2 Ultra 在同一台机器上随着版本和 FA 演进后的成绩：

讨论正文前部还给了几台 Apple Silicon 设备的统一样例：

Apple 这条线这里不展开全文搬运，后面重点看你指定的三类独显后端榜单。

ROCm / HIP 完整榜单

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

Vulkan 完整榜单

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, FA enabled

这些表格该怎么用

如果你只是想买卡或者看手里机器大概在哪个档位，最实用的读法其实是这三步：

1. 先看你关心的是 tg128 还是 pp512。
   日常对话、写代码、聊天体感，优先看 tg128；长上下文吞吐、批处理、服务端压 prompt，更应该看 pp512。

2. 再看你实际跑的后端。
   Nvidia 通常看 CUDA 更贴近真实上限；AMD 机器更应该先对照 ROCm 和 Vulkan；跨平台兼容场景则更适合参考 Vulkan。

3. 最后再看 FA。
   很多卡开启 FA 后 pp512 会涨得更明显，但 tg128 不一定同步大涨，所以不能只看单个最高分。

一句话总结

同样是 llama.cpp 跑分，pp512、tg128、Q4_0、FA、CUDA / ROCm / Vulkan 分别代表的是完全不同的维度。把口径先分清，再看数字，榜单才有意义。

如果你只想记一个最短结论，那就是：

• CUDA 目前整体最强
• ROCm 在高端 AMD 卡上已经很能打
• Vulkan 覆盖最广，老卡、核显、Intel Arc、Apple Asahi 都能找到可比条目
• tg128 比 pp512 更接近日常真实体感

原始来源

• CUDA discussion #15013: https://github.com/ggml-org/llama.cpp/discussions/15013
• Apple Silicon discussion #4167: https://github.com/ggml-org/llama.cpp/discussions/4167
• ROCm discussion #15021: https://github.com/ggml-org/llama.cpp/discussions/15021
• Vulkan discussion #10879: https://github.com/ggml-org/llama.cpp/discussions/10879