https://www.knightli.com/tags/vulkan/ Recent content in Vulkan on KnightLi的博客 Hugo -- gohugo.io zh-cn Thu, 23 Apr 2026 09:58:11 +0800 https://www.knightli.com/2026/04/23/llama-cpp-gpu-benchmark-cuda-rocm-vulkan-scoreboard/ Thu, 23 Apr 2026 09:58:11 +0800 https://www.knightli.com/2026/04/23/llama-cpp-gpu-benchmark-cuda-rocm-vulkan-scoreboard/ <h2 id="先看懂这些参数">先看懂这些参数 </h2><h3 id="q4_0-是什么"><code>Q4_0</code> 是什么 </h3><p><code>Q4_0</code> 是一种 4-bit 量化格式。它的意义不是“模型更强”，而是“模型更小、更省显存、更容易塞进更多设备里”。这些榜单大多统一用 <code>Llama 2 7B, Q4_0</code>，核心目的是减少变量，让不同 GPU 的成绩更容易横向比较。</p> <h3 id="pp512-是什么"><code>pp512</code> 是什么 </h3><p><code>pp512</code> 一般可以理解为 <code>prompt processing 512 tokens</code>，也就是处理 512 个输入 token 时的吞吐。</p> <ul> <li><code>pp</code> = prompt processing</li> <li><code>512</code> = 输入长度是 512 token</li> <li><code>t/s</code> = tokens per second</li> </ul> <p>它更像“吃提示词的速度”，通常能并行得更充分，所以数字往往很高。</p> <h3 id="tg128-是什么"><code>tg128</code> 是什么 </h3><p><code>tg128</code> 一般可以理解为 <code>text generation 128 tokens</code>，也就是连续生成 128 个 token 时的速度。</p> <ul> <li><code>tg</code> = text generation</li> <li><code>128</code> = 连续生成 128 token</li> <li><code>t/s</code> = tokens per second</li> </ul> <p>它更接近我们平时感受到的“模型回答快不快”。因为生成阶段是逐 token 递推，所以通常明显低于 <code>pp512</code>。</p> <h3 id="fa-是什么"><code>FA</code> 是什么 </h3><p><code>FA</code> 是 <code>Flash Attention</code>。简单理解就是注意力计算的一种优化开关。</p> <ul> <li><code>with FA</code> 表示启用了 Flash Attention</li> <li><code>no FA</code> 表示关闭 Flash Attention</li> </ul> <p>在不少卡上，<code>FA</code> 对 <code>pp512</code> 的提升比对 <code>tg128</code> 更明显；但不同后端、不同驱动和不同架构之间，提升幅度并不一致，个别设备甚至会出现 PP 升、TG 变化很小，或者 PP 反而下降的情况。</p> <h3 id="ts-怎么看"><code>t/s</code> 怎么看 </h3><p><code>t/s</code> 就是 <code>tokens per second</code>。它不是帧率，也不是 FLOPS，而是模型吞吐表现的直接结果。</p> <p>读榜单时最重要的一点是：<strong>先确认你在比的是不是同一种测试。</strong></p> <ul> <li>不要把 <code>pp512</code> 和 <code>tg128</code> 直接混着比</li> <li>不要把 <code>no FA</code> 和 <code>with FA</code> 混着比</li> <li>不要把 CUDA、ROCm、Vulkan 的结果当成完全等价的同一条曲线</li> </ul> <h2 id="先说结论">先说结论 </h2><p>从这几条讨论串当前可见的数据看，大致可以先记住这几个结论：</p> <ul> <li><code>CUDA</code> 仍然是目前 <code>llama.cpp</code> GPU 跑分里最强、样本也最密集的一条线，特别是高端 Nvidia 卡在 <code>pp512</code> 上优势很大。</li> <li><code>ROCm</code> 在高端 AMD 卡和 Instinct 卡上已经能给出非常像样的成绩，<code>MI300X</code>、<code>7900 XTX</code>、<code>W7900</code> 这些条目都不弱。</li> <li><code>Vulkan</code> 的优点不是“绝对最快”，而是覆盖面最广，Nvidia、AMD、Intel、Apple Asahi / MoltenVK，甚至很多老卡和核显都能找到条目。</li> <li><code>tg128</code> 往往更接近日常体感，<code>pp512</code> 更适合看吞吐能力。很多“榜一”卡，在两项里领先幅度并不完全一样。</li> </ul> <h2 id="cuda-完整榜单">CUDA 完整榜单 </h2><h3 id="llama-2-7b-q4_0-no-fa">Llama 2 7B, Q4_0, no FA </h3><table> <thead> <tr> <th>Chip</th> <th>Memory</th> <th style="text-align: right">pp512 t/s</th> <th style="text-align: right">tg128 t/s</th> <th>Commit</th> <th>Thanks to</th> </tr> </thead> <tbody> <tr> <td>RTX 5090</td> <td>32 GB / GDDR7 / 512 bit</td> <td style="text-align: right">14073.41 ± 115.16</td> <td style="text-align: right">290.02 ± 1.10</td> <td>8cf6b42</td> <td>@totaldev</td> </tr> <tr> <td>RTX PRO 6000 Blackwell</td> <td>96 GB / GDDR7 / 512 bit</td> <td style="text-align: right">14854.63 ± 22.73</td> <td style="text-align: right">274.20 ± 0.14</td> <td>79c1160</td> <td>@Tom94</td> </tr> <tr> <td>H100 80 GB</td> <td>80 GB / HBM3 / 5120 bit</td> <td style="text-align: right">9918.34 ± 176.97</td> <td style="text-align: right">267.81 ± 1.54</td> <td>5143fa8</td> <td>@Hedede</td> </tr> <tr> <td>A100 80 GB</td> <td>80 GB / HBM2e / 5120 bit</td> <td style="text-align: right">4849.53 ± 8.94</td> <td style="text-align: right">190.88 ± 0.33</td> <td>5143fa8</td> <td>@Hedede</td> </tr> <tr> <td>RTX 4090 D</td> <td>24 GB / GDDR6X / 384 bit</td> <td style="text-align: right">10293.86 ± 134.72</td> <td style="text-align: right">189.33 ± 0.19</td> <td>79c1160</td> <td>@autonomous-AI-lab</td> </tr> <tr> <td>RTX 4090</td> <td>24 GB / GDDR6X / 384 bit</td> <td style="text-align: right">11992.70 ± 107.99</td> <td style="text-align: right">186.21 ± 0.13</td> <td>2241453</td> <td>@lhl</td> </tr> <tr> <td>RTX 5080</td> <td>16 GB / GDDR7 / 256 bit</td> <td style="text-align: right">8297.36 ± 9.50</td> <td style="text-align: right">181.99 ± 0.42</td> <td>8a4280c</td> <td>@Hedede</td> </tr> <tr> <td>RTX 5070 Ti</td> <td>16 GB / GDDR7 / 256 bit</td> <td style="text-align: right">6952.38 ± 13.73</td> <td style="text-align: right">176.85 ± 0.07</td> <td>933414c</td> <td>@TinyServal</td> </tr> <tr> <td>RTX 6000 Ada</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">9229.23 ± 101.78</td> <td style="text-align: right">176.07 ± 0.26</td> <td>b8e09f0</td> <td>@Hedede</td> </tr> <tr> <td>RTX 3090 Ti</td> <td>24 GB / GDDR6X / 384 bit</td> <td style="text-align: right">6567.49 ± 20.30</td> <td style="text-align: right">171.19 ± 3.98</td> <td>9c35706</td> <td>@slaren</td> </tr> <tr> <td>RTX 3090</td> <td>24 GB / GDDR6X / 384 bit</td> <td style="text-align: right">5174.69 ± 21.83</td> <td style="text-align: right">158.16 ± 0.21</td> <td>c76b420</td> <td>@m18coppola</td> </tr> <tr> <td>L40</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">8870.49 ± 378.76</td> <td style="text-align: right">152.01 ± 0.28</td> <td>ee09828</td> <td>@Hedede</td> </tr> <tr> <td>RTX 4080 SUPER</td> <td>16 GB / GDDR6X / 256 bit</td> <td style="text-align: right">8125.15 ± 41.05</td> <td style="text-align: right">148.33 ± 0.20</td> <td>81086cd</td> <td>@zacharyarnaise</td> </tr> <tr> <td>RTX 4080</td> <td>16 GB / GDDR6X / 256 bit</td> <td style="text-align: right">8031.64 ± 26.49</td> <td style="text-align: right">142.49 ± 0.16</td> <td>20638e4</td> <td>@Ristovski</td> </tr> <tr> <td>RTX 3080</td> <td>10 GB / GDDR6X / 320 bit</td> <td style="text-align: right">5013.86 ± 24.80</td> <td style="text-align: right">139.65 ± 0.99</td> <td>9c35706</td> <td>@slaren</td> </tr> <tr> <td>RTX A6000</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">4913.93 ± 6.79</td> <td style="text-align: right">138.73 ± 2.75</td> <td>4795c91</td> <td>@Hedede</td> </tr> <tr> <td>RTX 4070 Ti SUPER</td> <td>16 GB / GDDR6X / 256 bit</td> <td style="text-align: right">6924.53 ± 13.87</td> <td style="text-align: right">132.26 ± 0.16</td> <td>9c35706</td> <td>@Ristovski</td> </tr> <tr> <td>RTX PRO 4000 Blackwell</td> <td>24 GB / GDDR7 / 192 bit</td> <td style="text-align: right">4992.83 ± 113.52</td> <td style="text-align: right">131.66 ± 0.20</td> <td>7d77f07</td> <td>@Hedede</td> </tr> <tr> <td>RTX A5000</td> <td>24 GB / GDDR6 / 384 bit</td> <td style="text-align: right">4028.16 ± 19.14</td> <td style="text-align: right">130.07 ± 2.74</td> <td>e5155e6</td> <td>@Hedede</td> </tr> <tr> <td>Tesla V100</td> <td>32 GB / HBM2 / 4096 bit</td> <td style="text-align: right">3042.64 ± 40.71</td> <td style="text-align: right">129.08 ± 0.05</td> <td>51f5a45</td> <td>@Hedede</td> </tr> <tr> <td>RTX 5070</td> <td>12 GB / GDDR7 / 192 bit</td> <td style="text-align: right">5184.75 ± 18.70</td> <td style="text-align: right">127.54 ± 0.46</td> <td>@Spyro000</td> <td>-</td> </tr> <tr> <td>A40</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">4609.01 ± 10.67</td> <td style="text-align: right">124.11 ± 0.17</td> <td>3470a5c</td> <td>@Hedede</td> </tr> <tr> <td>A30</td> <td>24 GB / HBM2e / 3072 bit</td> <td style="text-align: right">2767.10 ± 1.88</td> <td style="text-align: right">124.81 ± 0.16</td> <td>583cb83</td> <td>@Hedede</td> </tr> <tr> <td>Titan V</td> <td>12 GB / HBM2 / 3072 bit</td> <td style="text-align: right">2617.46 ± 2.10</td> <td style="text-align: right">108.79 ± 0.05</td> <td>e56abd2</td> <td>@Hedede</td> </tr> <tr> <td>RTX 2080 Ti</td> <td>11 GB / GDDR6 / 352 bit</td> <td style="text-align: right">2890.66 ± 2.42</td> <td style="text-align: right">107.51 ± 0.21</td> <td>9c35706</td> <td>@ariya</td> </tr> <tr> <td>Quadro RTX 6000</td> <td>24 GB / GDDR6 / 384 bit</td> <td style="text-align: right">2751.18 ± 19.43</td> <td style="text-align: right">102.77 ± 0.04</td> <td>b8e09f0</td> <td>@Hedede</td> </tr> <tr> <td>Quadro RTX 8000</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">2709.95 ± 3.35</td> <td style="text-align: right">102.68 ± 0.03</td> <td>b8e09f0</td> <td>@Hedede</td> </tr> <tr> <td>RTX A4500</td> <td>20 GB / GDDR6 / 320 bit</td> <td style="text-align: right">2827.20 ± 66.43</td> <td style="text-align: right">97.32 ± 2.80</td> <td>5cdb27e</td> <td>@aleksyx</td> </tr> <tr> <td>RTX 5060 Ti 16 GB</td> <td>16 GB / GDDR7 / 128 bit</td> <td style="text-align: right">3737.25 ± 6.79</td> <td style="text-align: right">90.94 ± 0.02</td> <td>89d1029</td> <td>@mike-llamacpp</td> </tr> <tr> <td>RTX 2070 SUPER</td> <td>8 GB / GDDR6 / 256 bit</td> <td style="text-align: right">2088.34 ± 1.94</td> <td style="text-align: right">88.06 ± 0.28</td> <td>bc07349</td> <td>@phstudy</td> </tr> <tr> <td>RTX A4000</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">2684.06 ± 15.28</td> <td style="text-align: right">83.77 ± 0.37</td> <td>65349f2</td> <td>@TinyServal</td> </tr> <tr> <td>Titan Xp</td> <td>12 GB / GDDR5X / 384 bit</td> <td style="text-align: right">1154.96 ± 1.46</td> <td style="text-align: right">76.08 ± 0.08</td> <td>c4510dc</td> <td>@Hedede</td> </tr> <tr> <td>RTX 3060</td> <td>12 GB / GDDR6 / 192 bit</td> <td style="text-align: right">2137.50 ± 10.12</td> <td style="text-align: right">75.57 ± 0.07</td> <td>baa9255</td> <td>@QuantiusBenignus</td> </tr> <tr> <td>Quadro RTX 4000</td> <td>8 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1536.89 ± 0.90</td> <td style="text-align: right">65.62 ± 0.62</td> <td>7d77f07</td> <td>@Hedede</td> </tr> <tr> <td>RTX 4060 Ti 8 GB</td> <td>8 GB / GDDR6 / 128 bit</td> <td style="text-align: right">3394.63 ± 7.44</td> <td style="text-align: right">63.86 ± 0.01</td> <td>89d1029</td> <td>@mike-llamacpp</td> </tr> <tr> <td>GTX 1080 Ti</td> <td>11 GB / GDDR5X / 352 bit</td> <td style="text-align: right">1084.41 ± 3.01</td> <td style="text-align: right">62.49 ± 0.06</td> <td>9c35706</td> <td>@ariya</td> </tr> <tr> <td>RTX A4000 Ada</td> <td>20 GB / GDDR6 / 160 bit</td> <td style="text-align: right">2779.77 ± 9.91</td> <td style="text-align: right">61.83 ± 0.04</td> <td>a74a0d6</td> <td>@sdwolfz</td> </tr> <tr> <td>RTX 2060 SUPER</td> <td>8 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1420.24 ± 1.95</td> <td style="text-align: right">60.04 ± 0.01</td> <td>5c0eb5e</td> <td>@ggerganov</td> </tr> <tr> <td>Tesla P100</td> <td>16 GB / HBM2 / 4096 bit</td> <td style="text-align: right">760.80 ± 2.92</td> <td style="text-align: right">58.35 ± 0.00</td> <td>b8372ee</td> <td>@Hedede</td> </tr> <tr> <td>DGX Spark</td> <td>128 GB / LPDDR5x</td> <td style="text-align: right">3062.31 ± 11.02</td> <td style="text-align: right">57.21 ± 0.06</td> <td>5acd455</td> <td>@ggerganov</td> </tr> <tr> <td>Tesla P40</td> <td>24 GB / GDDR5 / 384 bit</td> <td style="text-align: right">1007.42 ± 1.23</td> <td style="text-align: right">54.74 ± 0.07</td> <td>c76b420</td> <td>@m18coppola</td> </tr> <tr> <td>RTX 2000 Ada</td> <td>16 GB / GDDR6 / 128 bit</td> <td style="text-align: right">1956.22 ± 7.74</td> <td style="text-align: right">50.62 ± 0.04</td> <td>756cfea</td> <td>@DigitalRudeness</td> </tr> <tr> <td>Tesla T4</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1219.06 ± 4.18</td> <td style="text-align: right">46.38 ± 0.73</td> <td>d32e03f</td> <td>@pt13762104</td> </tr> <tr> <td>RTX 4050 Laptop</td> <td>6 GB / GDDR6 / 96 bit</td> <td style="text-align: right">1725.85 + 17.85</td> <td style="text-align: right">43.72 + 0.41</td> <td>d79d8f3</td> <td>@TimCabbage</td> </tr> <tr> <td>GTX 1660</td> <td>6 GB / GDDR5 / 192 bit</td> <td style="text-align: right">148.91 ± 0.01</td> <td style="text-align: right">41.35 ± 0.02</td> <td>9515c61</td> <td>@ariya</td> </tr> <tr> <td>Tesla M40</td> <td>24 GB / GDDR5 / 384 bit</td> <td style="text-align: right">282.65 ± 0.15</td> <td style="text-align: right">38.04 ± 0.02</td> <td>97d5117</td> <td>@Hedede</td> </tr> <tr> <td>GTX 1070 Ti</td> <td>8 GB / GDDR5 / 256 bit</td> <td style="text-align: right">714.44 ± 2.04</td> <td style="text-align: right">37.82 ± 0.02</td> <td>79c1160</td> <td>@pebaryan</td> </tr> <tr> <td>Jetson AGX Orin</td> <td>64 GB / LPDDR5 / 256 bit</td> <td style="text-align: right">991.31 ± 1.15</td> <td style="text-align: right">33.58 ± 0.14</td> <td>c1b1876</td> <td>@TinyServal</td> </tr> <tr> <td>Tesla P4</td> <td>8 GB / GDDR5 / 256 bit</td> <td style="text-align: right">514.53 ± 3.06</td> <td style="text-align: right">33.29 ± 0.00</td> <td>c76b420</td> <td>@m18coppola</td> </tr> <tr> <td>P106-100</td> <td>6 GB / GDDR5 / 192 bit</td> <td style="text-align: right">406.94 ± 0.25</td> <td style="text-align: right">30.40 ± 0.02</td> <td>5fd160b</td> <td>@pebaryan</td> </tr> <tr> <td>GTX 1060</td> <td>6 GB / GDDR5 / 192 bit</td> <td style="text-align: right">416.85 ± 1.75</td> <td style="text-align: right">27.79 ± 0.02</td> <td>5fd160b</td> <td>@pebaryan</td> </tr> <tr> <td>Quadro T1000</td> <td>4 GB / GDDR5 / 128 bit</td> <td style="text-align: right">79.44 ± 0.01</td> <td style="text-align: right">27.82 ± 0.18</td> <td>f6da8cb</td> <td>@hanabu</td> </tr> <tr> <td>Quadro P2000</td> <td>5 GB / GDDR5 / 160 bit</td> <td style="text-align: right">309.30 ± 0.05</td> <td style="text-align: right">23.63 ± 0.00</td> <td>baa9255</td> <td>@TinyServal</td> </tr> <tr> <td>Quadro P1000</td> <td>4 GB / GDDR5 / 128 bit</td> <td style="text-align: right">183.40 ± 0.11</td> <td style="text-align: right">13.99 ± 0.13</td> <td>1e74897</td> <td>@aleksyx</td> </tr> <tr> <td>Tesla K80</td> <td>12 GB / GDDR5 / 384 bit</td> <td style="text-align: right">133.14 ± 0.55</td> <td style="text-align: right">13.80 ± 0.02</td> <td>32732f2</td> <td>@pebaryan</td> </tr> </tbody> </table> <h3 id="llama-2-7b-q4_0-with-fa">Llama 2 7B, Q4_0, with FA </h3><table> <thead> <tr> <th>Chip</th> <th>Memory</th> <th style="text-align: right">pp512 t/s</th> <th style="text-align: right">tg128 t/s</th> <th>Commit</th> <th>Thanks to</th> </tr> </thead> <tbody> <tr> <td>RTX 5090</td> <td>32 GB / GDDR7 / 512 bit</td> <td style="text-align: right">14970.15 ± 381.06</td> <td style="text-align: right">300.40 ± 0.28</td> <td>8cf6b42</td> <td>@totaldev</td> </tr> <tr> <td>RTX PRO 6000 Blackwell</td> <td>96 GB / GDDR7 / 512 bit</td> <td style="text-align: right">16618.98 ± 20.66</td> <td style="text-align: right">281.11 ± 0.41</td> <td>5143fa8</td> <td>@Tom94</td> </tr> <tr> <td>H100 80 GB</td> <td>80 GB / HBM3 / 5120 bit</td> <td style="text-align: right">11263.29 ± 98.34</td> <td style="text-align: right">280.74 ± 1.17</td> <td>5143fa8</td> <td>@Hedede</td> </tr> <tr> <td>A100 80 GB</td> <td>80 GB / HBM2e / 5120 bit</td> <td style="text-align: right">5285.96 ± 6.58</td> <td style="text-align: right">200.90 ± 0.12</td> <td>5143fa8</td> <td>@Hedede</td> </tr> <tr> <td>RTX 4090 D</td> <td>24 GB / GDDR6X / 384 bit</td> <td style="text-align: right">12506.97 ± 11.51</td> <td style="text-align: right">191.57 ± 0.03</td> <td>79c1160</td> <td>@autonomous-AI-lab</td> </tr> <tr> <td>RTX 4090</td> <td>24 GB / GDDR6X / 384 bit</td> <td style="text-align: right">14770.63 ± 102.93</td> <td style="text-align: right">188.96 ± 0.05</td> <td>2241453</td> <td>@lhl</td> </tr> <tr> <td>RTX 5080</td> <td>16 GB / GDDR7 / 256 bit</td> <td style="text-align: right">9487.70 ± 21.89</td> <td style="text-align: right">184.68 ± 0.05</td> <td>8a4280c</td> <td>@Hedede</td> </tr> <tr> <td>RTX 5070 Ti</td> <td>16 GB / GDDR7 / 256 bit</td> <td style="text-align: right">8419.56 ± 35.50</td> <td style="text-align: right">182.43 ± 0.09</td> <td>933414c</td> <td>@TinyServal</td> </tr> <tr> <td>RTX 6000 Ada</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">10576.85 ± 530.21</td> <td style="text-align: right">179.47 ± 0.32</td> <td>b8e09f0</td> <td>@Hedede</td> </tr> <tr> <td>RTX 3090 Ti</td> <td>24 GB / GDDR6X / 384 bit</td> <td style="text-align: right">6924.01 ± 10.76</td> <td style="text-align: right">172.26 ± 1.31</td> <td>9c35706</td> <td>@slaren</td> </tr> <tr> <td>RTX PRO 4500 Blackwell</td> <td>32 GB / GDDR7 / 256 bit</td> <td style="text-align: right">7251.66 ± 92.40</td> <td style="text-align: right">168.90 ± 0.20</td> <td>becc481</td> <td>@Hedede</td> </tr> <tr> <td>RTX 3090</td> <td>24 GB / GDDR6X / 384 bit</td> <td style="text-align: right">5560.06 ± 16.28</td> <td style="text-align: right">161.89 ± 0.18</td> <td>c76b420</td> <td>@m18coppola</td> </tr> <tr> <td>L40</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">10097.64 ± 671.22</td> <td style="text-align: right">153.76 ± 0.12</td> <td>ee09828</td> <td>@Hedede</td> </tr> <tr> <td>RTX 4080 SUPER</td> <td>16 GB / GDDR6X / 256 bit</td> <td style="text-align: right">9439.01 ± 56.75</td> <td style="text-align: right">147.48 ± 1.41</td> <td>81086cd</td> <td>@zacharyarnaise</td> </tr> <tr> <td>RTX 4080</td> <td>16 GB / GDDR6X / 256 bit</td> <td style="text-align: right">9205.93 ± 22.31</td> <td style="text-align: right">143.47 ± 0.02</td> <td>20638e4</td> <td>@Ristovski</td> </tr> <tr> <td>RTX A6000</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">5662.39 ± 13.87</td> <td style="text-align: right">144.87 ± 0.18</td> <td>4795c91</td> <td>@Hedede</td> </tr> <tr> <td>RTX 3080</td> <td>10 GB / GDDR6X / 320 bit</td> <td style="text-align: right">5569.56 ± 14.04</td> <td style="text-align: right">139.95 ± 0.95</td> <td>9c35706</td> <td>@slaren</td> </tr> <tr> <td>RTX PRO 4000 Blackwell</td> <td>24 GB / GDDR7 / 192 bit</td> <td style="text-align: right">5674.44 ± 139.53</td> <td style="text-align: right">136.38 ± 0.13</td> <td>7d77f07</td> <td>@Hedede</td> </tr> <tr> <td>RTX A5000</td> <td>24 GB / GDDR6 / 384 bit</td> <td style="text-align: right">4552.15 ± 9.68</td> <td style="text-align: right">135.83 ± 0.11</td> <td>e5155e6</td> <td>@Hedede</td> </tr> <tr> <td>Tesla V100</td> <td>32 GB / HBM2 / 4096 bit</td> <td style="text-align: right">2973.78 ± 3.62</td> <td style="text-align: right">134.76 ± 0.02</td> <td>51f5a45</td> <td>@Hedede</td> </tr> <tr> <td>RTX 4070 Ti SUPER</td> <td>16 GB / GDDR6X / 256 bit</td> <td style="text-align: right">7612.32 ± 37.35</td> <td style="text-align: right">132.85 ± 0.31</td> <td>9c35706</td> <td>@Ristovski</td> </tr> <tr> <td>A30</td> <td>24 GB / HBM2e / 3072 bit</td> <td style="text-align: right">3068.72 ± 0.63</td> <td style="text-align: right">131.93 ± 0.18</td> <td>583cb83</td> <td>@Hedede</td> </tr> <tr> <td>RTX 5070</td> <td>12 GB / GDDR7 / 192 bit</td> <td style="text-align: right">5783.44 ± 36.95</td> <td style="text-align: right">128.21 ± 2.52</td> <td>@Spyro000</td> <td>-</td> </tr> <tr> <td>A40</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">5256.38 ± 19.39</td> <td style="text-align: right">126.24 ± 0.06</td> <td>3470a5c</td> <td>@Hedede</td> </tr> <tr> <td>Titan V</td> <td>12 GB / HBM2 / 3072 bit</td> <td style="text-align: right">2481.25 ± 1.31</td> <td style="text-align: right">112.17 ± 0.01</td> <td>e56abd2</td> <td>@Hedede</td> </tr> <tr> <td>RTX 2080 Ti</td> <td>11 GB / GDDR6 / 352 bit</td> <td style="text-align: right">3107.61 ± 4.34</td> <td style="text-align: right">109.17 ± 0.07</td> <td>9c35706</td> <td>@ariya</td> </tr> <tr> <td>Quadro RTX 6000</td> <td>24 GB / GDDR6 / 384 bit</td> <td style="text-align: right">3053.96 ± 1.37</td> <td style="text-align: right">104.38 ± 0.04</td> <td>b8e09f0</td> <td>@Hedede</td> </tr> <tr> <td>Quadro RTX 8000</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">3052.35 ± 5.64</td> <td style="text-align: right">103.63 ± 0.02</td> <td>b8e09f0</td> <td>@Hedede</td> </tr> <tr> <td>RTX A4500</td> <td>20 GB / GDDR6 / 320 bit</td> <td style="text-align: right">3453.10 ± 49.19</td> <td style="text-align: right">103.00 ± 0.25</td> <td>5cdb27e</td> <td>@aleksyx</td> </tr> <tr> <td>RTX 5060 Ti 16 GB</td> <td>16 GB / GDDR7 / 128 bit</td> <td style="text-align: right">4195.53 ± 1.98</td> <td style="text-align: right">93.46 ± 0.01</td> <td>89d1029</td> <td>@mike-llamacpp</td> </tr> <tr> <td>RTX 2070 SUPER</td> <td>8 GB / GDDR6 / 256 bit</td> <td style="text-align: right">2293.29 ± 5.91</td> <td style="text-align: right">87.71 ± 0.29</td> <td>bc07349</td> <td>@phstudy</td> </tr> <tr> <td>RTX A4000</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">2807.83 ± 52.44</td> <td style="text-align: right">85.17 ± 0.66</td> <td>65349f2</td> <td>@TinyServal</td> </tr> <tr> <td>RTX 3060</td> <td>12 GB / GDDR6 / 192 bit</td> <td style="text-align: right">2407.67 ± 3.73</td> <td style="text-align: right">76.92 ± 0.03</td> <td>baa9255</td> <td>@QuantiusBenignus</td> </tr> <tr> <td>Titan Xp</td> <td>12 GB / GDDR5X / 384 bit</td> <td style="text-align: right">1218.12 ± 1.82</td> <td style="text-align: right">73.84 ± 0.04</td> <td>c4510dc</td> <td>@Hedede</td> </tr> <tr> <td>Quadro RTX 4000</td> <td>8 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1662.80 ± 2.04</td> <td style="text-align: right">67.62 ± 0.67</td> <td>7d77f07</td> <td>@Hedede</td> </tr> <tr> <td>RTX 4060 Ti 8 GB</td> <td>8 GB / GDDR6 / 128 bit</td> <td style="text-align: right">3803.45 ± 70.80</td> <td style="text-align: right">64.03 ± 0.53</td> <td>89d1029</td> <td>@mike-llamacpp</td> </tr> <tr> <td>Tesla P100</td> <td>16 GB / HBM2 / 4096 bit</td> <td style="text-align: right">787.36 ± 3.27</td> <td style="text-align: right">61.99 ± 0.00</td> <td>b8372ee</td> <td>@Hedede</td> </tr> <tr> <td>GTX 1080 Ti</td> <td>11 GB / GDDR5X / 352 bit</td> <td style="text-align: right">1138.14 ± 2.02</td> <td style="text-align: right">61.38 ± 0.03</td> <td>9c35706</td> <td>@ariya</td> </tr> <tr> <td>RTX A4000 Ada</td> <td>20 GB / GDDR6 / 160 bit</td> <td style="text-align: right">3171.86 ± 4.34</td> <td style="text-align: right">61.37 ± 0.01</td> <td>a74a0d6</td> <td>@sdwolfz</td> </tr> <tr> <td>RTX 2060 SUPER</td> <td>8 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1563.77 ± 0.51</td> <td style="text-align: right">61.13 ± 0.05</td> <td>5c0eb5e</td> <td>@ggerganov</td> </tr> <tr> <td>DGX Spark</td> <td>128 GB / LPDDR5x</td> <td style="text-align: right">3661.37 ± 38.66</td> <td style="text-align: right">56.74 ± 0.03</td> <td>5acd455</td> <td>@ggerganov</td> </tr> <tr> <td>Tesla P40</td> <td>24 GB / GDDR5 / 384 bit</td> <td style="text-align: right">1079.66 ± 0.18</td> <td style="text-align: right">53.73 ± 0.05</td> <td>c76b420</td> <td>@m18coppola</td> </tr> <tr> <td>RTX 2000 Ada</td> <td>16 GB / GDDR6 / 128 bit</td> <td style="text-align: right">2250.14 ± 5.91</td> <td style="text-align: right">50.71 ± 0.01</td> <td>756cfea</td> <td>@DigitalRudeness</td> </tr> <tr> <td>Tesla T4</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1309.73 ± 1.02</td> <td style="text-align: right">44.03 ± 0.57</td> <td>d32e03f</td> <td>@pt13762104</td> </tr> <tr> <td>GTX 1660</td> <td>6 GB / GDDR5 / 192 bit</td> <td style="text-align: right">154.45 ± 0.52</td> <td style="text-align: right">41.43 ± 0.01</td> <td>9515c61</td> <td>@ariya</td> </tr> <tr> <td>Tesla M40</td> <td>24 GB / GDDR5 / 384 bit</td> <td style="text-align: right">290.17 ± 0.11</td> <td style="text-align: right">39.98 ± 0.01</td> <td>97d5117</td> <td>@Hedede</td> </tr> <tr> <td>GTX 1070 Ti</td> <td>8 GB / GDDR5 / 256 bit</td> <td style="text-align: right">790.52 ± 2.39</td> <td style="text-align: right">37.87 ± 0.00</td> <td>79c1160</td> <td>@pebaryan</td> </tr> <tr> <td>Jetson AGX Orin</td> <td>64 GB / LPDDR5 / 256 bit</td> <td style="text-align: right">1171.96 ± 4.70</td> <td style="text-align: right">35.88 ± 0.18</td> <td>c1b1876</td> <td>@TinyServal</td> </tr> <tr> <td>Tesla P4</td> <td>8 GB / GDDR5 / 256 bit</td> <td style="text-align: right">529.53 ± 2.12</td> <td style="text-align: right">33.12 ± 0.03</td> <td>c76b420</td> <td>@m18coppola</td> </tr> <tr> <td>P106-100</td> <td>6 GB / GDDR5 / 192 bit</td> <td style="text-align: right">438.49 ± 0.38</td> <td style="text-align: right">30.64 ± 0.06</td> <td>5fd160b</td> <td>@pebaryan</td> </tr> <tr> <td>GTX 1060</td> <td>6 GB / GDDR5 / 192 bit</td> <td style="text-align: right">446.19 ± 0.81</td> <td style="text-align: right">28.18 ± 0.01</td> <td>5fd160b</td> <td>@pebaryan</td> </tr> <tr> <td>Quadro T1000</td> <td>4 GB / GDDR5 / 128 bit</td> <td style="text-align: right">27.46 ± 0.23</td> <td style="text-align: right">27.46 ± 0.23</td> <td>f6da8cb</td> <td>@hanabu</td> </tr> <tr> <td>Quadro P2000</td> <td>5 GB / GDDR5 / 160 bit</td> <td style="text-align: right">311.55 ± 0.19</td> <td style="text-align: right">23.76 ± 0.01</td> <td>baa9255</td> <td>@TinyServal</td> </tr> <tr> <td>Tesla K80</td> <td>12 GB / GDDR5 / 384 bit</td> <td style="text-align: right">133.36 ± 0.60</td> <td style="text-align: right">14.27 ± 0.32</td> <td>32732f2</td> <td>@pebaryan</td> </tr> <tr> <td>Quadro P1000</td> <td>4 GB / GDDR5 / 128 bit</td> <td style="text-align: right">173.82 ± 0.02</td> <td style="text-align: right">13.65 ± 0.14</td> <td>1e74897</td> <td>@aleksyx</td> </tr> </tbody> </table> <h2 id="apple-silicon-参考口径">Apple Silicon 参考口径 </h2><p><code>#4167</code> 这条讨论和后三条最大的区别，是它更早建立了统一口径，除了 <code>Q4_0</code>，还会顺带放 <code>F16</code> 和 <code>Q8_0</code>。它对理解 <code>PP / TG / t/s</code> 很有帮助。</p> <p>讨论里直接给出的说明是：</p> <ul> <li><code>PP</code> 表示 <code>prompt processing</code></li> <li><code>TG</code> 表示 <code>text-generation</code></li> <li><code>t/s</code> 表示 <code>tokens per second</code></li> </ul> <p>文中可见的一个时间对比样例，是 <code>M2 Ultra</code> 在同一台机器上随着版本和 <code>FA</code> 演进后的成绩：</p> <table> <thead> <tr> <th>时间</th> <th>设备</th> <th>版本/说明</th> <th style="text-align: right">带宽 GB/s</th> <th style="text-align: right">GPU 核心</th> <th style="text-align: right">F16 PP</th> <th style="text-align: right">F16 TG</th> <th style="text-align: right">Q8_0 PP</th> <th style="text-align: right">Q8_0 TG</th> <th style="text-align: right">Q4_0 PP</th> <th style="text-align: right">Q4_0 TG</th> </tr> </thead> <tbody> <tr> <td>2023-11-21</td> <td>M2 Ultra</td> <td>8e672ef</td> <td style="text-align: right">800</td> <td style="text-align: right">76</td> <td style="text-align: right">1401.85</td> <td style="text-align: right">41.02</td> <td style="text-align: right">1248.59</td> <td style="text-align: right">66.64</td> <td style="text-align: right">1238.48</td> <td style="text-align: right">94.27</td> </tr> <tr> <td>2024-11-12</td> <td>M2 Ultra</td> <td>86ed72d + FA</td> <td style="text-align: right">800</td> <td style="text-align: right">76</td> <td style="text-align: right">1525.95</td> <td style="text-align: right">43.15</td> <td style="text-align: right">1368.18</td> <td style="text-align: right">73.11</td> <td style="text-align: right">1391.78</td> <td style="text-align: right">108.80</td> </tr> <tr> <td>2025-08-02</td> <td>M2 Ultra</td> <td>5c0eb5e + FA</td> <td style="text-align: right">800</td> <td style="text-align: right">76</td> <td style="text-align: right">1561.35</td> <td style="text-align: right">43.24</td> <td style="text-align: right">1386.97</td> <td style="text-align: right">73.35</td> <td style="text-align: right">1412.42</td> <td style="text-align: right">109.41</td> </tr> </tbody> </table> <p>讨论正文前部还给了几台 Apple Silicon 设备的统一样例：</p> <table> <thead> <tr> <th>设备</th> <th style="text-align: right">Q4_0 PP</th> <th style="text-align: right">Q4_0 TG</th> <th style="text-align: right">Q8_0 PP</th> <th style="text-align: right">Q8_0 TG</th> <th style="text-align: right">F16 PP</th> <th style="text-align: right">F16 TG</th> </tr> </thead> <tbody> <tr> <td>M1 Pro 16 GPU</td> <td style="text-align: right">266.25</td> <td style="text-align: right">36.41</td> <td style="text-align: right">270.37</td> <td style="text-align: right">22.34</td> <td style="text-align: right">302.14</td> <td style="text-align: right">12.75</td> </tr> <tr> <td>M2 Ultra 76 GPU</td> <td style="text-align: right">1238.48</td> <td style="text-align: right">94.27</td> <td style="text-align: right">1248.59</td> <td style="text-align: right">66.64</td> <td style="text-align: right">1401.85</td> <td style="text-align: right">41.02</td> </tr> <tr> <td>M3 Max 40 GPU</td> <td style="text-align: right">690.99</td> <td style="text-align: right">65.85</td> <td style="text-align: right">749.37</td> <td style="text-align: right">43.00</td> <td style="text-align: right">794.26</td> <td style="text-align: right">25.27</td> </tr> </tbody> </table> <p>Apple 这条线这里不展开全文搬运，后面重点看你指定的三类独显后端榜单。</p> <h2 id="rocm--hip-完整榜单">ROCm / HIP 完整榜单 </h2><h3 id="llama-2-7b-q4_0-no-fa-1">Llama 2 7B, Q4_0, no FA </h3><table> <thead> <tr> <th>Chip</th> <th>Memory</th> <th style="text-align: right">pp512 t/s</th> <th style="text-align: right">tg128 t/s</th> <th>Commit</th> <th>Thanks to</th> </tr> </thead> <tbody> <tr> <td>Instinct MI300X</td> <td>192 GB / HBM3 / 8192 bit</td> <td style="text-align: right">11476.40 ± 72.79</td> <td style="text-align: right">232.92 ± 0.53</td> <td>ee3a9fc</td> <td>@yeahdongcn</td> </tr> <tr> <td>RX 7900 XTX</td> <td>24 GB / GDDR6 / 384 bit</td> <td style="text-align: right">3552.27 ± 101.96</td> <td style="text-align: right">167.11 ± 0.50</td> <td>2f0c2db</td> <td>@Diablo-D3</td> </tr> <tr> <td>Instinct MI210</td> <td>64 GB / HBM2e / 4096 bit</td> <td style="text-align: right">2486.22 ± 9.58</td> <td style="text-align: right">124.51 ± 0.04</td> <td>8160b38</td> <td>@65a</td> </tr> <tr> <td>Pro W7900</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">3213.17 ± 80.47</td> <td style="text-align: right">121.18 ± 0.06</td> <td>8160b38</td> <td>@65a</td> </tr> <tr> <td>RX 7900 XT</td> <td>20 GB / GDDR6 / 320 bit</td> <td style="text-align: right">3098.38 ± 24.02</td> <td style="text-align: right">116.15 ± 0.06</td> <td>1e15bfd</td> <td>@AdamNiederer</td> </tr> <tr> <td>RX 9070</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">2381.77 ± 3.68</td> <td style="text-align: right">114.48 ± 0.60</td> <td>d0660f2</td> <td>@andj1210</td> </tr> <tr> <td>Instinct MI100</td> <td>32 GB / HBM2 / 4096 bit</td> <td style="text-align: right">2732.83 ± 1.98</td> <td style="text-align: right">110.48 ± 0.14</td> <td>9c35706</td> <td>@firefox42</td> </tr> <tr> <td>RX 9070 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">5055.19 ± 109.58</td> <td style="text-align: right">101.27 ± 0.27</td> <td>583cb83</td> <td>@Hadrianneue</td> </tr> <tr> <td>RX 7800 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">2151.81 + 17.94</td> <td style="text-align: right">100.94 + 0.10</td> <td>00131d6</td> <td>@olegshulyakov</td> </tr> <tr> <td>Instinct MI50</td> <td>32 GB / HBM2 / 4096 bit</td> <td style="text-align: right">1057.24 ± 0.53</td> <td style="text-align: right">98.95 ± 0.25</td> <td>97d5117</td> <td>@wtarreau</td> </tr> <tr> <td>RX 7900 GRE</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1456.98 ± 12.39</td> <td style="text-align: right">96.07 ± 0.10</td> <td>6fa3b55</td> <td>@MihaiBojescu</td> </tr> <tr> <td>AI PRO R9700</td> <td>32 GB / GDDR6 / 256 bit</td> <td style="text-align: right">4443.54 ± 339.25</td> <td style="text-align: right">93.84 ± 0.26</td> <td>bd4ef13</td> <td>@gogich77</td> </tr> <tr> <td>Instinct MI60</td> <td>32 GB / HBM2 / 4096 bit</td> <td style="text-align: right">1289.11 ± 0.62</td> <td style="text-align: right">91.46 ± 0.13</td> <td>504af20</td> <td>@Said-Akbar</td> </tr> <tr> <td>RX 6900 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1889.84 ± 31.21</td> <td style="text-align: right">88.49 ± 0.00</td> <td>a972fae</td> <td>@notgood</td> </tr> <tr> <td>Pro VII</td> <td>16 GB / HBM2 / 4096 bit</td> <td style="text-align: right">1064.99 ± 1.18</td> <td style="text-align: right">87.45 ± 0.04</td> <td>2739a71</td> <td>@8XXD8</td> </tr> <tr> <td>RX 6800 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1447.07 ± 1.36</td> <td style="text-align: right">83.92 ± 0.03</td> <td>79c1160</td> <td>@MrLavender</td> </tr> <tr> <td>Pro V620</td> <td>32 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1803.65 ± 2.54</td> <td style="text-align: right">74.66 ± 0.01</td> <td>5c0eb5e</td> <td>@samteezy</td> </tr> <tr> <td>RX 9060 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1419.67 ± 3.64</td> <td style="text-align: right">67.58 ± 0.24</td> <td>a0e13dc</td> <td>@lcy0321</td> </tr> <tr> <td>RX 5700 XT</td> <td>8 GB / GDDR6 / 256 bit</td> <td style="text-align: right">354.17 ± 0.18</td> <td style="text-align: right">67.55 ± 0.04</td> <td>c05e8c9</td> <td>@daniandtheweb</td> </tr> <tr> <td>Instinct MI25</td> <td>16 GB / HBM2 / 2048 bit</td> <td style="text-align: right">409.83 ± 0.23</td> <td style="text-align: right">63.94 ± 0.06</td> <td>2739a71</td> <td>@8XXD8</td> </tr> <tr> <td>AI Max+ 395</td> <td>128 GB / LPDDR5</td> <td style="text-align: right">911.36 ± 1.79</td> <td style="text-align: right">50.01 ± 0.07</td> <td>e60f241</td> <td>@firefox42</td> </tr> <tr> <td>RX 7600 XT</td> <td>16 GB / GDDR6 / 128 bit</td> <td style="text-align: right">1099.64 ± 2.05</td> <td style="text-align: right">48.58 ± 0.06</td> <td>9c35706</td> <td>@wbruna</td> </tr> <tr> <td>RX Vega 64</td> <td>8 GB / HBM2 / 2048 bit</td> <td style="text-align: right">240.68 ± 0.09</td> <td style="text-align: right">48.46 ± 0.09</td> <td>ec428b0</td> <td>@davispuh</td> </tr> <tr> <td>Radeon 8060S</td> <td>System Shared / DDR5</td> <td style="text-align: right">351.36 ± 0.67</td> <td style="text-align: right">47.97 ± 0.33</td> <td>1d0125b</td> <td>@hspak</td> </tr> <tr> <td>Radeon 880M</td> <td>System Shared / DDR5</td> <td style="text-align: right">163.25 ± 13.86</td> <td style="text-align: right">12.97 ± 1.63</td> <td>c55d53a</td> <td>@Hedede</td> </tr> </tbody> </table> <h3 id="llama-2-7b-q4_0-with-fa-1">Llama 2 7B, Q4_0, with FA </h3><table> <thead> <tr> <th>Chip</th> <th>Memory</th> <th style="text-align: right">pp512 t/s</th> <th style="text-align: right">tg128 t/s</th> <th>Commit</th> <th>Thanks to</th> </tr> </thead> <tbody> <tr> <td>Instinct MI300X</td> <td>192 GB / HBM3 / 8192 bit</td> <td style="text-align: right">11945.97 ± 54.29</td> <td style="text-align: right">218.53 ± 0.09</td> <td>ee3a9fc</td> <td>@yeahdongcn</td> </tr> <tr> <td>RX 7900 XTX</td> <td>24 GB / GDDR6 / 384 bit</td> <td style="text-align: right">3874.25 ± 11.92</td> <td style="text-align: right">170.12 ± 0.56</td> <td>2f0c2db</td> <td>@Diablo-D3</td> </tr> <tr> <td>Pro W7900</td> <td>48 GB / GDDR6 / 384 bit</td> <td style="text-align: right">3472.86 ± 52.86</td> <td style="text-align: right">127.43 ± 0.12</td> <td>8160b38</td> <td>@65a</td> </tr> <tr> <td>Instinct MI210</td> <td>64 GB / HBM2e / 4096 bit</td> <td style="text-align: right">2571.82 ± 2.89</td> <td style="text-align: right">130.18 ± 0.06</td> <td>8160b38</td> <td>@65a</td> </tr> <tr> <td>RX 9070</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">2452.68 ± 1.33</td> <td style="text-align: right">115.32 ± 0.52</td> <td>d0660f2</td> <td>@andj1210</td> </tr> <tr> <td>RX 7900 XT</td> <td>20 GB / GDDR6 / 320 bit</td> <td style="text-align: right">3261.75 ± 9.09</td> <td style="text-align: right">112.30 ± 0.06</td> <td>1e15bfd</td> <td>@AdamNiederer</td> </tr> <tr> <td>Instinct MI50</td> <td>32 GB / HBM2 / 4096 bit</td> <td style="text-align: right">1129.43 ± 0.15</td> <td style="text-align: right">105.82 ± 0.07</td> <td>97d5117</td> <td>@wtarreau</td> </tr> <tr> <td>Instinct MI100</td> <td>32 GB / HBM2 / 4096 bit</td> <td style="text-align: right">2755.00 ± 3.68</td> <td style="text-align: right">104.71 ± 0.10</td> <td>9c35706</td> <td>@firefox42</td> </tr> <tr> <td>AI PRO R9700</td> <td>32 GB / GDDR6 / 256 bit</td> <td style="text-align: right">4773.07 ± 49.30</td> <td style="text-align: right">97.98 ± 0.13</td> <td>bd4ef13</td> <td>@gogich77</td> </tr> <tr> <td>RX 7900 GRE</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1598.79 ± 11.48</td> <td style="text-align: right">97.53 ± 0.06</td> <td>6fa3b55</td> <td>@MihaiBojescu</td> </tr> <tr> <td>RX 9070 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">4903.51 ± 96.36</td> <td style="text-align: right">97.28 ± 0.13</td> <td>583cb83</td> <td>@Hadrianneue</td> </tr> <tr> <td>RX 7800 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">2304.63 + 2.85</td> <td style="text-align: right">95.99 + 0.21</td> <td>00131d6</td> <td>@olegshulyakov</td> </tr> <tr> <td>RX 6900 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1948.31 ± 13.51</td> <td style="text-align: right">85.04 ± 0.02</td> <td>a972fae</td> <td>@notgood</td> </tr> <tr> <td>Pro V620</td> <td>32 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1256.86 ± 0.55</td> <td style="text-align: right">70.83 ± 0.02</td> <td>5c0eb5e</td> <td>@samteezy</td> </tr> <tr> <td>RX 9060 XT</td> <td>16 GB / GDDR6 / 256 bit</td> <td style="text-align: right">1479.27 ± 0.71</td> <td style="text-align: right">65.42 ± 0.19</td> <td>a0e13dc</td> <td>@lcy0321</td> </tr> <tr> <td>RX 5700 XT</td> <td>8 GB / GDDR6 / 256 bit</td> <td style="text-align: right">314.17 ± 0.29</td> <td style="text-align: right">62.02 ± 0.05</td> <td>c05e8c9</td> <td>@daniandtheweb</td> </tr> <tr> <td>AI Max+ 395</td> <td>128 GB / LPDDR5</td> <td style="text-align: right">1003.53 ± 2.91</td> <td style="text-align: right">49.87 ± 0.02</td> <td>e60f241</td> <td>@firefox42</td> </tr> <tr> <td>Radeon 8060S</td> <td>System Shared / DDR5</td> <td style="text-align: right">366.08 ± 1.44</td> <td style="text-align: right">48.97 ± 0.15</td> <td>1d0125b</td> <td>@hspak</td> </tr> <tr> <td>RX 7600 XT</td> <td>16 GB / GDDR6 / 128 bit</td> <td style="text-align: right">1199.16 ± 1.07</td> <td style="text-align: right">47.65 ± 0.06</td> <td>9c35706</td> <td>@wbruna</td> </tr> <tr> <td>RX Vega 64</td> <td>8 GB / HBM2 / 2048 bit</td> <td style="text-align: right">153.17 ± 0.72</td> <td style="text-align: right">42.46 ± 0.40</td> <td>ec428b0</td> <td>@davispuh</td> </tr> <tr> <td>Radeon 880M</td> <td>System Shared / DDR5</td> <td style="text-align: right">213.31 ± 14.05</td> <td style="text-align: right">16.16 ± 1.41</td> <td>c55d53a</td> <td>@Hedede</td> </tr> </tbody> </table> <h2 id="vulkan-完整榜单">Vulkan 完整榜单 </h2><h3 id="llama-2-7b-q4_0-no-fa-2">Llama 2 7B, Q4_0, no FA </h3><table> <thead> <tr> <th>Chip</th> <th style="text-align: right">pp512 t/s</th> <th style="text-align: right">tg128 t/s</th> <th>Commit</th> <th>Comments</th> </tr> </thead> <tbody> <tr> <td>Nvidia RTX 5090</td> <td style="text-align: right">10381.64 ± 508.84</td> <td style="text-align: right">263.63 ± 0.91</td> <td>ca71fb9</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 7900 XTX</td> <td style="text-align: right">3531.93 ± 31.74</td> <td style="text-align: right">191.28 ± 0.20</td> <td>2f0c2db</td> <td></td> </tr> <tr> <td>Nvidia RTX 4090</td> <td style="text-align: right">9452.03 ± 187.70</td> <td style="text-align: right">187.97 ± 0.21</td> <td>4ae88d0</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 5080</td> <td style="text-align: right">7444.99 ± 20.11</td> <td style="text-align: right">185.10 ± 0.54</td> <td>f6b533d</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia A100</td> <td style="text-align: right">6389.86 ± 4.83</td> <td style="text-align: right">160.78 ± 0.16</td> <td>2257758</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 3090</td> <td style="text-align: right">4298.97 ± 10.59</td> <td style="text-align: right">160.13 ± 0.25</td> <td>4ae88d0</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 4080 Super</td> <td style="text-align: right">7101.18 ± 269.79</td> <td style="text-align: right">147.13 ± 5.64</td> <td>81086cd</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 3080</td> <td style="text-align: right">4287.11 ± 55.50</td> <td style="text-align: right">139.15 ± 0.05</td> <td>7c7d6ce</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX A5000</td> <td style="text-align: right">3641.55 ± 9.05</td> <td style="text-align: right">139.89 ± 0.69</td> <td>4ae88d0</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 9070 XT</td> <td style="text-align: right">5036.04 ± 88.16</td> <td style="text-align: right">137.11 ± 0.02</td> <td>e9fd8dc</td> <td></td> </tr> <tr> <td>Nvidia RTX 5070 Ti</td> <td style="text-align: right">6213.63 ± 27.72</td> <td style="text-align: right">135.63 ± 0.18</td> <td>d13d0f6</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon AI Pro R9700</td> <td style="text-align: right">4036.04 ± 34.58</td> <td style="text-align: right">130.19 ± 0.39</td> <td>3191462</td> <td></td> </tr> <tr> <td>Nvidia Tesla V100</td> <td style="text-align: right">1391.39 ± 1.19</td> <td style="text-align: right">129.58 ± 0.58</td> <td>7d77f07</td> <td></td> </tr> <tr> <td>Nvidia RTX 4070 Ti Super</td> <td style="text-align: right">6099.18 ± 154.30</td> <td style="text-align: right">129.45 ± 0.18</td> <td>4ae88d0</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 7900 XT</td> <td style="text-align: right">2941.58 ± 17.17</td> <td style="text-align: right">123.18 ± 0.40</td> <td>71e74a3</td> <td></td> </tr> <tr> <td>AMD Radeon RX 9070</td> <td style="text-align: right">3164.10 ± 66.84</td> <td style="text-align: right">119.71 ± 3.40</td> <td>21c17b5</td> <td></td> </tr> <tr> <td>AMD Radeon RX 7800 XT</td> <td style="text-align: right">2017.33 ± 19.30</td> <td style="text-align: right">118.27 ± 0.27</td> <td>4fdbc1e</td> <td></td> </tr> <tr> <td>AMD Radeon RX 7900 GRE</td> <td style="text-align: right">2336.31 ± 7.52</td> <td style="text-align: right">116.11 ± 0.26</td> <td>4b2a477</td> <td></td> </tr> <tr> <td>Apple M3 Ultra</td> <td style="text-align: right">1116.83 ± 0.55</td> <td style="text-align: right">115.54 ± 0.78</td> <td>2d451c8</td> <td>MoltenVK</td> </tr> <tr> <td>Intel Arc Pro B70</td> <td style="text-align: right">3379.00 ± 47.92</td> <td style="text-align: right">112.02 ± 1.08</td> <td>b863507</td> <td></td> </tr> <tr> <td>Nvidia Titan V</td> <td style="text-align: right">984.36 ± 4.13</td> <td style="text-align: right">108.86 ± 0.28</td> <td>e56abd2</td> <td></td> </tr> <tr> <td>AMD Radeon Pro VII</td> <td style="text-align: right">1078.54 ± 0.86</td> <td style="text-align: right">107.82 ± 0.14</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6900 XT</td> <td style="text-align: right">1837.21 ± 25.44</td> <td style="text-align: right">104.60 ± 0.30</td> <td>a972fae</td> <td></td> </tr> <tr> <td>Intel Arc Pro A60</td> <td style="text-align: right">2261.11 ± 9.53</td> <td style="text-align: right">104.25 ± 0.07</td> <td>97d5117</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6800 XT</td> <td style="text-align: right">1752.92 ± 1.71</td> <td style="text-align: right">100.32 ± 0.97</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Radeon VII</td> <td style="text-align: right">1059.14 ± 0.56</td> <td style="text-align: right">101.19 ± 0.53</td> <td>77d6ae4</td> <td></td> </tr> <tr> <td>Nvidia RTX 2080 Ti</td> <td style="text-align: right">1888.24 ± 9.20</td> <td style="text-align: right">97.58 ± 6.60</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6800</td> <td style="text-align: right">1698.69 ± 0.80</td> <td style="text-align: right">95.61 ± 0.19</td> <td>4b385bf</td> <td></td> </tr> <tr> <td>AMD Radeon Pro W6800X Duo</td> <td style="text-align: right">687.71 ± 4.33</td> <td style="text-align: right">94.82 ± 0.12</td> <td>N/A</td> <td></td> </tr> <tr> <td>Nvidia RTX 5060 Ti</td> <td style="text-align: right">3460.92 ± 7.16</td> <td style="text-align: right">93.51 ± 0.15</td> <td>89f10ba</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 4070</td> <td style="text-align: right">3179.37 ± 46.16</td> <td style="text-align: right">92.29 ± 0.28</td> <td>9a48399</td> <td></td> </tr> <tr> <td>AMD Radeon Pro W6800X</td> <td style="text-align: right">510.80 ± 0.13</td> <td style="text-align: right">86.47 ± 0.46</td> <td>13b4548</td> <td>MoltenVK</td> </tr> <tr> <td>AMD Radeon RX 6700 XT</td> <td style="text-align: right">1051.20 ± 0.98</td> <td style="text-align: right">83.88 ± 0.08</td> <td>6d75883</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6750 XT</td> <td style="text-align: right">1040.58 ± 0.35</td> <td style="text-align: right">81.98 ± 0.03</td> <td>228f34c</td> <td></td> </tr> <tr> <td>AMD Radeon Pro V620</td> <td style="text-align: right">1595.32 ± 1.59</td> <td style="text-align: right">81.78 ± 0.06</td> <td>03d4698</td> <td></td> </tr> <tr> <td>Nvidia RTX 3070</td> <td style="text-align: right">2113.02 ± 7.38</td> <td style="text-align: right">78.71 ± 0.13</td> <td>1b8fb81</td> <td></td> </tr> <tr> <td>AMD Radeon Instinct MI60</td> <td style="text-align: right">369.26 ± 2.48</td> <td style="text-align: right">78.16 ± 1.40</td> <td>504af20</td> <td></td> </tr> <tr> <td>Nvidia RTX 3060</td> <td style="text-align: right">1815.70 ± 5.85</td> <td style="text-align: right">75.94 ± 0.80</td> <td>92c0b38</td> <td>coopmat2</td> </tr> <tr> <td>Apple M4 Max</td> <td style="text-align: right">724.77 ± 20.93</td> <td style="text-align: right">75.02 ± 0.14</td> <td>1ece0cb6</td> <td></td> </tr> <tr> <td>Nvidia Tesla T10</td> <td style="text-align: right">1692.70 ± 2.05</td> <td style="text-align: right">75.01 ± 0.21</td> <td>7f76692</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX A4000</td> <td style="text-align: right">2248.14 ± 7.59</td> <td style="text-align: right">73.74 ± 0.08</td> <td>f5245b5</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 5700 XT</td> <td style="text-align: right">529.69 ± 0.26</td> <td style="text-align: right">70.73 ± 0.04</td> <td>4fdbc1e</td> <td></td> </tr> <tr> <td>AMD Radeon RX 9060 XT</td> <td style="text-align: right">2141.67 ± 6.87</td> <td style="text-align: right">70.54 ± 0.74</td> <td>ed52f36</td> <td></td> </tr> <tr> <td>Intel Arc B580</td> <td style="text-align: right">620.94 ± 15.33</td> <td style="text-align: right">70.14 ± 0.28</td> <td>7f76692</td> <td></td> </tr> <tr> <td>AMD Radeon Pro V540</td> <td style="text-align: right">583.88 ± 6.56</td> <td style="text-align: right">69.64 ± 0.24</td> <td>9da3dcd</td> <td></td> </tr> <tr> <td>AMD Radeon Pro W5700</td> <td style="text-align: right">449.85 ± 0.46</td> <td style="text-align: right">68.55 ± 0.15</td> <td>23bc779</td> <td></td> </tr> <tr> <td>Intel Arc Pro B60</td> <td style="text-align: right">522.36 ± 3.60</td> <td style="text-align: right">68.55 ± 0.01</td> <td>516a4ca</td> <td></td> </tr> <tr> <td>Nvidia GTX 1080 Ti</td> <td style="text-align: right">540.69 ± 0.71</td> <td style="text-align: right">64.99 ± 0.08</td> <td>360d653</td> <td></td> </tr> <tr> <td>Nvidia RTX 2070 Super</td> <td style="text-align: right">1199.13 ± 7.70</td> <td style="text-align: right">64.64 ± 0.20</td> <td>b7552cf</td> <td></td> </tr> <tr> <td>Nvidia RTX 3070 Mobile</td> <td style="text-align: right">1689.40 ± 19.57</td> <td style="text-align: right">63.64 ± 0.39</td> <td>ceff6bb</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia Tesla P100</td> <td style="text-align: right">678.14 ± 1.40</td> <td style="text-align: right">63.16 ± 0.06</td> <td>eec1e33</td> <td></td> </tr> <tr> <td>AMD BC-250</td> <td style="text-align: right">370.66 ± 0.04</td> <td style="text-align: right">62.32 ± 0.32</td> <td>5886f4f</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6650 XT</td> <td style="text-align: right">1029.52 ± 1.21</td> <td style="text-align: right">62.14 ± 0.02</td> <td>dbb852b</td> <td></td> </tr> <tr> <td>Nvidia RTX 4060 Mobile</td> <td style="text-align: right">2135.66 ± 23.18</td> <td style="text-align: right">59.53 ± 0.03</td> <td>a5c07dc</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia Tesla P40</td> <td style="text-align: right">488.06 ± 0.27</td> <td style="text-align: right">59.36 ± 0.16</td> <td>N/A</td> <td></td> </tr> <tr> <td>Nvidia GTX 1660 Ti Mobile</td> <td style="text-align: right">511.67 ± 2.85</td> <td style="text-align: right">56.60 ± 0.07</td> <td>b43556e</td> <td></td> </tr> <tr> <td>AMD Radeon Instinct MI25</td> <td style="text-align: right">439.42 ± 0.34</td> <td style="text-align: right">54.69 ± 0.03</td> <td>2739a71</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6600 XT</td> <td style="text-align: right">574.65 ± 0.86</td> <td style="text-align: right">53.92 ± 0.11</td> <td>091592d</td> <td></td> </tr> <tr> <td>AMD Ryzen AI Max+ 395</td> <td style="text-align: right">1288.96 ± 6.49</td> <td style="text-align: right">53.59 ± 0.38</td> <td>7f76692</td> <td></td> </tr> <tr> <td>AMD Radeon RX 7600 XT</td> <td style="text-align: right">840.85 ± 3.02</td> <td style="text-align: right">53.02 ± 0.01</td> <td>01d8eaa</td> <td></td> </tr> <tr> <td>Intel Arc A770</td> <td style="text-align: right">1073.85 + 29.68</td> <td style="text-align: right">52.56 + 0.11</td> <td>a69d54f</td> <td></td> </tr> <tr> <td>Nvidia GB10</td> <td style="text-align: right">2737.79 ± 19.56</td> <td style="text-align: right">52.28 ± 0.03</td> <td>b9da444</td> <td>coopmat2</td> </tr> <tr> <td>AMD FirePro S9300 x2</td> <td style="text-align: right">247.26 ± 0.43</td> <td style="text-align: right">51.86 ± 0.11</td> <td>eec1e33</td> <td>Split across two GPUs</td> </tr> <tr> <td>AMD Radeon RX 6600</td> <td style="text-align: right">761.89 ± 1.76</td> <td style="text-align: right">50.63 ± 0.02</td> <td>b1c70e2</td> <td></td> </tr> <tr> <td>AMD Radeon RX Vega 56</td> <td style="text-align: right">439.87 ± 0.61</td> <td style="text-align: right">50.23 ± 0.14</td> <td>92c0b38</td> <td></td> </tr> <tr> <td>Intel Arc B570</td> <td style="text-align: right">913.95 ± 0.90</td> <td style="text-align: right">49.64 ± 0.03</td> <td>7f76692</td> <td></td> </tr> <tr> <td>Nvidia RTX 3060 Mobile</td> <td style="text-align: right">1059.76 ± 3.54</td> <td style="text-align: right">49.03 ± 0.13</td> <td>dbb3a47</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6800M</td> <td style="text-align: right">861.99 ± 7.67</td> <td style="text-align: right">48.71 ± 0.71</td> <td>8e6f8bc</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6600M</td> <td style="text-align: right">605.59 ± 0.65</td> <td style="text-align: right">48.21 ± 0.07</td> <td>fe5b78c</td> <td></td> </tr> <tr> <td>Intel Arc A770M</td> <td style="text-align: right">875.92 ± 2.16</td> <td style="text-align: right">47.69 ± 0.16</td> <td>eeee367</td> <td></td> </tr> <tr> <td>Nvidia P104-100</td> <td style="text-align: right">311.90 ± 0.22</td> <td style="text-align: right">46.18 ± 0.05</td> <td>eec1e33</td> <td></td> </tr> <tr> <td>AMD Radeon RX Vega 64</td> <td style="text-align: right">356.08 ± 0.09</td> <td style="text-align: right">45.73 ± 0.18</td> <td>ec428b0</td> <td></td> </tr> <tr> <td>Nvidia RTX A2000</td> <td style="text-align: right">1245.19 ± 8.76</td> <td style="text-align: right">45.52 ± 0.54</td> <td>b1afcab</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 7600M XT</td> <td style="text-align: right">459.39 ± 2.34</td> <td style="text-align: right">45.28 ± 0.10</td> <td>b9ab0a4</td> <td>eGPU</td> </tr> <tr> <td>AMD Radeon Pro V340</td> <td style="text-align: right">375.41 ± 0.24</td> <td style="text-align: right">45.16 ± 0.06</td> <td>9da3dcd</td> <td>Split across two GPUs</td> </tr> <tr> <td>Nvidia GTX 1070 Ti</td> <td style="text-align: right">297.50 ± 0.54</td> <td style="text-align: right">42.86 ± 1.20</td> <td>860a9e4</td> <td>eGPU</td> </tr> <tr> <td>Intel Arc A750</td> <td style="text-align: right">1075.94 ± 13.89</td> <td style="text-align: right">42.66 ± 0.18</td> <td>c1b1876</td> <td></td> </tr> <tr> <td>Nvidia RTX 4050 Mobile</td> <td style="text-align: right">1154.28 + 15.76</td> <td style="text-align: right">41.89 + 0.10</td> <td>d79d8f3</td> <td></td> </tr> <tr> <td>Nvidia GTX 1070</td> <td style="text-align: right">321.57 ± 0.93</td> <td style="text-align: right">41.48 ± 0.09</td> <td>eec1e33</td> <td></td> </tr> <tr> <td>Intel Arc Pro B50</td> <td style="text-align: right">193.50 ± 0.24</td> <td style="text-align: right">39.99 ± 0.10</td> <td>7b43f55</td> <td></td> </tr> <tr> <td>Nvidia Tesla M40</td> <td style="text-align: right">92.48 ± 0.02</td> <td style="text-align: right">39.35 ± 1.22</td> <td>b8372ee</td> <td></td> </tr> <tr> <td>AMD Radeon RX 580</td> <td style="text-align: right">258.03 ± 0.71</td> <td style="text-align: right">39.32 ± 0.03</td> <td>de4c07f</td> <td></td> </tr> <tr> <td>AMD Radeon RX 470</td> <td style="text-align: right">218.07 ± 0.56</td> <td style="text-align: right">38.63 ± 0.21</td> <td>e288693</td> <td></td> </tr> <tr> <td>AMD Radeon Pro W5500</td> <td style="text-align: right">315.39 ± 3.76</td> <td style="text-align: right">36.82 ± 0.38</td> <td>860a9e4</td> <td></td> </tr> <tr> <td>AMD Radeon RX 480</td> <td style="text-align: right">248.66 ± 0.28</td> <td style="text-align: right">34.71 ± 0.14</td> <td>3b15924</td> <td></td> </tr> <tr> <td>Apple M2 Ultra</td> <td style="text-align: right">205.98 ± 0.02</td> <td style="text-align: right">34.34 ± 0.12</td> <td>dbb852b</td> <td>Asahi Linux</td> </tr> <tr> <td>Nvidia GTX 980</td> <td style="text-align: right">186.24 ± 0.09</td> <td style="text-align: right">33.90 ± 0.51</td> <td>860a9e4</td> <td></td> </tr> <tr> <td>Nvidia P106-100</td> <td style="text-align: right">183.78 ± 0.26</td> <td style="text-align: right">29.77 ± 0.04</td> <td>23bc779</td> <td></td> </tr> <tr> <td>AMD FirePro W8100</td> <td style="text-align: right">155.22 ± 0.17</td> <td style="text-align: right">29.52 ± 0.05</td> <td>4536363</td> <td></td> </tr> <tr> <td>Nvidia Tesla P4</td> <td style="text-align: right">265.54 ± 0.21</td> <td style="text-align: right">28.03 ± 0.14</td> <td>24d2ee0</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6500 XT</td> <td style="text-align: right">255.25 ± 0.35</td> <td style="text-align: right">27.81 ± 0.10</td> <td>g9fdfcd</td> <td></td> </tr> <tr> <td>Apple M3</td> <td style="text-align: right">263.70 ± 0.02</td> <td style="text-align: right">26.39 ± 0.14</td> <td>b9ab0a4</td> <td>MoltenVK</td> </tr> <tr> <td>AMD FirePro S10000</td> <td style="text-align: right">94.78 ± 0.02</td> <td style="text-align: right">25.32 ± 0.02</td> <td>914a82d</td> <td>Split across two GPUs</td> </tr> <tr> <td>Nvidia Quadro P2000</td> <td style="text-align: right">169.55 ± 0.17</td> <td style="text-align: right">23.05 ± 0.03</td> <td>63f8fe0</td> <td></td> </tr> <tr> <td>Intel Core Ultra 200 Series</td> <td style="text-align: right">544.95 ± 4.15</td> <td style="text-align: right">22.49 ± 0.09</td> <td>cea560f</td> <td></td> </tr> <tr> <td>AMD Ryzen AI 9 300 Series</td> <td style="text-align: right">479.07 ± 0.41</td> <td style="text-align: right">22.41 ± 0.18</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Ryzen 6000 Series</td> <td style="text-align: right">240.89 ± 0.52</td> <td style="text-align: right">21.26 ± 0.08</td> <td>ee09828</td> <td></td> </tr> <tr> <td>Apple M2 Pro</td> <td style="text-align: right">62.70 ± 0.03</td> <td style="text-align: right">20.95 ± 0.11</td> <td>1fe0029</td> <td>Asahi Linux</td> </tr> <tr> <td>Nvidia GTX 1050 Ti</td> <td style="text-align: right">136.42 ± 0.67</td> <td style="text-align: right">20.96 ± 0.21</td> <td>2f0c2db</td> <td></td> </tr> <tr> <td>AMD Ryzen 8000 Series</td> <td style="text-align: right">266.19 ± 1.36</td> <td style="text-align: right">20.53 ± 0.08</td> <td>a5c07dc</td> <td></td> </tr> <tr> <td>AMD Ryzen 7000 Series</td> <td style="text-align: right">281.62 ± 1.56</td> <td style="text-align: right">19.91 ± 0.07</td> <td>ebce03e</td> <td></td> </tr> <tr> <td>AMD Ryzen Z1 Extreme</td> <td style="text-align: right">199.36 ± 7.02</td> <td style="text-align: right">18.77 ± 0.02</td> <td>53ff6b9</td> <td></td> </tr> <tr> <td>AMD FirePro D700</td> <td style="text-align: right">69.95 ± 0.04</td> <td style="text-align: right">16.62 ± 0.01</td> <td>d3bd719</td> <td>MoltenVK, running in FP16 mode on FP32 only chip</td> </tr> <tr> <td>AMD Radeon Pro WX 4100</td> <td style="text-align: right">78.79 ± 0.10</td> <td style="text-align: right">16.05 ± 0.07</td> <td>860a9e4</td> <td></td> </tr> <tr> <td>Apple M2</td> <td style="text-align: right">50.79 ± 0.16</td> <td style="text-align: right">13.50 ± 0.02</td> <td>8c0d6bb</td> <td>Asahi Linux</td> </tr> <tr> <td>Apple M1</td> <td style="text-align: right">38.29 ± 0.00</td> <td style="text-align: right">12.47 ± 0.03</td> <td>2370665</td> <td>Asahi Linux</td> </tr> <tr> <td>AMD Ryzen 5000 Series</td> <td style="text-align: right">90.55 ± 0.08</td> <td style="text-align: right">10.98 ± 0.07</td> <td>d84635b</td> <td></td> </tr> <tr> <td>Intel Core 1100 Series</td> <td style="text-align: right">187.20 ± 1.78</td> <td style="text-align: right">10.39 ± 0.04</td> <td>abb9f3c</td> <td></td> </tr> <tr> <td>AMD Radeon RX 550</td> <td style="text-align: right">52.66 ± 0.49</td> <td style="text-align: right">10.20 ± 0.01</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Ryzen 4000 Series</td> <td style="text-align: right">103.87 ± 0.02</td> <td style="text-align: right">9.63 ± 0.01</td> <td>4b385bf</td> <td></td> </tr> <tr> <td>Nvidia Tesla K80</td> <td style="text-align: right">89.46 ± 0.10</td> <td style="text-align: right">9.39 ± 0.06</td> <td>5d46bab</td> <td>Running on single GPU</td> </tr> <tr> <td>Nvidia Tesla K40</td> <td style="text-align: right">64.37 ± 0.09</td> <td style="text-align: right">9.30 ± 0.19</td> <td>eec1e33</td> <td></td> </tr> <tr> <td>MediaTek Dimensity 9400</td> <td style="text-align: right">38.36 ± 15.15</td> <td style="text-align: right">8.92 ± 0.06</td> <td>b9ab0a4</td> <td>GPU supports coopmat but pp512 is faster with it turned off</td> </tr> <tr> <td>Intel Core Ultra 100 Series</td> <td style="text-align: right">185.51 ± 0.22</td> <td style="text-align: right">8.21 ± 0.07</td> <td>1d72c84</td> <td></td> </tr> <tr> <td>AMD Ryzen 3000 Series</td> <td style="text-align: right">48.63 ± 0.10</td> <td style="text-align: right">8.49 ± 0.01</td> <td>1fe0029</td> <td></td> </tr> <tr> <td>CIX CD8180</td> <td style="text-align: right">2.80 ± 0.01</td> <td style="text-align: right">5.51 ± 0.00</td> <td>4dca015</td> <td></td> </tr> <tr> <td>Intel Core 1000 Series</td> <td style="text-align: right">25.58 ± 0.00</td> <td style="text-align: right">4.25 ± 0.18</td> <td>N/A</td> <td></td> </tr> <tr> <td>Intel Core 8000 Series</td> <td style="text-align: right">25.43 ± 0.17</td> <td style="text-align: right">3.35 ± 0.03</td> <td>c4df49a</td> <td></td> </tr> <tr> <td>Intel N150</td> <td style="text-align: right">28.84 ± 0.02</td> <td style="text-align: right">2.93 ± 0.00</td> <td>4f63cd7</td> <td></td> </tr> </tbody> </table> <h3 id="llama-2-7b-q4_0-fa-enabled">Llama 2 7B, Q4_0, FA enabled </h3><table> <thead> <tr> <th>Chip</th> <th style="text-align: right">pp512 t/s</th> <th style="text-align: right">tg128 t/s</th> <th>Commit</th> <th>Comments</th> </tr> </thead> <tbody> <tr> <td>Nvidia RTX 5090</td> <td style="text-align: right">11796.38 ± 601.36</td> <td style="text-align: right">273.68 ± 0.52</td> <td>ca71fb9</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 7900 XTX</td> <td style="text-align: right">3332.90 ± 11.47</td> <td style="text-align: right">195.30 ± 0.23</td> <td>2f0c2db</td> <td></td> </tr> <tr> <td>Nvidia RTX 5080</td> <td style="text-align: right">8054.59 ± 35.68</td> <td style="text-align: right">192.17 ± 0.21</td> <td>f6b533d</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 4090</td> <td style="text-align: right">10830.41 ± 36.25</td> <td style="text-align: right">190.10 ± 0.31</td> <td>4ae88d0</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia A100</td> <td style="text-align: right">7064.40 ± 1.63</td> <td style="text-align: right">170.56 ± 0.02</td> <td>2257758</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 3090</td> <td style="text-align: right">4732.33 ± 4.80</td> <td style="text-align: right">162.28 ± 0.21</td> <td>4ae88d0</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 4080 Super</td> <td style="text-align: right">8007.37 ± 46.03</td> <td style="text-align: right">150.20 ± 0.26</td> <td>81086cd</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 3080</td> <td style="text-align: right">4913.83 ± 21.52</td> <td style="text-align: right">145.74 ± 0.16</td> <td>7c7d6ce</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia Tesla V100</td> <td style="text-align: right">1411.25 ± 2.12</td> <td style="text-align: right">142.13 ± 0.03</td> <td>7d77f07</td> <td></td> </tr> <tr> <td>Nvidia RTX A5000</td> <td style="text-align: right">4071.22 ± 13.13</td> <td style="text-align: right">140.43 ± 0.22</td> <td>4ae88d0</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 9070 XT</td> <td style="text-align: right">4911.74 ± 28.52</td> <td style="text-align: right">138.20 ± 0.18</td> <td>e9fd8dc</td> <td></td> </tr> <tr> <td>Nvidia RTX 5070 Ti</td> <td style="text-align: right">6764.53 ± 11.95</td> <td style="text-align: right">135.65 ± 0.02</td> <td>d13d0f6</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon AI Pro R9700</td> <td style="text-align: right">4333.83 ± 29.36</td> <td style="text-align: right">130.90 ± 0.12</td> <td>3191462</td> <td></td> </tr> <tr> <td>AMD Radeon RX 7900 XT</td> <td style="text-align: right">3043.93 ± 10.42</td> <td style="text-align: right">124.20 ± 0.09</td> <td>71e74a3</td> <td></td> </tr> <tr> <td>AMD Radeon RX 7800 XT</td> <td style="text-align: right">2094.64 ± 14.38</td> <td style="text-align: right">119.63 ± 0.13</td> <td>4fdbc1e</td> <td></td> </tr> <tr> <td>AMD Radeon RX 9070</td> <td style="text-align: right">3277.24 ± 18.17</td> <td style="text-align: right">119.55 ± 0.06</td> <td>21c17b5</td> <td></td> </tr> <tr> <td>AMD Radeon RX 7900 GRE</td> <td style="text-align: right">2402.07 ± 22.50</td> <td style="text-align: right">116.77 ± 0.08</td> <td>4b2a477</td> <td></td> </tr> <tr> <td>Apple M3 Ultra</td> <td style="text-align: right">1115.55 ± 0.75</td> <td style="text-align: right">115.99 ± 0.12</td> <td>2d451c8</td> <td>MoltenVK</td> </tr> <tr> <td>Intel Arc Pro B70</td> <td style="text-align: right">3314.53 ± 17.95</td> <td style="text-align: right">111.63 ± 0.05</td> <td>b863507</td> <td></td> </tr> <tr> <td>Nvidia Titan V</td> <td style="text-align: right">792.74 ± 4.30</td> <td style="text-align: right">109.21 ± 0.72</td> <td>e56abd2</td> <td></td> </tr> <tr> <td>AMD Radeon Pro VII</td> <td style="text-align: right">783.94 ± 0.77</td> <td style="text-align: right">108.45 ± 0.48</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6900 XT</td> <td style="text-align: right">1761.93 ± 4.75</td> <td style="text-align: right">106.15 ± 0.04</td> <td>a972fae</td> <td></td> </tr> <tr> <td>Nvidia RTX 2080 Ti</td> <td style="text-align: right">1936.25 ± 32.08</td> <td style="text-align: right">100.99 ± 0.24</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6800 XT</td> <td style="text-align: right">1704.79 ± 0.71</td> <td style="text-align: right">100.50 ± 0.06</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Radeon Pro W6800X Duo</td> <td style="text-align: right">795.28 ± 0.72</td> <td style="text-align: right">100.08 ± 0.02</td> <td>N/A</td> <td></td> </tr> <tr> <td>Nvidia RTX 5060 Ti</td> <td style="text-align: right">3912.65 ± 5.86</td> <td style="text-align: right">97.01 ± 0.14</td> <td>89f10ba</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 6800</td> <td style="text-align: right">1749.46 ± 3.36</td> <td style="text-align: right">96.65 ± 0.48</td> <td>4b385bf</td> <td></td> </tr> <tr> <td>Nvidia RTX 4070</td> <td style="text-align: right">4293.57 ± 27.70</td> <td style="text-align: right">91.49 ± 0.89</td> <td>9a48399</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 6750 XT</td> <td style="text-align: right">997.05 ± 0.45</td> <td style="text-align: right">82.29 ± 0.06</td> <td>228f34c</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6700 XT</td> <td style="text-align: right">1010.90 ± 12.89</td> <td style="text-align: right">81.86 ± 0.19</td> <td>6d75883</td> <td></td> </tr> <tr> <td>Nvidia RTX 3060</td> <td style="text-align: right">2012.88 ± 10.12</td> <td style="text-align: right">80.59 ± 0.02</td> <td>92c0b38</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon Pro V620</td> <td style="text-align: right">1556.31 ± 2.82</td> <td style="text-align: right">79.24 ± 0.09</td> <td>03d4698</td> <td></td> </tr> <tr> <td>Nvidia RTX A4000</td> <td style="text-align: right">2482.74 ± 26.05</td> <td style="text-align: right">76.07 ± 0.08</td> <td>f5245b5</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia Tesla T10</td> <td style="text-align: right">1840.14 ± 1.22</td> <td style="text-align: right">76.05 ± 0.13</td> <td>7f76692</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 5700 XT</td> <td style="text-align: right">538.31 ± 0.35</td> <td style="text-align: right">74.43 ± 0.03</td> <td>4fdbc1e</td> <td></td> </tr> <tr> <td>Intel Arc B580</td> <td style="text-align: right">419.49 ± 3.37</td> <td style="text-align: right">72.00 ± 0.24</td> <td>7f76692</td> <td></td> </tr> <tr> <td>Apple M4 Max</td> <td style="text-align: right">557.46 ± 26.87</td> <td style="text-align: right">71.79 ± 4.16</td> <td>1ece0cb6</td> <td></td> </tr> <tr> <td>AMD Radeon Pro W5700</td> <td style="text-align: right">446.98 ± 0.39</td> <td style="text-align: right">71.30 ± 0.24</td> <td>23bc779</td> <td></td> </tr> <tr> <td>Intel Arc Pro B60</td> <td style="text-align: right">274.76 ± 0.27</td> <td style="text-align: right">70.54 ± 0.03</td> <td>516a4ca</td> <td></td> </tr> <tr> <td>AMD Radeon RX 9060 XT</td> <td style="text-align: right">1915.41 ± 7.90</td> <td style="text-align: right">70.52 ± 0.16</td> <td>ed52f36</td> <td></td> </tr> <tr> <td>Nvidia Tesla P100</td> <td style="text-align: right">685.51 ± 0.88</td> <td style="text-align: right">66.48 ± 0.02</td> <td>eec1e33</td> <td></td> </tr> <tr> <td>AMD Radeon RX 6650 XT</td> <td style="text-align: right">1088.90 ± 0.40</td> <td style="text-align: right">64.53 ± 0.75</td> <td>dbb852b</td> <td></td> </tr> <tr> <td>Nvidia GTX 1080 Ti</td> <td style="text-align: right">529.96 ± 0.38</td> <td style="text-align: right">64.63 ± 0.10</td> <td>360d653</td> <td></td> </tr> <tr> <td>AMD BC-250</td> <td style="text-align: right">356.87 ± 1.24</td> <td style="text-align: right">63.14 ± 0.09</td> <td>5886f4f</td> <td></td> </tr> <tr> <td>Nvidia RTX 3070 Mobile</td> <td style="text-align: right">1832.07 ± 57.14</td> <td style="text-align: right">62.92 ± 0.37</td> <td>ceff6bb</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia RTX 4060 Mobile</td> <td style="text-align: right">2358.03 ± 12.17</td> <td style="text-align: right">60.01 ± 0.08</td> <td>a5c07dc</td> <td>coopmat2</td> </tr> <tr> <td>Nvidia Tesla P40</td> <td style="text-align: right">484.37 ± 0.27</td> <td style="text-align: right">59.22 ± 0.15</td> <td>N/A</td> <td></td> </tr> <tr> <td>Nvidia GTX 1660 Ti Mobile</td> <td style="text-align: right">514.34 ± 0.88</td> <td style="text-align: right">57.30 ± 0.42</td> <td>b43556e</td> <td></td> </tr> <tr> <td>AMD Radeon RX 7600 XT</td> <td style="text-align: right">1024.38 ± 7.56</td> <td style="text-align: right">56.11 ± 0.02</td> <td>01d8eaa</td> <td></td> </tr> <tr> <td>AMD FirePro S9300 x2</td> <td style="text-align: right">243.33 ± 0.22</td> <td style="text-align: right">55.64 ± 0.06</td> <td>eec1e33</td> <td>Split across two GPUs</td> </tr> <tr> <td>Nvidia GB10</td> <td style="text-align: right">3279.89 ± 26.78</td> <td style="text-align: right">53.64 ± 0.05</td> <td>b9da444</td> <td>coopmat2</td> </tr> <tr> <td>AMD Radeon RX 6600</td> <td style="text-align: right">808.76 ± 0.15</td> <td style="text-align: right">53.24 ± 0.03</td> <td>b1c70e2</td> <td></td> </tr> <tr> <td>Intel Arc A770</td> <td style="text-align: right">1119.68 + 30.25</td> <td style="text-align: right">53.07 + 0.09</td> <td>a69d54f</td> <td></td> </tr> <tr> <td>AMD Ryzen AI Max+ 395</td> <td style="text-align: right">1357.07 ± 10.94</td> <td style="text-align: right">53.00 ± 0.13</td> <td>7f76692</td> <td></td> </tr> <tr> <td>AMD Radeon RX Vega 56</td> <td style="text-align: right">428.54 ± 0.50</td> <td style="text-align: right">52.66 ± 0.03</td> <td>92c0b38</td> <td></td> </tr> <tr> <td>Intel Arc B570</td> <td style="text-align: right">288.51 ± 0.09</td> <td style="text-align: right">50.49 ± 0.05</td> <td>7f76692</td> <td></td> </tr> <tr> <td>Nvidia P104-100</td> <td style="text-align: right">325.30 ± 0.25</td> <td style="text-align: right">48.64 ± 0.04</td> <td>eec1e33</td> <td></td> </tr> <tr> <td>AMD Radeon Pro V340</td> <td style="text-align: right">360.23 ± 0.74</td> <td style="text-align: right">47.54 ± 0.06</td> <td>9da3dcd</td> <td>Split across two GPUs</td> </tr> <tr> <td>AMD Radeon RX 6800M</td> <td style="text-align: right">784.16 ± 2.76</td> <td style="text-align: right">49.06 ± 0.34</td> <td>8e6f8bc</td> <td></td> </tr> <tr> <td>AMD Radeon RX Vega 64</td> <td style="text-align: right">320.12 ± 0.22</td> <td style="text-align: right">47.06 ± 0.01</td> <td>ec428b0</td> <td></td> </tr> <tr> <td>Nvidia RTX A2000</td> <td style="text-align: right">1361.85 ± 3.26</td> <td style="text-align: right">45.69 ± 0.20</td> <td>b1afcab</td> <td>coopmat2</td> </tr> <tr> <td>Intel Arc A770M</td> <td style="text-align: right">384.74 ± 0.78</td> <td style="text-align: right">45.68 ± 0.06</td> <td>eeee367</td> <td></td> </tr> <tr> <td>Intel Arc A750</td> <td style="text-align: right">303.37 ± 1.44</td> <td style="text-align: right">43.96 ± 0.03</td> <td>c1b1876</td> <td></td> </tr> <tr> <td>Nvidia GTX 1070 Ti</td> <td style="text-align: right">292.85 ± 0.23</td> <td style="text-align: right">43.42 ± 0.34</td> <td>860a9e4</td> <td>eGPU</td> </tr> <tr> <td>Nvidia GTX 1070</td> <td style="text-align: right">330.84 ± 1.02</td> <td style="text-align: right">43.33 ± 0.06</td> <td>360d653</td> <td></td> </tr> <tr> <td>Nvidia Tesla M40</td> <td style="text-align: right">93.35 ± 0.01</td> <td style="text-align: right">41.68 ± 0.01</td> <td>b8372ee</td> <td></td> </tr> <tr> <td>Intel Arc Pro B50</td> <td style="text-align: right">132.48 ± 0.04</td> <td style="text-align: right">41.02 ± 0.04</td> <td>7b43f55</td> <td></td> </tr> <tr> <td>AMD Radeon RX 470</td> <td style="text-align: right">197.26 ± 0.27</td> <td style="text-align: right">37.28 ± 0.11</td> <td>3769fe6</td> <td></td> </tr> <tr> <td>AMD Radeon RX 480</td> <td style="text-align: right">194.52 ± 0.61</td> <td style="text-align: right">37.23 ± 0.09</td> <td>0bcb40b</td> <td></td> </tr> <tr> <td>Apple M2 Ultra</td> <td style="text-align: right">198.83 ± 0.85</td> <td style="text-align: right">198.83 ± 0.85</td> <td>dbb852b</td> <td>Asahi Linux</td> </tr> <tr> <td>Nvidia GTX 980</td> <td style="text-align: right">180.97 ± 0.74</td> <td style="text-align: right">34.16 ± 0.10</td> <td>860a9e4</td> <td></td> </tr> <tr> <td>Nvidia P106-100</td> <td style="text-align: right">183.40 ± 0.34</td> <td style="text-align: right">30.79 ± 0.32</td> <td>23bc779</td> <td></td> </tr> <tr> <td>AMD FirePro W8100</td> <td style="text-align: right">140.52 ± 0.34</td> <td style="text-align: right">29.28 ± 0.14</td> <td>4536363</td> <td></td> </tr> <tr> <td>Nvidia Tesla P4</td> <td style="text-align: right">287.14 ± 0.29</td> <td style="text-align: right">28.37 ± 0.24</td> <td>24d2ee0</td> <td></td> </tr> <tr> <td>Nvidia Quadro P2000</td> <td style="text-align: right">181.71 ± 0.12</td> <td style="text-align: right">23.77 ± 0.02</td> <td>63f8fe0</td> <td></td> </tr> <tr> <td>Intel Core Ultra 200 Series</td> <td style="text-align: right">536.48 ± 1.27</td> <td style="text-align: right">23.05 ± 0.04</td> <td>cea560f</td> <td></td> </tr> <tr> <td>AMD Ryzen AI 9 300 Series</td> <td style="text-align: right">532.59 ± 3.55</td> <td style="text-align: right">22.31 ± 0.06</td> <td>N/A</td> <td></td> </tr> <tr> <td>AMD Ryzen 6000 Series</td> <td style="text-align: right">277.91 ± 0.37</td> <td style="text-align: right">21.15 ± 0.09</td> <td>ee09828</td> <td></td> </tr> <tr> <td>Apple M2 Pro</td> <td style="text-align: right">58.86 ± 0.02</td> <td style="text-align: right">20.97 ± 0.03</td> <td>1fe0029</td> <td>Asahi Linux</td> </tr> <tr> <td>AMD Ryzen 8000 Series</td> <td style="text-align: right">297.39 ± 1.22</td> <td style="text-align: right">20.59 ± 0.38</td> <td>a5c07dc</td> <td></td> </tr> <tr> <td>AMD Ryzen 7000 Series</td> <td style="text-align: right">312.85 ± 2.51</td> <td style="text-align: right">20.09 ± 0.35</td> <td>835b2b9</td> <td></td> </tr> <tr> <td>Nvidia GTX 1050 Ti</td> <td style="text-align: right">127.54 ± 1.03</td> <td style="text-align: right">20.08 ± 0.17</td> <td>2f0c2db</td> <td></td> </tr> <tr> <td>AMD Radeon Pro WX 4100</td> <td style="text-align: right">75.59 ± 0.19</td> <td style="text-align: right">16.56 ± 0.04</td> <td>860a9e4</td> <td></td> </tr> <tr> <td>Apple M1</td> <td style="text-align: right">35.93 ± 0.00</td> <td style="text-align: right">12.85 ± 0.02</td> <td>2370665</td> <td>Asahi Linux</td> </tr> <tr> <td>Apple M2</td> <td style="text-align: right">46.81 ± 0.08</td> <td style="text-align: right">12.25 ± 2.30</td> <td>8c0d6bb</td> <td>Asahi Linux</td> </tr> <tr> <td>AMD Ryzen 5000 Series</td> <td style="text-align: right">79.06 ± 0.01</td> <td style="text-align: right">10.75 ± 0.00</td> <td>5d195f1</td> <td></td> </tr> <tr> <td>Intel Core 1100 Series</td> <td style="text-align: right">174.77 ± 4.47</td> <td style="text-align: right">10.58 ± 0.03</td> <td>abb9f3c</td> <td></td> </tr> <tr> <td>Nvidia Tesla K40</td> <td style="text-align: right">64.37 ± 0.02</td> <td style="text-align: right">9.92 ± 0.06</td> <td>eec1e33</td> <td></td> </tr> <tr> <td>AMD Ryzen 4000 Series</td> <td style="text-align: right">113.32 ± 0.01</td> <td style="text-align: right">9.87 ± 0.01</td> <td>4b385bf</td> <td></td> </tr> <tr> <td>Nvidia Tesla K80</td> <td style="text-align: right">88.26 ± 0.19</td> <td style="text-align: right">9.49 ± 0.01</td> <td>5d46bab</td> <td>Running on single GPU</td> </tr> <tr> <td>AMD Ryzen 5 3000 Series</td> <td style="text-align: right">47.41 ± 0.14</td> <td style="text-align: right">8.47 ± 0.01</td> <td>1fe0029</td> <td></td> </tr> <tr> <td>Intel Core Ultra 100 Series</td> <td style="text-align: right">77.66 ± 2.75</td> <td style="text-align: right">7.75 ± 0.05</td> <td>2e89f76</td> <td></td> </tr> <tr> <td>Intel Core 8000 Series</td> <td style="text-align: right">25.55 ± 0.04</td> <td style="text-align: right">3.35 ± 0.02</td> <td>c4df49a</td> <td></td> </tr> <tr> <td>Intel N150</td> <td style="text-align: right">25.59 ± 0.00</td> <td style="text-align: right">2.91 ± 0.00</td> <td>4f63cd7</td> <td></td> </tr> </tbody> </table> <h2 id="这些表格该怎么用">这些表格该怎么用 </h2><p>如果你只是想买卡或者看手里机器大概在哪个档位，最实用的读法其实是这三步：</p> <ol> <li> <p>先看你关心的是 <code>tg128</code> 还是 <code>pp512</code>。<br> 日常对话、写代码、聊天体感，优先看 <code>tg128</code>；长上下文吞吐、批处理、服务端压 prompt，更应该看 <code>pp512</code>。</p> </li> <li> <p>再看你实际跑的后端。<br> Nvidia 通常看 <code>CUDA</code> 更贴近真实上限；AMD 机器更应该先对照 <code>ROCm</code> 和 <code>Vulkan</code>；跨平台兼容场景则更适合参考 <code>Vulkan</code>。</p> </li> <li> <p>最后再看 <code>FA</code>。<br> 很多卡开启 <code>FA</code> 后 <code>pp512</code> 会涨得更明显，但 <code>tg128</code> 不一定同步大涨，所以不能只看单个最高分。</p> </li> </ol> <h2 id="一句话总结">一句话总结 </h2><p>同样是 <code>llama.cpp</code> 跑分，<code>pp512</code>、<code>tg128</code>、<code>Q4_0</code>、<code>FA</code>、<code>CUDA / ROCm / Vulkan</code> 分别代表的是完全不同的维度。把口径先分清，再看数字，榜单才有意义。</p> <p>如果你只想记一个最短结论，那就是：</p> <ul> <li><code>CUDA</code> 目前整体最强</li> <li><code>ROCm</code> 在高端 AMD 卡上已经很能打</li> <li><code>Vulkan</code> 覆盖最广，老卡、核显、Intel Arc、Apple Asahi 都能找到可比条目</li> <li><code>tg128</code> 比 <code>pp512</code> 更接近日常真实体感</li> </ul> <h2 id="原始来源">原始来源 </h2><ul> <li>CUDA discussion #15013: <a class="link" href="https://github.com/ggml-org/llama.cpp/discussions/15013" target="_blank" rel="noopener" >https://github.com/ggml-org/llama.cpp/discussions/15013</a></li> <li>Apple Silicon discussion #4167: <a class="link" href="https://github.com/ggml-org/llama.cpp/discussions/4167" target="_blank" rel="noopener" >https://github.com/ggml-org/llama.cpp/discussions/4167</a></li> <li>ROCm discussion #15021: <a class="link" href="https://github.com/ggml-org/llama.cpp/discussions/15021" target="_blank" rel="noopener" >https://github.com/ggml-org/llama.cpp/discussions/15021</a></li> <li>Vulkan discussion #10879: <a class="link" href="https://github.com/ggml-org/llama.cpp/discussions/10879" target="_blank" rel="noopener" >https://github.com/ggml-org/llama.cpp/discussions/10879</a></li> </ul>