https://www.knightli.com/tags/gpu/ Recent content in GPU on KnightLi的博客 Hugo -- gohugo.io zh-cn Mon, 06 Apr 2026 10:15:18 +0800 https://www.knightli.com/2026/04/06/check-ollama-model-loaded-on-gpu/ Mon, 06 Apr 2026 10:15:18 +0800 https://www.knightli.com/2026/04/06/check-ollama-model-loaded-on-gpu/ <p>想确认 Ollama 模型有没有真正跑在 GPU 上，最直接的方法是查看当前已加载模型的处理器占用信息。</p> <h2 id="使用命令">使用命令 </h2><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">ollama ps </span></span></code></pre></td></tr></table> </div> </div><h2 id="示例输出">示例输出 </h2><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span><span class="lnt">2 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">NAME ID SIZE PROCESSOR UNTIL </span></span><span class="line"><span class="cl">llama3:70b bcfb190ca3a7 42 GB 100% GPU 4 minutes from now </span></span></code></pre></td></tr></table> </div> </div><h2 id="如何解读-processor-列">如何解读 <code>PROCESSOR</code> 列 </h2><ul> <li><code>100% GPU</code>：模型完全加载在 GPU 显存中。</li> <li><code>100% CPU</code>：模型完全加载在系统内存中（未使用 GPU 推理）。</li> <li><code>48%/52% CPU/GPU</code>：模型部分在内存、部分在显存中，属于混合加载。</li> </ul> <h2 id="实用建议">实用建议 </h2><ol> <li>如果你预期使用 GPU，但看到 <code>100% CPU</code>，先检查显卡驱动、CUDA/ROCm 环境和 Ollama 运行参数。</li> <li>模型参数量较大、显存不足时，通常会出现 CPU/GPU 混合加载。</li> <li>排查性能问题时，先执行 <code>ollama ps</code> 再看速度数据，能更快定位瓶颈。</li> </ol> <h2 id="总结">总结 </h2><p><code>ollama ps</code> 是判断模型是否真正使用 GPU 的第一步。重点看 <code>PROCESSOR</code> 列即可快速确认当前加载位置，并据此决定后续优化方向。</p> <!-- ollama-related-links:start --> <h2 id="相关文章">相关文章 </h2><ul> <li><a class="link" href="https://www.knightli.com/2026/04/05/google-gemma-4-model-comparison/" >Gemma 4 模型对比与选型</a></li> <li><a class="link" href="https://www.knightli.com/2026/04/05/llm-quantization-guide-fp16-q4-q2/" >大模型量化详解（FP16/Q8/Q5/Q4/Q2）</a></li> <li><a class="link" href="https://www.knightli.com/2026/04/06/uninstall-ollama-on-linux/" >在 Linux 上彻底卸载 Ollama</a></li> <li><a class="link" href="https://www.knightli.com/2026/04/06/ollama-model-storage-path-and-migration/" >Ollama 模型存储路径与迁移</a></li> </ul> <!-- ollama-related-links:end -->