https://www.knightli.com/zh-tw/tags/%E6%8E%A8%E7%90%86/ Recent content in 推理 on KnightLi的博客 Hugo -- gohugo.io zh-tw Mon, 06 Apr 2026 10:15:18 +0800 https://www.knightli.com/zh-tw/2026/04/06/check-ollama-model-loaded-on-gpu/ Mon, 06 Apr 2026 10:15:18 +0800 https://www.knightli.com/zh-tw/2026/04/06/check-ollama-model-loaded-on-gpu/ <p>想確認 Ollama 模型是否真的跑在 GPU 上，最直接的方法就是查看目前已載入模型的處理器占用資訊。</p> <h2 id="使用指令">使用指令 </h2><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">ollama ps </span></span></code></pre></td></tr></table> </div> </div><h2 id="範例輸出">範例輸出 </h2><div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span><span class="lnt">2 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">NAME ID SIZE PROCESSOR UNTIL </span></span><span class="line"><span class="cl">llama3:70b bcfb190ca3a7 42 GB 100% GPU 4 minutes from now </span></span></code></pre></td></tr></table> </div> </div><h2 id="如何解讀-processor-欄位">如何解讀 <code>PROCESSOR</code> 欄位 </h2><ul> <li><code>100% GPU</code>：模型完全載入在 GPU 顯存中。</li> <li><code>100% CPU</code>：模型完全載入在系統記憶體中（未使用 GPU 推理）。</li> <li><code>48%/52% CPU/GPU</code>：模型部分在系統記憶體、部分在 GPU 顯存中，屬於混合載入。</li> </ul> <h2 id="實用建議">實用建議 </h2><ol> <li>如果你預期使用 GPU，但看到 <code>100% CPU</code>，先檢查顯卡驅動、CUDA/ROCm 環境與 Ollama 執行參數。</li> <li>模型參數量較大、顯存不足時，通常會出現 CPU/GPU 混合載入。</li> <li>排查效能問題時，先執行 <code>ollama ps</code> 再看速度數據，能更快定位瓶頸。</li> </ol> <h2 id="總結">總結 </h2><p><code>ollama ps</code> 是判斷模型是否真正使用 GPU 的第一步。重點看 <code>PROCESSOR</code> 欄位，就能快速確認目前載入位置，並據此決定後續優化方向。</p> <!-- ollama-related-links:start --> <h2 id="相關文章">相關文章 </h2><ul> <li><a class="link" href="https://www.knightli.com/zh-tw/2026/04/05/google-gemma-4-model-comparison/" >Gemma 4 模型對比與選型</a></li> <li><a class="link" href="https://www.knightli.com/zh-tw/2026/04/05/llm-quantization-guide-fp16-q4-q2/" >大模型量化詳解（FP16/Q8/Q5/Q4/Q2）</a></li> <li><a class="link" href="https://www.knightli.com/zh-tw/2026/04/06/uninstall-ollama-on-linux/" >在 Linux 上徹底移除 Ollama</a></li> <li><a class="link" href="https://www.knightli.com/zh-tw/2026/04/06/ollama-model-storage-path-and-migration/" >Ollama 模型儲存路徑與遷移</a></li> </ul> <!-- ollama-related-links:end -->