Ollama モデルが実際に GPU 上で実行されているかどうかを確認する最も直接的な方法は、現在ロードされているモデルのプロセッサ使用状況情報を確認することです。

コマンドを使用する

1

ollama ps

出力例

1
2

NAME        ID            SIZE    PROCESSOR   UNTIL
llama3:70b  bcfb190ca3a7  42 GB   100% GPU    4 minutes from now

PROCESSOR 列の解釈方法

• 100% GPU: モデルは GPU メモリに完全にロードされています。
• 100% CPU: モデルはシステム メモリに完全にロードされています (GPU 推論は使用されません)。
• 48%/52% CPU/GPU: モデルは一部がメモリ内にあり、一部がビデオ メモリ内にあり、混合負荷です。

実践的なアドバイス

1. GPU を使用する予定なのに 100% CPU が表示される場合は、まずグラフィックス ドライバー、CUDA/ROCm 環境、および Ollama ランタイム パラメーターを確認してください。
2. モデルパラメータの数が多く、ビデオメモリが不足している場合、通常、CPU/GPU 混合負荷が発生します。
3. パフォーマンスの問題のトラブルシューティングを行う場合は、最初に ollama ps を実行し、次に速度データを確認してボトルネックをより迅速に特定します。

要約する

ollama ps は、モデルが実際に GPU を使用しているかどうかを判断する最初のステップです。 PROCESSOR 列に注目して、現在の読み込み位置をすばやく確認し、それに応じてその後の最適化の方向を決定します。