https://www.knightli.com/ja/tags/nvidia/ Recent content in NVIDIA on KnightLiブログ Hugo -- gohugo.io ja Fri, 24 Apr 2026 14:41:35 +0800 https://www.knightli.com/ja/2026/04/24/nvidia-nvbandwidth-guide/ Fri, 24 Apr 2026 14:41:35 +0800 https://www.knightli.com/ja/2026/04/24/nvidia-nvbandwidth-guide/ <p>複数の <code>NVIDIA GPU</code> 間の接続性能を調べているときや、<code>PCIe</code>、<code>NVLink</code>、ホストメモリと VRAM の間で実際にどれくらいの帯域が出ているか確認したいとき、<code>NVIDIA/nvbandwidth</code> は知っておく価値のある小さなツールです。</p> <p>これは汎用的なベンチマークソフトではなく、大規模モデルのフレームワークに隠れているコマンドでもありません。NVIDIA がオープンソースで公開している、GPU 関連のメモリコピーにおける帯域とレイテンシを測定するための専用ツールです。理論帯域を見るだけではなく、<code>nvbandwidth</code> は次のような実務的な問いに向いています。<strong>このマシンにある GPU と相互接続の組み合わせで、実際にどれだけの帯域が出るのか。</strong></p> <h2 id="1-nvbandwidth-は何をするツールか">1. <code>nvbandwidth</code> は何をするツールか </h2><p>公式 README によると、<code>nvbandwidth</code> は <code>NVIDIA GPU</code> の帯域を測定するためのコマンドラインツールです。</p> <p>主に、さまざまな <code>memcpy</code> パターンにおける転送性能を測ります。たとえば次のようなものです。</p> <ul> <li><code>GPU -&gt; GPU</code></li> <li><code>CPU -&gt; GPU</code></li> <li><code>GPU -&gt; CPU</code></li> <li>マルチノード環境での GPU 間転送</li> </ul> <p>この種のテストは、特に次のような場面で役立ちます。</p> <ul> <li>マルチ GPU の学習や推論で相互接続のボトルネックを調べる</li> <li><code>NVLink</code>、<code>PCIe</code>、<code>C2C</code> などのリンクが実際にどう動いているかを確認する</li> <li>サーバー構成、トポロジ、ドライバ、CUDA バージョンごとの差を比較する</li> <li>クラスタ導入前の基礎的なハードウェア検証を行う</li> </ul> <p>要するに、<code>nvbandwidth</code> が見ているのはモデルのスループットではなく、より下層の「データを運ぶ力」です。</p> <h2 id="2-単なる-1-つのスコアを出すツールではない">2. 単なる 1 つのスコアを出すツールではない </h2><p>帯域テストというと最後に 1 つの数字だけが出るイメージを持つ人もいますが、<code>nvbandwidth</code> の出力はもっと細かいです。</p> <p>各テストごとに行列形式で結果を出します。たとえば <code>device_to_device_memcpy_write_ce</code> のようなテストでは、GPU の行列として各デバイス対の帯域が表示されます。これにより、「このマシンはだいたい速いかどうか」だけでなく、次のようなことも見えてきます。</p> <ul> <li>どの GPU ペアが特に高速か</li> <li>どの経路が明らかに <code>PCIe</code> に制限されているか</li> <li>一部の GPU ペアで異常に低い帯域が出ていないか</li> <li>マルチ GPU のトポロジが想定どおりか</li> </ul> <p>8 GPU サーバー、デュアルソケット構成、あるいはマルチノード環境を見ているなら、この行列形式の出力は単純な平均値より役に立つことが多いです。</p> <h2 id="3-ce-と-sm-の-2-種類のコピーをどう理解するか">3. <code>CE</code> と <code>SM</code> の 2 種類のコピーをどう理解するか </h2><p>公式ドキュメントでは、テストを 2 種類に分けています。</p> <ul> <li><code>CE</code>：<code>memcpy</code> API に基づく copy engine 転送</li> <li><code>SM</code>：kernel ベースの転送</li> </ul> <p>この 2 種類の結果は、必ずしも完全には一致しません。なぜなら、異なるコピー経路を表しているからです。<br> まず通常のデバイス間転送を見たいなら、一般的には <code>CE</code> を先に確認します。より細かい実行経路まで見たい場合は、続けて <code>SM</code> を見るのがよいです。</p> <p>また README では、帯域の結果は既定で複数回の測定に対する中央値を使うと説明されています。新しいバージョンでは変動統計も追加されており、値の安定性を判断しやすくなっています。</p> <h2 id="4-実行に必要な環境">4. 実行に必要な環境 </h2><p><code>nvbandwidth</code> は、ダウンロードしてそのまま実行できる単独バイナリではありません。標準的な CUDA 開発環境が前提です。</p> <p>現在の README にある基本要件は次のとおりです。</p> <ul> <li><code>CUDA Toolkit 11.x</code> 以上</li> <li><code>C++17</code> をサポートするコンパイラ</li> <li><code>CMake 3.20+</code>、推奨は <code>3.24+</code></li> <li><code>Boost program_options</code></li> <li>利用可能な <code>CUDA</code> デバイスと互換ドライバ</li> </ul> <p>マルチノード版を使う場合は要件がさらに上がります。README では次のように明記されています。</p> <ul> <li>マルチノード版のビルドには <code>CUDA Toolkit 12.3</code> が必要</li> <li>ドライバは <code>550</code> 以上が必要</li> <li><code>MPI</code> が必要</li> <li><code>nvidia-imex</code> サービスの設定が必要</li> </ul> <p>そのため、これは一般的なデスクトップ向けというより、Linux の GPU サーバーやクラスタ向けのエンジニアリングツールと考えたほうが自然です。</p> <h2 id="5-シングルノード版のビルドと実行方法">5. シングルノード版のビルドと実行方法 </h2><p>シングルノード版のビルド手順はシンプルです。</p> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span><span class="lnt">2 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">cmake . </span></span><span class="line"><span class="cl">make </span></span></code></pre></td></tr></table> </div> </div><p><code>Ubuntu</code> / <code>Debian</code> では、共通依存関係のインストールとビルドを行う <code>debian_install.sh</code> スクリプトも用意されています。</p> <p>ビルド後は、まずヘルプを確認できます。</p> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">./nvbandwidth -h </span></span></code></pre></td></tr></table> </div> </div><p>よく使うオプションは次のとおりです。</p> <ul> <li><code>-l</code>：利用可能なテストを一覧表示する</li> <li><code>-t</code>：名前または番号で特定のテストを実行する</li> <li><code>-p</code>：プレフィックス指定でテストをまとめて実行する</li> <li><code>-b</code>：memcpy buffer サイズを設定する。既定値は <code>512 MiB</code></li> <li><code>-i</code>：測定反復回数を設定する</li> <li><code>-j</code>：<code>JSON</code> で出力する</li> <li><code>-H</code>：ホストメモリ割り当てで huge pages を有効にする</li> </ul> <p>まずは既定のテストを 1 回流したいだけなら、次のように実行します。</p> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">./nvbandwidth </span></span></code></pre></td></tr></table> </div> </div><p>特定の項目だけ試したい場合、たとえばデバイス間コピーを 1 つだけ見るなら次のようにします。</p> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">./nvbandwidth -t device_to_device_memcpy_read_ce </span></span></code></pre></td></tr></table> </div> </div><h2 id="6-マルチノード対応がこのツールの特徴">6. マルチノード対応がこのツールの特徴 </h2><p><code>nvbandwidth</code> はシングルノードのマルチ GPU テストだけのツールではなく、マルチノード環境にも対応しています。</p> <p>README によると、マルチノード版のビルドは次のように行います。</p> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span><span class="lnt">2 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">cmake -DMULTINODE<span class="o">=</span><span class="m">1</span> . </span></span><span class="line"><span class="cl">make </span></span></code></pre></td></tr></table> </div> </div><p>実行時は通常 <code>mpirun</code> と組み合わせ、GPU ごとに 1 プロセスを割り当てて起動します。<br> 公式ドキュメントでは、参加するすべての rank が同じ multinode clique に属している必要があるとされており、MPI 環境では主に <code>multinode</code> プレフィックスの付いたテストを実行することが推奨されています。</p> <p>このあたりからも、ワークステーションの簡単な自己診断用というより、高性能計算や大規模 GPU システム寄りのツールであることが分かります。</p> <p><code>NVLink</code> を使うマルチノード構成や、<code>GB200</code> / <code>Grace Hopper</code> のような複雑なプラットフォームを扱っているなら、一般的なコンシューマ GPU 環境よりも <code>nvbandwidth</code> の価値はずっと高くなります。</p> <h2 id="7-v09-では何が変わったか">7. <code>v0.9</code> では何が変わったか </h2><p><strong>2026 年 4 月 24 日</strong> 時点で、GitHub Releases ページでは <code>nvbandwidth</code> の最新バージョンは <strong><code>v0.9</code></strong>、公開日は <strong>2026 年 4 月 8 日</strong> となっています。</p> <p>このリリースで特に注目しやすい更新点は次のとおりです。</p> <ul> <li>帯域出力に変動統計を追加</li> <li>ホストメモリ向け huge pages 対応を追加（<code>Windows</code> は対象外）</li> <li>デバイス間テストに pair sampling オプションを追加</li> <li>troubleshooting guide を追加</li> <li>シングルノードとマルチノードの実行経路を統一</li> </ul> <p>加えて、エンジニアリング面で次の 2 点も実用的です。</p> <ul> <li>実際の GPU アクセスにあまり依存しない CUDA アーキテクチャ検出に改善</li> <li><code>CUDA Toolkit 13.0+</code> 環境で <code>Volta</code>（<code>sm_70</code> / <code>sm_72</code>）サポートを廃止</li> </ul> <p>初期の情報しか見ていなかった人にとっては、<code>v0.9</code> はもはや単なる帯域測定の初期版ではありません。自動化、トラブルシュート、大規模システム検証へと明確に進んでいます。</p> <h2 id="8-どんなときに使うとよいか">8. どんなときに使うとよいか </h2><p><code>nvbandwidth</code> が特に向いているのは次のようなケースです。</p> <ul> <li>複数の <code>NVIDIA GPU</code> 間で実際の相互接続帯域を確認したい</li> <li>ある GPU が帯域制限のある <code>PCIe</code> スロットに挿さっている疑いがある</li> <li><code>NVLink</code> 経路と非 <code>NVLink</code> 経路を比較したい</li> <li>マルチノード GPU クラスタを構築していて、リンクを検証したい</li> <li>結果を <code>JSON</code> で出して自動化パイプラインに組み込みたい</li> </ul> <p>一方で、「学習はどれくらい速いか」「推論は何 tokens/s 出るか」といった問いにそのまま答えるツールではありません。<br> その場合は、学習フレームワーク、推論エンジン、あるいは実際のワークロードでの測定と合わせて見る必要があります。</p> <h2 id="9-このツールの価値をどう捉えるか">9. このツールの価値をどう捉えるか </h2><p>GPU の性能問題の多くは、実は計算性能そのものが足りないのではなく、データの通り道が想定どおりに機能していないことが原因です。</p> <p>たとえば次のようなケースです。</p> <ul> <li>GPU 間で意図した接続経路が使われていない</li> <li>NUMA をまたぐアクセスで速度が落ちている</li> <li>一部の GPU ペアだけ帯域が異常に低い</li> <li>マルチノード通信の設定が不完全</li> </ul> <p>こうした問題は、<code>nvidia-smi</code> やモデルのスループットだけを見ていても特定しにくいことがあります。<br> <code>nvbandwidth</code> のような、より低レイヤで行列形式のテストツールは、相互接続レイヤで何が起きているかを可視化できる点が強みです。</p> <p>つまり、<strong><code>nvbandwidth</code> は NVIDIA GPU システム向けの帯域ヘルスチェック用コマンドラインツール</strong>として理解すると分かりやすいです。</p> <h2 id="関連リンク">関連リンク </h2><ul> <li>GitHub プロジェクト: <a class="link" href="https://github.com/NVIDIA/nvbandwidth" target="_blank" rel="noopener" >https://github.com/NVIDIA/nvbandwidth</a></li> <li>Releases: <a class="link" href="https://github.com/NVIDIA/nvbandwidth/releases" target="_blank" rel="noopener" >https://github.com/NVIDIA/nvbandwidth/releases</a></li> </ul>