https://www.knightli.com/ja/tags/vllm/ Recent content in VLLM on KnightLiブログ Hugo -- gohugo.io ja Fri, 10 Apr 2026 22:54:17 +0800 https://www.knightli.com/ja/2026/04/10/gemma4-local-runtime-options/ Fri, 10 Apr 2026 22:54:17 +0800 https://www.knightli.com/ja/2026/04/10/gemma4-local-runtime-options/ <p>Gemma 4 (2026 年に Google がリリースした新世代のオープンソース モデル) をローカルで呼び出したい場合は、ニーズに応じてこれら 4 種類のソリューションから選択できます。</p> <h2 id="1-最も早く始める-ollama-推奨">1) 最も早く始める: Ollama (推奨) </h2><p>これは最も障壁の低いアプローチであり、簡単なテスト、日常会話、ローカル API 呼び出しに適しています。</p> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">ollama run gemma4 </span></span></code></pre></td></tr></table> </div> </div><p>特徴：</p> <ul> <li>Win/Mac/Linux で利用可能</li> <li>ハードウェアアクセラレーションを自動的に処理します</li> <li>OpenAIスタイルに対応したネイティブAPIを提供</li> </ul> <h2 id="2-グラフィカルインターフェイス-lm-studio--unsloth-studio">2) グラフィカルインターフェイス: LM Studio / Unsloth Studio </h2><p>デスクトップ GUI (ChatGPT に似たもの) に慣れている場合は、これら 2 種類のツールの方が便利です。</p> <ul> <li>LM Studio:Hugging Face で Gemma 4 量子化モデル (4 ビット、8 ビットなど) を直接検索してダウンロードし、リソースの使用状況を表示できます。</li> <li>Unsloth Studio: 推論に加えて、低メモリ微調整もサポートしています。 6GB～8GBのビデオメモリを搭載したマシンにさらに優しい。</li> </ul> <h2 id="3-低構成と究極の制御-llamacpp">3) 低構成と究極の制御: llama.cpp </h2><p>古いマシン、純粋な CPU シナリオ、または推論パラメーターを詳細に制御したいユーザーに適しています。</p> <p>量子化バージョンで <code>.gguf</code> モデル ファイルを使用すると、より低いハードウェアしきい値で Gemma 4 を実行できます。</p> <h2 id="4-開発統合-transformersvllm">4) 開発統合: Transformers/vLLM </h2><p>Gemma 4 を独自のアプリケーションに統合したい場合:</p> <ul> <li>Transformers: Python プロジェクトにモデルを直接ロードするのに適しています</li> <li>vLLM: 高性能 GPU シナリオおよび高スループット推論サービスに適しています</li> </ul> <h2 id="クイック選択">クイック選択 </h2><table> <thead> <tr> <th>需求</th> <th>推荐工具</th> <th>硬件门槛</th> </tr> </thead> <tbody> <tr> <td>我只想马上跑起来</td> <td>Ollama</td> <td>低（自动适配）</td> </tr> <tr> <td>我更喜欢图形界面</td> <td>LM Studio</td> <td>中</td> </tr> <tr> <td>显存很紧张（6GB-8GB）</td> <td>Unsloth / llama.cpp</td> <td>低</td> </tr> <tr> <td>我要做本地 AI 应用开发</td> <td>Ollama / Transformers / vLLM</td> <td>中到高</td> </tr> <tr> <td>我要做微调训练</td> <td>Unsloth Studio</td> <td>中到高</td> </tr> </tbody> </table> <h2 id="モデルの推奨サイズ">モデルの推奨サイズ </h2><p>Gemma 4 はさまざまなサイズで利用できます (E2B、E4B、31B など)。</p> <ul> <li>通常のオフィスのラップトップの場合は、定量化された E2B/E4B が推奨されます。</li> <li>ビデオ メモリに余裕がある場合は、より大きなバージョンを試してください。</li> </ul>