https://www.knightli.com/ja/tags/%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%AB%E5%B1%95%E9%96%8B/ Recent content in ローカル展開 on KnightLiブログ Hugo -- gohugo.io ja Sun, 05 Apr 2026 22:09:11 +0800 https://www.knightli.com/ja/2026/04/05/llm-quantization-guide-fp16-q4-q2/ Sun, 05 Apr 2026 22:09:11 +0800 https://www.knightli.com/ja/2026/04/05/llm-quantization-guide-fp16-q4-q2/ <p>量子化の中心的な目標は単純です。サイズを小さくし、メモリ使用量を減らし、推論速度を速くする代わりに、精度の損失を小さくすることです。<br> ローカル展開ユーザーにとって、多くの場合、盲目的に大きなパラメータを追求するよりも、適切な定量的バージョンを選択することの方が重要です。</p> <h2 id="定量化とは何ですか">定量化とは何ですか </h2><p>量子化とは、モデル パラメーターを高精度形式 (<code>FP16</code> など) からより低いビット幅形式 (<code>Q8</code>、<code>Q4</code> など) に圧縮することを指します。</p> <p>それは次のように理解できます。</p> <ul> <li>オリジナルモデル: 高精度の写真のように鮮明ですが、ファイルサイズが大きくなります。</li> <li>量子化モデル: 圧縮された写真と同様に、細部はわずかに失われますが、軽量かつ高速です。</li> </ul> <h2 id="一般的な定量バージョンの比較">一般的な定量バージョンの比較 </h2><table> <thead> <tr> <th>量化版本</th> <th>精度/位宽</th> <th>体积</th> <th>质量损失</th> <th>推荐场景</th> </tr> </thead> <tbody> <tr> <td>FP16</td> <td>16 位浮点</td> <td>最大</td> <td>几乎无损</td> <td>研究、评测、追求极致质量</td> </tr> <tr> <td>Q8_0</td> <td>8 位整数</td> <td>较大</td> <td>几乎无损</td> <td>高配电脑，兼顾质量与性能</td> </tr> <tr> <td>Q5_K_M</td> <td>5 位混合</td> <td>中等</td> <td>轻微损失</td> <td>日常主力，平衡方案</td> </tr> <tr> <td>Q4_K_M</td> <td>4 位混合</td> <td>较小</td> <td>可接受损失</td> <td>通用默认，性价比高</td> </tr> <tr> <td>Q3_K_M</td> <td>3 位混合</td> <td>很小</td> <td>明显损失</td> <td>低配设备，能跑优先</td> </tr> <tr> <td>Q2_K</td> <td>2 位混合</td> <td>最小</td> <td>较大损失</td> <td>极限资源场景，临时可用</td> </tr> </tbody> </table> <h2 id="定量的な命名規則">定量的な命名規則 </h2><p><code>gemma-4:4b-q4_k_m</code> を例として取り上げます。</p> <ul> <li><code>gemma-4:4b</code>: モデル名とパラメータスケール。</li> <li><code>q4</code>: 4 ビット量子化。</li> <li><code>k</code>: K-quants (改良された量子化方法)。</li> <li><code>m</code>：中（中レベル、<code>s</code>/小、<code>l</code>/大が共通）。</li> </ul> <h2 id="ビデオメモリに基づいてモデルを素早く選択する方法">ビデオメモリに基づいてモデルを素早く選択する方法 </h2><table> <thead> <tr> <th>内存/显存</th> <th>推荐量化</th> </tr> </thead> <tbody> <tr> <td>4 GB</td> <td>Q3_K_M / Q2_K</td> </tr> <tr> <td>8 GB</td> <td>Q4_K_M</td> </tr> <tr> <td>16 GB</td> <td>Q5_K_M / Q8_0</td> </tr> <tr> <td>32 GB+</td> <td>FP16 / Q8_0</td> </tr> </tbody> </table> <p>最初から最大のモデルを追求するのではなく、安定して動作するバージョンから始めて、徐々に精度を向上させることをお勧めします。</p> <h2 id="実践的な提案">実践的な提案 </h2><ol> <li>デフォルトでは、<code>Q4_K_M</code> から開始され、最初に実際のタスクの効果を確認します。</li> <li>回答の品質が十分でない場合は、<code>Q5_K_M</code> または <code>Q8_0</code> にアップグレードしてください。</li> <li>主なボトルネックがビデオ メモリまたは速度である場合は、<code>Q3_K_M</code> にドロップします。</li> <li>定量化バージョンに切り替えるたびに、同じバッチのテスト問題を比較に使用してください。</li> </ol> <h2 id="結論は">結論は </h2><ul> <li>品質第一: <code>FP16</code> または <code>Q8_0</code>。</li> <li>バランス優先度: <code>Q5_K_M</code>。</li> <li>共通のデフォルト: <code>Q4_K_M</code>。</li> <li>ローエンドポケット: <code>Q3_K_M</code> または <code>Q2_K</code>。</li> </ul> <p>モデル選択の本質は、「大きいほど良い」ではなく、「ハードウェア条件下で最も安定して使用可能な効果を実現する」ことです。</p> <!-- ollama-related-links:start -->