https://www.knightli.com/zh-tw/tags/%E6%8E%A8%E7%90%86%E5%84%AA%E5%8C%96/ Recent content in 推理優化 on KnightLi的博客 Hugo -- gohugo.io zh-tw Sun, 05 Apr 2026 22:09:11 +0800 https://www.knightli.com/zh-tw/2026/04/05/llm-quantization-guide-fp16-q4-q2/ Sun, 05 Apr 2026 22:09:11 +0800 https://www.knightli.com/zh-tw/2026/04/05/llm-quantization-guide-fp16-q4-q2/ <p>量化的核心目標很簡單：用少量精度損失，換取更小體積、更低顯存占用與更快推理速度。<br> 對本地部署使用者來說，選對量化版本，通常比盲目追求大參數更重要。</p> <h2 id="什麼是量化">什麼是量化 </h2><p>量化是指把模型參數從高精度格式（如 <code>FP16</code>）壓縮為更低位寬格式（如 <code>Q8</code>、<code>Q4</code>）。</p> <p>可以把它理解為：</p> <ul> <li>原始模型：像高精度照片，清晰但檔案大。</li> <li>量化模型：像壓縮照片，細節略有損失但更輕更快。</li> </ul> <h2 id="常見量化版本對比">常見量化版本對比 </h2><table> <thead> <tr> <th>量化版本</th> <th>精度/位寬</th> <th>體積</th> <th>品質損失</th> <th>推薦場景</th> </tr> </thead> <tbody> <tr> <td>FP16</td> <td>16 位浮點</td> <td>最大</td> <td>幾乎無損</td> <td>研究、評測、追求極致品質</td> </tr> <tr> <td>Q8_0</td> <td>8 位整數</td> <td>較大</td> <td>幾乎無損</td> <td>高配電腦，兼顧品質與效能</td> </tr> <tr> <td>Q5_K_M</td> <td>5 位混合</td> <td>中等</td> <td>輕微損失</td> <td>日常主力，平衡方案</td> </tr> <tr> <td>Q4_K_M</td> <td>4 位混合</td> <td>較小</td> <td>可接受損失</td> <td>通用預設，性價比高</td> </tr> <tr> <td>Q3_K_M</td> <td>3 位混合</td> <td>很小</td> <td>明顯損失</td> <td>低配設備，先求能跑</td> </tr> <tr> <td>Q2_K</td> <td>2 位混合</td> <td>最小</td> <td>較大損失</td> <td>極限資源場景，臨時可用</td> </tr> </tbody> </table> <h2 id="量化命名規則">量化命名規則 </h2><p>以 <code>gemma-4:4b-q4_k_m</code> 為例：</p> <ul> <li><code>gemma-4:4b</code>：模型名稱與參數規模。</li> <li><code>q4</code>：4 位量化。</li> <li><code>k</code>：K-quants（改進的量化方法）。</li> <li><code>m</code>：medium（中等級別，常見還有 <code>s</code>/small、<code>l</code>/large）。</li> </ul> <h2 id="如何按顯存快速選型">如何按顯存快速選型 </h2><table> <thead> <tr> <th>內存/顯存</th> <th>推薦量化</th> </tr> </thead> <tbody> <tr> <td>4 GB</td> <td>Q3_K_M / Q2_K</td> </tr> <tr> <td>8 GB</td> <td>Q4_K_M</td> </tr> <tr> <td>16 GB</td> <td>Q5_K_M / Q8_0</td> </tr> <tr> <td>32 GB+</td> <td>FP16 / Q8_0</td> </tr> </tbody> </table> <p>建議先從能穩定跑起來的版本開始，再逐步提高精度，而不是一開始就追求最大模型。</p> <h2 id="實戰建議">實戰建議 </h2><ol> <li>預設從 <code>Q4_K_M</code> 開始，先驗證真實任務效果。</li> <li>如果答案品質不夠，再升到 <code>Q5_K_M</code> 或 <code>Q8_0</code>。</li> <li>如果主要瓶頸是顯存或速度，再降到 <code>Q3_K_M</code>。</li> <li>每次切換量化版本，都用同一批測試問題做對比。</li> </ol> <h2 id="結論">結論 </h2><ul> <li>品質優先：<code>FP16</code> 或 <code>Q8_0</code>。</li> <li>平衡優先：<code>Q5_K_M</code>。</li> <li>通用預設：<code>Q4_K_M</code>。</li> <li>低配兜底：<code>Q3_K_M</code> 或 <code>Q2_K</code>。</li> </ul> <p>選型的本質不是「越大越好」，而是「在你的硬體條件下，達到最穩定可用的效果」。</p>