https://www.knightli.com/tags/%E9%87%8F%E5%8C%96/ Recent content in 量化 on KnightLi的博客 Hugo -- gohugo.io zh-cn Sun, 05 Apr 2026 22:09:11 +0800 https://www.knightli.com/2026/04/05/llm-quantization-guide-fp16-q4-q2/ Sun, 05 Apr 2026 22:09:11 +0800 https://www.knightli.com/2026/04/05/llm-quantization-guide-fp16-q4-q2/ <p>量化的核心目标很简单：用少量精度损失，换取更小体积、更低显存占用和更快推理速度。<br> 对本地部署用户来说，选对量化版本，往往比盲目追求大参数更重要。</p> <h2 id="什么是量化">什么是量化 </h2><p>量化是指把模型参数从高精度格式（如 <code>FP16</code>）压缩为更低位宽格式（如 <code>Q8</code>、<code>Q4</code>）。</p> <p>可以把它理解为：</p> <ul> <li>原始模型：像高精度照片，清晰但文件大。</li> <li>量化模型：像压缩照片，细节略损但更轻更快。</li> </ul> <h2 id="常见量化版本对比">常见量化版本对比 </h2><table> <thead> <tr> <th>量化版本</th> <th>精度/位宽</th> <th>体积</th> <th>质量损失</th> <th>推荐场景</th> </tr> </thead> <tbody> <tr> <td>FP16</td> <td>16 位浮点</td> <td>最大</td> <td>几乎无损</td> <td>研究、评测、追求极致质量</td> </tr> <tr> <td>Q8_0</td> <td>8 位整数</td> <td>较大</td> <td>几乎无损</td> <td>高配电脑，兼顾质量与性能</td> </tr> <tr> <td>Q5_K_M</td> <td>5 位混合</td> <td>中等</td> <td>轻微损失</td> <td>日常主力，平衡方案</td> </tr> <tr> <td>Q4_K_M</td> <td>4 位混合</td> <td>较小</td> <td>可接受损失</td> <td>通用默认，性价比高</td> </tr> <tr> <td>Q3_K_M</td> <td>3 位混合</td> <td>很小</td> <td>明显损失</td> <td>低配设备，能跑优先</td> </tr> <tr> <td>Q2_K</td> <td>2 位混合</td> <td>最小</td> <td>较大损失</td> <td>极限资源场景，临时可用</td> </tr> </tbody> </table> <h2 id="量化命名规则">量化命名规则 </h2><p>以 <code>gemma-4:4b-q4_k_m</code> 为例：</p> <ul> <li><code>gemma-4:4b</code>：模型名称与参数规模。</li> <li><code>q4</code>：4 位量化。</li> <li><code>k</code>：K-quants（改进量化方法）。</li> <li><code>m</code>：medium（中等级别，常见还有 <code>s</code>/small、<code>l</code>/large）。</li> </ul> <h2 id="如何按显存快速选型">如何按显存快速选型 </h2><table> <thead> <tr> <th>内存/显存</th> <th>推荐量化</th> </tr> </thead> <tbody> <tr> <td>4 GB</td> <td>Q3_K_M / Q2_K</td> </tr> <tr> <td>8 GB</td> <td>Q4_K_M</td> </tr> <tr> <td>16 GB</td> <td>Q5_K_M / Q8_0</td> </tr> <tr> <td>32 GB+</td> <td>FP16 / Q8_0</td> </tr> </tbody> </table> <p>建议先从能稳定跑起来的版本开始用，再逐步提高精度，而不是一上来就追求最大模型。</p> <h2 id="实战建议">实战建议 </h2><ol> <li>默认从 <code>Q4_K_M</code> 开始，先验证真实任务效果。</li> <li>如果答案质量不够，再升到 <code>Q5_K_M</code> 或 <code>Q8_0</code>。</li> <li>如果主要瓶颈是显存或速度，再降到 <code>Q3_K_M</code>。</li> <li>每次切换量化版本，都用同一批测试问题做对比。</li> </ol> <h2 id="结论">结论 </h2><ul> <li>质量优先：<code>FP16</code> 或 <code>Q8_0</code>。</li> <li>平衡优先：<code>Q5_K_M</code>。</li> <li>通用默认：<code>Q4_K_M</code>。</li> <li>低配兜底：<code>Q3_K_M</code> 或 <code>Q2_K</code>。</li> </ul> <p>选型的本质不是“越大越好”，而是“在你的硬件条件下，达到最稳定可用的效果”。</p>