https://www.knightli.com/es/tags/llama/ Recent content in Llama on KnightLi Blog Hugo -- gohugo.io es Sat, 11 Apr 2026 20:07:29 +0800 https://www.knightli.com/es/2026/04/11/llama-gguf-quantization-selection/ Sat, 11 Apr 2026 20:07:29 +0800 https://www.knightli.com/es/2026/04/11/llama-gguf-quantization-selection/ <p>Al elegir un modelo Llama GGUF en Hugging Face, puedes pensar en los niveles de cuantización como si fueran resolución: los niveles más bajos usan menos VRAM/RAM, pero la calidad cae gradualmente.</p> <h2 id="entiende-primero-32-16-y-los-niveles-q">Entiende primero 32, 16 y los niveles Q </h2><ul> <li><code>32</code>: lo más cercano a la calidad original o sin comprimir, pero con requisitos de hardware extremos.</li> <li><code>16</code>: todavía muy cerca de la calidad original, con alrededor de la mitad del tamaño de <code>32</code>.</li> <li><code>Q8</code>: punto de entrada común para modelos cuantizados, escrito normalmente como <code>Q8_0</code> o <code>Q8</code>.</li> <li><code>Q6</code>, <code>Q5</code>, <code>Q4</code>, <code>Q3</code>, <code>Q2</code>: cuanto menor es el número, menor es el uso de recursos y mayor el riesgo de pérdida de calidad.</li> </ul> <h2 id="qué-significa-k_m--k_s">Qué significa <code>K_M</code> / <code>K_S</code> </h2><p><code>K_M</code> y <code>K_S</code> son variantes de cuantización mixta:</p> <ul> <li>la mayoría de pesos se mantienen en el nivel de cuantización objetivo</li> <li>algunas partes importantes conservan mayor precisión</li> </ul> <p>Por eso, al mismo nivel, <code>Qx_K_M</code> o <code>Qx_K_S</code> suele ser ligeramente mejor que <code>Qx</code> puro.</p> <h2 id="estrategia-práctica-de-selección">Estrategia práctica de selección </h2><ul> <li>Si el hardware lo permite, empieza con <code>Q8</code>.</li> <li>Si la memoria está justa, baja progresivamente a <code>Q6</code> / <code>Q5</code> / <code>Q4</code>.</li> <li>Intenta no bajar de <code>Q4</code>; <code>Q4_K_M</code> es un límite inferior habitual.</li> <li>Por debajo de <code>Q4</code>, la degradación de calidad se vuelve cada vez más visible.</li> </ul> <h2 id="orden-de-calidad-de-mejor-a-peor">Orden de calidad, de mejor a peor </h2><ul> <li><code>32</code></li> <li><code>16</code></li> </ul> <p>&ndash; Por encima de este punto, la calidad es prácticamente igual, pero los requisitos de hardware son extremos &ndash;</p> <ul> <li><code>Q8</code></li> <li><code>Q6_K_M</code></li> <li><code>Q6_K_S</code></li> <li><code>Q6</code></li> <li><code>Q5_K_M</code></li> <li><code>Q5_K_S</code></li> <li><code>Q5</code></li> </ul> <p>&ndash; Este es el punto dulce típico &ndash;</p> <ul> <li><code>Q4_K_M</code></li> <li><code>Q4_K_S</code></li> <li><code>Q4</code></li> </ul> <p>&ndash; Por debajo de este punto, la pérdida de calidad empieza a verse &ndash;</p> <ul> <li><code>Q3_K_M</code></li> <li><code>Q3_K_S</code></li> <li><code>Q3</code></li> <li><code>Q2_K_M</code></li> <li><code>Q2_K_S</code></li> <li><code>Q2</code></li> </ul> <p>Si quieres una regla corta: empieza con <code>Q8</code> o <code>Q6_K_M</code>; baja a <code>Q5</code> o <code>Q4_K_M</code> solo cuando sea necesario.</p>