https://www.knightli.com/es/tags/vllm/ Recent content in VLLM on KnightLi Blog Hugo -- gohugo.io es Fri, 10 Apr 2026 22:54:17 +0800 https://www.knightli.com/es/2026/04/10/gemma4-local-runtime-options/ Fri, 10 Apr 2026 22:54:17 +0800 https://www.knightli.com/es/2026/04/10/gemma4-local-runtime-options/ <p>Si quieres ejecutar Gemma 4 en local, puedes elegir entre cuatro rutas prácticas según tu objetivo y tu hardware.</p> <h2 id="1-inicio-más-rápido-ollama-recomendado">1) Inicio más rápido: Ollama (recomendado) </h2><p>Es la opción con menos fricción para pruebas rápidas, chat diario y uso de API local.</p> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">ollama run gemma4 </span></span></code></pre></td></tr></table> </div> </div><p>Puntos clave:</p> <ul> <li>Funciona en Windows, macOS y Linux</li> <li>Gestiona automáticamente la aceleración por hardware</li> <li>Ofrece una API local compatible con el estilo de OpenAI</li> </ul> <h2 id="2-flujo-con-interfaz-gráfica-lm-studio--unsloth-studio">2) Flujo con interfaz gráfica: LM Studio / Unsloth Studio </h2><p>Si prefieres una UI de escritorio en lugar de comandos de terminal:</p> <ul> <li>LM Studio: permite buscar y ejecutar variantes cuantizadas de Gemma 4 desde Hugging Face, por ejemplo 4-bit u 8-bit, con visibilidad del uso de recursos.</li> <li>Unsloth Studio: soporta inferencia y fine-tuning con poca VRAM, a menudo más cómodo para GPUs de 6GB-8GB.</li> </ul> <h2 id="3-equipos-modestos-y-máximo-control-llamacpp">3) Equipos modestos y máximo control: llama.cpp </h2><p>Buena opción para hardware antiguo, escenarios centrados en CPU o usuarios que quieren controlar más parámetros de inferencia.</p> <p>Con archivos de modelo <code>.gguf</code> y cuantización, Gemma 4 puede funcionar con presupuestos de hardware mucho más bajos.</p> <h2 id="4-integración-de-desarrollo-transformers--vllm">4) Integración de desarrollo: Transformers / vLLM </h2><p>Si necesitas integrar Gemma 4 en tu propia aplicación:</p> <ul> <li>Transformers: integración directa en proyectos Python</li> <li>vLLM: inferencia de alto rendimiento para entornos GPU más potentes</li> </ul> <h2 id="selección-rápida">Selección rápida </h2><table> <thead> <tr> <th>Necesidad</th> <th>Herramientas recomendadas</th> <th>Requisito de hardware</th> </tr> </thead> <tbody> <tr> <td>Solo quiero ejecutarlo ya</td> <td>Ollama</td> <td>Bajo</td> </tr> <tr> <td>Prefiero una interfaz tipo ChatGPT</td> <td>LM Studio</td> <td>Medio</td> </tr> <tr> <td>Tengo VRAM limitada (6GB-8GB)</td> <td>Unsloth / llama.cpp</td> <td>Bajo</td> </tr> <tr> <td>Estoy creando aplicaciones locales de AI</td> <td>Ollama / Transformers / vLLM</td> <td>Medio a alto</td> </tr> <tr> <td>Necesito fine-tuning</td> <td>Unsloth Studio</td> <td>Medio a alto</td> </tr> </tbody> </table> <h2 id="sugerencia-de-tamaño-de-modelo">Sugerencia de tamaño de modelo </h2><p>Gemma 4 llega en varios tamaños, por ejemplo E2B, E4B y 31B.</p> <ul> <li>En portátiles comunes, empieza por E2B/E4B cuantizados</li> <li>Prueba variantes más grandes solo cuando tu flujo base ya sea estable</li> </ul>