Inference Optimization

Explicación de la cuantificación de LLM: cómo elegir FP16, Q8, Q5, Q4 o Q2