Cómo funciona la cuantización de modelos de IA y por qué es importante

El problema: los modelos de IA son demasiado grandes

Los modelos de IA modernos son enormes. Un modelo de lenguaje grande con siete mil millones de parámetros requiere aproximadamente 14 gigabytes de memoria en formato estándar de coma flotante de 16 bits, y los modelos más grandes son cientos de veces mayores. Ejecutar estos modelos exige hardware especializado costoso, consume grandes cantidades de energía y hace que la implementación en teléfonos, computadoras portátiles o dispositivos periféricos sea casi imposible.

La cuantización ofrece una solución elegante: reducir el modelo disminuyendo la precisión numérica de sus valores internos. En lugar de almacenar cada número como un valor de coma flotante de 32 bits o 16 bits, la cuantización los convierte en enteros de 8 bits o incluso formatos más pequeños. El resultado es un modelo que utiliza una fracción de la memoria, se ejecuta más rápido y consume menos energía, a menudo con una pérdida insignificante de precisión.

Cómo funciona la cuantización

En esencia, la cuantización es un problema de mapeo. Las redes neuronales almacenan dos tipos principales de números: pesos (los parámetros aprendidos que definen el modelo) y activaciones (las salidas dinámicas producidas a medida que los datos fluyen a través de cada capa). En los modelos de precisión completa, estos valores se almacenan típicamente como números de coma flotante de 32 bits (FP32), lo que le da a cada valor aproximadamente siete dígitos decimales de precisión.

La cuantización comprime estos valores en formatos de menor precisión. Los objetivos más comunes incluyen FP16 (coma flotante de 16 bits), BF16 (coma flotante cerebral, preferido para el entrenamiento), INT8 (entero de 8 bits) y el nuevo formato FP8. Cada formato asigna bits de manera diferente entre el signo, el exponente y la mantisa, intercambiando rango y precisión por compacidad.

El proceso funciona calculando un factor de escala que mapea el rango original de valores al rango más pequeño del formato de destino. Por ejemplo, si los valores de un tensor varían de −3.0 a 3.0, un factor de escala mapea ese rango al rango de −128 a 127 de un formato INT8. La granularidad de este mapeo, ya sea que se aplique por tensor, por canal o por bloque, afecta directamente la precisión.

Dos enfoques principales

Cuantización posterior al entrenamiento (PTQ)

PTQ es el método más simple y popular. Toma un modelo completamente entrenado y convierte sus pesos (y opcionalmente las activaciones) a menor precisión sin ningún reentrenamiento. PTQ solo de peso cuantifica los parámetros estáticos directamente. PTQ de peso y activación también comprime las activaciones dinámicas, pero requiere un pequeño conjunto de datos de calibración para determinar los factores de escala óptimos. Según la documentación técnica de NVIDIA, los algoritmos PTQ avanzados como AWQ protegen los canales de peso críticos a través del análisis de activación, mientras que GPTQ utiliza información de la matriz Hessiana para una compresión más precisa.

Entrenamiento consciente de la cuantización (QAT)

QAT integra la cuantización en el propio proceso de entrenamiento. Inserta módulos de "cuantización falsa" que simulan efectos de baja precisión durante los pases hacia adelante, lo que permite que el modelo adapte sus pesos para compensar los errores de redondeo. QAT generalmente produce modelos cuantificados más precisos que PTQ, pero requiere acceso a datos de entrenamiento y recursos computacionales significativos.

La recompensa del rendimiento

Los beneficios son sustanciales. La cuantización INT8 puede reducir la huella de memoria de un modelo en un 75 por ciento en comparación con FP32, al tiempo que ofrece una inferencia hasta cuatro veces más rápida en hardware compatible. Pasar de FP16 a FP8 reduce la memoria a la mitad nuevamente, reduciendo un modelo de 14 gigabytes a aproximadamente siete gigabytes. Las GPU modernas como H100 y H200 de NVIDIA incluyen núcleos de tensor dedicados para operaciones FP8, lo que hace que la inferencia cuantificada no solo sea más pequeña sino también inherentemente más rápida.

El algoritmo TurboQuant anunciado recientemente por Google lleva los límites aún más lejos, comprimiendo la memoria caché de clave-valor seis veces utilizando solo tres bits por valor, con una pérdida de precisión medible de cero. Como informó TechCrunch, la técnica no requiere entrenamiento y es independiente de los datos, lo que significa que las organizaciones pueden aplicarla a los modelos existentes sin volver a entrenarlos.

Las contrapartidas

La cuantización no es gratuita. La compresión agresiva, particularmente por debajo de 8 bits, puede degradar la precisión en tareas que requieren un razonamiento numérico preciso. Los valores atípicos en los pesos o las activaciones pueden estar mal representados en formatos de baja precisión, lo que lleva a errores que se propagan en cascada a través de la red. Técnicas como SmoothQuant, que aplica un escalado por canal para redistribuir las magnitudes atípicas, ayudan a mitigar estos efectos.

La elección del método también importa. PTQ es rápido y conveniente, pero puede sacrificar la precisión en tareas sensibles. QAT preserva mejor la precisión, pero cuesta más de implementar. En la práctica, la mayoría de las implementaciones de producción utilizan una combinación: PTQ para la compresión inicial, con QAT dirigido para los componentes críticos del modelo.

Por qué es importante ahora

A medida que los modelos de IA crecen y la demanda de inferencia en el dispositivo se dispara, la cuantización se ha convertido en una infraestructura esencial. Permite que los chatbots se ejecuten en teléfonos inteligentes, que la IA médica opere en clínicas rurales sin conectividad en la nube y que las empresas atiendan a millones de usuarios sin construir nuevos centros de datos. Con nuevos formatos como FP8 que se vuelven nativos del hardware y algoritmos como TurboQuant que impulsan las relaciones de compresión cada vez más altas, la cuantización está remodelando silenciosamente dónde y cómo puede operar la IA.